Curs 2014-15

Processament d'Àudio en Temps Real

Titulació: Codi: Tipus:
Grau en Enginyeria Informàtica 21492 Optativa
Grau en Enginyeria Telemàtica 21768 Optativa
Grau en Enginyeria en Sistemes Audiovisuals 21623 Obligatòria 4t curs

 

Crèdits ECTS: 4 Dedicació: 100 hores Trimestre: 1r

 

Departament: Dept. de Tecnologies de la Informació i les Comunicacions
Coordinador: Sergi Jordà
Professorat:

Sergi Jordà, Angel Faraldo, Daniel Gómez
Idioma:

Català i castellà (explicacions), anglès (material)
Horari:
Campus: Campus de la Comunicació - Poblenou

 

Presentació de l'assignatura

L’assignatura “Processament d’Àudio en Temps Real” es obligatòria en el 4t curs del grau en Enginyeria de Sistemes Audiovisuals. Aquesta assignatura pot ser entesa com la continuació de “Senyals i Sistemes” (assignatura comuna als tres graus, impartida durant els dos primers trimestres del segon curs) i de “Processament de So i Música”, assignatura de 3r curs del grau en Enginyeria de Sistemes Audiovisuals.

La assignatura en relació amb els postgraus i màsters del departament

Aquesta assignatura constitueix també una excel·lent introducció per varies assignatures dels màster en Tecnologies del So i la Música (SMC) i del màster interdisciplinari (CSIM), ja que cobreix conceptes, eines i tecnologies, que en els esmentats màsters es donen per coneguts, o es veuen molt ràpidament, i que fins ara no tenien cabuda en els anterior cursos del grau d’enginyeria.

Processament d’Àudio en Temps Real (4t curs AV) ->


Objectius d’aprenentatge

Característiques diferencials de la generació i processat d’àudio, i de la interacció a temps real. Eines i llenguatges de programació per al processament i la generació d’àudio en temps real.

 

Prerequisits

Senyals i Sistemes (2n curs COM) -> Processament de So i Música (3r curs AV) -> Processament d'Àudio en Temps Real (4t curs AV)

Senyals i Sistemes (8, COM, 2n curs, 1 i 2 t) 
Números complejos. Análisis de Fourier. Transformadas de Fourier discretas y continuas. Algoritmo de la Transformada Rápida de Fourier. Muestreo de señales analógicas. Sistemas lineales. Filtrado de señales. Análisis y modelado del ruido.

Processament de So i Música (AV, 3r curs, 1r t) 
Análisis, transformación y síntesis digital de sonido. Representaciones temporales y frecuenciales de señales musicales. Transformada de Fourier a tiempo corto. Modelado espectral de señales musicales. Modelado sinusoidal más residual de señales musicales. Extracción de atributos perceptuales de las señales de sonido y música. Aplicaciones musicales basadas en el procesado de audio.

Els estudiants que cursin aquesta assignatura tindran per tant un coneixement previ dels fonaments informàtics de les tecnologies de musicals i de l’àudio, de les técniques d’anàlisi i síntesi espectrals, així com de diferents algorismes per la generació i el processament de senyals d’àudio. Els estudiants hauran de tenir també un coneixement suficient de l’anglès, ja que gaire be tota la documentació existent es troba en aquest idioma.

 

Competències

Competències transversals

Competències específiques

Instrumentals

1. Capacitat d’anàlisi i síntesi, abstracció i sistematització.

2. Resolució de problemes.

3. Capacitat de comprendre informació avançada en llegua anglesa.

4. Capacitat de comunicar-se amb propietat de forma oral i escrita en català, castellà o anglès, tant davant audiències expertes com inexpertes.

5. Capacitat de comprendre i analitzar els problemes tecnològics lligat a la generació i a la modificació de continguts en temps real

Interpersonals

6. Treball en equip.

7. Capacitat de crítica i autocrítica.

8. Exposició de resultats obtinguts.

Sistèmiques

9. Capacitat per integrar coneixements i metodologies en la pràctica.

10. Capacitat per treballar autònomament en la resolució de problemes.

11. Preocupació per la qualitat
  1. Entendre les diferencies i matisos del terme “temps-real” en els diferents àmbits en els que s’aplica (p.ex. computació, sistemes operatius, generació i processat, interacció).
  2. Entendre i saber utilitzar i distingir els conceptes de cicle de control, latència, granularitat (rate) d’entrada i de sortida i “jitter”, en aplicacions a temps real.
  3. Conèixer els protocols MIDI i OSC.
  4. Conèixer la historia, els principis bàsics i les possibilitats de la síntesi i el processat de so.
  5. Conèixer alguns de les técniques bàsiques de síntesi i de processat de so, com han anat evolucionant al llarg del temps, quines possibilitats aporten, i com es poden programar.
  6. Entendre les tecniques bàsiques del processat espectral, i les seves possibilitats
  7. Aprendre un llenguatge de programació com ara Pure Data, per a la generació i processat d’àudio en temps real.

 

Avaluació

Per a cursar amb èxit l'assignatura és necessari superar el nivell mínim requerit a cadascuna de les competències a desenvolupar en l'assignatura. Donat que la majoria de les competències es treballen i avaluen de forma presencial (a l'aula) i contínua al llarg de l’assignatura, l'assistència a classe és imprescindible. També és clau per a aprofitar l'assignatura que l'alumne mantingui una actitud activa. Això significa que ha de ser crític amb els aspectes tractats, fent les seves pròpies reflexions i mantenint en tot moment interès i curiositat sobre el material presentat.

L'assignatura es supera tenint un mínim de 5 punts com a nota final. Aquesta nota final es calcularà d'acord a les activitats i percentatges que es mostren en la taula següent.  

Pes de cada una de les activitats en la nota final
(amb examen)

Pràctiques obligatòries

40%

Projecte final

30%

Examen final

30%

Donat que la assignatura és eminentment pràctica, el professor es reserva la possibilitat de no realitzar examen final en el cas dels estudiants que hagin assistit i participat activament a les classes, i que hagin realitzat les altres tasques amb correcció. En aquest cas, els pesos de cada una de les activitats passaria a ser els de la taula següent.

Pes de cada una de les activitats en la nota final
(sense examen)

Pràctiques obligatòries

60%

Projecte final

40%

A continuació és donen més detalls sobre cada una d'aquestes proves. 

 

Activitat

Valor de la avaluació

Criteri d’avaluació

Requisits mínims per aprovar l’assignatura (avaluació ordinària)

Requisits mínims per optar a la recuperació

Activitat de recuperació

Requisits mínims per aprovar l’assignatura (recuperació)

Examen final

30%

Per aprovar l’examen és necessari obtenir una nota superior o igual a 5

És condició indispensable obtenir una nota superior o igual a 4 en l’examen per poder fer mitja

 

Per presentar-se a recuperació es necessari haver presentat les tres proves del curs. En cas de no haver lliurat alguna de les activitats, l’alumne no podrà utilitzar el període de recuperació

Examen teòric

Aprovar l’examen teòric amb una qualificació mínima de 5 sobre 10

Pràctiques obligatòries (2)

40%

Assistència i participació activa en les sessions. Lliurament final de les dues pràctiques acabades i en els plaços requerits

És condició indispensable aprovar les pràctiques (>=5) per poder fer mitja.

 

Haver entregat totes les pràctiques i el projecte

Correcció de les pràctiques incorrectes

Aprovar les  pràctiques amb una qualificació mínima de 5 sobre 10

Pràctica /projecte

30%

Assistència i participació activa en les sessions. Lliurament final del treball, i presentació a classe

És condició indispensable aprovar el projecte (>=5) per poder fer mitja.

 

Haver entregat totes les pràctiques i el projecte.

Correcció del projecte o realització d’un projecte nou

Aprovar el projecte amb una qualificació mínima de 5 sobre 10

 

Continguts

L’assignatura està organitzada en un bloc teòric i un bloc pràctic. A continuació es detallen els continguts de cada uns d’aquests blocs.

Bloc Teòric

Introducció al temps real, arquitectures de temps real i aspectes tècnics bàsics: Que és i que no és el temps real. Ordres de magnitud temporals perceptuals, segons els medis i els tipus d’estímul. El cicle de control en detall. Latència. Granularitat d’entrada i de sortida. Jitter i estabilitat temporal. Models síncrons vs. asíncrons. Sistemes single-threated vs. multi-threaded. Mètodes de captura de dades basats en “polling” vs. interrupcions. El temps real en la síntesi i el processat d’àudio. Buffering.

Introducció a la síntesi d’àudio: Oscil·ladors i formes d’ona. Modulació i oscil·ladors de baixa freqüència (LFO). Envelopants. Filtres. Waveshaping.

Protocols musicals de control i les seves aplicacions: Control vs. àudio. El protocol MIDI. El protocol Open Sound Control (OSC).

El Sampler i les taules d’ona: Historia del sampler. Àudio en memòria vs. àudio en disc dur. Pitch Shifting i looping.

Efectes de processat basats en el temps: Live sampling. Delay lines. Feedback i comb filtering. Síntesis Karplus-Strong. Línies de retard variables (flanger i chorus).

Processat espectral: Introducció al processat espectral. Aplicacions bàsiques: equalització, convolució, pitch-shifting, time-stretching… Anàlisis, classificació i altres aplicacions avançades.

 

Bloc Pràctic

Programació musical en temps real amb un llenguatge del tipus visual data flow, com ara Pure Data

  1. Llenguatges de programació “data flow”. Programació basada en events. Flux de control vs. flux d’àudio. Scheduling, sincronia i gestió de threads. Objectes d’entrada GUI. Encapsulació.
  2. Entrada de dades. Comunicació MIDI i OSC. Tècniques de filtratge de dades. Exercicis bàsics de control de flux.
  3. Introducció a la síntesi d’àudio. Modulació i síntesi subtractiva.
  4. Processat d’àudio. “Live electronics”. Efectes basats en el temps. Retards.
  5. Processat espectral i anàlisi avançat d’àudio. Extracció de pitch i seguidors d’envolvents. Anàlisi i processat espectral.

Software emprat en les pràctiques

S’utilitzarà el programari Pure Data. Aquest programari és open-source i multi-plataforma, pel que les pràctiques podran ser realitzades sota Linux, Windows o MacOSX. Aquesta decisió s'ha pres en l'entès que als estudiants no se'ls hauria d'exigir la realització de pràctiques usant programari propietari o de pagament, doncs això obligaria que només poguessin treballar en els ordinadors de la  universitat (que paga  llicencies per  a aquests programes), amb la consegüent restricció en quant a possibilitats de treballar còmodament en les  pràctiques.

 

Metodologia

La metodologia d'aquesta assignatura combina sessions magistrals d'explicació del professor amb el treball individual i en grup realitzat pels alumnes en sessions de grup mitja o petit. En particular, el treball s'ha organitzat de la forma següent:

Dedicació dels estudiants

La assignatura té 4 crèdits ECTS que es corresponen a 100 hores de treball de l’alumne, de les quals 36 són presencials. Aquestes 36 hores estan dividides en sessions magistrals (18 hores), sessions de pràctiques de grup mitjà (10 hores) i sessions de seminaris amb grups petits d’alumnes (8 hores). Les següents taules detallen aquest aspecte, junt amb la dedicació estimada dels estudiants fora de classe, per a cada un dels blocs avaluables.

 

Activitats a l'aula

Activitats fora de l'aula

 

Activitats

Grup gran

Grup mitjà

Grup petit

 

 

Teoria

18

 

 

 

 

Pràctiques (2) amb ordinadors (en grups de 2 o 3)

 

6

 

24

 

Seminaris

 

 

6

8

 

Projecte final (en grups de 2 o 3)

 

 4

 2

24

 

Preparació examen 

 

 

 

8

 

Total:  

18

10

8

64

Total: 100

 

Recursos

Bibliografia i Recursos on­‐line