Curs 2015-16

Processament d'Àudio en Temps Real

Titulació: Codi: Tipus:
Grau en Enginyeria Informàtica 21492 Optativa
Grau en Enginyeria Telemàtica 21768 Optativa
Grau en Enginyeria en Sistemes Audiovisuals 21623 Obligatòria 4t curs

 

Crèdits ECTS: 4 Dedicació: 100 hores Trimestre: 1r

 

Departament: Dept. de Tecnologies de la Informació i les Comunicacions
Coordinador: Sergi Jordà
Professorat:

Sergi Jordà, Angel Faraldo, Daniel Gómez
Idioma:

Anglès (material i explicacions)
Horari:
Campus: Campus de la Comunicació - Poblenou

 

Presentació de l'assignatura

L’assignatura “Processament d’Àudio en Temps Real” es obligatòria en el 4t curs del grau en Enginyeria de Sistemes Audiovisuals. Aquesta assignatura pot ser entesa com la continuació de “Senyals i Sistemes” (assignatura comuna als tres graus, impartida durant els dos primers trimestres del segon curs) i de “Processament de So i Música”, assignatura de 3r curs del grau en Enginyeria de Sistemes Audiovisuals.

La assignatura en relació amb els postgraus i màsters del departament

Aquesta assignatura constitueix també una excel·lent introducció per varies assignatures dels màster en Tecnologies del So i la Música (SMC), ja que cobreix conceptes, eines i tecnologies, que en els esmentats màsters es donen per coneguts, o es veuen molt ràpidament, i que fins ara no tenien cabuda en els anterior cursos del grau d’enginyeria.

Processament d’Àudio en Temps Real (4t curs AV) ->

Objectius d’aprenentatge

Característiques diferencials de la generació i processat d’àudio, i de la interacció a temps real. Eines i llenguatges de programació per al processament i la generació d’àudio en temps real.

 

Prerequisits

Senyals i Sistemes (2n curs COM) -> Processament de So i Música (3r curs AV) -> Processament d'Àudio en Temps Real (4t curs AV)

Senyals i Sistemes (8, COM, 2n curs, 1 i 2 t) 

Nombres complexos. Anàlisi de *ourier. Transformades de Fourier discretes i contínues. Algorisme de la Transformada Ràpida de Fourier. Mostreig de senyals analògics. Sistemes lineals. Filtrat de senyals. Anàlisi i modelatge del soroll.

Processament de So i Música (AV, 3r curs, 1r t) 

Anàlisi, transformació i síntesi digital de so. Representacions temporals i freqüencials de senyals musicals. Transformada de Fourier a temps curt. Modelatge espectral de senyals musicals. Modelatge sinusoïdal més residual de senyals musicals. Extracció d'atributs perceptuals dels senyals de so i música. Aplicacions musicals basades en el processament d'àudio..

Els estudiants que cursin aquesta assignatura tindran per tant un coneixement previ dels fonaments informàtics de les tecnologies de musicals i de l’àudio, de les técniques d’anàlisi i síntesi espectrals, així com de diferents algorismes per la generació i el processament de senyals d’àudio. Els estudiants hauran de tenir també un coneixement suficient de l’anglès, ja que gaire be tota la documentació existent es troba en aquest idioma.

 

Competències

Competències transversals

Competències específiques

Instrumentals

1. Capacitat d’anàlisi i síntesi, abstracció i sistematització.

2. Resolució de problemes.

3. Capacitat de comprendre informació avançada en llegua anglesa.

4. Capacitat de comunicar-se amb propietat de forma oral i escrita en català, castellà o anglès, tant davant audiències expertes com inexpertes.

5. Capacitat de comprendre i analitzar els problemes tecnològics lligat a la generació i a la modificació de continguts en temps real

Interpersonals

6. Treball en equip.

7. Capacitat de crítica i autocrítica.

8. Exposició de resultats obtinguts.

Sistèmiques

9. Capacitat per integrar coneixements i metodologies en la pràctica.

10. Capacitat per treballar autònomament en la resolució de problemes.

11. Preocupació per la qualitat
  1. Entendre les diferencies i matisos del terme “temps-real” en els diferents àmbits en els que s’aplica (p.ex. computació, sistemes operatius, generació i processat, interacció).
  2. Entendre i saber utilitzar i distingir els conceptes de cicle de control, latència, granularitat (rate) d’entrada i de sortida i “jitter”, en aplicacions a temps real.
  3. Conèixer els protocols MIDI i OSC.
  4. Conèixer la historia, els principis bàsics i les possibilitats de la síntesi i el processat de so.
  5. Conèixer alguns de les tècniques bàsiques de síntesi i de processat de so, com han anat evolucionant al llarg del temps, quines possibilitats aporten, i com es poden programar.
  6. Entendre les tècniques bàsiques del processat espectral, i les seves possibilitats
  7. Aprendre un llenguatge de programació com ara Pure Data, per a la generació i processat d’àudio en temps real.

 

Avaluació

Per a cursar amb èxit l’assignatura és necessari superar el nivell mínim requerit a cadascuna de les competències a desenvolupar en l’assignatura. Donat que la majoria de les competències es treballen i avaluen de forma presencial (a l’aula) i contínua al llarg de l’assignatura, l’assistència a classe es considera imprescindible. També és clau per a aprofitar l’assignatura que l’alumne mantingui una actitud activa. Això significa que ha de ser crític amb els aspectes tractats, fent les seves pròpies reflexions i mantenint en tot moment interès i curiositat sobre el material presentat.

L’assignatura es supera tenint un mínim de 5 punts com a nota final. Aquesta nota final es calcularà d’acord a les activitats i percentatges que es mostren en la següent taula de la esquerra. Donat que la assignatura es centra sobre tot en el projecte, es reserva la possibilitat de no realitzar examen final en el cas dels estudiants que hagin assistit i participat activament a les classes , i que hagin realitzat les altres tasques amb correcció . En aquest cas, els pes de cada una de les activitats passaria a ser els de la segona taula.

Pes de cada una de les activitats en la nota final (amb examen)

Pràctiques obligatòries           40%
Exposició projecte                  10%
Projecte final                         20%
Examen final                         30%

 

 

 

Pes de cada una de les activitats en la nota final (sense examen)

Pràctiques obligatòries         60%

Exposició projecte               10%

Projecte final                       30%

 

 

 

La taula següent sintetitza tota aquesta informació

 

 

 

ActivitatPràctiques i exercicisPresentació projecte (WIP) Projecte finalExamen

Valor de l’avaluació (el primer valor correspon amb examen; el segon sense)

 40% [60%]

10% [10%]

  20% [30%]  30% [0]

Criteri d’avaluació

 Per aprovar aquestes pràctiques cal lliurar-les acabades d’acord a les consignes que es donaran a les sessions pràctiques i de seminari Per aprovar la presentació és necessari obtenir una nota superior o igual a 5. Es valorarà els continguts i la forma de la presentació oral, així com el document que la acompanyi Per aprovar el treball final és necessari obtenir una nota superior o igual a 5 Per aprovar l'examen és necessari obtenir una nota superior o igual a 5
Requisits mínims per aprovar l’assignatura (avaluació ordinària) Assistència i participació activa en les sessions. Lliurament de les pràctiques acabades. En cas contrari, l’estudiant haurà de realitzar un examen final És condició indispensable aprovar aquest treball (>=5) per poder fer mitja. En cas contrari, l’estudiant haurà de realitzar un examen final És condició indispensable aprovar el treball (>=5) per poder fer mitja. En cas de realitzar l’examen, és condició indispensable obtenir una nota superior o igual a 4 en l’examen per poder fer mitja
Requisits mínims per optar a la recuperació No recuperable No recuperable   Per presentar-se a recuperació es necessari haver presentat totes les pràctiques del curs. En cas de no haver lliurat alguna de les activitats, l’alumne no podrà utilitzar el període de recuperació
Activitat de recuperació     Correcció del treball presentat o elaboració d’un nou treball  Examen teòric
Requisits mínims per aprovar l’assignatura (recuperació)      Aprovar el treball amb una qualificació mínima de 5 sobre 10 Aprovar l’examen teòric amb una qualificació mínima de 5 sobre 10

 

Continguts

L’assignatura està organitzada en un bloc teòric i un bloc pràctic. A continuació es detallen els continguts de cada uns d’aquests blocs.

Bloc Teòric

Introducció al temps real, arquitectures de temps real i aspectes tècnics bàsics: Que és i que no és el temps real. Ordres de magnitud temporals perceptuals, segons els medis i els tipus d’estímul. El cicle de control en detall. Latència. Granularitat d’entrada i de sortida. Jitter i estabilitat temporal. Models síncrons vs. asíncrons. Sistemes single-threated vs. multi-threaded. Mètodes de captura de dades basats en “polling” vs. interrupcions. El temps real en la síntesi i el processat d’àudio. Buffering.

Introducció a la síntesi d’àudio: Oscil·ladors i formes d’ona. Modulació i oscil·ladors de baixa freqüència (LFO). Envelopants. Filtres. Waveshaping.

Protocols musicals de control i les seves aplicacions: Control vs. àudio. El protocol MIDI. El protocol Open Sound Control (OSC).

El Sampler i les taules d’ona: Historia del sampler. Àudio en memòria vs. àudio en disc dur. Pitch Shifting i looping.

Efectes de processat basats en el temps: Live sampling. Delay lines. Feedback i comb filtering. Síntesis Karplus-Strong. Línies de retard variables (flanger i chorus).

Processat espectral: Introducció al processat espectral. Aplicacions bàsiques: equalització, convolució, pitch-shifting, time-stretching… Anàlisis, classificació i altres aplicacions avançades.

 

Bloc Pràctic

Programació musical en temps real amb un llenguatge del tipus visual data flow, com ara Pure Data

  1. Llenguatges de programació “data flow”. Programació basada en events. Flux de control vs. flux d’àudio. Scheduling, sincronia i gestió de threads. Objectes d’entrada GUI. Encapsulació.
  2. Entrada de dades. Comunicació MIDI i OSC. Tècniques de filtratge de dades. Exercicis bàsics de control de flux.
  3. Introducció a la síntesi d’àudio. Modulació i síntesi subtractiva.
  4. Processat d’àudio. “Live electronics”. Efectes basats en el temps. Retards.
  5. Processat espectral i anàlisi avançat d’àudio. Extracció de pitch i seguidors d’envolvents. Anàlisi i processat espectral.

Software emprat en les pràctiques

S’utilitzarà el programari Pure Data. Aquest programari és open-source i multi-plataforma, pel que les pràctiques podran ser realitzades sota Linux, Windows o MacOSX. Aquesta decisió s'ha pres en l'entès que als estudiants no se'ls hauria d'exigir la realització de pràctiques usant programari propietari o de pagament, doncs això obligaria que només poguessin treballar en els ordinadors de la  universitat (que paga  llicencies per  a aquests programes), amb la consegüent restricció en quant a possibilitats de treballar còmodament en les  pràctiques.

 

Metodologia

Aquesta assignatura combina sessions magistrals d'explicació del professor, amb el treball individual i en grup realitzat pels alumnes en sessions de grup mitja o petit. En particular, el treball s'ha organitzat de la forma següent:

Sessions magistrals de presentació: les realitzen els professors en la classe de teoria, abordant-se en cadascuna d'elles un tema de l'assignatura. S'espera dels alumnes que participin realitzant preguntes i comentaris.

Sessions de seminari i pràctiques sobre ordinador: Són sessions en grups reduits (2 grups de seminaris/pràctiques), on els alumnes treballen individualment o en grups, depenent de les activitats plantejades pels professors. Les activitats plantejades en els seminaris són de caràcter divers de forma que permetin practicar, revisar i discutir activament les qüestions treballades a les classes magistrals que formaran part de l’avaluació continuada. Per a preparar els seminaris, els alumnes hauran d’haver realitzar el treball previ requerit.Els estudiants hauran de dur a terme i entregar varis exercicis obligatoris al llarg del curs (amb una durada mitja de dos setmanes cada una). Aquestes activitats es realitzaran en grups de dos o tres alumnes.

Projecte pràctic final : Després de les pràctiques obligatòries, els estudiants hauran de realitzar un petit projecte pràctic, emprant els coneixements i les eines estudiades durant el curs. Aquesta activitat es realitzarà en grups de dos o tres alumnes. Aquest projecte s'entregarà un cop acabades les classes, en el període d'exàmens, però prèviament, en la darrera setmana de classes, els estudiants hauran de presentar oralment el projecte a classe davant de tots els companys, a mena de Work in Progress (WIP). Si aquesta presentació i el tema del projecte es consideressin satisfactoris, i els estudiants haguessin entregat també satisfactòriament tots els exercicis no hauran de realitzar l'examen final.

Examen final : Avaluació escrita que podrà combinar preguntes de tipus test, temes teòrics a desenvolupar, així com petits problemes de programació . Donat que aquesta és una assignatura amb un pes pràctic important, els estudiants que hagin satisfet totes les altres tasques podran quedar alliberats d’examen (a criteri del professor, segons lo establert a la taula del apartat 5).

Dedicació dels estudiants
La assignatura té 4 crèdits ECTS que es corresponen a 100 hores de treball de l’alumne, de les quals 36 són presencials. Aquestes 36 hores estan dividides en sessions magistrals (18 hores), i sessions de pràctiques i de seminaris de grup mitjà (18 hores). Les següents taules detallen aquest aspecte, junt amb la dedicació estimada dels estudiants fora de classe, per a cada un dels blocs avaluables

 Hores a l'aulaHores fora de l'aula
Blocs de contingutGrup granGrup mitjà  

 Preparació Pràctica 1

 

4

  

8
 Preparació Pràctica 2   4   8
 Preparació Pràctica 3   4   8
 Sessions magistrals 14      
 Projecte final 4 6   32

 Examen

 

 

  

8

Total:

18

18

  

64

Total: 100

 

 

Recursos

Bibliografia i Recursos on­‐line