Curs 2013-14
Processament d'Àudio en Temps Real
| Titulació: | Codi: | Tipus: |
| Grau en Enginyeria Informàtica | 21492 | Optativa |
| Grau en Enginyeria Telemàtica | 21768 | Optativa |
| Grau en Enginyeria en Sistemes Audiovisuals | 21623 | Obligatòria 4t curs |
| Crèdits ECTS: | 4 | Dedicació: | 100 hores | Trimestre: | 1r |
| Departament: | Dept. de Tecnologies de la Informació i les Comunicacions |
| Coordinador: | Sergi Jordà |
| Professorat: | Sergi Jordà |
| Idioma: | Català (explicacions), anglès (material) |
| Horari: | |
| Campus: | Campus de la Comunicació - Poblenou |
L’assignatura “Processament d’Àudio en Temps Real” es obligatòria en el 4t curs del grau en Enginyeria de Sistemes Audiovisuals. Aquesta assignatura pot ser entesa com la continuació de “Senyals i Sistemes” (assignatura comuna als tres graus, impartida durant els dos primers trimestres del segon curs) i de “Processament de So i Música”, assignatura de 3r curs del grau en Enginyeria de Sistemes Audiovisuals.
La assignatura en relació amb els postgraus i màsters del departament
Aquesta assignatura constitueix també una excel·lent introducció per varies assignatures dels màster en Tecnologies del So i la Música (SMC) i del màster interdisciplinari (CSIM), ja que cobreix conceptes, eines i tecnologies, que en els esmentats màsters es donen per coneguts, o es veuen molt ràpidament, i que fins ara no tenien cabuda en els anterior cursos del grau d’enginyeria.
Processament d’Àudio en Temps Real (4t curs AV) ->
Objectius d’aprenentatge
Característiques diferencials de la generació i processat d’àudio, i de la interacció a temps real. Eines i llenguatges de programació per al processament i la generació d’àudio en temps real.
Senyals i Sistemes (2n curs COM) -> Processament de So i Música (3r curs AV) -> Processament d'Àudio en Temps Real (4t curs AV)
Senyals i Sistemes (8, COM, 2n curs, 1 i 2 t)
Números complejos. Análisis de Fourier. Transformadas de Fourier discretas y continuas. Algoritmo de la Transformada Rápida de Fourier. Muestreo de señales analógicas. Sistemas lineales. Filtrado de señales. Análisis y modelado del ruido.
Processament de So i Música (AV, 3r curs, 1r t)
Análisis, transformación y síntesis digital de sonido. Representaciones temporales y frecuenciales de señales musicales. Transformada de Fourier a tiempo corto. Modelado espectral de señales musicales. Modelado sinusoidal más residual de señales musicales. Extracción de atributos perceptuales de las señales de sonido y música. Aplicaciones musicales basadas en el procesado de audio.
Els estudiants que cursin aquesta assignatura tindran per tant un coneixement previ dels fonaments informàtics de les tecnologies de musicals i de l’àudio, de les técniques d’anàlisi i síntesi espectrals, així com de diferents algorismes per la generació i el processament de senyals d’àudio. Els estudiants hauran de tenir també un coneixement suficient de l’anglès, ja que gaire be tota la documentació existent es troba en aquest idioma.
| Competències transversals | Competències específiques |
|---|---|
|
Instrumentals 10. Capacitat per treballar autònomament en la resolució de problemes. 11. Preocupació per la qualitat |
1. Entendre les diferencies i matisos del terme “temps-real” en els diferents àmbits en els que s’aplica (p.ex. computació, sistemes operatius, generació i processat, interacció). 5. Conèixer els protocols MIDI i OSC. 10. Aprendre un llenguatge de programació per a la generació i processat d’àudio en temps real. |
Per a cursar amb èxit l'assignatura és necessari superar el nivell mínim requerit a cadascuna de les competències a desenvolupar en l'assignatura. Donat que la majoria de les competències es treballen i avaluen de forma presencial (a l'aula) i contínua al llarg de l’assignatura, l'assistència a classe és imprescindible. També és clau per a aprofitar l'assignatura que l'alumne mantingui una actitud activa. Això significa que ha de ser crític amb els aspectes tractats, fent les seves pròpies reflexions i mantenint en tot moment interès i curiositat sobre el material presentat.
L'assignatura es supera tenint un mínim de 5 punts com a nota final. Aquesta nota final es calcularà d'acord a les activitats i percentatges que es mostren en la taula següent.
|
Pes de cada una de les activitats en la nota final (amb examen) |
|
|
Exposició treball teòric |
10% |
|
Pràctiques obligatòries |
40% |
|
Projecte final |
20% |
|
Examen final |
30% |
Donat que la assignatura és eminentment pràctica, el professor es reserva la possibilitat de no realitzar examen final en el cas dels estudiants que hagin assistit i participat activament a les classes, i que hagin realitzat les altres tasques amb correcció. En aquest cas, els pesos de cada una de les activitats passaria a ser els de la taula següent.
|
Pes de cada una de les activitats en la nota final (sense examen) |
|
|
Exposició treball teòric |
10% |
|
Pràctiques obligatòries |
60% |
|
Projecte final |
30% |
A continuació és donen més detalls sobre cada una d'aquestes proves.
| Valor de la avaluació | Criteri d'avaluació | Requisits mínims per aprovar (avaluació ordinaria) | Requisitis mínims per optar a la recuperació | Activitat de recuperació | Requisits mínims per aprovar (recuperació) | |
|---|---|---|---|---|---|---|
| Examen final |
30% [0%] |
Per aprovar l’examen és necessari obtenir una nota superior o igual a 5 |
És condició indispensable obtenir una nota superior o igual a 4 en l’examen per poder fer mitja |
Per presentar-se a recuperació es necessari haver presentat les pràctiques i el projecte. En cas de no haver lliurat alguna d'aquestes activitats, l’alumne no podrà utilitzar el període de recuperació |
Examen teòric |
Aprovar l’examen teòric amb una qualificació mínima de 5 sobre 10 |
| Exposició treball teòric |
10% [10%] |
|
És condició indispensable presentar i aprovar el treball (>=5) per poder fer mitja |
No recuperable |
|
|
| Pràctiques obligatòries |
40% [60%] |
Assistència i participació activa en les sessions. Lliurament final de les quatre (4) pràctiques acabades i en els plaços requerits |
És condició indispensable aprovar les pràctiques (>=5) per poder fer mitja. |
No recuperable |
Correcció de les pràctiques incorrectes |
Aprovar les pràctiques amb una qualificació mínima de 5 sobre 10 |
| Projecte final |
20% [30%] |
Per aprovar el treball final és necessari obtenir una nota superior o igual a 5 |
És condició indispensable aprovar el treball (>=5) per poder fer mitja |
No recuperable |
Correcció del projecte final presentat o elaboració d’un nou projecte |
Aprovar el treball amb una qualificació mínima de 5 sobre 10
|
Bloc Teòric
Que és i que no és el temps real. Diverses accepcions del terme (sistemes operatius per temps real, streaming, generació a temps real, interacció a temps real). Sistemes "durs" vs. sistemes "tous". El cicle de control. Ordres de magnitud temporals perceptuals, segons els medis i els tipus d’estímul. Valors temporals i percepció sonora.
El cicle de control en detall. Latència. Granularitat d’entrada i de sortida. Jitter i estabilitat temporal. Models síncrons vs. asíncrons. Sistemes single-threated vs. multi-threaded. Mètodes de captura de dades basats en "polling" vs. interrupcions. El temps real en la síntesi i el processat d’àudio.
El paradigma del ratolí vs. l’instrument musical. Control continu vs. discret. Control multidimensional vs. unidimensionals. Graus de llibertat i ampla de banda de control. Revisió de la Llei de Fits. Diferents tipus de controladors continus i multidimensionals. Multiplexi espacial vs. multiplexió temporal.
L’instrument musical digital vs. l’instrument musical acústic. Breu repàs històric de la música interactiva. Models i possibilitats de la música interactiva i la generació i processat d’àudio en temps real.
Control vs. àudio. El protocol MIDI. El protocol Open Sound Control (OSC). El protocol TUIO. UDP i TCP. El seqüenciador.
La generació musical algorísmica. Escolta artificial (machine listening) i anàlisis d’àudio i musical en temps real.
Definició. Mapeig un a un, divergent i convergent. Estudis de casos. Mapeig perceptual i multicapa. Mètodes de reducció de dimensionalitat. Sistemes de mapeig automàtics i no supervisats. Introducció als Self-Organising Maps.
Bloc Pràctic
Programació musical en temps real amb un llenguatge del tipus visual data flow, com ara Pure Data
Aplicacions d’àudio en temps real en dispositius mòbils
Eines per a la programació d’àudio a temps real en dispositius mòbils. Avantatges, prestacions i limitacions d’aquests tipus de dispositius. Sensors i entrada de dades. Touch i multitouch. Sortida visual en pantalles petites.
Software emprat en les pràctiques
S’utilitzaran els programaris Pure Data, C i Java. Tot el programari usat serà open-source i multi-plataforma, pel que les pràctiques podran ser realitzades sota Linux, Windows o MacOSX. Aquesta decisió s'ha pres en l'entès que als estudiants no se'ls hauria d'exigir la realització de pràctiques usant programari propietari o de pagament, doncs això obligaria que només poguessin treballar en els ordinadors de la universitat (que paga llicències per a aquests programes), amb la consegüent restricció en quant a possibilitats de treballar còmodament en les pràctiques.
La metodologia d'aquesta assignatura combina sessions magistrals d'explicació del professor amb el treball individual i en grup realitzat pels alumnes en sessions de grup mitja o petit. En particular, el treball s'ha organitzat de la forma següent:
- Sessions magistrals de presentació: les realitzen els professors en la classe de teoria, abordant-se en cadascuna d'elles un tema de l'assignatura. S'espera dels alumnes que participin realitzant preguntes i comentaris.
- Presentacions teòriques realitzades pels estudiants: tots els estudiants hauran de preparar alguns dels temes teòrics i presentar-los a classe, en sessions de 20 minuts. Aquestes presentacions es realitzaran en grups de 3 o 4 estudiants. La llista de temes i el calendari de les presentacions es presentarà cada any a l’inici del curs i els estudiants escolliran el tema a presentar (mitjançant eines tipus Doodle). Cada un d’aquests temes de presentació anirà acompanyat d’una llista de material mínim (normalment articles científics en anglès) que els estudiants hauran d’estudiar i analitzar de cara a la presentació.
- Sessions de seminari: Són sessions en grup petit a on els alumnes treballen individualment o en grups, depenent de les activitats plantejades pels professors. Les activitats plantejades en els seminaris són de caràcter divers de forma que permetin practicar, revisar i discutir activament les qüestions treballades a les classes magistrals que formaran part de l’avaluació continuada. Per a preparar els seminaris, els alumnes hauran d’haver realitzar el treball previ requerit.
- Pràctiques sobre ordinador: Les realitzen els alumnes en l'aula d'ordinadors supervisats pel professor i serveixen per a afermar els coneixements adquirits en les sessions magistrals i l'estudi personal. Els estudiants hauran de dur a terme i entregar tres pràctiques obligatòries al llarg del curs (amb una durada mitja de dos o tres setmanes cada una). Aquesta activitat es realitzarà en grups de tres alumnes.
- Projecte pràctic final: Després de les pràctiques obligatòries, els estudiants hauran de realitzar un petit projecte pràctic, emprant els coneixements i les eines estudiats durant el curs. Aquesta activitat es realitzarà en grups de tres alumnes.
Examen final: Avaluació de tots els coneixements de l'assignatura.
Dedicació dels estudiants
La assignatura té 4 crèdits ECTS que es corresponen a 100 hores de treball de l’alumne, de les quals 36 són presencials. Aquestes 36 hores estan dividides en sessions magistrals (18 hores), sessions de pràctiques de grup mitjà (10 hores) i sessions de seminaris amb grups petits d’alumnes (8 hores). Les següents taules detallen aquest aspecte, junt amb la dedicació estimada dels estudiants fora de classe, per a cada un dels blocs avaluables.
| Activitats a l'aula | Activitats fora de l'aula | ||||
|---|---|---|---|---|---|
| Activitats | Grup gran | Grup mitjà | Grup petit | ||
|
Teoria |
18 |
|
|
|
|
|
Pràctiques amb ordinadors |
10 |
24 |
|||
|
Seminaris |
8 |
||||
|
Preparació presentació teòrica (en grups de 3 o 4) |
8 |
||||
|
Projecte final (en grups de 2 o 3) |
24 |
||||
|
Preparació examen |
|
|
|
8 |
|
|
Total: |
18 |
10 |
8 |
64 |
Total: 100 |
Bibliografia i Recursos on‐line
- Chadabe, J (1984). Interactive Composing: An Overview. Computer Music Journal, 8(1), 22-‐28. Republished in Curtis Roads, ed., The Music Machine (Cambridge, MA: MIT Press, 1989).
- Cook, P. R. (2001). Principles for Designing Computer Music Controllers. Proceedings of the 2001 Workshop on New Interfaces for Musical Expression, CHI, 2001. Seattle, WA: electronic proceedings.
- Jordà, S. (2007). Interactivity and Live Computer Music, in "The Cambridge Companion to Electronic Music", Edited by Nick Collins and Julio d’Escrivan. Cambridge University Press, UK. In press.
- Pressing, J. (1990). Cybernetic Issues in Interactive Performance Systems. Computer Music Journal, 14(1), 12-25.
- Puckette, M. Theory and Techniques of Electronic Music, available on-‐line at http://crca.ucsd.edu/~msp/techniques/latest/book.pdf
- Wanderley, M. M. & Orio, N. (2002). Evaluation of Input Devices for Musical Expression: Borrowing Tools from HCI. Computer Music Journal, 26(3), 62-76.
- Wessel, D. & Wright, M. (2002). Problems and Prospects for Intimate Musical Control of Computers, Computer Music Journal, 26(3), 11-‐22.
Recursos didàctics on-line
- Jordà, S. Guía de programación en PD, available on-line at http://www.tecn.upf.es/%7Esjorda/PD/IntroduccionPD3.pdf
- Pure Data Floss Manual, available on-‐line at http://en.flossmanuals.net/puredata