Curso 2014-15

Procesado de Audio en Tiempo Real

Titulación: Código: Tipo:
Grado en Ingeniería Informática 21492 Optativa
Grado en Ingeniería Telemática 21768 Optativa
Grado en Ingeniería en Sistemas Audiovisuales 21623 Obligatoria 4º curso

 

Créditos ECTS: 4 Dedicación: 100 horas Trimestre: 1º

 

Departamento: Dpto. de Tecnologías de la Información y las Comunicaciones
Coordinador: Sergi Jord 
Profesorado:

Sergi Jord
Idioma:

Catal (explicacions), angls (material)
Horario:
Campus: Campus de la Comunicación - Poblenou

 

Presentación de la assignatura

La asignatura "Procesamiento de Audio en Tiempo Real" es obligatoria en el 4 curso del grado en Ingeniera de Sistemas Audiovisuales. Esta asignatura puede ser entendida como la continuacin de "Seales y Sistemas" (asignatura comn a los tres grados, impartida durante los dos primeros trimestres del segundo curso) y de "Procesamiento de Sonido y Msica", asignatura de 3 curso del grado en Ingeniera de sistemas Audiovisuales.

La asignatura en relacin a los postgrados y msters del departamento

Esta asignatura constituye tambin una excelente introduccin para varias asignaturas de mster en Tecnologas del Sonido y la Msica (SMC) y del mster interdisciplinario (CSIM), ya que cubre conceptos, herramientas y tecnologas, que en dichos msters se dan por conocidos, o se ven muy rpidamente, y que hasta ahora no tenan cabida en los anterior cursos del grado de ingeniera.

Procesamiento de Audio en Tiempo Real (4 curso AV) - >

    - Real Time Interaction (master SMC)
    - Advanced Interface Design (master CSIM)
    - Audio and Music Processing (master SMC)
    - Audio and Music Analysis (master SMC)

Objetivos de aprendizaje

Caractersticas diferenciales de la generacin y procesado de audio, y de la interaccin en tiempo real. Herramientas y lenguajes de programacin para el procesamiento y la generacin de audio en tiempo real.

 

Prerequisitos

Seales y Sistemas (2 curso COM) - > Procesamiento de Sonido y Msica (3 curso AV) - > Procesamiento de Audio en Tiempo Real (4 curso AV)

Seales y Sistemas (8, COM, 2 curso, 1 y 2 t)
Nmeros Complejos. Anlisis de Fourier. Transformadas de Fourier discretas y continuas. Algoritmo de la Transformada Rpida de Fourier. Muestreo de Seales analgicas. Sistemas lineales. Filtrado de seal. Anlisis y modelado del ruido.

Procesamiento de Sonido y Msica (AV, 3 curso, 1 t)
Anlisis, transforma y sntesis digital de sonido. Representaciones temporales y frecuenciales de seal musicales. Transformada de Fourier en tiempo corto. Modelado espectral de seal musicales. Modelado sinusoidal ms residual de seal musicales. Extraccin de atributos perceptuales de las seales de sonido y msica. Aplicaciones musicales basadas en el Procesado de audio.

Los estudiantes que cursen esta asignatura tendrn por tanto un conocimiento previo de los fundamentos informticos de las tecnologas de musicales y de audio, de las tcnicas de anlisis y sntesis espectrales, as como de diferentes algoritmos para la generacin y el procesamiento de seales de audio. Los estudiantes debern tener tambin un conocimiento suficiente del ingls, ya que muy bien toda la documentacin existente se encuentra en este idioma.

 

Competencias

Competencias transversales

Competencias especficas
Instrumentales

1. Capacidad de anlisis y sntesis, abstraccin y sistematizacin.

2. Resolucin de problemas.

3. Capacidad de comprender informacin avanzada en lengua inglesa.

4. Capacidad de comunicarse con propiedad de forma oral y escrita en cataln, castellano o ingls, tanto ante audiencias expertas como inexpertas.

5. Capacidad de comprender y analizar los problemas tecnolgicos ligados a la generacin ya la modificacin de contenidos en tiempo real.

Interpersonales

6. Trabajo en equipo.

7. Capacidad de crtica y autocrtica.

8. Exposicin de los resultados obtenidos.

Sistmicas

9. Capacidad para integrar conocimientos y metodologas en la prctica.

10. Capacidad para trabajar autnomamente en la resolucin de problemas.

11. Preocupacin por la calidad.
  1. Entender las diferencias y matices del trmino tiempo-real en los diferentes mbitos en los que se aplica (p.ej. computacin, sistemas operativos, generacin y procesado, interaccin).
  2. Entender y saber utilizar y distinguir los conceptos de ciclo de control, latencia, granularitad (rate) de entrada y de salida y jitter, en aplicaciones a tiempo real.
  3. Conocer los protocolos MIDI y OSC.
  4. Conocer la historia, los principios bsicos y las posibilidades de la sntesis y el procesado de sonido.
  5. Conocer algunos de las tcnicas bsicas de sntesis y de procesado de sonido, cmo han ido evolucionando a lo largo del tiempo, qu posibilidades aportan, y cmo se pueden programar.
  6. Entender las tcnicas bsicas del procesado espectral, y sus posibilidades
  7. Aprender un lenguaje de programacin como por ejemplo Pure Data, para la generacin y procesado de audio en tiempo real.

 

Evaluación

Para cursar con xito la asignatura es necesario superar el nivel mnimo requerido en cada una de las competencias a desarrollar en la asignatura. Dado que la mayora de las competencias se trabajan y evalan de forma presencial (en el aula) y continua a lo largo de la asignatura, la asistencia a clase es imprescindible. Tambin es clave para aprovechar la asignatura que el alumno mantenga una actitud activa. Esto significa que debe ser crtico con los aspectos tratados, haciendo sus propias reflexiones y manteniendo en todo momento inters y curiosidad sobre el material presentado.

La asignatura se supera teniendo un mnimo de 5 puntos como nota final. Esta nota final se calcular de acuerdo a las actividades y porcentajes que se muestran en la siguiente tabla. 

Peso de cada una de las actividades en la nota final
(con examen)

Prcticas obligatorias

40%

Proyecto final

30%

Examen final

30%

Dado que la asignatura es eminentemente prctica, el profesor se reserva la posibilidad de no realizar examen final en el caso de los estudiantes que hayan asistido y participado activamente en las clases, y que hayan realizado las otras tareas con correccin. En este caso, los pesos de cada una de las actividades pasara a ser los de la siguiente tabla.

Pes de cada una de les activitats en la nota final
(sense examen)

Prcticas obligatorias

60%

Projecte final

40%

A continuacin se dan ms detalles sobre cada una de estas pruebas.

 

Activitad

Valor de la evaluacin

Criterio de evaluacin

Requisitos mnimos para aprobar la asignatura (evaluacin ordinaria)

Requisitos mnimos para optar a la recuperacin

Actividad de recuperacin

Requisitos mnimos para aprobar la asignatura (recuperacin)

Examen final

30%

Para aprobar el examen es necesario obtener una nota superior o igual  a 5

Es condicin indispensable obtener una nota superior o igual  a 4 en el examen para poder hacer media

 

Para presentar-se a recuperacin  se necesario haber presentado las tres pruebas del curso. En  caso de no haber entregado alguna de las actividades, el alumno no podr utilizar el periodo  de recuperacin

Examen terico

Aprobar el examen terico con una calificacin mnima de 5 sobre 10

Prcticas obligatorias (2)

40%

Asistencia y participacin  activa en las sesiones. Entrega final de las dos prcticas acabadas y en  los *plaos requeridos

Es condicin indispensable aprobar las prcticas (>=5) para poder hacer media.

 

Haber entregado todas las prcticas y el  proyecto

Correccin de las prcticas incorrectas

Aprobar las  prcticas con una calificacin mnima de 5 sobre 10

Prctica /proyecto

30%

Asistencia y participacin  activa en las sesiones. Entrega final del trabajo, y presentacin  a clase.

Es condicin indispensable aprobar el proyecto (>=5) para poder hacer media.

 

Haber entregado todas las prcticas y el  proyecto.

Correccin del proyecto o realizacin  de un proyecto nuevo

Aprobar el proyecto con una calificacin mnima de 5 sobre 10

 

 

Contenidos

La asignatura est organizada en un bloque terico y un bloque prctico. A continuacin se detallan los contenidos de cada unos de estos bloques.

Bloque Terico

Introduccin al tiempo real, arquitecturas de tiempo real y aspectos tcnicos bsicos: Que es y que no es el tiempo real. rdenes de magnitud temporales y perceptuales, segn los medios y los tipos de estmulo. El ciclo de control en detalle. Latencia. Granularitad de entrada y de salida. Jitter y estabilidad temporal. Modelos sncronos vs. asncronos. Sistemas single-threated vs. multe-threaded. Mtodos de captura de datos basados en polling vs. interrupciones. El tiempo real en la sntesis y el procesado de audio. Buffering.

Introduccin a la sntesis de audio: Osciladores y formas de ola. Modulacin y osciladores de baja frecuencia (*LFO). *Envelopants. Filtros. Waveshaping.

Protocolos musicales de control y sus aplicaciones: Control vs. audio. El protocolo MIDI. El protocolo Open Sound Control (OSC).

El Sampler y wavetable: Historia del sampler. Audio en memoria vs. audio en disco llevar. Pitch Shifting y looping.

Efectos de procesado basados en el tiempo: Live sampling. Delay lines. Feedback y comb filtering. Sntesis Karplus-*Strong. Lneas de retraso variables (flanger y chorus).

Procesado espectral: Introduccin al procesado espectral. Aplicaciones bsicas: ecualizacin, convolucin, pitch-shifting, time-stretching Anlisis, clasificacin y otras aplicaciones avanzadas. 

Bloque Prctico

Programacin musical en tiempo real con un lenguaje del tipo visual data flow, como por ejemplo Pure Data

  1. Lenguajes de programacin data flow. Programacin basada en eventos. Flujo de control vs. flujo de audio. Scheduling, sincrona y gestin de threads. Objetos de entrada GUI. Encapsulacin.
  2. Entrada de datos. Comunicacin MIDI y OSC. Tcnicas de filtrage de datos. Ejercicios bsicos de control de flujo.
  3. Introduccin a la sntesis de audio. Modulacin y sntesis subtractiva.
  4. Procesado de audio. Live electronics. Efectos basados en el tiempo. Retrasos.
  5. Procesado espectral y anlisis avanzado de audio. Extraccin de pitch y seguidores de envolventes. Anlisis y procesado espectral.


Software empleado en las prcticas

Se utilizar el software Pure Data. Este software es open-source y multe-plataforma, por el que las prcticas podrn ser realizadas bajo Linux, Windows o MacOSX. Esta decisin se ha tomado en el entendido que a los estudiantes no se los tendra que exigir la realizacin de prcticas usando software propietario o de pago, pues esto obligara que slo pudieran trabajar en los ordenadores de la universidad (que paga licencias para estos programas), con la consiguiente restriccin en en cuanto a posibilidades de trabajar cmodamente en las prcticas.

 

Metodología

La metodologa  de esta asignatura combina sesiones magistrales de explicacin del profesor con  el trabajo individual y en  grupo realizado por los alumnos en sesiones de grupo  media o pequeo. En particular, el trabajo se ha organizado de la forma siguiente: 

 

Dedicacin de los estudiantes

La asignatura  tiene 4 crditos ECTS que se corresponden a 100 horas de trabajo   del alumno, de las cuales 36 son presenciales. Estas 36 horas estn divididas en sesiones magistrales (18 horas), sesiones de prcticas  de grupo  mediano (10 horas) y sesiones de seminarios  con grupos pequeos de alumnos (8 horas). Las siguientes mesas detallan este aspecto, junto con  la dedicacin estimada de los estudiantes fuera  de clase, para cada uno de los bloques evaluables.

 

Actividades en el aula

Actividades fuera  del aula

 

Actividades

Grupo grande

Grupo mediano

Grupo pequeo

 

 

Teora

18

 

 

 

 

Prcticas (2) con ordenadores (en grupos de 2 o 3)

 

6

 

24

 

Seminarios

 

 

6

8

 

Proyecto final (en grupos de 2 o 3)

 

 4

 2

24

 

Preparacin examen 

 

 

 

8

 

Total:  

18

10

8

64

Total: 100

 

Recursos

Bibliografa y Recursos on-line