Pla docent

Curso 2014-15

Procesado de Audio en Tiempo Real

Titulación:	Código:	Tipo:
Grado en Ingeniería Informática	21492	Optativa
Grado en Ingeniería Telemática	21768	Optativa
Grado en Ingeniería en Sistemas Audiovisuales	21623	Obligatoria 4º curso

Créditos ECTS:

Dedicación:

100 horas

Trimestre:

1º

Departamento:	Dpto. de Tecnologías de la Información y las Comunicaciones
Coordinador:	Sergi Jordà
Profesorado:	Sergi Jordà
Idioma:	Català (explicacions), anglès (material)
Horario:
Campus:	Campus de la Comunicación - Poblenou

Presentación de la assignatura

La asignatura "Procesamiento de Audio en Tiempo Real" es obligatoria en el 4º curso del grado en Ingeniería de Sistemas Audiovisuales. Esta asignatura puede ser entendida como la continuación de "Señales y Sistemas" (asignatura común a los tres grados, impartida durante los dos primeros trimestres del segundo curso) y de "Procesamiento de Sonido y Música", asignatura de 3º curso del grado en Ingeniería de sistemas Audiovisuales.

La asignatura en relación a los postgrados y másters del departamento

Esta asignatura constituye también una excelente introducción para varias asignaturas de máster en Tecnologías del Sonido y la Música (SMC) y del máster interdisciplinario (CSIM), ya que cubre conceptos, herramientas y tecnologías, que en dichos másters se dan por conocidos, o se ven muy rápidamente, y que hasta ahora no tenían cabida en los anterior cursos del grado de ingeniería.

Procesamiento de Audio en Tiempo Real (4º curso AV) - >

    - Real Time Interaction (master SMC)
    - Advanced Interface Design (master CSIM)
    - Audio and Music Processing (master SMC)
    - Audio and Music Analysis (master SMC)

Objetivos de aprendizaje

Características diferenciales de la generación y procesado de audio, y de la interacción en tiempo real. Herramientas y lenguajes de programación para el procesamiento y la generación de audio en tiempo real.

Prerequisitos

Señales y Sistemas (2º curso COM) - > Procesamiento de Sonido y Música (3º curso AV) - > Procesamiento de Audio en Tiempo Real (4º curso AV)

Señales y Sistemas (8, COM, 2º curso, 1 y 2 t)
Números Complejos. Análisis de Fourier. Transformadas de Fourier discretas y continuas. Algoritmo de la Transformada Rápida de Fourier. Muestreo de Señales analógicas. Sistemas lineales. Filtrado de señal. Análisis y modelado del ruido.

Procesamiento de Sonido y Música (AV, 3º curso, 1 º t)
Análisis, transforma y síntesis digital de sonido. Representaciones temporales y frecuenciales de señal musicales. Transformada de Fourier en tiempo corto. Modelado espectral de señal musicales. Modelado sinusoidal más residual de señal musicales. Extracción de atributos perceptuales de las señales de sonido y música. Aplicaciones musicales basadas en el Procesado de audio.

Los estudiantes que cursen esta asignatura tendrán por tanto un conocimiento previo de los fundamentos informáticos de las tecnologías de musicales y de audio, de las técnicas de análisis y síntesis espectrales, así como de diferentes algoritmos para la generación y el procesamiento de señales de audio. Los estudiantes deberán tener también un conocimiento suficiente del inglés, ya que muy bien toda la documentación existente se encuentra en este idioma.

Competencias

Competencias transversales	Competencias específicas
Instrumentales 1. Capacidad de análisis y síntesis, abstracción y sistematización. 2. Resolución de problemas. 3. Capacidad de comprender información avanzada en lengua inglesa. 4. Capacidad de comunicarse con propiedad de forma oral y escrita en catalán, castellano o inglés, tanto ante audiencias expertas como inexpertas. 5. Capacidad de comprender y analizar los problemas tecnológicos ligados a la generación ya la modificación de contenidos en tiempo real. Interpersonales 6. Trabajo en equipo. 7. Capacidad de crítica y autocrítica. 8. Exposición de los resultados obtenidos. Sistémicas 9. Capacidad para integrar conocimientos y metodologías en la práctica. 10. Capacidad para trabajar autónomamente en la resolución de problemas. 11. Preocupación por la calidad.	Entender las diferencias y matices del término “tiempo-real” en los diferentes ámbitos en los que se aplica (p.ej. computación, sistemas operativos, generación y procesado, interacción). Entender y saber utilizar y distinguir los conceptos de ciclo de control, latencia, granularitad (rate) de entrada y de salida y “jitter”, en aplicaciones a tiempo real. Conocer los protocolos MIDI y OSC. Conocer la historia, los principios básicos y las posibilidades de la síntesis y el procesado de sonido. Conocer algunos de las técnicas básicas de síntesis y de procesado de sonido, cómo han ido evolucionando a lo largo del tiempo, qué posibilidades aportan, y cómo se pueden programar. Entender las técnicas básicas del procesado espectral, y sus posibilidades Aprender un lenguaje de programación como por ejemplo Pure Data, para la generación y procesado de audio en tiempo real.

Competencias transversales

Competencias específicas

Instrumentales

1. Capacidad de análisis y síntesis, abstracción y sistematización.

2. Resolución de problemas.

3. Capacidad de comprender información avanzada en lengua inglesa.

4. Capacidad de comunicarse con propiedad de forma oral y escrita en catalán, castellano o inglés, tanto ante audiencias expertas como inexpertas.

5. Capacidad de comprender y analizar los problemas tecnológicos ligados a la generación ya la modificación de contenidos en tiempo real.

Interpersonales

6. Trabajo en equipo.

7. Capacidad de crítica y autocrítica.

8. Exposición de los resultados obtenidos.

Sistémicas

9. Capacidad para integrar conocimientos y metodologías en la práctica.

10. Capacidad para trabajar autónomamente en la resolución de problemas.

11. Preocupación por la calidad.

Entender las diferencias y matices del término “tiempo-real” en los diferentes ámbitos en los que se aplica (p.ej. computación, sistemas operativos, generación y procesado, interacción).
Entender y saber utilizar y distinguir los conceptos de ciclo de control, latencia, granularitad (rate) de entrada y de salida y “jitter”, en aplicaciones a tiempo real.
Conocer los protocolos MIDI y OSC.
Conocer la historia, los principios básicos y las posibilidades de la síntesis y el procesado de sonido.
Conocer algunos de las técnicas básicas de síntesis y de procesado de sonido, cómo han ido evolucionando a lo largo del tiempo, qué posibilidades aportan, y cómo se pueden programar.
Entender las técnicas básicas del procesado espectral, y sus posibilidades
Aprender un lenguaje de programación como por ejemplo Pure Data, para la generación y procesado de audio en tiempo real.

Evaluación

Para cursar con éxito la asignatura es necesario superar el nivel mínimo requerido en cada una de las competencias a desarrollar en la asignatura. Dado que la mayoría de las competencias se trabajan y evalúan de forma presencial (en el aula) y continua a lo largo de la asignatura, la asistencia a clase es imprescindible. También es clave para aprovechar la asignatura que el alumno mantenga una actitud activa. Esto significa que debe ser crítico con los aspectos tratados, haciendo sus propias reflexiones y manteniendo en todo momento interés y curiosidad sobre el material presentado.

La asignatura se supera teniendo un mínimo de 5 puntos como nota final. Esta nota final se calculará de acuerdo a las actividades y porcentajes que se muestran en la siguiente tabla.

Peso de cada una de las actividades en la nota final (con examen)
Prácticas obligatorias	40%
Proyecto final	30%
Examen final	30%

Dado que la asignatura es eminentemente práctica, el profesor se reserva la posibilidad de no realizar examen final en el caso de los estudiantes que hayan asistido y participado activamente en las clases, y que hayan realizado las otras tareas con corrección. En este caso, los pesos de cada una de las actividades pasaría a ser los de la siguiente tabla.

Pes de cada una de les activitats en la nota final (sense examen)
Prácticas obligatorias	60%
Projecte final	40%

A continuación se dan más detalles sobre cada una de estas pruebas.

Activitad	Valor de la evaluación	Criterio de evaluación	Requisitos mínimos para aprobar la asignatura (evaluación ordinaria)	Requisitos mínimos para optar a la recuperación	Actividad de recuperación	Requisitos mínimos para aprobar la asignatura (recuperación)
Examen final	30%	Para aprobar el examen es necesario obtener una nota superior o igual a 5	Es condición indispensable obtener una nota superior o igual a 4 en el examen para poder hacer media	Para presentar-se a recuperación se necesario haber presentado las tres pruebas del curso. En caso de no haber entregado alguna de las actividades, el alumno no podrá utilizar el periodo de recuperación	Examen teórico	Aprobar el examen teórico con una calificación mínima de 5 sobre 10
Prácticas obligatorias (2)	40%	Asistencia y participación activa en las sesiones. Entrega final de las dos prácticas acabadas y en los *plaços requeridos	Es condición indispensable aprobar las prácticas (>=5) para poder hacer media.	Haber entregado todas las prácticas y el proyecto	Corrección de las prácticas incorrectas	Aprobar las prácticas con una calificación mínima de 5 sobre 10
Práctica /proyecto	30%	Asistencia y participación activa en las sesiones. Entrega final del trabajo, y presentación a clase.	Es condición indispensable aprobar el proyecto (>=5) para poder hacer media.	Haber entregado todas las prácticas y el proyecto.	Corrección del proyecto o realización de un proyecto nuevo	Aprobar el proyecto con una calificación mínima de 5 sobre 10

Contenidos

La asignatura está organizada en un bloque teórico y un bloque práctico. A continuación se detallan los contenidos de cada unos de estos bloques.

Bloque Teórico

Introducción al tiempo real, arquitecturas de tiempo real y aspectos técnicos básicos: Que es y que no es el tiempo real. Órdenes de magnitud temporales y perceptuales, según los medios y los tipos de estímulo. El ciclo de control en detalle. Latencia. Granularitad de entrada y de salida. Jitter y estabilidad temporal. Modelos síncronos vs. asíncronos. Sistemas single-threated vs. multe-threaded. Métodos de captura de datos basados en “polling” vs. interrupciones. El tiempo real en la síntesis y el procesado de audio. Buffering.

Introducción a la síntesis de audio: Osciladores y formas de ola. Modulación y osciladores de baja frecuencia (*LFO). *Envelopants. Filtros. Waveshaping.

Protocolos musicales de control y sus aplicaciones: Control vs. audio. El protocolo MIDI. El protocolo Open Sound Control (OSC).

El Sampler y wavetable: Historia del sampler. Audio en memoria vs. audio en disco llevar. Pitch Shifting y looping.

Efectos de procesado basados en el tiempo: Live sampling. Delay lines. Feedback y comb filtering. Síntesis Karplus-*Strong. Líneas de retraso variables (flanger y chorus).

Procesado espectral: Introducción al procesado espectral. Aplicaciones básicas: ecualización, convolución, pitch-shifting, time-stretching… Análisis, clasificación y otras aplicaciones avanzadas.

Bloque Práctico

Programación musical en tiempo real con un lenguaje del tipo visual data flow, como por ejemplo Pure Data

Lenguajes de programación “data flow”. Programación basada en eventos. Flujo de control vs. flujo de audio. Scheduling, sincronía y gestión de threads. Objetos de entrada GUI. Encapsulación.
Entrada de datos. Comunicación MIDI y OSC. Técnicas de filtrage de datos. Ejercicios básicos de control de flujo.
Introducción a la síntesis de audio. Modulación y síntesis subtractiva.
Procesado de audio. “Live electronics”. Efectos basados en el tiempo. Retrasos.
Procesado espectral y análisis avanzado de audio. Extracción de pitch y seguidores de envolventes. Análisis y procesado espectral.

Software empleado en las prácticas

Se utilizará el software Pure Data. Este software es open-source y multe-plataforma, por el que las prácticas podrán ser realizadas bajo Linux, Windows o MacOSX. Esta decisión se ha tomado en el entendido que a los estudiantes no se los tendría que exigir la realización de prácticas usando software propietario o de pago, pues esto obligaría que sólo pudieran trabajar en los ordenadores de la universidad (que paga licencias para estos programas), con la consiguiente restricción en en cuanto a posibilidades de trabajar cómodamente en las prácticas.

Metodología

La metodología de esta asignatura combina sesiones magistrales de explicación del profesor con el trabajo individual y en grupo realizado por los alumnos en sesiones de grupo media o pequeño. En particular, el trabajo se ha organizado de la forma siguiente:

Sesiones magistrales de presentación : las realizan los profesores en la clase de teoría , abordando-se en cada una de ellas un tema de la asignatura. Se espera de los alumnos que participen realizando preguntas y comentarios .
Sesiones de seminario : Son sesiones en grupo pequeño donde los alumnos trabajan individualmente o en grupos, dependiendo de las actividades planteadas por los profesores. Las actividades planteadas en los seminarios son de carácter diverso de forma que permitan practicar, revisar y discutir activamente las cuestiones trabajadas a las clases magistrales, así como abordar de forma más sencilla y desglosada , problemas que se tendrán que resolver en las prácticas obligatorias. A criterio de los profesor, algunos de estos trabajos podrán ser o no entregables (y evaluables ). En el caso en que lo sean, se contabilizarán conjuntamente con las notas de prácticas .
Prácticas sobre ordenador: Las realizan los alumnos en el aula de ordenadores supervisados por el profesor y sirven para afianzar los conocimientos adquiridos en las sesiones magistrales y el estudio personal. Los estudiantes tendrán que llevar a cabo y entregar dos prácticas obligatorias a lo largo del curso (con una duración media de dos o tres semanas cada una). Esta actividad se realizará en grupos de dos o tres alumnos. L
Práctica/proyecto sobre ordenador: Esta tercera y detrás práctica obligatoria tendrá un carácter más abierto y personal, de forma que cada grupo podrá optar por un enfoque diferente, dentro de las pautas establecidas. Este último trabajo tendrá que presentarse públicamente en clase , durante la última semana del curso.
Examen final: Evaluación de todos los conocimientos de la asignatura.

Dedicación de los estudiantes

La asignatura tiene 4 créditos ECTS que se corresponden a 100 horas de trabajo del alumno, de las cuales 36 son presenciales. Estas 36 horas están divididas en sesiones magistrales (18 horas), sesiones de prácticas de grupo mediano (10 horas) y sesiones de seminarios con grupos pequeños de alumnos (8 horas). Las siguientes mesas detallan este aspecto, junto con la dedicación estimada de los estudiantes fuera de clase, para cada uno de los bloques evaluables.

	Actividades en el aula			Actividades fuera del aula
Actividades	Grupo grande	Grupo mediano	Grupo pequeño
Teoría	18
Prácticas (2) con ordenadores (en grupos de 2 o 3)		6		24
Seminarios			6	8
Proyecto final (en grupos de 2 o 3)		4	2	24
Preparación examen				8
Total:	18	10	8	64	Total: 100

Recursos

Bibliografía y Recursos on-line

Puckette, M. Theory and Techniques of Electronic Music, available on-‐line at http://crca.ucsd.edu/~msp/techniques/latest/book.pdf
Jordà, S. Guía de programación en PD, available on-line at http://www.tecn.upf.es/%7Esjorda/PD/IntroduccionPD3.pdf
Pure Data Floss Manual, available on-‐line at http://en.flossmanuals.net/puredata