Curso 2013-14
Visión Tridimensional
| Titulación: | Código: | Tipo: |
| Grado en Ingeniería Informática | 21495 | Optativa |
| Grado en Ingeniería Telemática | 22596 | Optativa |
| Grado en Ingeniería en Sistemas Audiovisuales | 21631 | Optativa |
| Créditos ECTS: | 4 | Dedicación: | 100 horas | Trimestre: | 3º |
| Departamento: | Dpto. de Tecnologías de la Información y las Comunicaciones |
| Coordinador: | Glòria Haro |
| Profesorado: | Gloria Haro, Babak Rezaei. |
| Idioma: | Inglés |
| Horario: | |
| Campus: | Campus de la Comunicación - Poblenou |
Esta asignatura trata de los fundamentos de la reconstrucción tridimensional de una escena, objeto o persona a partir de dos o más cámaras posicionadas en diferentes puntos de vista. La visión tridimensional tiene múltiples aplicaciones, como pueden ser: generación de nuevos puntos de vista de una escena, reconstrucción 3D de ciudades reconstrucción 3D de piezas de museos y esculturas, reconstrucción 3D del cuerpo humano por reconocimiento de gestos, seguimiento del cuerpo o hasta y todo animación de personajes virtuales en cine digital y videojuegos.
Comenzaremos estudiando los conceptos básicos de geometría proyectiva del plano y del espacio y la estimación de homografías en 2D. Veremos algunos modelos de cámaras, es decir, como modelar el mapeo entre el mundo 3D y la imagen 2D. Continuaremos con la calibración de cámaras y con la visión estéreo (a partir de dos vistas) y los conceptos implicados: calibración a partir de patrones, autocalibración utilizando imágenes, geometría epipolar, matriz fundamental, rectificación, planes de la escena y homografías. Finalmente veremos la geometría de tres o más vistas: estudiaremos el tensor trifocal y la reconstrucción tridimensional de una escena.
La asignatura tendrá una fuerte componente práctica, parte de la cual se realizará en un laboratorio que dispone de ocho cámaras. En las prácticas los alumnos usarán algunas librerías proporcionadas y también deberán programar algunos de los algoritmos estudiados.
Se pide como prerrequisito haber cursado con éxito las siguientes asignaturas: Álgebra Lineal y Matemática Discreta, Cálculo y Métodos Numéricos, Procesamiento de Imagen. La asignatura optativa Análisis e Interpretación de Imágenes no es imprescindible pero si recomendable.
| Competencias transversales | Competencias específicas |
|---|---|
| Instrumentales G1. Capacidad de análisis y síntesis G2. Capacidad de organización y planificación G3. Capacidad para aplicar los conocimientos al análisis de situaciones y la resolución de problemas G4. Habilidad en la búsqueda y la gestión de la información G5. Habilidad en la toma de decisiones Interpersonales G8. Capacidad de trabajo en equipo Sistémicas G11. Capacidad de aplicar con flexibilidad y creatividad los conocimientos adquiridos y de adaptarlos a contextos y situaciones nuevas G12. Capacidad para progresar en los procesos de formación y aprendizaje de manera autónoma y continua |
Competencias Específicas de Formación Básica E1. Adquirir los conocimientos básicos de geometría proyectiva, afi y euclídea aplicada a cámaras y problemas de reconstrucción 3D. E2 . Conocimiento de algoritmos para calcular homografías. E3 . Adquirir los conocimientos básicos sobre los modelos de cámaras . E4 . Conocimiento de algoritmos para calcular la matriz de una cámara. Adquirir los conocimientos básicos sobre calibración de una cámara. E5 . Adquirir los conocimientos básicos sobre la geometría de dos vistas , la matriz esencial y la matriz fundamental . E6 . Conocimiento de algoritmos para calcular la matriz fundamental. Rectificación de imágenes. E7 . Adquirir los conocimientos básicos sobre Reconstrucción 3D de una escena a partir de dos cámaras . E8 . Adquirir los conocimientos básicos sobre la geometría de múltiples vistas , auto- calibración y reconstrucción 3D a partir de múltiples cámaras. Competencias Específicas de Ingeniería en Informática IN37 . Conocer y saber aplicar las técnicas básicas de creación de imágenes gráficas por ordenador, incluyendo los algoritmos de geometría computacional y las técnicas de trazado de rayos. Competencias de tecnología específica : Sistemas Audiovisuales AU14 . Adquirir los conocimientos básicos sobre métodos numéricos de optimización de problemas lineales y no lineales sin y con restricciones . Tener un conocimiento de las aplicaciones de estos métodos en la ingeniería y en particular , en la ingeniería de la comunicación audiovisual. AU16 . Adquirir los conocimientos básicos de óptica y entender el funcionamiento de una cámara , en particular , de las cámaras digitales . AU17 . Adquirir los conocimientos básicos del procesamiento de imágenes: Adquisición , color , muestreo y cuantización , los métodos basados en transformadas , la morfología matemática . Conocer la teoría de la información y la compresión de imágenes. AU18 . Adquirir los conocimientos básicos sobre el análisis de imágenes. Adquirir los conocimientos básicos sobre la obtención de forma a partir del movimiento , de la visión estereoscópica , de la textura o de la intensidad . AU19 . Adquirir los conocimientos sobre la estimación de parámetros de una cámara . Adquirir los conocimientos básicos sobre las relaciones geométricas entre varias vistas de una escena y la geometría de la escena a partir de imágenes . AU20 . Adquirir los conocimientos básicos de las técnicas de trazado de rayos , del modelado geométrico y de la generación de imágenes sintéticas . AU26 . Conocer los fundamentos prácticos y teóricos de los equipos involucrados en la captura de vídeo , su reproducción así como su uso y aplicación en los sistemas audiovisuales más habituales hoy en día. |
La evaluación será continua y los mecanismos de evaluación de las competencias serán:
• Prácticas en los laboratorios de ordenadores (40%): seis prácticas. La realización de las prácticas en las clases correspondientes es un requisito indispensable para aprobar la asignatura. Esta actividad no es recuperable.
• Prueba final individual (60%): sobre aspectos teóricos y ejercicios similares a los realizados en los seminarios o explicados en las clases teóricas y seminarios. También habrá preguntas relacionadas con las prácticas de la asignatura. Esta prueba es recuperable en julio.
Bloque 1 : Geometría proyectiva y transformaciones de imágenes.
Conceptos básicos de geometría proyectiva del plano y del espacio. Transformaciones: proyectiva (homografía), afín, similaridad, Euclídea.
Rectificación afín y rectificación métrica.
Estimación de homografías en 2D: algoritmo Direct Linear Transformation ( DLT ).
Estimación robusta.
Bloque 2 : Modelos de cámaras, geometría de una vista.
Modelización del mapeo entre el mundo 3D y la imagen 2D. Matriz de proyección de la cámara, parámetros internos de la cámara, parámetros externos. Diferentes modelos de cámaras: proyectivo, afín, euclidiano.
Calibración de cámaras. Utilización de miras. Corrección de distorsiones radiales.
La geometría de líneas, planos y cónicas . Calibración de cámaras y la imagen de la cónica absoluta (IAC ). Calibración a partir de una única vista.
Bloque 3: Geometría de dos vistas.
La geometría epipolar y la matriz fundamental. Cálculo de las matrices de dos cámaras a partir de la matriz fundamental. La matriz esencial.
Algoritmos para calcular la matriz fundamental. Diferentes criterios de estimación. Algoritmo basado en 8 correspondencias. Algoritmo Gold - Standard. Cálculo de la matriz fundamental a partir de una homografía y otros dos correspondencias.
Rectificación de imágenes.
Reconstrucción 3D de una escena. Reconstrucción proyectiva, afín y métrica . Método de bundle adjustment .
Bloque 4: Geometría de múltiples vistas.
Introducción a la geometría de múltiples vistas. Reconstrucción proyectiva: bundle adjustment. Reconstrucción afin . Métodos de factorización. Auto- calibración : método de la cuádrica dual absoluta. Calibración estratificado.
La metodología de esta asignatura combina sesiones presenciales , trabajo individual y trabajo en grupo . Las sesiones presenciales serán tanto sesiones magistrales de explicación del profesor como sesiones de prácticas de laboratorio y sesiones de seminario , con trabajo individual y en grupo realizado por los alumnos . Las sesiones magistrales y seminarios tendrán una duración de dos horas . Las prácticas tendrán una duración de una hora y media.
De forma más detallada , el trabajo dentro y fuera del aula se ha organizado de la forma siguiente :
• Sesiones magistrales o de grupo grande: se trata de nueve sesiones en las que se introducen los conceptos teóricos y se muestran los procedimientos adecuados para la resolución de prácticas y problemas . El profesor explicará los conceptos teóricos básicos y se encargará de proponer y resolver ejemplos de problemas tipo para clarificar la teoría y para que los alumnos tengan una primera aproximación a lo que se encontrarán en la clase de seminarios . El peso de la sesión lo lleva el profesor y se espera de los alumnos que participen realizando preguntas y comentarios.
• Prácticas con ordenador : son 6 sesiones en grupo medio, de una hora y media de duración. Previamente los alumnos dispondrán del enunciado y material necesario para preparar la sesión . La dinámica de estas sesiones es la siguiente: En primer lugar , el profesor hace una breve explicación de la práctica a desarrollar y después los alumnos trabajan para la realización de la práctica que entregarán al terminar la clase .
• Sesiones de seminario : son 5 sesiones , de una hora y media de duración . En estas sesiones se resolverán ejercicios prácticos sobre el contenido del temario explicado en las clases de teoría . Previamente los alumnos dispondrán de los enunciados y material necesario para preparar la sesión .
Bibliografía básica:
- RI HARTLEY, A. ZISSERMAN, Multiple view geometry in computer vision, Cambridge University Press, 2000.
- DA FORSYTH, J. PONCE, Computer Vision: moderno approach, Prentice Hall, 2003.
Bibliografía complementaria :
- O. Faugeras, Three -dimensional computer vision: a geométrico viewpoint, MIT Press, cop. 1993.
- O. Faugeras, Q.T. Luong, The geometry of multiple images, MIT Press, 2001.
- R. SZELISKI, Computer Vision: Algorithms and Applications, Springer, 2011. (disponible en línea en: http://szeliski.org/Book/).
- R.C. GONZALEZ, R.E. WOODS, Digital Image Processing, Addison -Wesley, 1992.
Recursos didácticos y material docente:
Los profesores pondrán más material al alcance de los alumnos a través del aula moodle de la asignatura. Este material irá desde textos complementarias y artículos, para las sesiones de teoría, hojas de ejercicios para las sesiones de seminario, guiones de prácticas y fuentes de información diferentes para las sesiones de prácticas.