Academic year 2014-15
Three-Dimensional Vision
| Degree: | Code: | Type: |
| Bachelor's Degree in Computer Science | 21495 | Optional subject |
| Bachelor's Degree in Telematics Engineering | 22596 | Optional subject |
| Bachelor's Degree in Audiovisual Systems Engineering | 21631 | Optional subject |
| ECTS credits: | 4 | Workload: | 100 hours | Trimester: | 3rd |
| Department: | Dept. of Information and Communication Technologies |
| Coordinator: | Glòria Haro |
| Teaching staff: | Gloria Haro, Babak Rezaeirowshan. |
| Language: | English. |
| Timetable: | |
| Building: | Communication campus - Poblenou |
This course deals with the fundamentals of the 3D reconstruction of a scene, object or person from two or more cameras at different points of view. The 3D vision has many applications: new views synthesis, 3D reconstruction of cities, sculptures or museum pieces, 3D reconstruction of the human body for gesture recognition, body tracking or even virtual characters animation in digital cinema and computer games.
First, the basic concepts of the projective geometry of the plane and the 3-space will be introduced, together with the estimation of homographies in 2D. Then, we will study different camera models, i.e., the mapping from the 3D world to the 2D image. We will study camera calibration and stereo vision techniques and the concepts involved: calibration with a pattern, epipolar geometry, fundamental matrix, rectification, scene planes and homographies. Finally, we will see the geometry of three or more views and the 3D reconstruction of a scene.
The course will have a strong practical component, part of the lab sessions will take place in a room provided with 8 cameras. During the lab sessions the students will use some provided libraries and they will have to program some of the studied methods as well.
We recommend to have followed the following courses: Algebra, Calculus, Image Processing. The course Image Analysis and Interpretation is not necessary but highly recommended.
The following courses are essential: Àlgebra Lineal i Matemàtica Discreta, Càlcul i Mètodes Numèrics, Processament d'Imatge. The elective course Anàlisi i Interpretació d'Imatges is not essential but desirable.
| Competències transversals | Competències específiques |
|---|---|
|
Instrumentals G1. Capacitat d'anàlisi i síntesi G2. Capacitat d'organització i planificació G3. Capacitat per aplicar els coneixements a l'anàlisi de situacions i la resolució de problemes G4. Habilitat en la cerca i la gestió de la informació G5. Habilitat en la presa de decisions
Interpersonals G8. Capacitat de treball en equip
Sistèmiques G11. Capacitat d'aplicar amb flexibilitat i creativitat els coneixements adquirits i d'adaptar-los a contextos i situacions noves G12. Capacitat per progressar en els processos de formació i aprenentatge de manera autònoma i contínua |
Competències Específiques de Formació Bàsica E1. Adquirir els coneixements bàsics de geometria projectiva, afi i euclidea aplicada a càmeres i problemes de reconstrucció 3D. E2. Coneixement d’algorismes per a calcular homografies. E3. Adquirir els coneixements bàsics sobre els models de càmeres. E4. Coneixement d’algorismes per calcular la matriu d’una càmera. Adquirir els coneixements bàsics sobre calibratge d’una càmera. E5. Adquirir els coneixements bàsics sobre la geometria de dues vistes, la matriu essencial i la matriu fonamental. E6. Coneixement d’algorismes per a calcular la matriu fonamental. Rectificació d’imatges. E7. Adquirir els coneixements bàsics sobre Reconstrucció 3D d’una escena a partir de dues càmeres. E8. Adquirir els coneixements bàsics sobre la geometria de múltiples vistes, auto-calibratge i reconstrucció 3D a partir de múltiples càmeres.
Competències Específiques d'Enginyeria en Informàtica IN37. Conèixer i saber aplicar les tècniques bàsiques de creació d'imatges gràfiques per ordinador, incloent els algorismes de geometria computacional i les tècniques de traçat de rajos.
Competències de tecnologia específica: Sistemes Audiovisuals AU14. Adquirir els coneixements bàsics sobre mètodes numèrics d'optimització de problemes lineals i no lineals sense i amb restriccions. Tenir un coneixement de les aplicacions d'aquests mètodes en l'enginyeria i en particular, en l'enginyeria de la comunicació audiovisual. AU16. Adquirir els coneixements bàsics d'òptica i entendre el funcionament d'una càmera, en particular, de les càmeres digitals. AU17. Adquirir els coneixements bàsics del processament d'imatges: Adquisició, color, mostreig i quantització, els mètodes basats en transformades, la morfologia matemàtica. Conèixer la teoria de la informació i la compressió d'imatges. AU18. Adquirir els coneixements bàsics sobre l'anàlisi d'imatges. Adquirir els coneixements bàsics sobre l'obtenció de forma a partir del moviment, de la visió estereoscòpica, de la textura o de la intensitat. AU19. Adquirir els coneixements sobre l'estimació de paràmetres d'una càmera. Adquirir els coneixements bàsics sobre les relacions geomètriques entre diverses vistes d'una escena i la geometria de l'escena a partir d'imatges. AU20. Adquirir els coneixements bàsics de les tècniques de traçat de rajos, del modelatge geomètric i de la generació d'imatges sintètiques. AU26. Conèixer els fonaments pràctics i teòrics dels equips involucrats en la captura de vídeo, la seva reproducció així com el seu ús i aplicació en els sistemes audiovisuals més habituals avui dia. |
The course is based on a continuous evaluation and divided into the following activities:
· Laboratory sessions and reports (40%): there will be six lab sessions. The attendance to the lab sessions is mandatory to pass the course. This activity is not recoverable in July.
· Final exam (60%): it is based on theoretical aspects, exercises (similar to the ones solved in class), and on questions related to the lab contents. This activity is recoverable in July.
Module 1: Projective geometry and image transformations.
Basic concepts of projective geometry of the plane and the 3-space. Transformations: projective (homography), affine, similarity, Euclidean.
Affine and metric rectification.
2D homography estimation: Direct Linear Transformation (DLT) algorithm. Robust estimation.
Module 2: Camera models, the geometry of one view.
Modelization of the mapping from the 3D world to the 2D image plane. Camera projection matrix, internal and external camera parameters. Different camera models: projective, affine, Euclidean.
Camera calibration using a planar pattern.
The geometry of lines, planes, and conics. Camera calibration and the image of the absolute conic (IAC). Calibration using a single view.
Module 3: The geometry of two views.
Epipolar geometry and fundamental matrix. Camera projection matrix from the fundamental matrix. The essential matrix.
Algorithms for the estimation of the fundamental matrix. Different estimation criteria. Eight-point correspondence algorithm. Gold-Standard algorithm. Fundamental matrix given a homography and two correspondences.
3D reconstruction. Depth computation.
Module 4: Multiple view geometry.
Introduction to the multiple view geometry. Voxel-based methods. Structure from motion.
The methodology combines teaching sessions (lectures), individual work and work in groups. The lectures will be divided in master class sessions, problem solving seminars and hands-on lab sessions. In particular, the work inside and outside the classroom is organized in the following manner:
· Master class sessions: there are nine such sessions (two hours each). Theoretical concepts will be introduced as well as different methods for solving the practical problems that appear in the seminars and hands-on lab sessions. The teacher will explain the theoretical fundamentals and will propose and solve examples that clarify the theory. These examples will be a first approximation to the problems that the students will face in the seminars. The teacher will conduct the main part of the session and the students are invited to participate asking questions and making comments.
· Hands-on lab sessions: there are six sessions of one hour and a half each. The lab assignments will be published in the moodle page before each session so that students can revise the theoretical concepts involved before going to the lab. Once in the lab the teacher will briefly explain the contents and the problem to solve and then the students will work on the problem resolution. The reports will be delivered a week after the publication of the assignment.
· Seminar sessions: there are six such sessions (two of two hours and four of one hour). During these sessions practical problems related to the concepts explained in the master classes will be solved. The assignments will be published in the moodle page before each seminar session.
Basic bibliography:
- R. I. HARTLEY, A. ZISSERMAN, Multiple view geometry in computer vision, Cambridge University Press, 2000.
- D. A. FORSYTH, J. PONCE, Computer vision : a modern approach, Prentice Hall, 2003.
Complementary bibliography:
- O. FAUGERAS, Three-dimensional computer vision : a geometric viewpoint, MIT Press, cop. 1993.
- O. FAUGERAS, Q.T. LUONG, The geometry of multiple images, MIT Press, 2001.
- R. SZELISKI, Computer Vision: Algorithms and Applications, Springer, 2011. (disponible en línia a: http://szeliski.org/Book/).
- R.C. GONZALEZ, R.E. WOODS, Digital Image Processing, Addison-Wesley, 1992
Teaching material:
Additional didactic material will be published at the moodle page. This material is based on complementary notes and articles for the theoretical sessions, exercices for the seminars and lab guides together with complementary material for the laboratory sessions.