Enginyeria en Informàtica (3371)

Taller de Sistemes Interactius II(12483) 

Descripció

Aquesta assignatura està coordinada amb el Taller de Sistemes Interactius I. Per tant, així com el TSI-I es basa principalment en dispositius d’entrada/sortida i la interacció a nivell físic, el TSI-II es basarà més en la Realitat Virtual com a paradigma dels sistemes interactius més complerts. Aquesta visió de la RV reforçarà els estímuls sonors que habitualment s’acostumen a descriure poc en altres aproximacions

Objectius

L’alumne ha de ser capaç d’entendre les estratègies de desenvolupament d’aplicacions de RV, comprendre els diversos agents que hi intervenen i poder arribar a resoldre el disseny d’una aplicació de RV en l’àmbit dels estímuls sonors.

Temari

Bloc Teoria 1 (10 sessions de 90 minuts)

Tema 1. Introducció a la RV (90min)

Virtualitat.
Antecedents.
Inicis de la RV.

Tema 2. Conceptes Bàsics (I) (90min)

Interacció persona ordinador.
La interfície física, la interfície lògica i el mapeig i la percepció de l’entorn.
La Simulació. 

Tema 3. Conceptes Bàsics (II) (90min)

Terminologia associada a la RV.
Els tòpics.  

Tema 4. Què és i què no és la RV? (I) (90min)

Definició de RV: Estímuls digitals, Nivells d’interacció, El temps real, Presència i immersió.  

Tema 5. Què és i què no és la RV? (II) (90min)

El model de subjecte virtual
Propietats del subjecte virtual  

Tema 6. Àmbits d’aplicacions de RV i anàlisi de casos (I) (90min)

La visualització de dades
Psicologia i Teràpies
Entrenament
Disseny
Jocs i Atraccions  

Tema 7. Àmbits d’aplicacions de RV i anàlisi de casos (II) (90min)

Broadcasting
Educatiu i Didàctic
Virtual Heritage
Publicitat i vendes
Socials
Aplicacions d’art  

Tema 8. Desenvolupament d’aplicacions de RV (I) (90min)

Guionat
Disseny d’Interacció
Disseny d’Interfícies
Modelat d’Objectes  

Tema 9. Desenvolupament d’aplicacions de RV (II) (90min)

Disseny de Comportaments (Sistemes de regles, autòmats finits, etc.)  

Tema 10. Desenvolupament d’aplicacions de RV (III) (90min)

Fases de desenvolupament d’una aplicació
Aproximació per Contingut
Aproximació per Interacció
Equip de Producció

Bloc Teoria 2(10 sessions de 90 minuts)

Tema 1. Introducció a Sistemes Sonors 3D.

Tema 2. Exemples d’instal·lacions d’espai acústic.

Tema 3. Els dispositius de Stereographics: breu introducció de mètodes i hardware.

Tema 4. Hardware de RV.

Tema 5. Àudio espacialitzat 3D: HRTF, sistemes d’altaveus.

Tema 6. Interfícies per veu: comandes & control.

Tema 7. Tecnologies de veu: APIs de veu, VoiceXML.

Organització

Un primer bloc teòric farà èmfasi en els aspectes més pràctics i tecnològics com: què és i què no és la RV, com és una aplicació de RV des del punt de vista d’estructura d’aplicació, quines estratègies de desenvolupament d’aplicacions de RV es poden utilitzar, quines relacions apareixen entre els usuaris i les estructures internes de l’aplicació, quins àmbits d’aplicació de la RV existeixen i quines aplicacions han estat o són representatives d’aquests àmbits, quins són els agents que intervenen en el desenvolupament d’una aplicació de RV. D’aquesta manera es pretén donar un coneixement complert dels aspectes més de desenvolupament i aplicació de la RV. També com a complement de les pràctiques del TSI-I, que es basen en la part visual dels sistemes interactius, la pràctica del TSI-II estarà orientada als sistemes sonors. D’aquesta manera, el segon bloc teòric es basarà en explicar tots els conceptes i aspectes tecnològics dels sistemes de generació sonora espacial i interfícies de veu aplicats a instal·lacions de RV.

La idea és que els dos blocs de teoria no són consecutius, si no que van intercalats. Cada setmana hi ha dues sessions de teoria de 90 minuts, la primera sessió seria del Bloc 1 i la segona del Bloc 2. D'aquesta manera, el Bloc 2 introdueix ràpidament material per a poder començar les pràctiques ben aviat. El Bloc 1 presenta material i temes que s'aprofitaran més a mig termini, un cop la pràctica estigui més avançada i pugui aprofitar totes les idees de disseny d'aplicació, estructura interna, etc.

Pràctiques

Bloc Pràctica (10 sessions de 120 minuts)

Instal·lació Sonora Espacial
Es desenvoluparà junt amb els estudiants una o més instal·lacions sonores espacials. S’utilitzarà àudio 3D amb tracking de cap, presentat en auriculars utilitzant HRTFs. La navegació i el control dins l’espai sonor utilitzarà tan sols comandes de veu. La instal·lació final serà utilitzada també per a experiments posteriors sobre qüestions perceptuals i conceptuals relacionades amb els espais acústics. Aquest projecte d’equip serà desenvolupat en base als conceptes i tecnologies explicats als blocs teòrics.
Tot i que aquests projectes estan basats en aspectes de tecnologia i de recerca, s’encoratjarà als alumnes d’incorporar aspectes artístics i estètics en aquests espais sonors. S’espera que el desenvolupament d’experiències i d’interfícies purament sonores ajudi als alumnes a escapar els formats més tòpics o habituals de les interfícies permetent aproximacions més experimentals i creatives al disseny de sistemes interactius.
Punts claus:
- Disseny experimental i artístic d’interfícies sonores.
- Creació d’una instal·lació d’espai sonor 3D.
- So 3D utilitzant auriculars, HRTF + tracking de cap.
- Control de navegació i comandes per veu.

Experiments: localització, identificació i distinció d’objectes sonors.

 

Mètode d’avaluació

L’avaluació es farà a partir de la documentació detallada del procés de guionat, disseny i especificació de la pràctica, i del resultat final de la mateixa.

Bibliografia

Bibliografia bàsica
Austakalnis, S.; Blatner, D. El Espejismo de Silicio. Arte y ciencia de la Realidad Virtual. Barcelona: Página Uno, S.L., 1992.
Parés, N. "Aproximació informàtica a les propietats específiques de la Realitat Virtual, com a mitjà audiovisual digital interactiu generat a temps real, a través del projecte interdisciplinari GALERIA VIRTUAL". Barcelona: Departament de Periodisme i Comunicació Audiovisual. Universitat Pompeu Fabra. 2001. [Tesi doctoral].
Begault, D.R. 3D Sound for Virtual Reality and Multimedia. Londres: Academic Press Inc., 1994.

Bibliografia complementària
Burdea, G.C.; Coiffet, P. Virtual Reality Technology. Nova York: John Wiley & Sons Inc., 1994.
Cruz-Neira, C. Virtual Reality Based on Multiple Projection Screens: The CAVE and its Applications to Computational Science and Engineering. University of Illinois at Chicago, May 1995. http://www.ee.iastate.edu/~cruz/thesis.html [Document en format HTML]
Earnshaw, R.A.; Gigante, M.A.; Jones H. (ed.) Virtual Reality Systems. Londres: Academic Press Ltd., 1993.
Earnshaw, R.A.; Vince, J.A.; Jones, H. (ed.) Virtual Reality Applications. Londres: Academic Press Ltd., 1995.
Ellis, S.R. "Prologue". Pictorial Communication in Virtual and Real Environments. 2a. ed. Londres: Taylor & Francis Ltd., 1993. Pàg. 3-11.
Gibson, W. Neuromancer. Nova York: Berkeley Publications, 1984.
Kalawsky, R.S. The Science of Virtual Reality and Virtual Environments. Reading, MA: Adison-Wesley Ltd., 1993.
Krueger, M. Artificial Reality II. Reading, MA: Addison-Wesley Inc., 1991.
Laurel, B. (ed.) The Art of Human-Computer Interface Design. Reading, MA: Addison-Wesley, 1990. [11ª Edició 1998]
Laurel, B. Computers as Theatre. Reading, MA: Addison-Wesley, 1993.
Loeffler, C.E.; Anderson, T. (ed.) The Virtual Reality Casebook. Nova York: Van Nostrand Reinhold, 1994.
Magnenat-Thalmann, N.; Thalmann, D. (ed.) Communicating with Virtual Worlds. Hong Kong: Springer-Verlag, 1993.
Magnenat-Thalmann, N.; Thalmann, D. (ed.) Artificial Life and Virtual Reality. Londres: John Wiley & Sons Inc., 1994.
Parés, N.; Parés, R. "Interaction-driven virtual reality application design. A particular case: ‘El Ball del Fanalet or Lightpools’". A: Presence: Teleoperators and Virtual Environments. Cambridge, MA: MIT Press, 2000. (Article acceptat, pendent de publicació).
Vince, J. Virtual Reality Systems, Londres: Addison-Wesley, 1995.
Waxelblat, A. (ed.). Virtual Reality Applications and Explorations, Londres: Academic Press Inc., 1993.

Revistes relacionades amb RV
Computer Graphics World. Nashua, NH: PennWell Publishing. http://www.cgw.com/ [Revista Mensual]
Presence: Teleoperators and Virtual Environments. Cambridge, MA: MIT Press. [Revista Periòdica]
Real Time Graphics. Mountain View, CA: Computer Graphics Systems Development Corp. http://www.realtimegraphics.com/ [Revista Mensual]
VRNews. Londres: Cydata Ltd. http://www.vrnews.com/ [Revista Mensual]

Observacions

Cal tenir coneixements prèvis de programació en C++ i geometria 3D.