Je controller meenemen in de virtuele realiteit

Glenn

Bergmans

Introductie

Met de Oculus Rift en de HTC Vive zijn de eerste virtual reality headsets stilaan op de consumentenmarkt aan het druppelen. Deze head-mounted displays zijn beeldschermen die op het hoofd gedragen worden en je gezichtsveld inpalmen om een virtuele wereld te laten zien. Deze toestellen laten het toe om een virtuele omgeving te ervaren alsof je er echt bent. Ze doen dit door je de wereld in 3D te laten zien en je vrij rond te laten kijken m.b.v. head-tracking. Tracking houdt in dat de computer gaat kijken wat de positie is van een bepaald voorwerp in de echte wereld en de bewegingen hiervan gaat bijhouden.

Het feit dat het gezichtsveld bedekt is door de head-mounted display heeft echter als gevolg dat de echte wereld niet meer zichtbaar is, wat vervelend kan zijn als je je controller kwijtraakt. Sommige virtual reality headsets hebben speciale controllers die getrackt worden en zo zichtbaar zijn in de virtuele realiteit op dezelfde locatie als ze zich in de echte wereld bevinden, maar deze tracking is jammergenoeg niet beschikbaar voor alle andere soorten controllers.

Dit leidt tot toestanden waar je bv. aan het opgaan bent in de atmosfeer van een virtual reality horror game, je de controller laat vallen als je je verschiet en dan de headset moet afzetten om de controller terug te vinden waarmee al de suspense verloren gaat.

Handen zien met de Leap Motion

De oplossing die we gevonden hebben voor dit probleem maakt gebruik van de Leap Motion. Dit apparaat heeft het formaat van een grote USB-stick en kan vastgemaakt worden aan een virtual reality headset. Het doel van de Leap Motion is om de computer handen te kunnen laten zien. Om dit te doen maakt de Leap Motion gebruik van twee infraroodcamera’s. Zoals de naam zegt filmen deze camera’s infrarood licht, wat buiten het lichtspectrum valt dat mensen kunnen waarnemen. De Leap Motion straalt ook zelf dit licht uit m.b.v. drie LED’s. Hiermee beschijnt het de handen en kijkt het naar de verschillen in afstand tussen bepaalde punten van de hand om de positie ervan te bepalen. De twee camera’s van de Leap Motion werken dus ongeveer hetzelfde als de ogen van een mens om afstanden in te schatten.

Uitbreiden naar controllers

Onze manier van controllers tracken werkt min of meer hetzelfde als de manier waarop de Leap Motion handen trackt, maar heeft een beetje extra hulp nodig. De Leap Motion weet immers exact waarnaar hij moet zoeken, namelijk handen. Onze tracker moet werken op alle soorten controllers, of het nu een klassieke controller is, een stuurwiel, een joystick of iets helemaal unieks. We weten dus ook helemaal niet of de controller infrarood licht kan reflecteren zoals handen dat doen. Om dit op te lossen moeten we markers aanbrengen die infrarood licht uitzenden of reflecteren. Dit kunnen infrarood LED’s zijn, motion capture markers, reflecterende stickers, etc. Zolang ze helder genoeg zijn om gezien te worden door de Leap Motion werkt alles. Minstens drie markers moeten zichtbaar zijn om de tracking te doen werken, maar meer geeft een nauwkeuriger resultaat. De markers mogen in elk patroon geplaatst worden, behalve in gelijkhoekige figuren. Het is immers onmogelijk om te zeggen welke zijde van een vierkant de bovenkant is.

Nu dat we zeker weten dat de controller zichtbaar is voor de Leap Motion, moeten we het programma aanleren hoe jouw markerpatroon er uit ziet. Dat kan eenvoudigweg door de controller op een plaats en positie te houden aangegeven door het programa. Deze kan dan kijken waar jouw patroon zich bevindt t.o.v. de controller. Hierna kan het programma weten exact waar en in welke positie de controller is door het gekende patroon te vergelijken met het patroon dat het momenteel ziet, zolang er minstens 3 markers zichtbaar zijn voor de Leap Motion.

Gebruikerstests

We hebben de tracking ook door verschillende personen laten testen. Wanneer de testpersonen hun controller kwijt waren, konden ze dankzij de tracking rustig rondkijken en de controller in 1 of 2 gecontroleerde bewegingen oprapen. Zonder tracking begonnen de testpersonen echter in het wild rond te tasten op hun bureau, wat gevaarlijk kan zijn als er bv. een glas water op staat. De testpersonen hadden gemiddeld 3.64 pogingen nodig om de controller op te rapen zonder tracking. Dat is meer dan het dubbel van de gemiddelde 1.39 pogingen die nodig waren met de tracking. Een van de participanten zei ook “Het is handig dat de controller zichtbaar is om hem terug te vinden, want het gevoel van waar ik hem had neergelegd gaat deels verloren.”

Conclusie

Met onze tracking kunnen we aan elk soort controller ondersteuning voor virtual reality toevoegen door er simpelweg een aantal markers aan te bevestigen die infraroodlicht uitzenden of reflecteren. Nadat het programma is aangeleerd hoe het markerpatroon er uit ziet, kan er een virtuele voorstelling van de controller weergegeven worden op de locatie waar de fysieke controller zich bevindt. Dit maakt het niet alleen mogelijk om de controller makkelijker terug te vinden, maar kan er ook door de ontwikkelaar extra functionaliteit aan de virtuele voorstelling toegevoegd worden naargelang de applicatie. De toepassingen zijn virtueel eindeloos.

Bibliografie

I. E. Sutherland, “A Head-mounted Three Dimensional Display,” in Proceedings of the December 9-11, 1968, Fall Joint Computer Conference, Part I, New York, NY, USA, 1968, pp. 757–764.

T. A. DeFanti, D. Acevedo, R. A. Ainsworth, M. D. Brown, S. Cutchin, G. Dawe, K.-U. Doerr, A. Johnson, C. Knox, R. Kooima, F. Kuester, J. Leigh, L. Long, P. Otto, V. Petrovic, K. Ponto, A. Prudhomme, R. Rao, L. Renambot, D. J. Sandin, J. P. Schulze, L. Smarr, M. Srinivasan, P. Weber, and G. Wickham, “The future of the CAVE,” Cent. Eur. J. Eng., vol. 1, no. 1, pp. 16–37, Nov. 2010.

K. J. Fernandes, V. Raja, and J. Eyre, “Cybersphere: The Fully Immersive Spherical Projection System,” Commun ACM, vol. 46, no. 9, pp. 141–146, Sep. 2003.

C. Cruz-Neira, D. J. Sandin, and T. A. DeFanti, “Surround-screen Projection-based Virtual Reality: The Design and Implementation of the CAVE,” in Proceedings of the 20th Annual Conference on Computer Graphics and Interactive Techniques, New York, NY, USA, 1993, pp. 135–142.

C. E. Engler, “Affordable VR by 1994,” no. 100, pp. 80–81, Nov-1992.

M. Zachara and J. P. Zagal, “Challenges for success in stereo gaming: a Virtual Boy case study,” 2009, p. 99.

D. Peterson and C. Robertson, “UTILIZING VIRTUAL REALITY IN TEACHING AND TRAINING: PROGRESS TOWARD VIRTUAL SURGICAL SIMULATIONS,” INTED2013 Proc., pp. 3285–3291, 2013.

F. P. Brooks, “What’s real about virtual reality?,” IEEE Comput. Graph. Appl., vol. 19, no. 6, pp. 16–27, Dec. 1999.

A. Gorini and G. Riva, “Virtual reality in anxiety disorders: the past and the future,” Expert Rev. Neurother., vol. 8, no. 2, pp. 215–233, Feb. 2008.

M. Teras and S. Raghunathan, “BIG DATA VISUALISATION IN IMMERSIVE VIRTUAL REALITY ENVIRONMENTS: EMBODIED PHENOMENOLOGICAL PERSPECTIVES TO INTERACTION,” ICTACT J. Soft Comput., vol. 5, no. 4, pp. 1009–1015, Jul. 2015.

R. Sacks, J. Whyte, D. Swissa, G. Raviv, W. Zhou, and A. Shapira, “Safety by design: dialogues between designers and builders using virtual reality,” Constr. Manag. Econ., vol. 33, no. 1, pp. 55–72, Jan. 2015.

J. Seibert, “An exploratory study on virtual reality head mounted displays and their impact on player presence.,” Thesis, 2014.

J. Mattiasson and D. Lu, How does Head Mounted Displays affect users’ expressed sense of in-game enjoyment. 2013.

W. Wirth, T. Hartmann, S. Böcking, P. Vorderer, C. Klimmt, H. Schramm, T. Saari, J. Laarni, N. Ravaja, F. R. Gouveia, F. Biocca, A. Sacau, L. Jäncke, T. Baumgartner, and P. Jäncke, “A Process Model of the Formation of Spatial Presence Experiences,” Media Psychol., vol. 9, no. 3, pp. 493–525, May 2007.

M. Mine, “Towards Virtual Reality for the Masses: 10 Years of Research at Disney’s VR Studio,” in Proceedings of the Workshop on Virtual Environments 2003, New York, NY, USA, 2003, pp. 11–17.

R. Pausch, J. Snoddy, R. Taylor, S. Watson, and E. Haseltine, “Disney’s Aladdin: First Steps Toward Storytelling in Virtual Reality,” in Proceedings of the 23rd Annual Conference on Computer Graphics and Interactive Techniques, New York, NY, USA, 1996, pp. 193–203.

M. Marozas, V. Marozas, S. Stanaitis, I. Ulozienė, V. Ulozas, M. Šileikaitė, and R. Liutkevičienė, “Virtual reality approach for testing dynamic visual acuity,” Biomed. Eng. 2015, vol. 19, no. 1, Feb. 2016.

P. Milgram, H. Takemura, A. Utsumi, and F. Kishino, “Augmented reality: a class of displays on the reality-virtuality continuum,” 1995, pp. 282–292.

M. M. Wloka and E. Greenfield, “The Virtual Tricorder,” Brown University, Providence, RI, USA, 1995.

M. Billinghurst, S. Baldis, L. Matheson, and M. Philips, “3D Palette: A Virtual Reality Content Creation Tool,” in Proceedings of the ACM Symposium on Virtual Reality Software and Technology, New York, NY, USA, 1997, pp. 155–156.

M. Ribo, A. Pinz, and A. L. Fuhrmann, “A new optical tracking system for virtual and augmented reality applications,” in Proceedings of the 18th IEEE Instrumentation and Measurement Technology Conference, 2001. IMTC 2001, 2001, vol. 3, pp. 1932–1936 vol.3.

Y.-W. Chow, “The Wii Remote as an input device for 3D interaction in immersive head-mounted display virtual reality,” Fac. Inform. - Pap. Arch., pp. 85–92, Jan. 2008.

O. Ariza, P. Lubos, F. Steinicke, and G. Bruder, “Ring-shaped Haptic Device with Vibrotactile Feedback Patterns to Support Natural Spatial Interaction,” in Proceedings of the 25th International Conference on Artificial Reality and Telexistence and 20th Eurographics Symposium on Virtual Environments, Aire-la-Ville, Switzerland, Switzerland, 2015, pp. 175–181.

M. McGill, D. Boland, R. Murray-Smith, and S. Brewster, “A Dose of Reality: Overcoming Usability Challenges in VR Head-Mounted Displays,” 2015, pp. 2143–2152.

M. Azmandian, M. Hancock, H. Benko, E. Ofek, and A. D. Wilson, “Haptic Retargeting: Dynamic Repurposing of Passive Haptics for Enhanced Virtual Reality Experiences,” in Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems, New York, NY, USA, 2016, pp. 1968–1979.

B. Araujo, R. Jota, V. Perumal, J. X. Yao, K. Singh, and D. Wigdor, “Snake Charmer: Physically Enabling Virtual Objects,” in Proceedings of the TEI ’16: Tenth International Conference on Tangible, Embedded, and Embodied Interaction, New York, NY, USA, 2016, pp. 218–226.

S. Greuter and D. J. Roberts, “SpaceWalk: Movement and Interaction in Virtual Space with Commodity Hardware,” in Proceedings of the 2014 Conference on Interactive Entertainment, New York, NY, USA, 2014, pp. 1:1–1:7.

P.-W. Lee, H.-Y. Wang, Y.-C. Tung, J.-W. Lin, and A. Valstar, “TranSection: Hand-Based Interaction for Playing a Game Within a Virtual Reality Game,” in Proceedings of the 33rd Annual ACM Conference Extended Abstracts on Human Factors in Computing Systems, New York, NY, USA, 2015, pp. 73–76.

I. Poupyrev, M. Billinghurst, S. Weghorst, and T. Ichikawa, “The Go-go Interaction Technique: Non-linear Mapping for Direct Manipulation in VR,” in Proceedings of the 9th Annual ACM Symposium on User Interface Software and Technology, New York, NY, USA, 1996, pp. 79–80.

B. Petry and J. Huber, “Towards Effective Interaction with Omnidirectional Videos Using Immersive Virtual Reality Headsets,” in Proceedings of the 6th Augmented Human International Conference, New York, NY, USA, 2015, pp. 217–218.

A. Esteves, E. Velloso, A. Bulling, and H. Gellersen, “Orbits: Gaze Interaction for Smart Watches Using Smooth Pursuit Eye Movements,” in Proceedings of the 28th Annual ACM Symposium on User Interface Software & Technology, New York, NY, USA, 2015, pp. 457–466.

M. Stengel, S. Grogorick, M. Eisemann, E. Eisemann, and M. A. Magnor, “An Affordable Solution for Binocular Eye Tracking and Calibration in Head-mounted Displays,” in Proceedings of the 23rd ACM International Conference on Multimedia, New York, NY, USA, 2015, pp. 15–24.

R. Xiao and H. Benko, “Augmenting the Field-of-View of Head-Mounted Displays with Sparse Peripheral Displays,” in Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems, New York, NY, USA, 2016, pp. 1221–1232.

Z. Zhongxiang, L. Shanshan, Y. Jiali, and S. Zhenghe, “Application of Speech Recognition Technology to Virtual Reality System,” 2015.

D. Ashbrook, P. Baudisch, and S. White, “Nenya: Subtle and Eyes-free Mobile Input with a Magnetically-tracked Finger Ring,” in Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, New York, NY, USA, 2011, pp. 2043–2046.

D. Dobbelstein, P. Hock, and E. Rukzio, “Belt: An Unobtrusive Touch Input Device for Head-worn Displays,” in Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems, New York, NY, USA, 2015, pp. 2135–2138.

M. Weigel, T. Lu, G. Bailly, A. Oulasvirta, C. Majidi, and J. Steimle, “iSkin: Flexible, Stretchable and Visually Customizable On-Body Touch Sensors for Mobile Computing,” in Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems, New York, NY, USA, 2015, pp. 2991–3000.

P. W. Jordan, B. Thomas, I. L. McClelland, and B. Weerdmeester, Usability Evaluation In Industry. CRC Press, 1996.