Samenwerken is luisteren

debbie
gijsbrechts

Introductie

Het vormen van groepen voor samenwerking is een element dat al sinds het begin van de mensheid bestaat. Van voedsel verzamelen zoals jagen, tot samen Pokémon Go spelen om op een kortere periode meer pokémon te kunnen vangen. Vaak willen we in deze omstandigheden informatie delen om ons doel sneller te bereiken. Het delen van informatie kan zowel mondeling als met behulp van technologische snufjes. Stel je voor dat je samen in één ruimte zit en je wil iets delen met alle aanwezige personen dat je niet mondeling kan meedelen. Met de huidige mogelijkheden moet je alle personen in de ruimte handmatig toevoegen aan een groep. Wat als we met één druk op een knop automatisch een groep konden creëren waarin we bestanden en ander informatie kunnen delen?

Het magische aspect van geluid

Grouve (Group wave) is een methode om groepen te vormen die gebruik maakt van geluid. Hiervoor worden reeds aanwezige luidsprekers en microfoons zoals deze aanwezig op een smartwatch of smartphone gebruikt. Wanneer een groep dient te worden aangemaakt, zendt het apparaat van de de aanmaken van de groep (door bijvoorbeeld een klik op een knop) een geluid uit dat de nieuwe groep moet voorstellen. Wanneer apparaten van personen die zich in dezelfde kamer bevinden dit geluid opvangen, weten deze apparaten dat ze zich kunnen aanmelden om deel uit te maken van de groep. Hierna kunnen dan elementen zoals tekst, afbeeldingen, kalenders enzovoort worden gedeeld tussen alle leden van de groep.

Het voordeel van het gebruik van geluid is dat we geluid eenvoudig in één ruimte kunnen houden, in tegenstelling tot radiogolven die gebruikt worden in bijvoorbeeld NFC, Bluetooth en Wi-Fi. Denk maar aan Bluetooth apparaten in één ruimte waarmee men connectie kan maken terwijl men zich in een andere (nabijgelegen) ruimte bevindt. Dit zou kunnen zorgen voor fouten in de groepscreatie en eventueel zelfs het lekken van informatie. 

Automatisch een vergadering inplannen

Om aan te tonen hoe Grouve kan worden gebruikt, werd er een app gemaakt voor Android toestellen. De app die werd aangemaakt werkt als volgt: de gebruiker geeft een commando om een samenkomst aan te maken binnen een gegeven tijdsperiode. De applicatie vormt een groep gebruikmakend van Grouve en zoekt een tijdsperiode waarin iedereen beschikbaar is. Alle groepsleden kunnen dan kiezen of ze aanwezig willen zijn op het gevonden en voorgestelde tijdsstip.

En testen maar . . .

Grouve werd getest in twee verschillende studies. Allereerst werd er getest met een aantal gebruikers (9 deelnemers) welke soort van groepsvorming ze verkozen: de automatische (Grouve) of een handmatige methode? Hierbij werd aangetoond dat de meerderheid van de personen (6 personen) Grouve verkoos boven de manuele methode. Wanneer we echter de resultaten in detail bekeken was de reden voor dit relatief lage percentage dat de personen de gebruikte methode en de smartwatch die werd gebruikt niet gewoon waren. De fysieke en mentale belasting voor de deelnemers was veel lager voor Grouve dan voor de manuele groepsvorming. Deze lager mentale en fysieke belasting is het grootste voordeel van Grouve. Er werd ook vastgesteld dat bij het gebruik van de manuele groepsvorming fouten optraden als gevolg van verkeerde spelling.

Er werd ook een studie uitgevoerd om het bereik en de prestatie van Grouve in omgevingen met achtergrondgeluid te testen. Tot op 80 centimeter tussen het ontvangende en zendend apparaat werd een 100% accuraatheid geconstateerd. Zowel in een gewone omgeving zonder als met achtergrondgeluid. Wanneer de afstand werd vergroot tot 1,5 meter werd er met 77% accuraatheid groepen ontdekt in een omgeving zonder toegevoegd achtergrondgeluid. Wanneer er echter geluid werd toegevoegd in de achtergrond, was er helemaal geen herkenning van een groep. Dit bewijst dat het plausibel is om geluid te gebruiken voor het vormen van groepen. Aangezien het geluid echter verzwakt ten gevolge van achtergrondgeluid en de verplaatsing van geluidsgolven, dient er gesleuteld te worden aan de implementatie van Grouve.

Conclusie

Grouve is een techniek om automatisch groepen te vormen met mensen aanwezig in één kamer. Om dit te verwezenlijken worden mobiele apparaten zoals smartphones en wearables zoals smartwatches gebruikt. Aangezien er gebruik wordt gemaakt van reeds aanwezige luidsprekers en microfoons, dient er geen extra investering te worden gemaakt. Tijdens het testen werd er aangetoond dat geluidsgolven een plausibele manier zijn om communicatie en groepsvorming te voorzien tussen apparaten. Ook de testers ervaarden deze methode van groepvorming als eenvoudiger en minder belastend. Aangezien de afstand tussen de apparaten met de huidige implementatie echter nog niet fantastisch zijn, dient er verder onderzoek te worden gedaan om deze afstand te kunnen vergroten. 

Bibliografie

  1. H. Ahmed, J. Dennis, O. Badran, M. Ismail, S. Ballal, A. Ashoor, and D. Jerwood, “High-frequency (10–18 khz) hearing thresholds: reliability, and effects of age and occupational noise exposure,” Occupational Medicine, vol. 51, no. 4, pp. 245–258, 2001.

  2. P. Baudisch and G. Chu, “Back-of-device interaction allows creating very small touch devices,” in Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. ACM, 2009, pp. 1923–1932.

  3. L. J. Brant and J. L. Fozard, “Age changes in pure-tone hearing thresholds in a longitudinal study of normal human aging,” The Journal of the Acoustical Society of America, vol. 88, no. 2, pp. 813–820, 1990.

  4. J. Brooke et al., “Sus-a quick and dirty usability scale,” Usability evaluation in industry, vol. 189, no. 194, pp. 4–7, 1996.

  5. M. K. Chong, R. Mayrhofer, and H. Gellersen, “A survey of user interaction for spontaneous device association,” ACM Comput. Surv., vol. 47, no. 1, pp. 8:1–8:40, May 2014.

  6. J. Chung and A. Mujibiya, “Shuriken: User grouping and data transfer for collab- orative shopping and offline meetings based on inter-device relative positioning,” in Proceedings of the 18th ACM Conference Companion on Computer Supported Co- operative Work & Social Computing, ser. CSCW’15 Companion. New York, NY, USA: ACM, 2015, pp. 151–154.

  7. F. D. Davis, R. P. Bagozzi, and P. R. Warshaw, “User acceptance of computer technology: a comparison of two theoretical models,” Management science, vol. 35, no. 8, pp. 982–1003, 1989.

  8. A. De Cheveign ́e and H. Kawahara, “Yin, a fundamental frequency estimator for speech and music,” The Journal of the Acoustical Society of America, vol. 111, no. 4, pp. 1917–1930, 2002.

  9. V. Filonenko, C. Cullen, and J. Carswell, “Investigating ultrasonic positioning on mobile phones,” in Indoor Positioning and Indoor Navigation (IPIN), 2010 Inter- national Conference on. IEEE, 2010, pp. 1–8.

  10. P. Georgiev, N. D. Lane, K. K. Rachuri, and C. Mascolo, “Dsp. ear: Leveraging co-processor support for continuous audio sensing on smartphones,” in Proceedings of the 12th ACM Conference on Embedded Network Sensor Systems. ACM, 2014, pp. 295–309. 

  11. D. Gerhard, Pitch extraction and fundamental frequency: History and current techniques. Regina: Department of Computer Science, University of Regina, 2003.

  12. N. Giordano, College physics: reasoning and relationships. Cengage Learning,2012.

  13. S. Gonzalez and M. Brookes, “Pefac - a pitch estimation algorithm robust to high levels of noise,” IEEE/ACM Trans. Audio, Speech and Lang. Proc., vol. 22, no. 2, pp. 518–530, Feb. 2014.

  14. S. Gupta, D. Morris, S. Patel, and D. Tan, “Soundwave: using the doppler effect to sense gestures,” in Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. ACM, 2012, pp. 1911–1914.

  15. K. Han and D. Wang, “Neural network based pitch tracking in very noisy speech,” IEEE/ACM Trans. Audio, Speech and Lang. Proc., vol. 22, no. 12, pp. 2158–2168, Dec. 2014.

  16. S. G. Hart and L. E. Staveland, “Development of nasa-tlx (task load index): Results of empirical and theoretical research,” Advances in psychology, vol. 52, pp. 139–183, 1988.

  17. J. Hightower and G. Borriello, “A survey and taxonomy of location systems for ubiquitous computing,” IEEE Computer, Tech. Rep., 2001.

  18. T. Jokela, M. K. Chong, A. Lucero, and H. Gellersen, “Connecting devices for collaborative interactions,” interactions, vol. 22, no. 4, pp. 39–43, Jun. 2015.

  19. S. Kadambe and G. F. Boudreaux-Bartels, “Application of the wavelet transform for pitch detection of speech signals,” IEEE Transactions on Information Theory, vol. 38, no. 2, pp. 917–924, 1992.

  20. N. D. Lane, S. Bhattacharya, P. Georgiev, C. Forlivesi, L. Jiao, L. Qendro, and F. Kawsar, “Deepx: A software accelerator for low-power deep learning inference on mobile devices,” in 2016 15th ACM/IEEE International Conference on Information Processing in Sensor Networks (IPSN). IEEE, 2016, pp. 1–12.

  21. C.-M. Lee, J.-H. Kwon, and S.-M. Hwang, “Analysis of total harmonic distortion in microspeakers considering coupling effect,” Journal of mechanical science and technology, vol. 24, no. 9, pp. 1763–1769, 2010.

  22. J. Lee, S. Dhar, R. Abel, R. Banakis, E. Grolley, J. Lee, S. Zecker, and J. Siegel, “Behavioral hearing thresholds between 0.125 and 20 khz using depth-compensated ear simulator calibration,” Ear and hearing, vol. 33, no. 3, p. 315, 2012.

  23. C. P. Lucas, “The order effect: reflections on the validity of multiple test presenta- tions,” Psychological Medicine, vol. 22, no. 01, pp. 197–202, 1992.

  24. A. MacLean, R. M. Young, V. M. Bellotti, and T. P. Moran, “Questions, options, and criteria: Elements of design space analysis,” Human–computer interaction, vol. 6, no. 3-4, pp. 201–250, 1991.

  25. S. Mann, “Wearable computing as means for personal empowerment,” in Proc. 3rd Int. Conf. on Wearable Computing (ICWC), 1998, pp. 51–59. 

  26. S. Mann and J. Ferenbok, “New media and the power politics of sousveillance in a

    surveillance-dominated world,” Surveillance & Society, vol. 11, no. 1/2, p. 18, 2013.

  27. C. Min, S. Kang, C. Yoo, J. Cha, S. Choi, Y. Oh, and J. Song, “Exploring current practices for battery use and management of smartwatches,” in Proceedings of the 2015 ACM International Symposium on Wearable Computers. ACM, 2015, pp. 11–18.

  28. A. S. Nittala, X.-D. Yang, S. Bateman, E. Sharlin, and S. Greenberg, “Phoneear: interactions for mobile devices that hear high-frequency sound-encoded data,” in Proceedings of the 7th ACM SIGCHI Symposium on Engineering Interactive Com- puting Systems. ACM, 2015, pp. 174–179.

  29. O. Oluwatimi and E. Bertino, “An application restriction system for bring-your- own-device scenarios,” in Proceedings of the 21st ACM on Symposium on Access Control Models and Technologies. ACM, 2016, pp. 25–36.

  30. J. D. Royster, L. H. Royster, and M. C. Killion, “Sound exposures and hearing thresholds of symphony orchestra musicians,” The Journal of the Acoustical Society of America, vol. 89, no. 6, pp. 2793–2803, 1991.

  31. J.-l. Shen, J.-w. Hung, and L.-s. Lee, “Robust entropy-based endpoint detection for speech recognition in noisy environments.” in ICSLP, vol. 98, 1998, pp. 232–235.

  32. J. O. Smith, Spectral audio signal processing. W3K, 2011.

  33. A. Stisen, H. Blunck, S. Bhattacharya, T. S. Prentow, M. B. Kjærgaard, A. Dey, T. Sonne, and M. M. Jensen, “Smart devices are different: Assessing and mitig- atingmobile sensing heterogeneities for activity recognition,” in Proceedings of the 13th ACM Conference on Embedded Networked Sensor Systems. ACM, 2015, pp. 127–140.

  34. Z. Sun, A. Purohit, R. Bose, and P. Zhang, “Spartacus: spatially-aware interac- tion for mobile devices through energy-efficient audio sensing,” in Proceeding of the 11th annual international conference on Mobile systems, applications, and services. ACM, 2013, pp. 263–276.

  35. G. Vanderhulst, A. Mashhadi, M. Dashti, and F. Kawsar, “Detecting human en- counters from wifi radio signals,” in Proceedings of the 14th International Confer- ence on Mobile and Ubiquitous Multimedia, ser. MUM ’15. New York, NY, USA: ACM, 2015, pp. 97–108.

  36. C. Vorakulpipat, C. Polprasert, and S. Siwamogsatham, “Managing mobile device security in critical infrastructure sectors,” in Proceedings of the 7th International Conference on Security of Information and Networks. ACM, 2014, p. 65.

  37. J. Wagner, M. Nancel, S. G. Gustafson, S. Huot, and W. E. Mackay, “Body-centric design space for multi-surface interaction,” in Proceedings of the SIGCHI Confer- ence on Human Factors in Computing Systems. ACM, 2013, pp. 1299–1308.

  38. H. Wang, T. T.-T. Lai, and R. Roy Choudhury, “Mole: Motion leaks through smartwatch sensors,” in Proceedings of the 21st Annual International Conference on Mobile Computing and Networking. ACM, 2015, pp. 155–166. 

  39. D. Wigdor, C. Forlines, P. Baudisch, J. Barnwell, and C. Shen, “Lucid touch: a see-through mobile device,” in Proceedings of the 20th annual ACM symposium on User interface software and technology. ACM, 2007, pp. 269–278.

  40. N. Yang, H. Ba, W. Cai, I. Demirkol, and W. Heinzelman, “Bana: A noise resilient fundamental frequency detection algorithm for speech and music,” IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol. 22, no. 12, pp. 1833– 1848, 2014.

  41. R. Zhang, S. North, and E. Koutsofios, “A comparison of speech and gui input for navigation in complex visualizations on mobile devices,” in Proceedings of the 12th international conference on Human computer interaction with mobile devices and services. ACM, 2010, pp. 357–360. 

Universiteit of Hogeschool
Universiteit Hasselt
Thesis jaar
2016
Promotor(en)
Johannes Schöning
Kernwoorden
smartwatch onhoorbaar geluid groepen collaboratie localiteit