SciMingo helpt onderzoekers het juiste evenwicht te vinden tussen complexiteit en begrijpelijkheid in wetenschapscommunicatie. Zo leren we je hoe je mensen aanspreekt zonder afbreuk te doen aan je onderzoek. Als volleerde flamingo's, meesters in evenwicht 🦩
Mind control, de technologie nabij?
Bjorn
Vuylsteker
Mind control, de technologie nabij?
Brein-computer interfaces steeds sneller dankzij RSAMS-methode
Het lijkt een ver toekomstbeeld, via hersengolven technologische apparaten besturen, communiceren met elkaar via gedachten. Toch is die toekomst dichter dan u denkt. Dat allemaal via brein-computer interfaces.
Een brein-computer interface (BCI) is een systeem dat gebruik maakt van die hersensignalen om bepaalde toepassingen aan te sturen. Zeker in de medische sector kan dit de patiënt een heel stuk verder helpen en zijn leven vergemakkelijken. Vooral bij mensen met de spierziekte ALS en in het bijzonder patiënten met locked-in syndroom zijn toepassingen als deze vaak de enige manier om te kunnen communiceren. Ook in de gaming sector kan BCI heel interessante resultaten opleveren.
Wanneer een beweging gemaakt wordt, zenden onze hersenen een bepaald signaal uit. Bijzonder is dat als men zich diezelfde beweging inbeeldt, de hersenen ook hetzelfde signaal zullen afgeven. Aan de hand van een EEG-kap gaat men vervolgens die bepaalde hersengolven, kleine elektrische stroomstoten in de hersenen, opvangen.
Door het gebruik van ingebeelde bewegingen, kan de brein-computer interface bijvoorbeeld het onderscheid tussen links en rechts maken. Daar de hersenen spiegelend werken, wordt een ingebeelde linkerbeweging verwerkt door de rechterhersenhelft. Een opflakkering in de rechterhersenhelft betekent dus voor de BCI eenvoudigweg een linkerbeweging en omgekeerd.
Het grootste probleem bij BCI is de duur van de kalibratieperiode om het onderscheid tussen links en rechts duidelijk te maken. Om al die data te vergaren, is een sessie van 20 tot 30 minuten nodig. Die is ook altijd heel situatiegebonden, omdat iedere persoon anders is. Zelfs bij eenzelfde persoon is dit noodzakelijk, omdat deze een andere gemoedstoestand kan hebben of omdat de EEG-kap zich ook niet altijd exact op dezelfde plaats bevindt. Ook voor de patiënt vergt dit enorm veel tijd en concentratie. Naast gebruik in de medische sector, is deze lange kalibratietijd commercieel niet interessant om bijvoorbeeld te gebruiken als gaming console.
De oplossing om die kalibratietijd te verkleinen werd gezocht in transfer learning. De bedoeling daarvan is het systeem via data van eerdere sessies en (m)eerdere personen te trainen op het verschil tussen links en rechts. Echter niet iedereen denkt op dezelfde manier aan links of rechts, wat andere, niet gewenste, resultaten oplevert. Dit werd opgelost aan de hand van een nieuw ontworpen transfer learning algoritme: de RSAMS-methode (Ranking Based Subject and Methodology Selection). Het algoritme voldoet aan drie vooropgestelde voorwaarden: selectie van geschikte gebruiker, selectie van de best passende trainmethode en een minimaal verlies in accuraatheid.
Het ontworpen algoritme kan zo de kalibratietijd verkorten tot 3 à 4 minuten. De verkregen data wordt door drie verschillende methodes gestuurd die elk op hun manier een decoder naar voor schuiven om het onderscheid te maken tussen links en rechts. De eerste methode gebruikt geen transfer learning maar werkt gewoon met de verkregen kalibratiedata na 3 à 4 minuten.
De 2de methode (Eigen #1) gaat via een algoritme op zoek naar bepaalde eerdere gebruikers die op een gelijkaardige manier het onderscheid maken. Uit meer dan honderd eerdere gebruikers wordt diegene gezocht van wie het denkpatroon als het ware het meest gelijkaardig is. Er wordt geen mix gemaakt tussen de eerdere gebruiker en de nieuwe data, het onderscheiden gebeurd enkel op de data van de eerdere gebruiker die links en rechts kan onderscheiden op een gelijkaardige manier als de nieuwe gebruiker.
De 3de methode (Eigen #2) is gelijkaardig aan de tweede. Via een variant van het algoritme werd op eenzelfde manier via een eerdere gebruiker gezocht naar data. Ditmaal wordt die data echter omgevormd naar de gegevens van de nieuwe gebruiker toe. Opnieuw geen mix, er is meer sprake van een transformatie. Beide algoritmes complementeren elkaar.
De resultaten waren erg gunstig, zoals zichtbaar op de grafiek. Hierbij worden de 3 methoden vergeleken met RSAMS voor verschillende proefpersonen. De gemiddelde accuraatheid en de standaarddeviatie is het minst bij de RSAMS-methode, wat dus betekent dat die methode beter is en meer zekerheid biedt. Dit nieuwe systeem van transfer learning levert een gemiddelde accuraatheid op van 88% na een kalibratie van 3 à 4 minuten. Ter vergelijking, de langdurige en uitputtende kalibratie zoals die nu wordt toegepast levert een gemiddelde accuraatheid op van gemiddeld 90%. Een miniem verschil dus.
Het systeem volgens de RSAMS-methode is in bijna alle opzichten beter dan het systeem dat nu in gebruik is. En het kan er alleen nog maar op beteren. Kunnen we straks van tv-zender veranderen met een knipoog? Via hersengolven gamen? Communiceren met elkaar via gedachten? Niets lijkt nog onmogelijk met Brein-computer interfaces.
Bibliografie
[1] A. Lari, F. Douma, and I. Onyiah, Self-driving vehicles: Current status of autonomous vehicle development and minnesota policy implications," University of Minnesota, Tech. Rep., 2014.
[2] A. Saha, M. Kuzlu, and M. Pipattanasomporn, Demonstration of a home energy management system with smart thermostat control," in Innovative Smart Grid Technologies (ISGT), 2013, pp. 1-8.
[3] C.-H. Yang, S.-L. Hwang, and J.-L. Wang, The design and evaluation of an auditory navigation system for blind and visually impaired," in Computer Supported Cooperative Work in Design (CSCWD), 2014, pp. 342-345.
[4] F.-G. Zeng, S. Rebscher, W. Harrison, X. Sun, and H. Feng, Cochlear implants: System design, integration, and evaluation," IEEE Reviews in Biomedical Engineering, vol. 1, pp. 115-142, 2008.
[5] F. Tenore and R. Etienne-Cummings, Biomorphic circuits and systems: Control of robotic and prosthetic limbs," in IEEE Biomedical Circuits and Systems Conference, 2008, pp. 241- 244.
[6] B. Rebsamen, C. Guan, H. Zhang, C. Wang, C. Teo, M. H, and E. Burdet, A brain controlled wheelchair to navigate in familiar environments," IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 18, pp. 590-598, 2010.
[7] K.-Y. Lee and D. Jang, Ethical and social issues behind brain-computer interface," in Brain-Computer Interface (BCI), 2013, pp. 72-75.
[8] J. Whyte, Complete locked-in syndrome: What's in a name?" The Journal of Head Trauma Rehabilitation, vol. 2, pp. 144-145, 2013.
[9] U. Chaudhary and N. Birbaumer, Communication in locked-in state after brainstem stroke: a brain-computer-interface approach," s29.
[10] P. Brunner, S. Joshi, S. Briskin, J. Wolpaw, H. Bischof, and G. Schalk, Does the "p300"speller depend on eye gaze," Journal of Neural Engineering, vol. 7, p. 056013, 2010.
[11] R. S. Naveen and J. Anitha, Brain computing interface for wheel chair control," in Com- puting, Communications and Networking Technologies (ICCCNT), 2013, pp. 1-5.
[12] S. Hawking, A Brief History of Time, 1988.
[13] R. Vandenberghe, Inleiding tot de gedragsneurowetenschappen. Deel II, 2010.
[14] S.-W. Lee, H. H. Bultho_, and K.-R. Muller, Recent Progress in Brain and Cognitive En- gineering, 2015.
[15] B. Zhang, J. Wang, and T. Fuhlbrigge, A review of the commercial bci technology from perspective of industrial robotics," in IEEE International Conference on Automation and Logistics, 2010, pp. 379-384.
[16] S. Vercruysse, Adaptieve common spatial patterns voor de classi_catie van ingebeelde bewegingen," Master's thesis, University of Ghent, 2011.
[17] R. Kottaimalai, M. P. Rajeskaran, V. Selvam, and B. Kannapiran, Eeg signal classi_- cation using principal component analysis with neural network in brain computer interface applications," in Emerging Trends in Computing, Communication and Nanotechnology (ICE-CCN), 2013, pp. 227-231.
[18] S. Amiri, A. Rabbi, L. Azinfar, and R. Fazel-Rezai, A Review of P300, SSVEP, and Hybrid P300/SSVEP Brain-Computer Interface Systems, 2013, ch. 10, p. 20.
[19] F. Popescu, S. Fazli, Y. Badower, B. Blankertz, and K. Muller, Single trial classi_cation of motor imagination using 6 dry eeg electrodes," PLoS ONE, vol. 2, p. e637, 2007.
[20] S. Amiri, A. Rabbi, L. Azinfar, and R. Fazel-Rezai, A review of p300, ssvep, and hybrid p300/ssvep brain-computer interface systems," Advances in Human-Computer Interaction, vol. 2013, p. 8, 2013.
[21] H. Hallez, A. Vergult, R. Phlypo, P. V. Hese, W. D. Clercq, Y. D'Asseler, R. V. de Walle, B. Vanrumste, W. V. Paesschen, S. V. Hu_el, and I. Lemahieu, Muscle and eye movement artifact removal prior to eeg source localization," in Conf Proc IEEE Engineering in Medicine and Biology Society, 2006, pp. 1002-1005.
[22] L. M. Alonso-Valerdi, R. A. Salido-Ruiz, and R. A. Ramirez-Mendoza, Motor imagery based brain-computer interfaces: An emerging technology to rehabilitate motor de_cits," Neurophychologia, vol. 79, pp. 354-363, 2015.
[23] S. Lemm, K.-R. Muller, and G. Curio. (2009) A generalized framework for event-related desynchronization (erd). Accessed: 2016-05-20.
[Online]. Available: http://www.bbci.de/supplementary/conditionalERD/conditionalERD.htm
[24] M. Kawanabe, C. Vidaurre, S. Scholler, and K.-R. Muller, Robust common spatial _lters with a maxmin approach," Neural Computation, vol. 26, pp. 1-28, 2014.
[25] G. Pfurtscheller, C. Brunner, A. Schlogl, and F. L. da Silva, Mu rhythm (de)synchronization and eeg single-trial classi_cation of di_erent motor imagery tasks," NeuroImage, vol. 31, pp. 153-159, 2006.
[26] H.-G. Yeom and K.-B. Sim, Ers and erd analysis during the imaginary movement of arms," in Control, Automation and Systems (ICCAS), 2008, pp. 2476-2480.
[27] L. Citi, R. Poli, C. Cinel, and F. Sepulveda, P300-based bci mouse with geneticallyoptimized analogue control," IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 16, pp. 51-61, 2008.
[28] C. Guger, S. Daban, E. Sellers, C. Holzener, G. Krauze, R. Carabalona, F. Gramatica, and G. Edlinger, How many people are able to control a p300-based brain-computer interface( bci)?" Neuroscience Letters, vol. 462, pp. 94-98, 2009.
[29] V. Kolev, T. Demiralp, J. Yordanova, A. Ademoglu, and U. Isoglu-Alka, Time-frequency analysis reveals multiple functional components during oddball p300," Neuroreport, vol. 8, pp. 2061-2065, 1997.
[30] T. Verhoeven, P. Buteneers, J. Wiersema, J. Dambre, and P. Kindermans, Towards a symbiotic braincomputer interface: exploring the applicationdecoder interaction," Journal of Neural Engineering, vol. 12, p. 066027, 2015.
[31] A. Y. Kaplan, A. A. Fingelkurts, S. V. Borisov, and B. S. Darkhovsky, Nonstationary nature of the brain activity as reavealed by eeg meg methodological, practical and conceptual challenges," Signal Processing, vol. 85, pp. 2190-2212, 2005.
[32] S. Dalhoumi, G. Dray, and J. Montmain, Knowledge transfer for reducing calibration time in brain-computer interfacing," in IEEE 26th International Conference on Tools with Arti_cial Intelligence, 2014, pp. 634-639.
[33] B. Blankertz, R. Tomioka, S. Lemm, M. Kawanabe, and K.-R. Muller, Optimizing spatial _lters for robust eeg single-trial analysis," IEEE Signal Processing Magazine, vol. 25, pp. 41-56, 2008.
[34] V. Jayaram, M. Alamgir, Y. Altun, B. Scholkoph, and M. Grosse-Wentrup, Transfer learning in brain-computer interfaces," 2015.
[35] Y. Renard, F. Lotte, G. Gilbert, M. Congedo, E. Maby, V. Delannoy, O. Bertrand, and A. L_ecuyer, Openvibe: An open-source software platform to design, test and use braincomputer interfaces in real and virtual enviroments," MIT Press, vol. 19, pp. 35-53, 2010.
[36] P. S. Foundation, Python Language Reference, version 2.7.
[Online]. Available: http://www.python.org
[37] S. C. C. St_efan van derWalt and G. Varoquaux, The numpy array: A structure for e_cient numerical computation," Computing in Science and Engineering, vol. 13, pp. 22-30, 2011.
[38] F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau, M. Brucher, M. Perrot, and E. Duchesnay, Scikit-learn: Machine learning in python," Journal of Machine Learning Research, vol. 12, pp. 2825-2830, 2011.
[39] N. Brodu, F. Lotte, and A. L_ecuyer, Exploring two novel features for eeg-based braincomputer interfaces: Multifractal cumulants and predictive complexity," Neurocomputing, vol. 79, pp. 87-94, 2012.
[40] B. Blankertz, G. Dornhege, M. Krauledat, K.-R. Muller, and G. Curio, The non-invasive berlin brain-computer interface: Fast acquisition of e_ective performance in untrained subjects," NeuroImage, vol. 37, pp. 539-550, 2007.
[41] A. Goldberger, L. Ameral, L. Glass, J. Hausdor_, P. Ivanov, R. Mark, J. Mietus, G. Moody, C.-K. Peng, and H. Stanley, Physiobank, physiotoolkit, and physionet: Components of a new research resource for complex physiologic signals," Circulation, vol. 101, pp. e215-e220, 2000.
[42] G. Schalk, D. McFarland, T. Hinterberger, N. Birbaumer, and J. Wolpaw, Bci2000: A general-purpose brain-computer interface (bci) system," IEEE Transactions on Bio-Medical Engineering, vol. 51, pp. 1034-1043, 2004.
[43] F. Piccione, F. Giorgi, P. Tonin, K. Pri_ts, S. Giove, S. Silvoni, G. Palmas, and F. Beverina, P300-based brain computer interface: Reliability and performance in healthy and paralysed participants," Clinical Neurophysiology, vol. 117, pp. 531-537, 2006.
[44] T. Mladenov, K. Kim, and S. Nooshabadi, Accurate motor imagery based dry electrode brain-computer interface system for consumer applications," in Consumer Electronics (ISCE), 2012, pp. 1-4.
[45] J. Malmivuo and R. Plonsey, Bioelectromagnetism - Principles and Applications of Bioe- lectric and Biomagnetic Fields, 1995.
[46] P. Cheh, Gibbs phenomenon removal and digital _ltering directly through the fast fourier transform," IEEE Transactions on Signal Processing, vol. 49, pp. 444-448, 2001.
[47] A. D. Tirkey and N. K. Verma, Minimizing intra class variations in multi-class common spatial patterns for motor imagery eeg signals," in 9th International Conference on Indu- strial and Information Systems (ICIIS), 2014, pp. 1-5.
[48] M. Z. Ilyas, P. Saad, and M. I. Ahmad, A survey of analysis and classi_cation of eeg signals for brain-computer interfaces," in Biomedical Engineering (ICoBE), 2015, pp. 1-6.
[49] D. McFarland, L. McCane, S. David, and J. Wolpaw, Spatial _lter selection for eeg-based communication," Electroencephalography and clinical Neurophysiology, vol. 103, pp. 386- 394, 1997.
[50] C. Sannelli, C. Vidaurre, K.-R. Muller, and B. Blankertz, Common spatial pattern patches - an optimized _lter ensemble for adaptive brain-computer interfaces," in Annual Interna- tional Conference of the IEEE Engineering in Medicine and Biology, 2010, pp. 4351-4354.
[51] M. Barsotti. (2014) Workshop: "brain computer interfaces and haptics". Accessed: 2016-05-20.
[Online]. Available: http://www.slideshare.net/MicheleBarsotti/hs2014-bci-mi
[52] G. Dornhege, B. Blankertz, G. Curio, and K.-R. Muller, Boosting bit rates in non-invasive eeg single-trial classi_cations by feature combination and multi-class paradigms," IEEE Transactions on Biomedical Engineering, vol. 51, pp. 993-1002, 2004.
[53] A. Ng, Machine learning - introduction," University Lecture, 2015.
[54] T. Kanungo, D. Mount, N. Netanyahu, C. Piatko, R. Silverman, and A.Wu, An e_cient kmeans clustering algorithm: Analysis and implementation," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 24, pp. 881-892, 2002.
[55] F. Lotte, M. Congedo, A. Lecuyer, F. Lamarche, and B. Arnaldi, A review of classi_cation algorithms for eeg-based brain-computer interfaces," Journal of Neural Engineering, vol. 4, p. 24, 2007.
[56] S. J. Raudys and A. K. Jain, Small sample size e_ects in statistical pattern recognition: Recommendations for practitioners," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 13, pp. 252-264, 1991.
[57] S. Fortmann-Roe. (2012) Accurately measuring model prediction error. Accessed: 2016-05-20.
[Online]. Available: http://scott.fortmann-roe.com/docs/MeasuringError.html
[58] V. Lavrenko, Pca 11: Linear discriminant analysis," University Lecture, 2013.
[59] O. Ledoit and M.Wolf, Honey, i shrunk the sample covariance matrix," Journal of Portfolio Management, vol. 30, pp. 110-119, 2004.
[60] N. Japkowicz, Why question machine learning evaluation methods?" 2006.
[61] F. Lotte and C. Guan, Learning from other subjects helps reducing brain-computer interface calibration time," in IEEE International Conference on Acoustics, Speech and Signal Processing, 2010, pp. 614-617.
[62] P. Pudil, F. J. Ferri, and J. Kittler, Floating search methods for feature selection with nonmonotonic criterion functions," Pattern Recognition, vol. 2, pp. 279-283, 1994.
[63] L. I. Kuncheva, A stability index for feature selection," in 25th IASTED International Multi-Conference: Arti_cial Intelligence and Applications, 2007, pp. 390-395.
[64] S. Uguroglu and J. Carbonell, Feature selection for transfer learning," in European Con- ference on Machine Learning and Principles and Practice of Knowledge Discovery in Da- tabases, 2011, pp. 430-442.
[65] S. Kullback and R. A. Leibler, On information and su_ciency," The Annals of Mathema- tical Statistics, vol. 22, pp. 79-86, 1951.
[66] N. Proesmans, Brain-computer interfaces using machine learning: Reducing calibration time in motor imagery," Master's thesis, University of Ghent, 2016, unpublished.
[67] M. Arvaneh, I. Robertson, and T. E. Ward, Subject-to-subject adaptation to reduce calibration time in motor imagery-based brain-computer interface," in 36th Annual Inter- national Conference of the IEEE Engineering in Medicine and Biology Society, 2014, pp. 6501-6504.
[68] X. Steenbrughe, Multiclass detection of eeg signals with _lter bank common spatial patterns using linear discriminant analysis and subject speci_c time frames," Master's thesis, University of Ghent, 2015.
