Hybrid Brain-Computer Interfaces: Improving Mental Task Classification Performance through Fusion of Neurophysiological Modalities.

Ce projet demontre l’utilisation de multiples techniques de neuroimagerie pour la classification d’etats mentaux dans le contexte d’une interface cerveau-ordinateur (ICO). Base sur de recentes etudes en electroencephalographie (EEG) et en spectroscopie proche-infrarouge (SPIR) ayant demontre que des tâches telles que l’imagerie motrice et l’arithmetique mentale induisent des patrons d’activite neurophysiologique particuliers, un paradigme d’ICO hybride (ICOh) combinant l’EEG et la SPIR est developpe afin d’ameliorer la performance de classification binaire d’un tel systeme. Des signaux d’EEG et de SPIR ont ete enregistres sur neuf participants realisant sept tâches mentales (generation de mots, rotation mentale, soustraction mentale, chant mental, navigation mentale, imagerie motrice et imagerie de visages). Ensuite, des machines a vecteurs de support avec regularisation l1 ont ete entrainees sur chacune des paires de tâches possibles 1) en EEG, 2) en SPIR, et 3) en EEG et en SPIR conjointement, afin d’identifier les meilleures tâches et d’evaluer l’utilite d’une approche multimodale. L’evaluation subjective de la charge mentale induite par chaque tâche a aussi ete collectee afin d’en estimer la facilite d’utilisation et d’identifier des traits caracteristiques neurophysiologiques qui permettraient de predire l’experience subjective d’un utilisateur a travers une analyse des correlations entre traits caracteristiques et dimensions subjectives. L’approche multimodale EEG-SPIR a permis d’ameliorer la valeur maximale du kappa de Cohen (mesure de l’accord entre deux observateurs) de 0.03 lorsque basee sur des fenetres d’une seconde, ce qui correspond a une augmentation de l’exactitude de classification de 1.5% pour des classes equilibrees. Cette augmentation s’est revelee encore plus importante (variation de 0.17, soit 8.5% en exactitude) lorsque les cinq dernieres secondes des tâches etaient prises en compte. L’analyse de l’EEG et de la SPIR a de plus permis de reveler l’importance relative de differentes regions du cerveau et de types de traits caracteristiques, alors que l’analyse des correlations a permis d’identifier les traits caracteristiques les plus prometteurs pour predire l’experience subjective d’un utilisateur, bien qu’une evaluation plus approfondie sera necessaire pour valider ces resultats. Ces travaux fournissent une base solide pour d’autres etudes sur les ICOh cherchant a ameliorer la performance de classification vers la realisation d’ICO plus efficaces et flexibles. Abstract The symbols and special characters used in the original abstract could not be transcribed due to technical problems. Please use the PDF version to read the abstract. In this work, we demonstrate the use of multiple neuroimaging modalities to classify brain states in a Brain-Computer Interface. Based on recent electroencephalography (EEG) and near-infrared spectroscopy (NIRS) studies that showed that tasks such as motor imagery and mental arithmetic induce specific neural response patterns, we propose a hybrid BCI (hBCI) paradigm in which EEG and NIRS data are fused to improve binary classification performance. We recorded full-head EEG and partial-head NIRS data from nine participants performing seven mental tasks (word generation, mental rotation, subtraction, singing and navigation, motor and face imagery). l1-Support Vector Machines were trained for each possible pair of tasks on 1) EEG features, 2) NIRS features, and 3) EEG and NIRS features together, to identify the best pairs and assess the usefulness of a multimodal approach. Subjective ratings were also collected to assess the usability of each task and carry out a correlation analysis to discover features that could help predict the subjective experience of a user. The EEG-NIRS multimodal approach led to an average increase in peak kappa (an inter-rater agreement metric) of 0.03 when using features extracted from one-second windows (equivalent to an increase of 1.5% in classification accuracy for balanced classes). The increase was much stronger (change of 0.17, corresponding to an 8.5% accuracy increase) when focusing on the last five seconds of the 15-second trials. The EEG and NIRS analyses further unveiled relevant brain regions and important feature types, while preliminary results from the correlation analysis uncovered features that could be used to predict the subjective experience of a BCI user. This work provides a basis for future hBCI studies aiming to improve classification performance toward more efficient and flexible BCIs.