# Évaluation et modulation des fonctions exécutives en neuroergonomie - Continuums cognitifs et expérimentaux

Sébastien Scannella

► To cite this version:

Sébastien Scannella. Évaluation et modulation des fonctions exécutives en neuroergonomie - Continuums cognitifs et expérimentaux. Neurosciences. Université toulouse 3 Paul Sabatier, 2023. tel-04079522

HAL Id: tel-04079522

https://hal.science/tel-04079522

Submitted on 9 May 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

Public Domain
<figure><img src="image_1.png" /></figure>

Université
de Toulouse

Mémoire

En vue de l'obtention de

L'HABILITATION A LA DIRECTION DES RECHERCHES
DE L'UNIVERSITÉ DE TOULOUSE

Délivré par : l'Université Toulouse 3 Paul Sabatier (UT3 Paul Sabatier)

Présentée et soutenue le 2 Février 2023 par :

Sébastien Scannella

Évaluation et modulation des fonctions exécutives
en neuroergonomie

Continuums cognitifs et expérimentaux

JURY

ANTONI VALÉRO-CABRÉ

ANNE CACLIN

DANIEL PRESSNITZER

JORDAN NAVARRO

AGATA KRASNY-PACINI

MATHIEU MARX

GUILLAUME ANDÉOL

DR. Univ. Sorbonne

CR. Univ. Claude Bernard I

DR. ENS - Paris

Pr. Univ Lumière Lyon 2

MCU-PH. Univ. Strasbourg

PU-PH. Univ. Toulouse III

Pr. École du Val-de-Grâce

Membre du jury

Rapporteure

Rapporteur

Rapporteur

Membre du jury

Membre du jury

Membre du jury

École doctorale et spécialité :
EDSYS : Systèmes

Unité de Recherche :
ISAE-ONERA DECISIO
<figure><img src="image_2.png" /></figure>
Remerciements

La synthèse du travail de recherche présenté dans ce manuscrit est le fruit de nombreuses ren-
contres, personnelles, professionnelles et d'interactions scientifiques, que j'ai eu la chance de
vivre. Je souhaite adresser à toutes les personnes qui m'ont soutenues et qui ont cru en moi, un
immense merci. Grâce à vous, j'ai le privilège de faire aujourd'hui un métier qui me passionne.

Merci aux membres du jury de cette HDR qui ont pris de leur précieux temps pour évaluer ce
travail, **Antoni Valéro-Cabré, Anne Caclin, Daniel Pressnitzer, Jordan Navarro, Agata
Krasny-Pacini et Mathieu Marx**.

Mes remerciements vont tout particulièrement à **Frédéric Dehais** qui m'a accordé son entière
confiance et m'a donné l'élan nécessaire pour pouvoir voler de mes propres ailes. Il ne fait au-
cun doute que tes conseils, ton soutien et ta bienveillance m'ont conduit ici aujourd'hui. Merci !!!

Merci à **Xavier De Boissezon** de m'avoir ouvert les portes du MPR et de t'être impliqué comme
tu l'as fait dans nos collaborations, malgré un planning plus que chargé.

Merci à **Guillaume Andéol** pour les heures passées à "brainstormer" sur *Barone et Cie* et pour
ton accompagnement dans ce parcours.

Merci à mes collègues de l'ISAE-SUPAERO, **Vsevolod Peysakhovich**, **Raphaëlle Roy** et **Ca-
roline Chanel**, pour nos collaborations et échanges fructueux.

Merci à tous les étudiants et chercheurs qui se sont énormément investis dans ces travaux de
recherche : **Evelyne Lepron**, **Benoit Valery**, **Quentin Chenot**, **Cosima Lanzilotti**, **Claire Le-
bely** et **Caroline Hamery**. C'est notre travail qui est présenté ici.

Merci à toute l'équipe du centre de neuroergonomie, chercheurs, étudiants ou stagiaires, du passé
et du présent, pour nos nombreux moments de partage et de rigolade.

Enfin, merci à **ma famille** pour leur soutien inconditionnel, particulièrement durant cette période
de rédaction.
Résumé

Des études en neuroergonomie ont montré que le pilote d'avion pouvait commettre des erreurs en raison d'une incapacité transitoire à faire preuve de flexibilité mentale. Il apparaît que certains facteurs, tels qu'une forte charge mentale ou une pression temporelle importante, un niveau de stress trop élevé, la survenue de conflits, ou une perte de conscience de la situation, peuvent altérer temporairement l'efficience des fonctions exécutives permettant cette flexibilité. Depuis mes travaux initiaux, dans lesquels je me suis intéressé aux conditions qui conduisent à une négligence auditive, j'ai souhaité développer une approche scientifique visant à quantifier et limiter les effets délétères de ces différents facteurs. Ceci a été fait à travers l'étude des fonctions exécutives chez l'être humain selon le continuum cognitif (du cerveau lésé au cerveau en parfait état de fonctionnement) et le continuum expérimental (de l'ordinateur au monde réel). L'approche fondamentale de l'étude des fonctions exécutives en neurosciences combinée à l'approche neuroergonomique graduelle avec des pilotes et des patients cérébro-lésés, a permis de mieux comprendre la manière dont ces fonctions sont mises en jeu et altérées. Cette connaissance à contribuer par la suite à la mise en place de solutions pour préserver leur efficacité en situation complexe.

Après avoir rappelé mon parcours académique, je présente dans ce manuscrit une sélection de travaux répartis sur trois thématiques de recherche. La première concerne l'étude des *fonctions exécutives impliquées dans l'attention* et en particulier la façon dont la charge perceptive et la charge mentale peuvent altérer ces fonctions. La deuxième correspond à un aspect plus appliqué de ces travaux avec l'évaluation de l'état du pilote. Il a été question d'analyser cet état selon l'activité de pilotage elle-même ou à travers la gestion et la supervision d'un système en particulier. La troisième et dernière thématique concerne la recherche de marqueurs prédictifs de la performance cognitive et l'élaboration d'entraînement cognitif pour limiter les troubles dysexécutifs, qu'ils soient d'origine contextuelle ou lésionnelle.

Ces travaux ont contribué à une meilleure compréhension des troubles cognitifs transitoires ou chroniques, mais ils ont aussi soulevé des questions auxquelles je souhaite répondre aujourd'hui. Pour illustrer cette réflexion, je présente en dernière partie de ce document mon projet de recherche qui vise à développer une approche multifactorielle de l'efficience cognitive, éthique et en science ouverte.
Table des matières

CURRICULUM VITAE 1

1 Formation et expérience professionnelle 1

1.1 Diplômes et titres universitaires 1

1.2 Parcours professionnel 2

1.3 Coordination de projets et obtention de contrats de recherche 2

1.4 Activités d'encadrement et d'enseignement 2

1.4.1 Direction de thèse 2

1.4.2 Codirection de thèses 2

1.4.3 Supervision de contrats postdoctoraux 3

1.4.4 Supervision d'ingénieur 3

1.4.5 Encadrement de stagiaires 3

1.4.6 Enseignements 4

1.5 Expertises et diffusions scientifiques 5

1.5.1 Participation à un jury de thèse 5

1.5.2 Relectures et expertises 5

1.5.3 Participation à l'organisation de conférences 5

2 Publications et communications 7

2.1 Journaux de rang A (Q1) 7

2.2 Autres journaux 8

2.3 Conférences avec actes 8

2.4 Conférences sans actes 9

2.5 Colloques sur invitation 10

2.6 Presse 10
INTRODUCTION 13

TRAVAUX DE RECHERCHE 19

1 Thématique 1. Fonctions exécutives de l'attention auditive 21

1.1 Attention auditive et conflit audiovisuel 23

1.1.1 Approche simplifiée du conflit audiovisuel : le conflit spatial 23

1.1.2 Vers plus d'écologie : le conflit audiovisuel en situation d'atterrissage 29

1.2 Attention auditive et charge mentale 35

1.2.1 Surdité inattentionnelle dans un simulateur 35

1.2.2 Surdité inattentionnelle dans un avion 40

1.3 Les indices sonores comme outils de sélection de la parole 44

1.3.1 Charge mentale et spatialisation des sons 44

1.3.2 Effort d'écoute et fonctions exécutives 48

2 Thématique 2. L'opérateur et son interface 55

2.1 Suivi de l'état du pilote 57

2.1.1 Détection de la surdité inattentionnelle 57

2.1.2 Évaluation en ligne de la mémoire de travail : en simulateur de vol 58

2.1.3 Évaluation en ligne de la mémoire de travail : au laboratoire 62

2.1.4 Inférer la phase de vol par les mesures psychophysio logiques 65

2.2 Construire et évaluer les aides au pilotage 69

2.2.1 Détecter et mitiger les conflits entre le pilote et le cockpit 69

2.2.2 Évaluation d'un système d'aide à l'atterrissage 72

2.2.3 Coût attentionnel de la sonification des paramètres de vol 75

3 Thématique 3. La performance cognitive dans la gestion de tâches complexes 81

3.1 Évaluation et prédiction de la performance 83

3.1.1 Prédire la performance par la connectivité fonctionnelle cérébrale de repos en NIRS 83

3.1.2 Prédire la performance par la dynamique cérébrale de repos en EEG 87

3.2 Modulation de la performance cognitive 92

3.2.1 Entraînement cognitif en situation multilocuteur 92

3.2.2 Entraînement cognitif et neuromodulation pour la gestion de tâches complexes 96

3.2.3 Entraînement cognitif et neuromodulation chez le patient cérébro-lésé 100

4 Discussion générale 105
<table><tr><td>PERSPECTIVES DE RECHERCHE</td><td>107</td></tr><tr><td>1 Présentation générale</td><td>109</td></tr><tr><td>2 Approche multifactorielle de l'efficience cognitive</td><td>113</td></tr><tr><td>2.1 Les tâches complexes comme outil de mesures des fonctions exécutives</td><td>113</td></tr><tr><td>2.2 Modèles de prédiction et d'estimation de la performance</td><td>115</td></tr><tr><td>3 Modulation de la performance à travers le continuum cognitif</td><td>117</td></tr><tr><td>3.1 L'entraînement cognitif pour diminuer l'effort d'écoute</td><td>117</td></tr><tr><td>3.2 L'entraînement cognitif chez le pilote</td><td>119</td></tr><tr><td>3.3 L'entraînement cognitif chez le patient</td><td>121</td></tr><tr><td>3.4 Protocoles en ligne de base multiple pour la neuroergonomie</td><td>123</td></tr><tr><td>3.5 Une chaire pour l'entraînement cognitif</td><td>125</td></tr><tr><td>ANNEXES</td><td>135</td></tr><tr><td>1 Sélection de cinq articles représentatifs</td><td>137</td></tr></table>
<figure><img src="image_3.png" /></figure>
CURRICULUM VITAE
<figure><img src="image_4.png" /></figure>
CURRICULUM VITAE

Sébastien SCANNELLA

Né le 27 juillet 1981 à Bordeaux,
Ingénieur-Chercheur à l'Institut Supérieur de l'Aéronautique et de l'Espace (ISAE-SUPAERO)
École doctorale : Systèmes (EDSYS)
Doctorat obtenu le 20 janvier 2012 à Toulouse

Département Conception et Conduite des véhicules Aéronautiques et Spatiaux (DCAS)
10 Av. Edouard Belin
BP 54032
31055 Toulouse Cedex 4

Tél : +33(0) 561 338 759

Mél : sebastien.scannella@isae-supaero.fr

Site Web : www.quickscience.e-monsite.com

## 1.1 Diplômes et titres universitaires

**2023** Habilitation à Diriger des Recherches - Neuroergonomie, ISAE-SUPAERO, Université de Toulouse III.

**2007-2011** Thèse de doctorat en Neurosciences - Radiophysique et imagerie médicale, Université de Toulouse.

**2005-2007** Master 2 de recherche en Neurosciences cognitives et intégratives, Université Saint Charles, Marseille.

**2002-2005** Licence de Biologie cellulaire et physiologie. Spécialité Neurosciences, Université Saint Jérôme, Marseille.
## 1.2 Parcours professionnel

**Depuis 2016** Chercheur à l'ISAE-SUPAERO, DCAS, équipe Neuroergonomie et Facteurs Humains, Toulouse.

**2014-2016** Chercheur postdoctoral à l'ISAE-SUPAERO, DCAS, équipe Neuroergonomie et Facteurs Humains, Toulouse. Financement Chaire AXA. *Neuroergonomie pour la sécurité aérienne.*

**2012-2014** Chercheur postdoctoral à l'ISAE-SUPAERO, DCAS, équipe Neuroergonomie et Facteurs Humains, Toulouse. Financement Projet européen D3COS. *Évaluation d'un système coopératif d'aide au pilotage dans le cockpit d'avion.*

## 1.3 Coordination de projets et obtention de contrats de recherche

**2022-2024** Projet École DGA, (co-porteur). Projet POWER BRAIN – *Neuromodulation duale comme outil d'entraînement des fonctions exécutives impliquées dans le pilotage d'aéronef s.* 270 k€.

**2021-2024** ANR, Sport de Très Haute Performance (participation, responsable ISAE-SUPAERO). Projet BEST – *Biomécanique, Entraînement perceptif, Stratégie et Transfert scientifique Ténnis.* 1.4 M€.

**2021-2023** Projet École DGA, (participation). ATARRI – *Déploiement de l'attention en espace arrière : application au vol en formation.* 252 k€.

**2018-2022** ANR-Astrid, (porteur). Projet MODEX – *MODulation et Évaluation de la flexibilité mental de l'opérateur de système à risque.* 300 k€.

**2013-2023** Chaire Axa (participation). *Utilisation de l'activité cérébrale pour l'inférence de l'état du pilote d'avion.* 1 M€.

## 1.4 Activités d'encadrement et d'enseignement

### 1.4.1 Direction de thèse

Caroline Hamery, *Approche comportementale et électrophysiologique de l'effort d'écoute chez l'opérateur de système à risque.* Bourse MESRI. Début octobre 2022. (100%).

### 1.4.2 Codirection de thèses

Cosima Lanzilotti, *Étude multidimensionnelle de l'effort d'écoute en situations multilocuteurs : mesures subjectives, comportementales et en imagerie optique.* Thèse CIFRE financée par THALES SIX GTS. Directeur de thèse : Guillaume Andéol (IRBA). Soutenue le 16 novembre 2021. (50%).
**Quentin Chenot**, *Prédire et améliorer la performance humaine lors de tâches complexes.*
Thèse cofinancée ISAE-SUPAERO - École doctorale AA. Directeur de thèse Xavier De Boissezon (Inserm, TONIC). Soutenue le 9 décembre 2021. (50%).

**Claire Lebely**, *Modulation et évaluation de la flexibilité mentale chez les patients cérébro-lésés.*
Activité salariée (hors financement thèse). Directeur de thèse : Xavier De Boissezon.
Soutenance prévue fin 2023. (50%).

### 1.4.3 Supervision de contrats postdoctoraux

**Quentin Chenot**, *La neuromodulation comme outil d'entraînement des fonctions exécutives impliquées dans le pilotage d'aéronefs.*
Financement AID (2022-2023). (100%).

**Evelyne Lepron**, *Modulation et évaluation de la flexibilité mentale.*
Financement ANR-DGA (2019-2022). (100%).

### 1.4.4 Supervision d'ingénieur

**Noémie Préa**, *Entraînement cognitif du joueur de tennis.*
Financement ANR (2022). (50%).

### 1.4.5 Encadrement de stagiaires

#### Master

**Pierre Esteves**, *Modulation et évaluation de la flexibilité mentale.*
Master 2 Computational Neurosciences and NeuroEngineering. Financement ANR-DGA (2021). (100%).

**Caroline Hamery**, *Neurophysiological markers and Enhancement by Brain Stimulation.*
Joint Master in Neuroscience (2020). (100%).

**Antonio Vilanova-Perez**, *Software development tool for data acquisition and real-time strea-ming in flight safety research.*
Master of Science in Aerospace Engineering (2019-2020). Co-supervision Caroline Chanel (ISAE-SUPAERO). (50%).

**Cosima Lanzilotti**, *Charge cognitive et caractéristiques des voix des locuteurs en cocktail party.*
Master 2 Neurosciences (2017). Co-supervision Guillaume Andéol (IRBA). (50%)

**Matthew Wilson**, *Development of Online Cardiac Feedback for Control Applications.*
Master of Science in Aerospace Mechanics and Avionics (2016-2017). Co-supervision Caroline Chanel (ISAE-SUPAERO). (50%)

**Mohammed Elmehdi Ez-ghari**, *Algortihmes de Classification des Mouvements Oculaires.*
Master 2 Informatiques et Mathématiques appliquées (2016). Co-supervision Vsevolod Pey-sakhovich (ISAE-SUPAERO). (50%)

**Jonathan Lefebvre**, *Experimental Investigation of Real Time Algorithms for Eye Event Classification.*
Masters of Aerospace Mechanics and Avionics Engineering (2015-2016). Co-supervision Vsevolod Peysakhovich (ISAE-SUPAERO). (50%)
**Amine Laouar**, *Marqueurs neurophysiologiques de la surdité inattentionnelle chez les pilotes en simulateur*. Master 2 de Neurosciences (2015-2016). Co-supervision Frédéric Dehais et Raphaëlle ROY (ISAE-SUPAERO). (25%)

**Florian Ehrig**, *Pilot State Vector Measurement during Real Flight Tests*. Masters of Aerospace Mechanics and Avionics Engineering (2013-2014). Co-supervision Frédéric Dehais (ISAE-SUPAERO). (75%)

**Valéria Duflot**, *Conception d'une tâche aéronautiquement plausible*. Master Biologie et Santé, Licence de Biologie cellulaire et Physiologie (2009-2010) co-supervision Josette Pastor (Inserm). (50%)

### Cursus ingénieur

**Juliette Esquirol**, *Modulation et évaluation de la flexibilité mentale*. École d'ingénieur 2A. Financement DGA (2021). Co-supervision Vsevolod Peysakhovich (ISAE-SUPAERO). (100%)

**Hugo Boronat et Anaïs Goyet**, *Eye Fixation-Related Potentials : Feasibility of coupling EEG and Eye-tracker Data*. Projet d'innovation et de recherche (2016). Co-supervision Benoit Valéry (Univ. Champollion). (50%)

## 1.4.6 Enseignements

**Bases du système nerveux central** ISAE-SAPAERO 3A (6h).

**Human Factors in Aeronautics** ISAE-SUPAERO 3A / MAE - ENAC (4h).

**Traitement du signal électrocardiographique** ISAE-SUPAERO 3A / MAE / TAS-AERO (12h).

**Traitement du signal électroencéphalographique** ISAE-SAPAERO 3A / MAE / TAS-AERO (6h).

**Traitement du signal de spectroscopie en proche infrarouge** ISAE-SUPAERO 3A / MAE / TAS-AERO (6h).

**Responsable module Master Aerospace Engineering ISAE-SUPAERO** : Human Factors : Experimentation and Measures (25h).
# 1.5 Expertises et diffusions scientifiques

## 1.5.1 Participation à un jury de thèse

**Franck Élisabeth** (2022), Examinateur.

Mesure et contre-mesure de la surdité attentionnelle.

**Sébastien Laurent** (2021), Examinateur.

Bénéfice d'un dispositif animé pour l'illustration du code de la route chez les candidats sourds :
'évaluation comportementale et physiologique.

**Pierre Besson** (2019), Examinateur.

Using transcranial direct-current stimulation during motor task for a better outcome.

## 1.5.2 Relectures et expertises

**ANR-ASTRID** Membre du comité de sélection 2019-2022.

**IJHCS** Relecteur : *International Journal of Human-Computer Studies*.

**Frontiers in Human Neuroscience** Relecteur.

**Frontiers in Neuroergonomics** Éditeur associé : Augmented and Synthetic Neuroergonomics.

**Frontiers in Neuroergonomics** Éditeur sujet de recherche : *functional Near Infrared Spectroscopy (fNIRS) in Neuroergonomics*.

**PLOS ONE** Relecteur.

**International Journal of Psychophysiology** Relecteur.

**ETRA 2022** Relecteur : *Eye-Tracking Research and Applications*.

**CPHS 2018** Relecteur : *Computer-Physical & Human Systems*.

## 1.5.3 Participation à l'organisation de conférences

**2fNIRS** 2015, Toulouse.

**Neuroergonomics** 2016, Paris.
## 2.1 Journaux de rang A (Q1)

1. Lanzilotti, C., Andéol, G., Micheyl, C., and **Scannella, S.** (2022). Cocktail party training induces increased speech intelligibility and decreased cortical activity in bilateral inferior frontal gyri. A functional near-infrared study. *PLoS ONE, 17*(12).

2. Chenot, Q., Hamery, C., Lepron, E., Besson, P., De Boissezon, X., Perrey, S., and **Scannella, S.** (2022). Performance after training in a complex cognitive task is enhanced by high-definition transcranial random noise stimulation. *Scientific reports, 12*(1), 1-12.

3. Valery, B., Matton, N., **Scannella, S.**, and Dehais, F. (2019). Global difficulty modulates the prioritization strategy in multitasking situations. *Applied ergonomics, 80*, 1-8.

4. Dehais, F., Roy, R. N., and **Scannella, S.** (2019). Inattentional deafness to auditory alarms : Inter-individual differences, electrophysiological signature and single trial classification. *Behavioural brain research, 360*, 51-59.

5. **Scannella, S.**, Peysakhovich, V., Ehrig, F., Lepron, E., and Dehais, F. (2018). Assessment of Ocular and Physiological Metrics to Discriminate Flight Phases in Real Light Aircraft. *Human factors, 60*(7), 922-935.

6. Andéol, G., Suied, C., **Scannella, S.**, and Dehais, F. (2017). The spatial release of cognitive load in cocktail party is determined by the relative levels of the talkers. Journal of the Association for Research in Otolaryngology, 18(3), 457-464.

7. Valéry, B., **Scannella, S.**, Peysakhovich, V., Barone, P., and Causse, M. (2017). Can an aircraft be piloted via sonification with an acceptable attentional cost? A comparison of blind and sighted pilots. Applied ergonomics, 62, 227-236.

8. Durantin, G., **Scannella, S.**, Gateau, T., Delorme, A., and Dehais, F. (2016). Processing Functional Near Infrared Spectroscopy Signal with a Kalman Filter to Assess Working Memory during Simulated Flight. *Frontiers in human neuroscience, 9*.

9. **Scannella, S.**, Pariente, J., De Boissezon, X., Castel-Lacanal, E., Chauveau, N., Causse, M., Dehais, F., Pastor, J. (2016). N270 sensitivity to conflict strength and working memory : a combined ERP and sLORETA study. *Behavioural Brain Research*

10. Peysakhovich, V., Causse, M., **Scannella, S.**, Dehais, F. (2015). Frequency analysis of a task-evoked pupillary response : mental effort measure independent of light conditions. *International Journal of Psychophysiology, 97*(1), 30-37.
11. Giraudet, L., St-Louis, M., **Scannella, S.**, and Causse, M. (2015). P300 event-related potential as an indicator of inattentional deafness? *PLoSone*, 10, e0118556-e0118556.

12. Gateau, T., Durantin, G., Lancelot, F., **Scannella, S.**, Dehais, F. (2015). Real-time state estimation in a flight simulator using fNIRS. *PLoSone*, 10(3).

13. Cermolacce, M., **Scannella, S.**, Faugere, M., Vion-Dury, J., and Besson, M. (2014). "All that glitters is not... alone". Congruity effects in highly and less predictable sentence contexts. *Neurophysiologie Clinique/Clinical Neurophysiology*, 44(2), 189-201.

14. **Scannella, S.**, Causse, M., Chauveau, N., Pastor, J., and Dehais, F. (2013). Effects of the audiovisual conflict on auditory early processes. *International Journal of Psychophysiology*, 89(1), 115-122.

## 2.2 Autres journaux

1. Chenot, Q., Lepron, E., De Boissezon, X., and **Scannella, S.** (2021). Functional Connectivity Within the Fronto-Parietal Network Predicts Complex Task Performance: A fNIRS Study. *Frontiers in Neuroergonomics, 22*.

2. Dehais, F., Duprès, A., Blum, S., Drougard, N., **Scannella, S.**, Roy, R. N., and Lotte, F. (2019). Monitoring pilot's mental workload using ERPs and spectral power with a six-dry-electrode EEG System in real flight conditions. *Sensors*, 19(6), 1324.

3. **Scannella, S.**, Pariente, J., Lotterie, J.A., De Boissezon, X., Marque, P., Simonetta-Moreau, M., Castel-Lacanal, E., and Pastor, J. (2012). Le paradigme du conflit visuo-auditif spatial comme outil de diagnostic de l'heminegligence. *Annals of Physical and Rehabilitation Medicine*, 55, e194.

## 2.3 Conférences avec actes

1. Chenot, Q., Truninger, M., Langer, N., de Boissezon, X., and **Scannella, S.**, (2021). EEG micro-states at rest predict task performance. *Neuroergonomics Conference*.

2. Lanzilotti, C., Andéol, G and **Scannella, S.** (2020). Cocktail party training improves the use of level cues for speech intelligibility : behavioral and fnirs data. *43rd annual MidWinter Meeting ARO - San Jose - USA*.

3. Andéol, G., Lanzilotti, C., and **Scannella, S.** (2020). Cocktail party training improves the use of level cues for speech intelligibility : behavioral and fnirs data. *Forum Acusticum - Lyon*.

4. Lanzilotti, C., **Scannella, S.**, and Andéol, G. (2020). Listening effort in multitalker situation. *Battlefield Acoustics and NATO HFM-285 meeting 7th Workshop on ISL - French-German Research Institute of Saint-Louis Saint-Louis, FR, 20-22 October 2020*.

5. Chanel, P. C., Wilson, M. D., and **Scannella, S.** (2019). Online ECG-based Features for Cognitive Load Assessment. *In 2019 IEEE International Conference on Systems, Man and Cybernetics (SMC) (pp. 3710-3717)*. IEEE.

6. Chenot, Q., and **Scannella, S.** (2018). Pilot Study of Mental Flexibility brain networks. *Frontiers in Human Neuroscience*, 12.

7. **Scannella, S.**, Roy, R. N., Laouar, A., and Dehais, F. (2018). Auditory neglect in the cockpit : using ERPS to disentangle early from late processes in the inattentional deafness phenomenon. *In Neuroergonomics* (pp. 207-208). Academic Press.
8. Reynal, M., Rister, F., **Scannella, S.**, Wickens, C., and Dehais, F. (2017). Investigating Pilot's Decision Making When Facing an Unstabilized Approach: An Eye Tracking Study. In *In 19th International Symposium on Aviation Psychology* (p. 335).

9. Dehais, F., Roy, R. N., Gateau, T., and **Scannella, S.** (2016). Auditory Alarm Misperception in the Cockpit: An EEG Study of Inattentional Deafness. Paper presented at the *International Conference on Augmented Cognition* (pp. 177-187). Springer International Publishing.

10. Cassoudesalle, H., **Scannella, S.**, Pariente, J., Lotterie, J. A., Celsis, P., Castel-Lacanal, E., ... and Pastor, J. (2015). The behavioral and electrophysiological effects of posterior parietal cortex damage in spatial audio-visual conflict. *Annals of Physical and Rehabilitation Medicine*, 58, e29-e30.

11. Dehais, F., Peysakhovich, V., **Scannella, S.**, Fongue, J., Gateau, T. (2015). "Automation Surprise" in Aviation: Real-Time Solutions. Paper presented at the *Computer-Human Interaction (CHI) International Conference*.

12. Durantin, G., **Scannella, S.**, Gateau, T., Delorme, A. and Dehais, F. (2014). Moving Average Convergence Divergence Filter Preprocessing for Real-Time Event-Related Peak Activity Onset Detection: Application to fNIRS Signals. Paper presented at the *Engineering in Medicine and Biology Society, 36th Annual International Conference of the IEEE*.

13. Lacko, I., Moravek, Z., Osterloh, J.-P., Rister, F., Dehais, F., and **Scannella, S.** (2013). Modeling approach to multi-agent system of human and machine agents: Application in design of early experiments for novel aeronautics systems. Paper presented at the *Industrial Informatics (INDIN), 11th IEEE International Conference (INDIN)*.

14. **Scannella, S.**, Pariente, J., Lotterie, J.A., De Boissezon, X., Marque, P., Simonetta-Moreau, M., Castel-Lacanal, E., and Pastor, J. (2012). Le paradigme du conflit visuo-auditif spatial comme outil de diagnostic de l'hémineglence. *Annals of Physical and Rehabilitation Medicine, 55*, e194. Paper presented at the 27th *Congres of the Societe Francaise de Medecine Physique et de Réadaptation (SOFMER)*.

## 2.4 Conférences sans actes

1. Lebely, C., Lepron, E., Besse-armisen, R., **Scannella, S.**, and De Boissezon X., (2021). Premiers résultats d'un programme d'entraînement des fonctions exécutives couplé à des stimulations transcraniennes chez des patients cérébro-lèsés : une étude en multiples cas uniques. *SOFMER 2021*.

2. Duprès, A., Roy, R. N., **Scannella, S.**, and Dehais, F. (2018), Pre-stimulus EEG engagement ratio predicts inattentional deafness to auditory alarms in realistic flight simulator. In *In 3rd International Mobile Brain/Body Imaging Conference (MOBI 2018) (pp. pp-1)*.

3. **Scannella, S.**, Peysakhovich, V., Ehrig, F., and Dehais, F. (2015). Can flight phase be inferred using eye movements? Evidences from real flight conditions. Poster presented at the *European Conference on Eye Movements (ECEM)*.

4. Suied, C., **Scannella, S.**, Bouy, J-C., Andeol, G., and Dehais, F. (2015). Spatially-separated sources can reduce cognitive load in a cocktail-party situation: Evidence from near infrared spectroscopy. Poster presented at the *Third International Conference on Cognitive Hearing Science for Communication (CHSCOM)*.

5. Suied, C., **Scannella, S.**, Bouy, J-C., Andeol, G., and Dehais, F. (2015), Spatially-separated sources can reduce cognitive load in a cocktail-party situation: Evidence from near infrared spectroscopy. Talk at the *Second French Functional Near InfraRed conference (2fNIRS)*. Toulouse, France.
6. **Scannella, S.**, Pariente, J., Lotterie, J.A., De Boissezon, X., Marque, P., Simonetta-Moreau, M., Castel-Lacanal, E., and Pastor, J. (2012). Le paradigme du conflit visuo-auditif spatial comme outil de diagnostic de l'heminegligence. Talk at *Congrès de la Société Française de Médecine Physique et de Réadaptation*.

7. **Scannella, S.**, Pariente, J., Castel Lacanal, E., de Boissezon, X., Lotterie, J.A., Simonetta, M., Marque, P., and Pastor, J. (2010). The frontoparietal network in spatial visuoauditory conflict : a fMRI study. Poster presented at the *Federation of the European Societies of Neuropsychology (FESN)*.

8. **Scannella, S.**, Blanchard, C., Chauveau, N., Démonet, J.F and Pastor, J. (2009). Visual modulation of auditory attention : An electrophysiological and behavioral study of a spatial visuoauditory conflict. Poster presented at *Neuroimage/Human Brain Mapping Conference (HBM)*.

9. **Scannella, S.**, Dehais, F., and Pastor, J., (2008). Visuoauditory conflicts : why aircraft pilots are deaf to auditory alarms. Talk at *FH-SCHEME (Engineer and Cognitive sciences of Human factors and Ergonomics)*.

## 2.5 Colloques sur invitation

* Webinar **Neuroelectrics** (février 2023). *Neuromodalution et entraînement cognitif chez le sujet sain et le patient cérébro-lésé*.

* Workshop **INRIA**, Acquisition multimodale et analyse des données, Rennes (décembre 2022). *deux présentations : Intérêts de l'acquisition multimodale ; Présentation d'un cas d'étude multimodale*.

* 2ème Congrès commun de **Médecine Subaquatique, Hyperbare et Aérospatiale**, Toulouse (Juin 2022). *Neuroergonomie d'une tâche complexe*.

* Séminaire **CERCO**, Développement fNIRS, Toulouse (Mars 2022). *Effort d'écoute en situation multilocuteurs : méthode de déconvolution appliquée au signal NIRS*.

* Workshop **CREA**, Les ateliers thématiques 2019 EEG – fNIRS – LSL, Salon-de-Provence (octobre 2019) *deux présentations : Bases physiologiques de la NIRS ; Principe d'utilisation du Lab Streaming Layer*.

* Séminaire **INCC**, Paris Descartes (Février 2020). *La surdité inattentionnelle*.

* Séminaire **Agence Innovation Défense**. Innovation Défense Lab, Paris (Février 2019). *Projet Modex : Évaluation et modulation de la flexibilité mentale*.

* Association **InCOGnu**, Toulouse (Mai 2017). *Les Neurosciences au service de la sécurité aérienne*.

## 2.6 Presse

* Journal TV France 3 Midi-Pyrénées.

* France 2. *Les pouvoirs extraordinaires du corps-humain*.

* Articles de journaux : Aéromorning, Les Échos, Le Figaro. La dépêche.
# Avant-propos

Le but de ce document est de présenter mon parcours de recherche à travers une sélection de travaux réalisés depuis ma thèse de Neurosciences jusqu'à ce jour. Le point de départ est une question simple : *pourquoi les pilotes d'avions sont-ils parfois insensibles aux alarmes auditives pourtant critiques* ? Tenter d'y répondre a soulevé d'autres questions en lien avec les capacités attentionnelles, les interfaces humain-système ou encore la mesure et la modulation de la performance. Comprendre comment le cerveau peut présenter des troubles exécutifs transitoires ou chroniques et trouver des solutions, a nécessité le développement de plusieurs thématiques de recherche avec différentes populations. Ainsi, ce travail s'est fait à travers deux continuums qui sont présents en filigrane de mes travaux et parfois interconnectés.

Le **continuum cognitif** postule que le fonctionnement cérébral ne répond pas à la loi du "tout ou rien". Au contraire, entre un cerveau sain et un cerveau lésé, il existe plusieurs états intermédiaires influencés par le contexte de la tâche et l'état physiologique. Ainsi, l'approche expérimentale par le continuum cognitif permet l'étude des processus cognitifs depuis leur fonctionnement optimal, jusqu'à leurs aspects dégradés – que cette dégradation soit d'origine lésionnelle, contextuelle ou idiosyncrasique.

Le **continuum expérimental** est issu de la volonté des chercheurs en neuroergonomie de montrer que les résultats fonctionnels obtenus dans un scanner IRM, ou face à un ordinateur par exemple, sont souvent remis en question lorsqu'il s'agit de les interpréter *in situ*. De même, l'étude du fonctionnement cérébral dans son environnement naturel est complexe, limitée par la difficulté de contrôler les facteurs confondants qui sont forcément plus nombreux dans un avion en vol ou dans un supermarché. Combiner une approche fondamentale de l'étude des fonctions exécutives en neurosciences à une approche écologique graduelle et plus appliquée en neuroergonomie permet ainsi une vision plus réaliste des capacités et des modes de fonctionnement de notre cerveau.
# INTRODUCTION
<figure><img src="image_5.png" /></figure>
Le cerveau humain est capable d'une remarquable adaptation, notamment lors de change-
ments soudains de la demande en ressources cognitives. De nombreux exemples montrent l'ef-
ficacité avec laquelle un opérateur peut gérer la survenue d'une panne ou d'un incident dans
des environnements très complexes. En aéronautique par exemple, la conduite d'un aéronef en
cas d'incident peut s'avérer extrêmement difficile et requérir de la part des pilotes une certaine
habileté cognitive et motrice pour une gestion efficace des problèmes. Ce fût notamment le cas
de l'équipage du vol 1549 de l'US Airways<fnref n="1" /> qui, après avoir percuté un groupe d'oiseaux le 15
janvier 2009, est contraint de faire un amerrissage d'urgence dans le fleuve Hudson. Pour gérer cet
imprévu et sauver l'ensemble des passagers, les membres de l'équipage ont été capables de mettre
en place de nouvelles stratégies décisionnelles et comportementales efficaces. Malgré la pression
temporelle, ils ont réussi à planifier et à produire les bons actes, évaluer leurs conséquences
et inhiber les possibles distracteurs en restant sensibles aux informations les plus pertinentes,
comme les alarmes. Ils ont fait preuve de flexibilité mentale (Mesulam, 1986; Spiro, 1988). Cette
capacité est indispensable aux opérateurs de systèmes à risques tels que les militaires, les pilotes
d'aéronefs, les contrôleurs aériens ou encore les contrôleurs de centrales nucléaires, où les enjeux
économiques et humains sont majeurs. Elle permet l'abandon d'un comportement lorsque celui-ci
n'est plus pertinent et la sélection d'une réponse alternative, plus adaptée, grâce à la bonne mise
en œuvre des fonctions exécutives sous-tendues notamment par le cortex préfrontal.

Il arrive que les opérateurs de systèmes à risques fassent parfois preuve d'un manque de flexibilité mentale, particulièrement lors de situations critiques où plusieurs facteurs défavorables sont présents. L'histoire de l'aviation est malheureusement riche de tels événements, comme celui du vol 173 de *United Airlines* en décembre 1978 où les pilotes ont fait face à un indicateur de train d'atterrissage défectueux et ont décidé de retarder l'atterrissage. Les pilotes se sont alors focalisés sur ce problème, négligent de vérifier le niveau de carburant et ont fini par s'écraser dans les environs de Portland<fnref n="2" />. Des études en neuroergonomie ont montré que le pilote pouvait transitoirement être incapable de faire preuve de flexibilité mentale en raison d'une trop forte pression de facteurs externes sur les fonctions exécutives, comme une forte charge mentale ou une pression temporelle importante (C. Wickens et al., 2015), un niveau de stress trop élevé (Dehais et al., 2010), la survenue de conflits (Dehais et al., 2012), une perte de conscience de la situation ou encore par excès de confiance (Borghini et al., 2014). Ces défauts de flexibilité mentale ont pu être observés chez les opérateurs de contrôle de centrales nucléaires (Three Mile Island, Chernobyl), dans le domaine aérospatial (p. ex. l'accident du Challenger<fnref n="3" />), chez les anesthésistes (Fioratou et al., 2010) et dans le domaine militaire (Collyer & Malecki, 1998). Ils ont malheureusement tous un coût financier (destruction partielle ou totale des infrastructures ou des aéronefs) et, plus important, un coût en vies humaines (p. ex. plus de 3000 morts en aviation commerciale entre 2005 et 2014 : rapport Boeing). Il est donc essentiel d'aider les opérateurs de conduite de systèmes à risques à faire face à ce genre de situations. Certaines

<footnote n="1">1. https://fr.wikipedia.org/wiki/Vol_US_Airways_1549</footnote>

<footnote n="2">2. https://aviation-safety.net/database/record.php?id=19781228-1&lang=fr</footnote>

<footnote n="3">3. https://fr.wikipedia.org/wiki/Accident_de_la;_spatiale-Challenger</footnote>
approches sont déjà en application. La réglementation, la formation à la gestion de situations critiques et l'analyse des retours d'expériences ont notamment permis d'améliorer cette gestion. Toutefois, elles restent encore insuffisantes du fait qu'elles reposent sur la connaissance finie des événements ayant conduits à l'incident, alors qu'un incident est souvent lié à une conjonction de facteurs défavorables qui ne s'est jamais encore produite (Reason, 1990).

Parallèlement, sur le plan clinique, différentes études faites avec des patients cérébro-lésés apportent la preuve que l'intégrité bilatérale du cortex préfrontal (particulièrement celle du dorso-solatéral : DLPFC) est indispensable à plusieurs fonctions exécutives clés de la flexibilité mentale (Clark & Manes, 2004; Godefroy et al., 2010). Lorsque cette intégrité est remise en question, à la suite d'un AVC, d'un traumatisme crânien ou d'une résection tumorale par exemple, on observe chez ces patients de nombreux troubles cognitifs tels que des déficits d'inhibition, de division de l'attention, de maintien de règle et de mémoire épisodique. La conséquence de ces déficits se manifeste alors par des phénomènes de persévération (c.-à-d. un comportement répété en dépit du changement de la demande de la tâche en cours), d'hyper ou d'hypoactivité, de confabulation et parfois d'anosognosie (c.-à-d. d'une inconscience de leur pathologie) qui les handicapent lourdement au quotidien. Ces patients présentent alors un syndrome dysexécutif établi selon des critères précis (Godefroy et al., 2010) et ont souvent perdu en autonomie.

Que ce soit pour le pilote d'avion qui n'entend pas une alarme, qui persévère dans une action inefficace, ou un patient qui a perdu en autonomie, il existe un besoin de comprendre les mécanismes cérébraux qui conduisent à ces troubles. En enrichissant notre connaissance fondamentale de ces mécanismes, il devient possible de concevoir des environnements mieux adaptés aux limites de la cognition. Il devient aussi envisageable de travailler en amont sur la cognition pour entraîner le cerveau à faire face à des situations complexes ou compenser certains déficits. L'ensemble des travaux présentés ici visait donc à étudier les différentes fonctions exécutives impliquées dans la gestion des ressources attentionnelles chez la personne saine, le patient cérébro-lésé et le pilote d'avion en situation complexe, à travers trois thématiques de recherche.

## Thématique 1 : fonctions exécutives de l'attention auditive

La première thématique que j'ai ainsi développée rassemble mes travaux et collaborations sur l'étude de l'attention auditive qui ont démarré durant ma thèse au sein de l'Inserm U825 (aujourd'hui UMR 1214, TONIC) de Toulouse et de l'ISAE-SUPAERO, entre 2007 et 2011. Le sujet principal de départ était l'étude de l'impact du conflit entre des informations visuelles et auditives sur la perception auditive, dans le but de comprendre l'insensibilité aux alarmes auditives parfois observée chez les pilotes d'avion. Ces travaux princeps sur le phénomène de surdité inattentionnelle se sont poursuivis après ma thèse, au cours de mes différents contrats postdoctoraux, jusqu'à ma titularisation en tant que chercheur dans l'équipe Facteurs Humains et Neuroergonomie du département DCAS (Département Conception et Conduite des véhicules Aéronautiques et Spatiaux) de l'ISAE-SUPAERO. Dans la continuité de ces travaux, je me suis intéressé aux mécanismes attentionnels de filtrage intra-modalité et notamment ceux permettant d'extraire un flux auditif dans une scène complexe.
## Thématique 2 : l'opérateur et son interface

La seconde thématique développée correspond à l'utilisation des outils des neurosciences pour objectiver l'état de l'opérateur face à son interface de gestion/contrôle – le modèle étant la plupart du temps le pilote d'avion dans son cockpit. Ce versant – plus appliqué que le premier – a été motivé par l'envie de mettre l'accent sur les aspects ergonomiques de la neuroergonomie. Concrètement, j'ai souhaité utiliser les outils et les connaissances des neurosciences pour évaluer et concevoir des interfaces en prenant en compte le fonctionnement cérébral selon la complexité de la tâche à réaliser. Au sein de cette thématique, j'ai ainsi pu évaluer de nouvelles interfaces de pilotage d'avion, quantifier les ressources attentionnelles nécessaires pour extraire le contenu d'un message auditif complexe, ou encore, évaluer la capacité attentionnelle et la charge mentale du pilote dans différentes conditions de vol réel ou en simulateur. Ce pan de recherche a notamment été l'occasion de collaborer à la création de nouvelles interfaces cerveau-machine (ICM) passives permettant d'avoir une métrique objective de l'état du pilote dans son cockpit.

## Thématique 3 : la performance cognitive dans les tâches complexes

La troisième et dernière thématique de recherche qui a été développée concerne l'évaluation et de la modulation de l'efficacité cognitive dans la réalisation de tâches complexes. Toujours avec l'idée d'étudier le cerveau à différents niveaux d'atteinte et dans un contexte le plus écologique possible, des participants sains, placés dans des contextes de forte demande attentionnelle d'une part, et des patients cérébro-lésés, présentant des troubles dysexécutifs d'autre part, ont été inclus au sein de différents projets. Pour ces deux populations, deux buts interdépendants ont été recherchés : trouver des marqueurs objectifs de l'efficience cognitive et évaluer des entraînements cognitifs ciblant les fonctions exécutives, couplés ou non à des méthodes de stimulation cérébrales non invasives. La principale finalité de ce pan de recherche étant une meilleure gestion de situations complexes – et potentiellement risquées – pour les opérateurs et une meilleure prise en charge des patients cérébro-lésés dysexécutifs pour gagner en autonomie dans leur vie quotidienne.

Ces travaux ont permis de mieux comprendre le rôle des fonctions exécutives par l'évaluation et la modulation de leur efficacité en situation écologique. Une vision schématique sur la figure suivante (Figure 1) permet d'appréhender leur répartition à travers les continuums cognitif et expérimental.
<figure><img src="image_6.png" /><figcaption>**Figure 1** – Synthèse des travaux principaux réalisés à travers les deux continuums : le continuum cognitif, depuis le cerveau dégradé (suite à une lésion par exemple), jusqu'au cerveau sain en situation optimale, et le continuum expérimental, depuis des expériences très contrôlées (devant un ordinateur par exemple), jusqu'aux paradigmes de vie réelle. Chaque case correspond à une étude avec : la population étudiée, la tâche de base et le ou les outils de mesure.</figcaption></figure>
TRAVAUX DE RECHERCHE
<figure><img src="image_7.png" /></figure>
Thématique 1. Fonctions exécutives de l'attention auditive

Dans ce premier chapitre, je présenterai les travaux en lien avec les fonctions exécutives associées à l'attention auditive. Plus particulièrement, il s'agissait d'étudier la façon dont la charge perceptive ou mentale pouvaient altérer ces fonctions. Ces travaux ont pu être réalisés notamment grâce à des collaborations (avec mes collègues de l'INSERM U825, du CHU de Toulouse, de l'ISAE-SUPAERO et de l'IRBA), à des financements que j'ai obtenus ou auxquels j'ai participé (Chaire AXA, bourse CIFRE Thalès) et des directions ou codirections de recherches que j'ai mené (deux stages de Master 2 en Neurosciences et une thèse de Neurosciences). Le plan proposé repose sur les deux continuums présentés : le *continuum expérimental*, depuis des tâches contrôlées sur ordinateurs, jusqu'à l'évaluation des processus attentionnels en situation de pilotage d'un avion, et le *continuum cognitif*, depuis l'étude des participants sains dans des conditions optimales jusqu'aux patients cérébro-lésés, en passant par le pilote en situation complexe. Les questions principales qui ont motivé ce travail peuvent se résumer ainsi :

* Par quels mécanismes cognitifs le contexte de la tâche à réaliser impacte-t-il la détection d'alarmes auditives ?

* Quelle est l'influence des informations visuelles sur le traitement auditif ?

* Quel est le rôle de différents indices sonores, comme la spatialisation ou la différence d'intensité entre les locuteurs, dans l'intelligibilité de la parole ?

La première partie de ces travaux a été initiée par un constat dans le domaine de l'aéronau-
tique : les pilotes d'avions peuvent, dans certaines situations, ne pas tenir compte d'une alarme
auditive, pourtant critique. La question qui se pose alors est de comprendre par quels mécanismes
ce type de son n'a pas réussi à attirer l'attention du pilote. En effet, si dans certains cas les pilotes
sont conscients d'avoir négligé une alarme, ils rapportent parfois ne pas les avoir entendus, malgré
leur puissance. Les alarmes sont conçues pour attirer l'attention, notamment par leur intensité.
Ainsi, une alarme doit être au moins 15 dB plus forte que le bruit ambiant (Mejdal et al., 2001;
Peryer et al., 2005), ce dernier pouvant atteindre 80 dB dans un cockpit (Müller & Schneider,
2017). Les causes de négligence volontaire sont relativement bien connues. Le caractère agressif et d'interférence, quel que soit le domaine (Zaki et al., 2021; Sreetharan et al., 2021), associé parfois à un manque de fiabilité des alarmes (Song & Kuchar, 2001), peut induire un effet de "crier au loup" ("cry-wolf effect" en anglais) qui conduit le pilote à perdre confiance dans le système d'alarme (C. D. Wickens et al., 2009). Si l'on met de côté les troubles de l'audition, qu'ils soient périphériques ou centraux, en raison des bilans médicaux qui sont régulièrement réalisés chez les pilotes, les travaux présentés ci-après indiquent que les causes principales d'une négligence inconsciente d'une alarme auditive sont d'ordre attentionnel et perceptif. Ainsi, nous allons voir qu'une forte demande cognitive de la tâche, associée à une information visuelle prédominante, peuvent affecter la qualité du traitement auditif. Nous verrons aussi que ces mécanismes peuvent prendre place dès les premières étapes d'intégration du stimulus auditif, avant la mise en jeu de processus attentionnels plus tardifs. Au sein de cette thématique de recherche – que je continue de développer au moment de la rédaction de ce manuscrit – s'insèrent également les études des mécanismes attentionnels de filtrage auditif, non plus en tant que conséquence négative des effets contextuels, mais en tant qu'outils de sélection de l'information auditive pertinente. Ces travaux sont rattachés à l'étude de l'effet *cocktail party* (Cherry, 1953) qui concerne la capacité à diriger notre attention vers un flux auditif donné au sein d'une scène auditive complexe. Au-delà d'une soirée entre amis, les opérateurs de systèmes complexes, tels que les pilotes d'avion ou certains militaires sur le terrain, peuvent solliciter fortement cette capacité dont l'efficacité aura souvent un impact sur le bon déroulement de leur mission. Nos travaux à ce sujet montrent que l'inhibition, telle que sous-tendue par le cortex préfrontal dorsolatéral et le gyrus frontal inférieur, est une des fonctions exécutives clé d'une bonne capacité de filtrage et de sélection d'un flux auditif en situation multi-locuteurs.

**Principales publications**

* **Scannella, S.**, Causse, M., Chauveau, N., Pastor, J., and Dehais, F. (2013). Effects of the audiovisual conflict on auditory early processes. *International Journal of Psychophysiology*, 89(1), 115-122. lien

* **Scannella, S.**, Pariente, J., De Boissezon, X., Castel-Lacanal, E., Chauveau, N., Causse, M., Dehais, F., Pastor, J. (2016). N270 sensitivity to conflict strength and working memory : a combined ERP and sLORETA study. *Behavioural Brain Research*. lien

* Dehais, F., Roy, R. N., and **Scannella, S.** (2019). Inattentional deafness to auditory alarms : Inter-individual differences, electrophysiological signature and single trial classification. *Behavioural brain research*, 360, 51-59. lien

* Giraudet, L., St-Louis, M., **Scannella, S.**, and Causse, M. (2015). P300 event-related potential as an indicator of inattentional deafness? *PLoSone*, 10, e0118556-e0118556. lien

* Dehais, F., Duprès, A., Blum, S., Drougard, N., **Scannella, S.**, Roy, R. N., and Lotte, F. (2019). Monitoring pilot's mental workload using ERPs and spectral power with a six-dry-electrode EEG System in real flight conditions. *Sensors*, 19(6), 1324. lien

* Andéol, G., Suied, C., **Scannella, S.**, and Dehais, F. (2017). The spatial release of cognitive load in cocktail party is determined by the relative levels of the talkers. *Journal of the Association for Research in Otolaryngology*, 18(3), 457-464. lien

* Lanzilotti, C., Andéol, G., Micheyl, C., and **Scannella, S.** (2022). Cocktail party training induces increased speech intelligibility and decreased cortical activity in bilateral inferior frontal gyri. A functional near-infrared study. *PLoS ONE*, 17(12). lien
## 1.1 Attention auditive et conflit audiovisuel

### 1.1.1 Approche simplifiée du conflit audiovisuel : le conflit spatial

Une première piste pour comprendre le phénomène d'alarmes négligées chez le pilote a été de créer un paradigme simplifié permettant d'étudier l'interaction entre les informations visuelles et sonores. Les critères retenus ont été de tenir compte du fait que beaucoup d'informations dans le cockpit sont d'ordre visuel et que certaines alarmes sont présentées de manière auditive. Ainsi, nous nous sommes intéressés premièrement à la perception auditive et visuelle d'informations présentées dans l'espace. Bien avant ces travaux, il a été établi que la vision est le sens privilégié pour acquérir les informations spatiales chez l'être humain (Colavita, 1974; Sinnett et al., 2007). Cette dominance du visuel sur les autres sens, et en particulier sur l'audition, se manifeste par des processus perceptifs et intégratifs que nous expérimentons quotidiennement. Dans l'effet de ventriloquie par exemple (Alais & Burr, 2004), la bouche de la marionnette qui bouge trompe notre perception auditive et nous donne l'impression que la voix sort de celle-ci alors que nous savons qu'elle vient du marionnettiste. Au cinéma, bien que les haut-parleurs ne soient pas positionnés sur la bouche des personnages, nous n'avons aucune dissonance de perception spatiale. Enfin, si la congruité audiovisuelle entre les mouvements de la bouche d'un interlocuteur et le son qui en sort améliore notre compréhension du langage, la dominance visuelle est si forte que l'on peut changer la perception auditive d'une syllabe lorsque ces informations sont incongrues. L'effet McGurk (MacDonald & McGurk, 1978) montre ainsi qu'en utilisant toujours la même bande son dans laquelle on entend une personne prononcer la syllabe "BA", nous percevrons celle-ci comme un "DA", un "GA" ou un "VA" selon le mouvement de la bouche qui y est associé. Le premier paradigme d'interaction audiovisuelle en situation spatiale que j'ai construit a ainsi eu pour but de mettre en évidence les mécanismes cérébraux en lien avec les effets facilitateurs – en situation congruente – ou d'interférence – en situation de conflit. Le but était de mettre en évidence les mécanismes cérébraux qui témoignent de la dominance visuelle sur l'audition dans un contexte réduit à la localisation des informations dans l'espace.

La bibliographie disponible au moment de la mise en place de ce travail de recherche apportait alors des premiers éléments de réponse dans des contextes proches de celui-ci, mais sensiblement différents. Les travaux les plus pertinents étaient ceux associés aux tâches de jugement identiques/différents (Same Different Judgment tasks en anglais). En effet, différentes situations de conflit entre les informations transmises par deux stimuli induisent un coût de traitement supplémentaire par rapport aux situations non conflictuelles (Wang et al., 2002; R. Zhang et al., 2013). Ce coût, qui se manifeste par un temps de réponse allongé et/ou un taux d'erreurs plus élevé, est associé à une composante des potentiels évoqués en électroencéphalographie dénommée N270. Cette onde négative dont l'occurrence a lieu environ 270 ms après l'apparition du stimulus (Wang et al., 2000, 2002; R. Zhang et al., 2013) serait donc un marqueur électrophysiologique de la gestion du conflit intra- et intermodal. Enfin, selon X. Zhang et al. (2008), la N270 représenterait la mise en jeu du cortex préfrontal dorsolatéral droit (rDLPFC) dont le rôle
## 1.1. Attention auditive et conflit audiovisuel

serait de sélectionner le plan moteur le mieux adapté à la réalisation de la tâche en cours (c.-à-d. répondre selon la cible). Cette sélection se ferait au sein d'un réseau cingulo-préfrontal dans lequel le cortex cingulaire antérieur (ACC) apporterait au DLPFC les informations en lien avec le conflit. Néanmoins, aucune étude ne s'était alors intéressée à quantifier ces processus lorsqu'il s'agissait d'interférence entre modalités sensorielles. Enfin, les études mentionnées ci-dessus n'avaient pas permis de faire la distinction entre l'activation du DLPFC en lien avec cette gestion du conflit et celle liée à son implication dans les processus de mémoire de travail (Leon-Dominguez et al., 2015). En effet, dans les paradigmes de présentation séquentielle des stimuli, il faut maintenir en mémoire la séquence présentée à chaque essais et le but de la tâche en cours. Sur la base de ces observations, nous avons construit les hypothèses de travail suivantes :

### Hypothèses

* Le conflit audiovisuel spatial induit une N270 plus ample en cible auditive qu'en cible visuelle

* L'implication de la mémoire de travail interfère avec la gestion du conflit

* Le générateur principal de la N270 se situe dans le DLPFC droit

### Méthodes

**Paradigme expérimental.** Pour vérifier ces hypothèses, des ronds blancs sur fond noir étaient présentés pendant 100 ms à droite ou à gauche (±15°) d'une croix de fixation centrale (Figure 1.1). Simultanément, des sons (tons purs à 1000 Hz, 78 dB SPL) étaient présentés dans l'oreille via un casque audio, soit du même côté que les ronds (congruité spatiale), soit du côté opposé aux ronds (incongruité ou conflit spatial). Dans une première session (no-switch), les participants (n=16) devaient indiquer la position du rond sans tenir compte du son dans un bloc visuel ou la position du son sans tenir compte du rond dans un bloc auditif. Soixante essais congruents et 60 essais incongruents dans chacun des deux blocs étaient présentés aléatoirement. Au cours d'une seconde session (switch), un troisième bloc était présenté, dans lequel la modalité cible alternait aléatoirement entre le visuel et l'auditif sur la base d'un signal auditif (signal auditif de changement de cible). Ce son (ton pur à 750 Hz, 78 dB SPL) était présenté aléatoirement tous les 4 à 10 essais à la place des sons courant pour un total de 32 fois (16 fois lors d'un essai en cible visuelle et 16 fois lors d'un essai en cible auditive).

**Électroencéphalographie.** L'activité électrique corticale a été enregistrée avec le logiciel Acti-view® du système EEG BIOSEMI Active-Two à 64 électrodes Ag-AgCl actives (pré-amplifiées), positionnées sur le scalp selon le système international 10-20 (Homan et al., 1987), à une fré-quence d'acquisition de 512 Hz. Les données ont ensuite été re-référencées à la moyenne des deux mastoïdes, filtrées par un filtre pass-band [0,1 30] Hz et soumises à une analyse en composantes indépendantes (ICA) pour isoler et retirer les composantes oculaires du signal (clignements et saccades). Enfin, le signal continu a été découpé en époques de 1200 ms débutant 200 ms avant l'occurrence du stimulus. Les époques dont le signal dépassait 100 µV ont été exclues (4%).
<figure><img src="image_8.png" /></figure>

**Figure 1.1** – Schéma de la tâche et des stimuli du conflit audiovisuel spatial. Les mêmes stimuli ont été utilisés pour créer les situations de congruence et d'incongruence spatiales. a) Position des stimuli auditifs et visuels selon la congruence spatiale. b) Bloc visuel, le participant doit répondre en fonction de la position du rond blanc sans tenir compte du son. c) Bloc auditif, le participant doit répondre en fonction de la position du son, sans tenir compte du rond. d) Lors de la seconde session, les stimuli restent les mêmes, mais les consignes "cible visuelle" et "cible auditive" alternent à chaque présentation d'un stimulus auditif rare (switch signal).

## Résultats

Les résultats comportementaux ont clairement démontré une dominance visuelle sur l'audition (Figure 1.2). Bien qu'aucun effet n'ait été observé sur le taux de bonnes réponses (100% dans tous les cas), le temps de réaction moyen pour déterminer le côté d'apparition de la cible était allongé en situation d'incongruité spatiale ($F_{(1,15)} = 22,82$; $p < 0,001$; $\eta_p^2 = 0,80$). Autrement dit, quelle que soit la modalité cible, un distracteur présenté dans l'autre modalité et du côté opposé à la cible a induit une augmentation du temps de réponse. Toutefois, ce coût du conflit était plus grand en cible auditive (+195 ms) qu'en cible visuelle (+40 ms); ($F_{(1,15)} = 10,76$; $p < 0,01$; $\eta_p^2 = 0,42$).
## 1.1. Attention auditive et conflit audiovisuel

L'augmentation du maintien en mémoire de travail de la modalité cible dans la seconde session (switch) a aussi conduit à une augmentation globale des temps de réaction ($F_{(1,15)}$ = 10,75; $p$ < 0,01; $\eta_p^2$ = 0,42). Aucune interaction de ce facteur avec les autres n'a été mis en évidence.

<figure><img src="image_9.png" /><figcaption>**Figure 1.2** – Temps de réactions moyens pour détecter la cible auditive (A) et visuelle (V) selon la congruité spatiale du distracteur dans l'autre modalité et le type de session. \*\*; $p$ < 0,01; \*\*\* $p$ < 0,001.</figcaption></figure>

Par soucis de clareté, les résultats électrophysiologiques sont présentés ici uniquement sur les électrodes fronto-centrales (Fz, FCz, Cz) correspondant à la distribution topographique d'amplitude maximale de la N270. Sur ces électrodes, le conflit audiovisuel spatial a induit une augmentation de l'amplitude de la N270 par rapport aux situations de congruence spatial quelle que soit la modalité cible ($F_{(1,15)}$ = 11,36; $p$ < 0,01; $\eta_p^2$ = 0,43; Figure 1.3). Cette augmentation était plus forte en cible auditive (avec distracteur visuel) qu'en cible visuelle (avec distracteur auditif); ($p$ < 0,05). Comme pour les temps de réaction, l'ajout d'un signal de changement de cible dans la session 2 (switch) a induit une augmentation globale de l'amplitude de la N270 mais n'a interagi avec aucun autre facteur. Enfin, les analyses en localisation de source réalisées avec le logiciel sLORETA ont montré que les processus cognitifs impliqués dans la gestion du conflit audiovisuel et dans le maintien en mémoire de travail de la consigne partageaient une région corticale, située dans le DLPFC droit (coordonnées MNI : 45, 40, 30); ($p_{corr}$ < 0,05; analyses non paramétriques; Figure 1.4).
<figure><img src="image_10.png" /></figure>

<figure><img src="image_11.png" /><figcaption>**Figure 1.3** – Illustrations des résultats électrophysiologiques obtenus dans la tâche de conflit audiovisuel spatial. **a.** Décours temporel des potentiels évoqués par les stimulations visuelles et auditives sur l'électrode Cz. La flèche pointe la composante N270. **b.** Topographies de la N270 pour les 4 conditions (2 modalités cibles x 2 congruences spatiales) et leurs différences.</figcaption></figure>

<figure><img src="image_12.png" /><figcaption>**Figure 1.4** – Résultats des analyses en localisation de source (sLORETA) pour le contraste incongruent > congruent (rouge), le contraste switch > no-switch (bleu) et la conjonction des deux (violet). Le générateur commun principal se situe dans le DLPFC droit (MNI : 45, 40, 30); $p_{corr} < 0,05$.</figcaption></figure>
## 1.1. Attention auditive et conflit audiovisuel

### Synthèse

Ce travail constitue une première approche du conflit audiovisuel spatial. Il a eu pour but de mettre en évidence la dominance de la vision sur l'audition dans un contexte simplifié. Les résultats obtenus confirment que le système perceptif chez l'humain est fait de telle sorte que les informations spatiales provenant des entrées visuelles ont un poids plus important que celles provenant du système auditif (Alais & Burr, 2004; Colavita, 1974; MacDonald & McGurk, 1978). Si ces mécanismes peuvent être bénéfiques dans de nombreuses activités quotidiennes (p.ex., amélioration de la perception du langage en congruence audiovisuelle), l'incongruité entre les deux modalités se manifeste par un coût comportemental plus élevé lorsqu'il s'agit de filtrer une information visuelle non pertinente pour se focaliser sur l'auditif. Enfin, ces mécanismes semblent impliquer la mémoire de travail et des processus d'inhibition qui prennent place au sein du DLPFC droit (BA9), comme c'est le cas dans d'autres contextes d'incongruité (X. Zhang et al., 2008).

<figure><img src="image_13.png" /><figcaption>**Figure 1.5** – Activations (u.a) obtenues en IRMf pour la tâche de conflit audiovisuelle spatial pour les contrastes Incongruité > Congruité selon la modalité cible. Tous les contrastes sont significatifs. *p* < 0,05 corrigé FDR.</figcaption></figure>

Par ailleurs, deux études réalisées avec les stimuli présentés ici ont permis de confirmer le rôle du DLPFC droit dans la gestion du conflit audiovisuel. La première, en IRMf, a été réalisée au cours de ma thèse (Scannella, 2011) et a mis en évidence le rôle de cette région cérébrale au sein d'un réseau plus largement distribué correspondant au réseau fronto-cingulo-pariétal (Figure 1.5) déjà mis en évidence à de nombreuses reprises dans les tâches d'interférence visuo-visuelle
(Roberts & Hall, 2008). La seconde, en 2015 avec le CHU de Rangueil, a montré que chez des patients héminégligents présentant une lésion du cortex pariétal droit, une cible visuelle ou auditive présentée à droite avec un distracteur dans l'autre modalité présenté à gauche n'induisait pas de variation de l'amplitude de la N270 (Cassoudesalle et al., 2015). L'ensemble de ces résultats suggèrent que le DLPFC droit permettrait d'inhiber les plans moteurs non pertinents pour la tâche à réaliser sur la base des informations intégrées au sein de ce réseau.

## Principales contributions

* La N270 est un marqueur électrophysiologique du traitement du conflit supramodal au sein du rDLPFC

* Elle permet d'objectiver la dominance visuelle dans ce contexte

* Elle reflèterait deux processus (mémoire et gestion du conflit) appartenant à un systeme commun de l'attention

Dans le contexte initial de notre problématique du pilote qui n'entend pas une alarme dans le cockpit, cette dominance visuelle spatiale pourrait donc jouer un rôle. Toutefois, toutes les alarmes auditives ne sont pas spatialisées et sont souvent redondantes avec les alarmes visuelles. La suite de mes travaux a donc été menée en tenant compte de ces spécificités. Dans l'étude suivante, je me suis intéressé à l'étude des effets de l'incongruité audiovisuelle dans un contexte plus écologique de prise de décision d'atterrissage.

## 1.1.2 Vers plus d'écologie : le conflit audiovisuel en situation d'atterrissage

Le conflit audiovisuel a été abordé ici en termes d'incongruité entre les informations fournies sur l'état de l'appareil. Un intérêt particulier a été porté sur les situations dans lesquelles un conflit entre l'accessibilité apparente de la piste d'atterrissage et une alarme suggérant un Go-Around (remise des gaz) pouvait se produire. Le protocole mis en place a été fait de sortes à tenir compte des facteurs contributifs à la surdité aux alarmes. Une focalisation excessive sur les instruments de l'appareil ou sur la piste d'atterrissage peut conduire à un effet de tunnélisation attentionnelle (Schwartz et al., 2005; Williams, 1988). De plus, le caractère distrayant et dérangeant des alarmes auditives peut parfois générer de la confusion chez les pilotes qui vont alors essayer de réduire le bruit plutôt que d'en comprendre le sens (Peryer et al., 2005; Edworthy et al., 1991). Enfin, nos travaux précédents ont confirmé que la vision est dominante sur l'audition, même dans un contexte simplifié. Certains auteurs ont alors suggéré que cette dominance puisse être exacerbée en condition de charge visuelle plus importante (Macdonald & Lavie, 2011). C'est ainsi que nous avons intégré pour la première fois dans nos réflexions le terme de surdité inattentionnelle (inattentional deafness en anglais) qui peut se définir comme un filtrage des informations auditives en raison d'une focalisation attentionnelle auditive (Dalton & Fraenkel, 2012) ou d'une charge mentale élevée (Raveh & Lavie, 2015).
## 1.1. Attention auditive et conflit audiovisuel

Pour mesurer la réaction du cerveau au cours de certaines étapes du traitement auditif, nous avons à nouveau utilisé L'EEG. En particulier, la composante N100 des potentiels évoqués auditifs – négativité fronto-centrale présente environ 100 ms après l'apparition du stimulus – correspond au traitement du son qui est fait par le cortex auditif primaire. Il a été proposé que l'amplitude de cette composante puisse être modulée par la charge visuelle, et plus précisément via un mécanisme de régulation précoce entre les cortex visuel et auditif primaires (Lebib et al., 2003).

### Hypothèses

* Le conflit audiovisuel entre l'accessibilité de la piste d'atterrissage et l'alarme auditive induit une négligence des alarmes

* Cette négligence prend place dès les premières étapes du traitement perceptif

### Méthodes

**Paradigme expérimental.** Des vidéos de simulation d'approche de piste ont été construites à l'aide du logiciel *flight simulator IL-2* de Sturmovik Software (Ubisoft®). Chaque vidéo correspondait à une séquence de 10 s prises du point de vue du cockpit, avec un réticule central jaune pointant vers une des deux pistes visibles (Figure 1.6). Une séquence vidéo de la tâche est disponible en **téléchargement** <fnref n="1" />.

Au centre bas de la vidéo, un instrument principal (N°1) représentait l'accessibilité des pistes pour l'atterrissage (vert : accessible ; rouge : inaccessible) devant être considérée selon la position du réticule sur les pistes. À gauche et à droite étaient présentés deux instruments génériques pouvant aussi être dans un état ok (vert), ou non ok (rouge). Au moment de la prise de décision, un son était présenté et une décision quant à la poursuite de l'atterrissage devait être prise (c.-à-d. je peux continuer ou je dois faire un Go-Around). Le son pouvait être un son grave (son pur à 750 Hz, 78 dB SPL, présenté dans 75% des essais), indiquant une autorisation (clearance), ou un son plus aigu (son pur à 1250 Hz, 78 dB SPL) correspondant à une alarme. De plus, pour se rapprocher des conditions réelles dans lesquelles un bruit de fond stimule en permanence l'oreille des pilotes, un bruit blanc (60 dB SPL) était présenté de manière continue. Selon le type de son (alarm vs. clearance) et l'accessibilité de la piste en cours (verte vs. rouge) quatre conditions de congruence audiovisuelle ont ainsi été construites : alarme avec piste verte, alarme avec piste rouge, clearance avec piste verte et clearance avec piste rouge.

<footnote n="1">1. https://drive.google.com/file/d/11z0d26FjANbgXItyBPfTAfGiN8wJJOd5/view?usp=sharing</footnote>
Les règles pour décider de continuer ou non l'atterrissage étaient inspirées des procédures aéro-nautiques standards et étaient présentées de la manière suivante :

* Si au moins un des deux instruments latéraux est en accord avec l'instrument principal, alors la décision est prise sur les informations visuelles uniquement.

* Si les deux instruments latéraux sont en conflit avec l'instrument central, alors la décision doit être prise via les informations auditives.

<figure><img src="image_14.png" /></figure>

**Figure 1.6** – Captures d'écran des situations d'atterrissage. Selon la configuration des instruments (numérotés en gris de 1 à 3), trois situations étaient possibles. Si au moins un des deux instruments latéraux est en accord avec l'instrument principal, alors la décision est prise sur les informations visuelles uniquement (captures du haut : *visual-based responses*). Dans ces deux exemples, la piste droite vers laquelle se dirige l'avion est inaccessible (piste droite de l'instrument 1 en rouge) et au moins un des deux instruments latéraux est au rouge, un Go-Around doit être initié indépendamment du son. Si les deux instruments latéraux sont en contradiction avec l'instrument central, alors la décision doit être prise via les informations auditives (capture du bas : *auditory-based responses*). Dans cet exemple, la piste droite est accessible, mais les deux instruments latéraux sont au rouge. Dans ce cas, si le son est grave (*clearance*), le participant peut poursuivre l'atterrissage, si le son est aigu (*alarm*), il doit y renoncer.

**Electroencéphalographie.** Le système EEG et les traitements étaient les mêmes que ceux réalisés dans l'expérience précédente (voir section 1.1.1), excepté pour la taille des époques (1700 ms débutant 200 ms avant le stimulus). Le taux de rejet d'époques était de 3% sur l'ensemble des participants.
## 1.1. Attention auditive et conflit audiovisuel

### Résultats

Les résultats comportementaux ont montré un effet principal du type de son présenté ($F_{(1,12)} = 7,33$; $p < 0,05$; $\eta_p^2 = 0,38$), ainsi que de la congruence ($F_{(1,12)} = 7,20$; $p < 0,05$; $\eta_p^2 = 0,38$) sur les temps de réaction à la prise de décision. Les temps de réaction observés étaient ainsi globalement plus longs en présence d'une alarme et en situation d'incongruité audiovisuelle. De plus, une interaction significative entre le type de son et la congruence avec l'accessibilité de la piste ($F_{(1,12)} = 4,71$; $p < 0,05$; $\eta_p^2 = 0,28$) a montré qu'un effet de conflit n'était présent qu'en présence d'un son de type "clearance" ($p < 0,001$; Figure 1.7). Cet effet de conflit tient au fait que les temps de réactions étaient significativement plus rapides pour un son "clearance" congruent avec une piste accessible que pour les trois autres conditions. Concernant le taux de bonnes réponses à poursuivre l'atterrissage ou non, nous avons trouvé un effet de conflit audiovisuel lors de la présentation des alarmes seulement ($p < 0,05$) avec de moins bonnes réponses lorsque la piste était accessible (conflit audiovisuel entre l'alarme et l'accessibilité de la piste).

<figure><img src="image_15.png" /><figcaption>**Figure 1.7** – Résultats comportementaux à la tâche de conflit audiovisuel en fonction des conditions expérimentales. À gauche, temps de réactions moyens. Les barres d'erreur correspondent à l'erreur type. À droite, pourcentages médians de bonnes réponses. Les barres d'erreur correspondent aux quartiles de la médiane. * : $p < 0,05$</figcaption></figure>

Sur le plan électrophysiologique (Figure 1.8), l'amplitude de la composante auditive N100 (électrodes FCz et Cz) était plus grande pour les alarmes que pour les sons de "clearance" ($F_{(1,12)} = 29,57$; $p < 0,001$; $\eta_p^2 = 0,71$) et un effet de conflit était présent uniquement pour les alarmes ($F_{(1,12)} = 5,35$; $p < 0,05$; $\eta_p^2 = 0,31$) avec une amplitude plus grande en situation de congruence qu'en situation d'incongruence avec la piste.
<figure><img src="image_16.png" /><figcaption>**Figure 1.8** – Résultats électrophysiologiques à la tâche de conflit audiovisuel. À gauche, potentiels évoqués moyens selon la congruence audiovisuelle et le type de son. * : *p* < 0,05. À droite, différences topographiques des potentiels électriques entre les situations de congruence (C) et d'incongruence (I) audiovisuelle 130 ms (N100) après l'apparition des sons.</figcaption></figure>

## Synthèse

En créant des situations de conflits plausibles entre des informations sonores et visuelles dans un contexte de prise de décision d'atterrissage, nous avons à nouveau pu mettre en évidence la **dominance de la vision sur l'audition**. Sur le plan comportemental, celle-ci s'est principalement manifestée par un taux d'erreur de décision d'atterrissage plus élevé lorsque l'accessibilité de la piste incitait à atterrir alors qu'une alarme auditive signifiait le contraire. Bien que dans ces situations, la règle fût de répondre selon l'information fournie par l'alarme (c.-à-d. go-around), dans presque 15% des cas, les participants ont tout de même atterri. En aéronautique, cette condition correspond à une météo favorable avec une bonne visibilité sur la piste et l'occurrence d'une alarme auditive. Dans cette situation, il a effectivement été constaté une certaine "fascination" pour la piste, conduisant à des prises de décision erronées (C. D. Wickens et al., 1993; Rhoda & Pawlak, 1999). Contrairement à la précédente expérience (voir section 1.1.1), les situations de conflit en présence d'une alarme n'ont pas eu d'incidence sur la composante N270, mais bien plus tôt, au cours des premières étapes de la chaine de traitements perceptifs. Ainsi, l'amplitude de la N100 était plus ample en situation de congruence audiovisuelle (c.-à-d. alarme + piste inaccessible) qu'en situation d'incongruence (c.-à-d. alarme + piste accessible). Ce résultat peut s'interpréter, à première vue, comme une augmentation de l'amplitude de la N100 en raison de la congruence (c.-à-d. un effet facilitateur de l'inaccessibilité de la piste sur la perception de l'alarme). Toutefois, un son relativement rare et plus aigu, tel que l'alarme utilisée (25% d'occurrence, 1250 Hz), induit une N100 plus ample que celle associée à un son fréquent
## 1.1. Attention auditive et conflit audiovisuel

et grave (75%, 750 Hz), (Kramer et al., 1995; Moura et al., 2010). Une explication alternative et/ou complémentaire est donc que l'accessibilité de la piste a induit une diminution de l'amplitude de la N100 relative à la présentation de l'alarme. Cette hypothèse est supportée par de nombreux travaux qui ont montré l'existence de mécanismes d'interactions audiovisuelles précoces pouvant prendre place dès les premières étapes du traitement perceptif (Kramer et al., 1995; Singhal et al., 2002; Lebib et al., 2003), conduisant à une diminution de l'allocation des ressources attentionnelles auditives.

### Principales contributions

* La dominance de la vision, dans un contexte plus écologique, influence les étapes préat- tentionnelles du traitement de l'information (N100 auditive)

* Ces mécanismes prendraient place au sein d'un système d'interaction précoce via des connexions directes en les cortex primaires visuel et auditif

Bien qu'évoluant au sein du continuum expérimental, ces deux études de la dominance de la vision sur l'audition ont été faites dans des contextes plutôt contrôlés de conflit audiovisuel spatial pour l'une et entre instruments de pilotage pour l'autre. Elles ont montré que les interac- tions entre les deux modalités peuvent avoir lieu de manière précoce avec la N100 – au niveau pré-attentionnelle – ou plus tardive avec la N270. Toutefois, ces résultats restent partiellement transférables à d'autres cadres expérimentaux que ceux présentés ici. Lors d'une situation de gestion de vol plus dynamique, par exemple, avec une pression temporelle, la complexité des mécanismes cérébraux mis en jeu est accrue. Mes travaux sur la négligence des alarmes auditives se sont donc orientés vers un cadre encore plus réaliste, d'abord dans un simulateur de vol, puis en vol réel.
## 1.2 Attention auditive et charge mentale

Entre 2015 et 2020, j'ai réalisé une série de travaux dont le but principal était de mettre en évidence l'influence de la charge mentale sur la négligence auditive dans un contexte de pilotage d'avion. Ces études de la **surdité inattentionnelle** ont été réalisées en simulateur de vol puis en vol réel. Cette approche a permis de mettre en avant les facteurs contributifs d'une part, et les marqueurs physiologiques qui y sont associés – individuels ou plus généraux – d'autre part. Aborder cette partie de mes travaux est l'occasion de faire un point rapide sur la définition de **charge mentale**. Celle-ci représente un des concepts les plus largement évoqués dans les travaux de neuroergonomie depuis 40 ans et pourtant aucun consensus sur une définition universelle n'a été trouvé (Cain, 2007). Comme le décrit bien Mark S. Young et collègues dans leur article (Young et al., 2015), la charge mentale est "un des concepts les plus nébuleux, avec de nombreuses définitions et dimensions qui y sont associées". Toujours selon Young et al. (2015), il y existe toutefois des aspects communs à l'ensemble des définitions qui sont proposées dans la littérature : la charge mentale est une construction multidimensionnelle, déterminée par les caractéristiques de la tâche en cours, de l'opérateur lui-même et, à un certain degré, du contexte environnemental dans lequel la performance a lieu. Ainsi, dans un but de simplicité, nous retiendrons leur définition qui suffit au cadre de recherche présenté ci-après :

> "La charge mentale reflète le niveau de ressource attentionnelle nécessaire pour atteindre les critères de performance objectifs et subjectifs, lequel peut être modulé par la demande de la tâche, une aide extérieure et l'expérience passée."

### 1.2.1 Surdité inattentionnelle dans un simulateur

Les questions qui se sont posées alors étaient de savoir quels marqueurs cognitifs attestaient du phénomène de surdité inattentionnelle dans le cockpit d'avion, et quels facteurs idiosyncrasiques pouvaient le moduler. Selon la définition de la charge mentale que nous avons détaillée plus haut, une défaillance de l'attention portée aux sons pourrait être liée aux limites des ressources attentionnelles d'une personne donnée (Raveh & Lavie, 2015), dans un contexte donné. Dans ce cas, il a été proposé que les personnes disposant d'une plus grande réserve attentionnelle – telle que mesurée par la capacité en mémoire de travail par exemple (Colflesh & Conway, 2007) – auraient une meilleure capacité à répartir leur attention lors de tâches coûteuses. Enfin, une hypothèse alternative basée sur nos travaux, est de considérer que la dominance visuelle sur l'audition va aussi jouer un rôle dans la capacité d'une personne à percevoir les alarmes auditives dans une tâche réaliste et complexe de pilotage.

À l'instar de Kramer et al. (1995), nous avons utilisé des sondes auditives pour évaluer la quantité de ressource attentionnelle disponible selon le niveau de difficulté de la tâche de pilotage. Toutefois, comme suggéré par certains auteurs (voir Cain 2007, pour une revue), une évaluation fiable de la charge mentale via une tâche secondaire implique qu'elle soit directement liée à la tâche principale, au risque qu'elle soit anormalement délaissée en situation de forte charge.
## 1.2. Attention auditive et charge mentale

Ainsi, dans la continuité des travaux précédents, une alarme auditive dans le cockpit, de même importance que le pilotage, a servi de tâche secondaire. Le taux de détection des alarmes et les potentiels évoqués en EEG ont été mesurés.

### Hypothèses

* Le niveau de difficulté de la tâche de pilotage induit une surdité inattentionnelle

* La surdité inattentionnelle est liée en partie à la dominance visuelle

* La surdité inattentionnelle se manifeste par une diminution de l'amplitude des composantes préattentionnelle (N100) et attentionnelle (P300) auditives

### Méthodes

**Paradigme expérimental.** Vingt-et-un pilotes de l'aviation légère (expérience de vol = 81,1 h; SD = 43,8) ont pris part à deux scénarios de vol dans le simulateur 3 axes Pégase de l'ISAE-SUPAERO (simulation d'un AIRBUS A300; Figure 1.9) aux côtés d'un instructeur de vol. Le premier était un vol à faible charge mentale consistant en un vol en palier au pilote automatique. Le second vol induisait une charge mentale plus forte, et consistait en une approche de nuit sur l'aéroport de Toulouse-Blagnac (piste 14R), avec une mauvaise visibilité, alors qu'un feu de cabine était simulé par la présence de fumée et d'une alarme lumineuse. L'ordre des deux scénarios était contrebalancé à travers les participants.

<figure><img src="image_17.png" /><figcaption>**Figure 1.9** – Vues extérieure et intérieure du simulateur de vol 3-axes sur vérins hydrauliques Pégase du Département Conception et Conduite des véhicules Aéronautiques et Spatiaux (DCAS) de l'ISAE-SUPAERO.</figcaption></figure>

**Évaluation de la charge mentale.** Au cours des deux scénarios de vol, 400 stimuli auditifs étaient présentés. 20% d'entre eux étaient des sons cibles (c.-à-d. 80 alarmes auditives), et 80% étaient des sons non-cibles (c.-à-d. 320 sons à ignorer). Les sons utilisés étaient des tons purs à 1000 Hz ou 1100 Hz, présentés pendant 100 ms à 90 dB SPL.
Pour contrebalancer l'effet de la fréquence du son sur les ERP, la moitié des pilotes avait le son à 1000 Hz comme cible et celui à 1100 Hz comme non-cible et l'autre moitié avait l'inverse. Un scénario durait environ 25 minutes et tous les pilotes étaient familiers du simulateur de vol. Les pilotes ont reçu la consigne claire de ne prioriser aucune des tâches (c.-à-d. pilotage vs. détection d'alarmes) et que leur performance globale serait le résultat de leur qualité de pilotage et de leur taux de détection d'alarmes. À chaque occurrence d'une alarme auditive cible, les pilotes devaient presser le bouton "trigger" situé sous leur index gauche, sur le manche de vol.

**Expérience de vol, mémoire de travail et dominance visuelle.** En début de protocole, nous avons recueilli l'expérience de vol de chaque pilote (nombre d'heures de vol) et évalué la capacité en mémoire de travail (performance à la tâche de N-Back, administrée avec PEBL (Mueller & Piper, 2014). De plus, un index de dominance visuelle a été calculé à partir de la tâche de conflit audiovisuel spatial utilisée dans la première étude (section 1.1.1 et Figure 1.1). Cet index était calculé de la manière suivante : $index (ms) = TR_{cible auditive} - TR_{cible visuelle}$, en situation d'incongruence spatiale. L'ensemble de ces paramètres a ensuite été utilisé dans une régression linéaire multiple pour tenter d'expliquer le taux d'alarmes manquées dans le scénario de vol difficile.

**Électroencéphalographie.** Le système EEG utilisé pendant les vols était à nouveau le Biosemi Active-two. Les mêmes traitements et analyses de données que précédemment ont été faits (section 1.1.1), mais avec 32 électrodes, au lieu de 64, recouvrant tout le scalp selon la disposition du système 10-20.

## Résultats

Le scenario de vol à forte charge mentale a induit un taux d'alarmes manquées plus important que celui du vol en palier (57,7%, contre 0,3%; $t = 18,7$; $p < 0,001$, $d = -6,44$). Par ailleurs, une analyse en régression linéaire ayant pour but d'expliquer le taux d'alarmes manquées par l'expérience (nombre d'heures de vol), la capacité en mémoire de travail (score à la tâche de N-back) et la dominance visuelle (index de dominance visuelle) a montré que seul l'index de dominance visuelle avait une influence significative ($r^2_{semi-partiel} = 0,38$; $t = 2,60$; $p < 0,05$). Cela signifiait que les pilotes qui étaient les plus susceptibles à la dominance visuelle spatiale étaient ceux qui avaient le plus manqué d'alarmes (Figure 1.10).

Au cours du scenario difficile, les analyses électrophysiologiques comparant les potentiels évoqués liés aux alarmes pour lesquelles il y a eu une réponse du pilote ("HIT") à celles pour lesquelles il n'y a pas eu de réponse ("MISS") ont révélé une diminution significative des amplitudes de la N100 (autour de 116 ms après le stimulus), de la P3a (vers 370 ms) et de la P3b (vers 450 ms); $p < 0,05$ corrigé FDR; (Figure 1.11).
## 1.2. Attention auditive et charge mentale

<figure><img src="image_18.png" /><figcaption>**Figure 1.10** – Résultats de l'analyse de régression multiple du taux d'alarmes manquées dans le scénario de forte charge mentale en fonction de l'index de dominance visuelle. *p* < 0,05.</figcaption></figure>

<figure><img src="image_19.png" /><figcaption>**Figure 1.11** – **Gauche.** Résultats des analyses statistiques sur les ERP pour la présentation des alarmes auditives. Les barres noires sur l'axe des abscisses représentent les portions de temps pour lesquelles la différence HIT vs. Miss est significative (*p* < 0,05, corrigé FDR). **Droite.** Topographies de la distribution des courants électriques sur le scalp des composantes ERP N100, P3a et P3b, selon la détection de l'alarme par les pilotes.</figcaption></figure>
## Synthèse

Cette étude de la surdité inattentionnelle a été menée dans un contexte écologique de pilotage en situation de forte charge mentale. Ces conditions particulières ont conduit à un taux élevé d'alarmes auditives non rapportées par les pilotes (environ 58%). Ce résultat est plus difficile à obtenir dans des environnements simplifiés du laboratoire (10% d'alarmes manquées dans notre étude section 1.1.2 par exemple). Nos résultats électrophysiologiques viennent renforcer les résultats des études précédentes (sections 1.1.1 et 1.1.2) en montrant que le traitement auditif d'une alarme dans un cockpit est affecté par la charge mentale à la fois au cours d'une étape précoce (N100) et plus tardive (P300). Plus précisément, ces résultats suggèrent que la surdité inattentionnelle trouve une origine dès les premières étapes du traitement auditif, comme dans le cas de l'étude du conflit audiovisuel en situation simplifiée d'atterrissage (section 1.1.2). On peut donc supposer que la dominance visuelle, exercée par les informations fournies par les instruments du cockpit pour effectuer ce type de vol complexe, a joué un rôle dans cette surdité. Cette hypothèse est étayée par les résultats de la régression linéaire qui montre que plus les pilotes présentaient un index de dominance visuelle élevé, plus ils ont négligé les alarmes auditives. Toutefois, dans le cas présent d'une situation plus écologique et avec l'ajout d'une pression temporelle (simulation d'incendie, fumée, etc.) et sociale (présence de l'instructeur), les traitements attentionnels plus tardifs ont aussi été affectés. Ainsi, les amplitudes de la P3a et de la P3b, qui reflètent respectivement l'orientation automatique de l'attention vers un stimulus saillant et la reconnaissance d'un stimulus en lien avec la mémoire de travail (Polich, 2007), ont été réduites en situation de négligence auditive.

## Principales contributions

* La charge mentale peut induire une surdité aux alarmes dans un cockpit de simulateur d'avion

* Dans ce contexte, la dominance visuelle est un facteur contributif

* Les composantes préattentionnelle (N100) et attentionnelle (P300) sont affectées

L'utilisation du simulateur de vol de l'ISAE-SUPAERO représente un pas de plus dans le continuum expérimental de nos paradigmes de recherche. Pour continuer à avancer vers plus de réalisme, nous avons procédé à la mise en place d'une expérimentation en vol réel. En effet, même dans les simulateurs hautement sophistiqués des compagnies aériennes, le degré de stress et les conséquences des actions des pilotes ne sont pas comparables à ce qui peut se produire au cours d'un vol réel. Ces facteurs supplémentaires sont susceptibles d'influencer les processus attentionnels que nous étudions.
### 1.2.2 Surdité inattentionnelle dans un avion

Dans l'étude que je vais aborder maintenant, nous avons voulu tester certaines des hypothèses précédentes au cours d'un pilotage réel d'avion léger. En progressant ainsi dans le continuum expérimental, nous pouvons prétendre à l'amélioration de la compréhension des mécanismes cérébraux de l'attention auditive *in situ*. Toutefois, avec cette progression, apparaissent aussi de nouvelles contraintes. Ces contraintes concernent la reproductibilité des conditions expérimentales à travers les pilotes et de nouvelles difficultés techniques liées à un environnement plus hostile aux instruments de mesure. Aujourd'hui, l'évolution qu'ont connu les instruments de mesures et les techniques de traitement du signal rendent possibles ces expérimentations dans un avion léger. Nous avons donc utilisé à nouveau la tâche de présentation de sons comme marqueur de la charge mentale à travers deux scénarios de vol. L'activité EEG des pilotes a été enregistrée pendant ces vols pour procéder aux analyses des potentiels évoqués par ces sons. De plus, nous avons analysé la puissance spectrale de différentes bandes de fréquence telles que le rythme alpha [9-12] Hz ou thêta [4-6] Hz, dont il a été montré qu'ils pouvaient être sensibles à la charge mentale (Borghini et al., 2014; Makeig & Inlow, 1993).

#### Hypothèses

* Comme en simulateur, le niveau de difficulté de la tâche de pilotage induit une diminution de l'amplitude des composantes préattentionnelle (N100) et attentionnelle (P300) auditives

#### Méthodes

**Paradigme expérimental.** Vingt-deux pilotes d'avion léger (nombre d'heures de vol moyen = 40 h) ont pris part à l'expérience sur un modèle DR400 à l'aérodrome de Lasbordes, Toulouse. Deux scénarios de vol consistant en des tours de piste classiques ont été créés (Figure 1.12). Le premier était un vol facile au cours duquel l'instructeur pilotait et le pilote ne faisait que surveillance les paramètres de vol (c.-à-d. "monitoring task"). Le second était un vol normal au cours duquel le pilote gérait l'intégralité du vol (c.-à-d. "flying task"). Nous avons évalué de manière indirecte la charge mentale des pilotes au cours des vols en utilisant une tâche de oddball auditif passive. Bien que ce type de tâche secondaire présente des inconvénients, cela permettait de ne pas interférer avec l'activité de pilotage. Ce type de stimuli, auxquels il n'est pas demandé de faire attention, a déjà montré sa capacité à mettre en évidence les effets de la charge mentale sur l'amplitude de certaines composantes ERP telle que la P300 ((Roy et al., 2016). Trois-cent-vingt sons, dont 25% de déviants (tons purs à 90 dB SPL, 1100 Hz) et 75% de fréquents (tons purs à 90 dB SPL, 1000 Hz), ont été présentés dans le casque audio des pilotes (Clarity AloftPro®) au cours de chaque vol sur une durée de 8 min environ.
<figure><img src="image_20.png" /><figcaption>**Figure 1.12** – Illustration, d'un pilote (à gauche) équipé du système EEG dans un DR400 à Lasbordes (Toulouse) et schéma d'un tour de piste standard (à droite).</figcaption></figure>

**Électroencéphalographie.** Le système EEG Enobio (Neuroelectrics®) à électrodes sèches, embarqué dans le cockpit, a été choisi spécifiquement pour être le plus "portable" et le moins contraignant possible. La synchronisation des marqueurs des stimuli auditifs sur le signal EEG était faite avec le Lab Streaming Layer<fnref n="2" /> (LSL) implémenté dans le logiciel d'acquisition EEG NIC. Pour limiter les interférences électromagnétiques liées aux communications radio et à la rotation du moteur de l'avion, un bonnet supplémentaire dans lequel était tissé un maillage souple en fil cuivré, a été ajouté sur la tête des pilotes faisant office de cage de Faraday. Les données EEG ont ensuite été traitées par un filtre FIR (Finite Impulse Response) passe-bande [0,5 30] Hz, et les portions de signal bruité ont été nettoyées en utilisant la fonction ASR Riemanien (Artifact Subspace Reconstruction ou rASR) de Matlab®. Pour les ERP, le signal continu a été découpé en fenêtres de 1200 ms [-200 1000] ms qui ont ensuite été moyennées par condition. Pour les analyses fréquentielles, la fonction "cwt" de Matlab® a été utilisée pour extraire la puissance spectrale des bandes [1-4] Hz (delta), [4-8] Hz (thêta), [8-12] Hz (alpha) et [12-16] Hz (bêta).

## Résultats

Les pilotes ont tous rapporté une charge mentale subjective (NASA-TLX) plus importante en situation de vol qu'en situation de monitoring ($p < 0,05$). Sur le plan électrophysiologique, le type de vol a eu un effet significatif sur l'amplitude de la P300 ($p < 0,001$) entre 350 et 550 ms après l'occurrence des sons. Celle-ci était plus ample (en Pz et P4) pour les cibles auditives et durant le monitoring par rapport au pilotage (Figure 1.13). Aucun effet n'a été observé sur l'amplitude de la N100, quelle que soit l'électrode considérée. Les analyses fréquentielles ont confirmé un effet de la charge mentale associée à l'activité de pilotage avec une diminution de la puissance spectrale des ondes alpha [9-12] Hz et thêta [4-6] Hz en pilotage par rapport au monitoring ($p < 0,01$).

<footnote n="2">2. https://github.com/sccn/labstreaminglayer</footnote>
## 1.2. Attention auditive et charge mentale

### Synthèse

Cette étude a permis de montrer la faisabilité d'utiliser un système EEG à électrodes sèches pour évaluer les ressources attentionnelles impliquées dans le pilotage d'un avion léger. Bien que le signal EEG soit de moins bonne qualité avec des électrodes sèches, qui plus est dans un environnement électromagnétique très chargé, les outils récents de traitement du signal ont permis de corriger les artéfacts pour procéder à des analyses fréquentielles et en potentiels évoqués. La P300 auditive – composante attentionnelle particulièrement ample et largement distribuée dans le temps (c.-à-d. entre 300 et 600 ms) – s'est montrée sensible à la charge mentale en lien avec l'activité de pilotage. Toutefois, les variations d'amplitude de la N100 n'étaient pas significatives, probablement à cause d'une limite de l'efficacité des filtres de données utilisés.

<figure><img src="image_21.png" /></figure>

**Figure 1.13** – ERP associés à la présentation des sons au cours du vol pour la condition "monitoring" (haut) et "flying" (bas). Les barres horizontales noires sur l'axe des abscisses représentent les périodes pour lesquelles la différence d'amplitude des ERP entre le son cible (target) et le son non-cible (frequent) est significative ($p < 0,01$). Les barres grises verticales représentent les périodes pour lesquelles la différence d'amplitude des ERP entre la condition "monitoring" et "flying" pour le son cible est différente ($p < 0,001$).
## Principales contributions

* Il est possible d'analyser des données EEG acquisent en vol avec un système à électrodes sèches

* Les composantes attentionnelles (P300, rythme alpha) pourraient permettre d'évaluer la charge mentale associée à l'activité de pilotage

Que ce soit en lien direct avec la dominance visuelle sur l'audition ou plus généralement en lien avec la charge mentale liée à l'activité de pilotage, les travaux présentés montrent à quel point le traitement auditif peut être affecté par les autres processus cognitifs. Dès les premières étapes de traitement, les informations visuelles peuvent moduler la sensibilité du cortex auditif à certaines informations (N100). Lorsque ces dernières parviennent à dépasser la barrière pré-attentionnelle, elles peuvent être en compétition avec des informations visuelles prédominantes chez l'être humain (N270). Ce conflit va alors induire un coût de traitement qui se manifeste par un allongement du temps de réaction au stimulus auditif cible (p. ex. une alarme) et une quantité de ressources attentionnelles dédiées moindre (P300). L'ensemble de ces résultats, depuis l'ordinateur jusqu'au vol réel, apporte une pierre à l'édifice de la compréhension de l'insensibilité occasionnelle des pilotes aux alarmes auditives. Ces résultats pourraient permettre de mieux interpréter certains accidents de l'aviation civile<fnref n="3" /> par exemple, ou encore contribuer au développement d'interfaces homme-système pour aider les pilotes en situations complexes (voir section 2.1.1).

Dans la suite des travaux que je vais présenter, je me suis intéressé au cas où les fonctions exécutives – en lien avec l'attention auditive – pouvaient permettre d'améliorer la perception du langage dans un contexte *a priori* défavorable. Cette approche était complémentaire des précédentes dans le sens où ces fonctions ont été appréhendées non plus comme une limite attentionnelle, mais comme une capacité pouvant conduire à une meilleure performance d'écoute. En effet, la communication verbale au sein d'un cockpit, entre les pilotes ou entre le pilote et la tour de contrôle, est primordiale pour une bonne gestion du vol.

<footnote n="3">3. https://bea.aero/docspa/2009/f-cp090601/pdf/f-cp090601.pdf</footnote>
1.3 Les indices sonores comme outils de sélection de la parole

Entre 2016 et 2021, j'ai participé à des travaux (participation ou mise en place) dont le but était de mettre en évidence les mécanismes cérébraux impliqués dans la gestion de la parole dans la parole ou *speech-in-speech* (en anglais). Ces paradigmes appartiennent l'étude de l'effet *cocktail party* (Cherry, 1953) qui correspond à la capacité que possède l'être humain à accéder à la sémantique de certaines informations auditives dans une scène auditive complexe. Ce fût l'opportunité d'un premier travail collaboratif avec l'Institut de Recherche Biomédicale des Armées (Pr. Guillaume Andéol et Dr. Clara Suied), la société Starkey (Dr. Christophe Micheyl), d'une co-supervision de projet de recherche en M2 Neurosciences (Mme. Cosima Lanzilotti) qui s'est transformée en thèse CIFRE (Thales SIX GTS; François Capman et Bruno Sourdillat) que j'ai codirigée avec M. Guillaume Andéol. Les deux études que je vais présenter avaient donc pour motivation première la compréhension des processus cérébraux impliqués dans l'intelligibilité en situation multilocuteur. Toutefois, une dimension plus appliquée était aussi recherchée dans la seconde, via la collaboration avec Thalès, pour fournir de nouveaux éléments destinés à améliorer les systèmes de communication radio des soldats sur le terrain.

1.3.1 Charge mentale et spatialisation des sons

Parmi les différents indices sonores utilisables pour améliorer la perception de la parole, nous
nous sommes intéressés dans un premier temps à la position des interlocuteurs dans l'espace
(Bronkhorst, 2015; Zekveld et al., 2014). Dans les situations dites multilocuteur (c.-à-d. plusieurs
personnes qui parlent en même temps), la séparation spatiale entre un locuteur d'intérêt (cible)
et un locuteur à ignorer (masque) améliore la perception du contenu auditif par rapport aux
situations dans lesquelles ces derniers sont au même endroit. Plus l'écart entre les locuteurs est
grand, meilleure est l'intelligibilité (Zekveld et al., 2014). Cet effet est particulièrement présent
lorsque le volume sonore relatif entre la cible et le masque (TMR : *Target-to-Masker Ratio*
en anglais) est défavorable (Zekveld et al., 2014). Toutefois, les travaux précédents n'ont pas
permis d'atteindre un consensus quant à savoir si cette amélioration permettait d'amoindrir ou
non le coût cognitif associé à ces tâches chez l'auditeur. En effet, pour certains, la spatialisation
permettrait une amélioration de l'intelligibilité associée à une baisse de la charge mentale (Xia
et al., 2015), alors que pour d'autres, ce ne serait pas le cas (Zekveld et al., 2014). Dans cette
première étude, nous avons utilisé un appareil d'imagerie fonctionnelle cérébrale en spectroscopie
en proche infrarouge (ISPIF ou NIRS pour *Near InfraRed Spectroscopy* en anglais) pour évaluer
les processus cognitifs liés à la facilitation comportementale de la spatialisation des locuteurs.

Hypothèses

- La spatialisation des locuteurs améliore l'intelligibilité du langage

- Cette facilitation serait associée à une diminution de la charge mentale
## Méthodes

**Paradigme expérimental.** Quatorze participants avec une audition normale (test audiomé-trique) ont pris part à l'expérience. La tâche utilisée était une tâche de parole dans la parole (Coordinate Response Measure ou CRM; Bolia et al. 2000) présentée via un casque audio (HB7, TDT). Ce corpus a permis de créer différentes situations multilocuteur dans lesquelles toutes les phrases présentaient le même schéma : "Ready *call sign*, go to *color number now*". Les *call signs* pouvaient être : Baron, Charlie, Ringo, Eagle, Arrow, Hopper, Tiger et Laker. Les participants devaient identifier une couleur parmi quatre (rouge, bleu, vert, et blanc), et un chiffre parmi huit (1 à 8) à l'aide d'un boitier réponse. Seuls des voix d'hommes (quatre voix différentes) ont été utilisées. Une voix cible, ayant le *call sign Barone*, était toujours présentée en même temps qu'une voix masque (tous les autres *call signs*, présentés aléatoirement). Trois niveaux de TMR ont été utilisés : -12 dB (défavorable) ; -4 dB (intermédiaire) et +4 dB (favorable). Dans un bloc, les deux locuteurs étaient présentés de manière colocalisée (c.à d. droit devant à 0°). Dans un autre bloc, ils étaient séparés spatialement de 60° à droite et à gauche. Chaque phrase durait approximativement 2 s et était présentée toutes les 18 à 20s pour permettre l'enregistrement de la réponse hémodynamique. Six blocs de 32 essais (2 spatialisation × 3 TMR) ont ainsi été construits.

**fNIRS.** Le système fNIR100 de Biopac®, possédant un bandeau frontal de 4 émetteurs et 10 récepteurs infrarouges, a été utilisé. Celui-ci permet l'acquisition de 16 canaux de mesures (Figure 1.14) à une fréquence de 2 Hz. Une mesure de référence (ligne de base) de 10 s était faite en début d'expérience et les données NIRS ont été calculées relativement à cette ligne de base. Les données ont été filtrées avec un filtre passe bande [0,01 0,33] Hz et les concentrations relatives d'HbO2 et d'HHb ont été calculées.

<figure><img src="image_22.png" /><figcaption>**Figure 1.14** – Bandeau frontal d'acquisition fNIR100 (Biopac®). Les 16 canaux de mesures sont représentés en rouge.</figcaption></figure>

## Résultats

Les analyses comportementales (Figure 1.15 gauche) ont mis en évidence que la spatialisation permettait d'améliorer significativement l'intelligibilité quel que soit le TMR utilisé ($F_{(1,13)} = 133,96$; $P < 0,001$; $\eta_p^2 = 0,73$).
### 1.3. Les indices sonores comme outils de sélection de la parole

Cette amélioration était toutefois plus grande pour les TMR défavorable (-12 dB) et intermédiaire (-4 dB); ($F_{(1,82, 23,64)} = 12,86$; $P < 0,001$; $\eta_p^2 = 0,14$) que pour le TMR favorable (+4 dB). De plus, pour la condition de locuteurs colocalisés, nous avons observé une intelligibilité identique entre les TMR défavorable et intermédiaire, mais avec une plus grande variabilité en défavorable.

Une analyse plus détaillée a montré que la moitié des participants présentait une relation monotone entre l'intelligibilité et le TMR alors que l'autre moitié avait un profil en "U", avec une intelligibilité équivalente entre défavorable et favorable malgré les 16 dB de différence.

<figure><img src="image_23.png" /><figcaption>**Figure 1.15** – Scores d'intelligibilité (à gauche) en *Rationalized Arsin Unit* (RAU; Studebaker 1985) en fonction du TMR et de la spatialisation des locuteurs. Concentrations relatives d'HBO2 (à droite) pour les mêmes conditions. ***: $p < 0,001$; *: $p < 0,05$.</figcaption></figure>

Bien que les scores d'intelligibilité étaient plus élevés avec la spatialisation des locuteurs pour tous les TMR ($p < 0,001$), les analyses NIRS ont montré que la spatialisation induisait une diminution de la concentration relative d'HBO2 dans le cortex préfrontal uniquement pour le TMR intermédiaire ($F_{(2,26)} = 3,90$; $P < 0,05$, $\eta_p^2 = 0,03$; Figure 1.15 droite).

Enfin, en l'absence de spatialisation, une analyse tenant compte du profil du participant a montré que les participants au profil en "U" atteignaient une meilleure performance en TMR défavorable au prix d'une activité plus forte dans le cortex préfrontal ($p < 0,05$; Figure 1.16).

#### Synthèse

Le but de cette étude était d'évaluer la capacité de la spatialisation à diminuer la charge mentale associée à l'intelligibilité de la parole dans la parole. Nos résultats montrent que la contradiction apparente sur cet effet entre différentes études pourrait être liée aux paradigmes dans lesquels ces assertions ont été faites. En effet, dans l'étude de Xia et al. (2015), qui montre une diminution de la charge mentale (tracking visuel d'une seconde tâche), les stimuli du CRM étaient à un TMR de 0 dB (c.-à-d. à la même intensité).
Dans la tâche de Zekveld et al. (2014), qui ne montre aucun effet de la spatialisation sur la variation du diamètre pupillaire, le TMR était de -8 dB (c.-à-d. un locuteur masque plus fort que la cible). Nos résultats montrent que l'effet de la séparation spatiale des locuteurs sur la charge mentale n'est présent que pour un TMR négatif, mais proche de 0 dB. Autrement dit, quand le TMR est trop en faveur du locuteur masque ou quand celui-ci conduit à une intelligibilité en colocalisation déjà élevée, la spatialisation ne jouerait pas sur la charge mentale, en tout cas telle qu'elle peut être mesurée avec une NIRS frontale (ou via la variation de diamètre pupillaire). Cette étude a montré, par ailleurs, que l'amélioration de l'intelligibilité en fonction de l'augmentation du TMR ne s'observait pas chez tous les participants. Cet effet paradoxal a déjà été mis en évidence dans une autre étude (Ihlefeld & Shinn-Cunningham, 2008) et dans celle de Brungart et collègues (Brungart, 2001). En effet, dans les cas défavorables, les participants capables de détecter la différence de volume sonore entre la cible et le locuteur masque semblent pouvoir l'utiliser pour mieux ségréger les locuteurs.

## Collocated talkers

<figure><img src="image_24.png" /><figcaption>**Figure 1.16 – Gauche.** Scores d'intelligibilité en fonction du TMR et du profil des participants pour la condition colocalisée. **Droite.** Concentrations relatives d'HBO2 pour les mêmes conditions. *** : *p* < 0,001 ; * : *p* < 0,05.</figcaption></figure>

## Principales contributions

* L'effet de la séparation spatiale des locuteurs sur la charge mentale n'est présent que pour un TMR intermédiaire (c.-à-d. défavorable mais proche de zéro)

* Le TMR défavorable peut être utilisée comme indice sonore pour améliorer l'intelligibilité de la parole dans la parole

Par la suite, nous avons souhaité étudier plus en détails les mécanismes cérébraux en lien avec la capacité à utiliser les différences de niveau sonore. Pour ce faire, nous avons mis en place un nouveau protocole utilisant le corpus CRM et une NIRS "toute tête".
1.3.2 Effort d'écoute et fonctions exécutives

Dans cette seconde étude sur l'intelligibilité de la parole dans la parole, nous avons utilisé
un système NIRS plus moderne pour étudier "l'effort d'écoute" associé à l'utilisation des indices
de volume sonore en situation multilocuteur. Comme pour la définition de la charge mentale
subsection 1.2), il est utile de faire un point sur la notion "d'effort d'écoute". Jusqu'à présent,
pour suivre le raisonnement que j'ai développé au fil de mes travaux, j'ai volontairement évité
ce terme pour garder celui de "charge mentale". Ici aussi, il n'existe pas de définition universelle
de l'effort d'écoute et il est parfois difficile de savoir à quoi il est fait référence exactement.
Pour certains (Johnsrude & Rodd, 2016), il s'agit plutôt de l'expérience subjective et de la
difficulté ressentie, alors que pour d'autres (Peelle, 2018), il s'agit d'un processus ou d'un acte
mental dans lequel l'effort est investi. Le résultat – qu'il soit subjectif ou objectif – provient
d'une interaction complexe entre les capacités motivationnelles et cognitives de l'auditeur face
à la complexité de la tâche. Aussi, pour définir un cadre dans lequel j'aborderai la suite de mes
travaux, nous retiendrons la définition suivante de Jonathan E. Peelle : "... listening effort refers
to the resources or energy actually used by a listener to meet cognitive demands". Dans cette
définition, la demande cognitive est inhérente à la tâche et l'effort d'écoute est perçu comme
les ressources mises en jeu pour l'accomplir. La revue de Peelle sur l'effort d'écoute (Peelle,
2018) synthétise, par ailleurs, les travaux d'imagerie qui ont été faits. Ces derniers permettent de
définir deux réseaux cérébraux fonctionnels en lien avec le traitement de la parole. Ainsi, il existe
un réseau central du traitement de la parole (Core Speech Network en anglais), comprenant le
cortex auditif bilatéral et le gyrus frontal inférieur gauche (IFG). Lorsque le langage est dégradé
et qu'il devient difficile pour l'auditeur d'extraire le contenu, ce réseau est toujours engagé, mais
plusieurs régions vont être sollicitées pour faire face à cette difficulté. Ces régions comprennent
le cortex cingulaire antérieur (ACC), la partie operculum de l'IFG gauche, le cortex prémoteur,
le cortex pariétal et le DLPFC, dépendamment du défi acoustique, de la demande de la tâche et
des habiletés individuelles (Figure 1.17).

Ces résultats sont issus de l'étude des processus cérébraux impliqués dans des tâches de parole dans le bruit ou de parole dégradée (c.-à-d. dont on a retiré des informations fréquentielles). Sur la base de cette littérature et des résultats obtenus précédemment chez les auditeurs capables d'utiliser les différences de volumes entre locuteurs, nous souhaitions confirmer le recrutement plus important de ces régions pour une tâche de parole dans la parole selon le TMR utilisé.

Hypothèses

- L'effort d'écoute de la parole dans la parole implique une augmentation de l'activité dans les mêmes régions que celles de la parole dégradée

- Les personnes capables d'utiliser le volume sonore relatif entre locuteurs en situation défavorable recrutent d'avantage ces régions
<figure><img src="image_25.png" /><figcaption>**Figure 1.17** – Réseau central du traitement de la parole (en bleu) pour un discours clair et régions additionnelles en situation de parole dégradée (en rouge). D'après Peelle (2018).</figcaption></figure>

## Méthodes

**Paradigme expérimental.** Soixante-quatorze participants ont été inclus dans cette étude. Comme dans l'étude précédente, la tâche utilisée était le CRM (Bolia et al., 2000) avec uniquement des locuteurs cible et masque colocalisés (0° droit devant) et les trois niveaux de TMR : défavorable (-12 dB), intermédiaire (-4 dB) et favorable (+4 dB). Chaque condition était présentée par bloc contenant 32 répétitions.

<figure><img src="image_26.png" /><figcaption>**Figure 1.18** – a. Casque Nirs (NirScout, NIRX®) installé sur un participant. b. Représentation 2D des canaux de mesure entre les sources (Sx) et les détecteurs (Dx), ainsi que les régions d'intérêt choisies (canaux de même couleur). c. Carte de sensibilité du montage NIRS obtenue par simulation de Monte-Carlo sous AtlasViewer V.2.8. Paramètres par défaut, excepté pour la quantité de photons établie à $10^7$.</figcaption></figure>
## 1.3. Les indices sonores comme outils de sélection de la parole

**fNIRS.** Le système NIRS utilisé était le NirScout® de NIRX avec 15 sources lumineuses ($\lambda_1$=760 nm et $\lambda_2$=850 nm) et 23 détecteurs. Au moment de la réalisation de cette expérience, nous ne disposions pas de canaux courts de mesure (short channel). La fréquence d'échantillonnage était de 7.8 Hz et les données ont été traitées avec la Nirs Toolbox (Santosa et al., 2018) sous Matlab. Les valeurs statistiques de $p$ sont toutes exprimées corrigées par FDR (False Discovery Rate) pour comparaisons multiples entre les 13 régions d'intérêt définies a priori (Figure 1.18).

## Résultats

Les données comportementales ont confirmé les résultats obtenus dans l'étude précédente (Figure 1.19). Elles ont montré que le niveau de TMR avait un effet significatif sur l'intelligibilité de la parole cible ($F_{(2,146)}$ = 90,63 ; $p$ < 0,001). Cela correspondait à des scores plus élevés avec le TMR favorable (M = 76,03 ; SD = 14.93), comparé au TMR intermédiaire (M = 31,56 ; SD = 26,85 ; $p$ < 0,001) et au TMR défavorable (M = 35,37 ; SD = 28,95 ; $p$ < 0,001). Aucune différence significative n'a cependant été observée entre les TMR intermédiaire et défavorable ($p$ = 0,5). Ces données ont également révélé une grande variabilité dans la capacité à utiliser le TMR comme un indice pour séparer les deux flux vocaux, avec la plus grande déviation standard dans la condition défavorable (SD=35,37), suivie par la condition intermédiaire (SD=31,56).

<figure><img src="image_27.png" /><figcaption>**Figure 1.19** – Score d'intelligibilité médian (Rationalized Arcsin Units) en fonction du TMR. les boites représentent les intervalles interquartiles, les moustaches représentent les valeurs min et max dans l'intervalle de 1,5 fois l'interquartile et les points représentent les données individuelles. Les lignes gris clair relient les données d'un même participant. *** : $p$ < 0,001.</figcaption></figure>
Les données fNIRS (Figure 1.20) ont montré une plus grande activation pour la condition de TMR intermédiaire par rapport à la condition défavorable dans les ROIs frontales (PFC gauche, IFG gauche et DLPFC droit; *p* < 0,05) et les régions temporales (cortex auditif bilatéral : *p* < 0,05). Une plus grande activation a également été observée pour la condition intermédiaire par rapport à la condition favorable dans les IFG et les cortex auditifs bilatéraux (*p* < 0,05). Aucun autre contraste dans aucune région n'a montré de résultat significatif.

<figure><img src="image_28.png" /><figcaption>**Figure 1.20** – Activations corticales selon le TMR. PFC : cortex préfrontal. DLPFC : cortex préfrontal dorsolatéral. IFG : gyrus frontal inférieur. Auditory : cortex auditif primaire. Les barres verticales représentent l'écart type. \* : *p* < 0,05 corrigé FDR.</figcaption></figure>

Pour confirmer la relation entre l'activation corticale et la performance comportementale, une régression robuste a été effectuée en utilisant les coefficients bêta pondérés et les scores d'intelligibilité RAU (Figure 1.21). Pour la condition défavorable, des corrélations positives significatives entre ces deux variables ont été observées pour le cortex auditif gauche (r² = 0,11; *p* < 0,05), et les IFG bilatéraux (r² = 0,18; *p* < 0,01, pour les deux corrélations). Dans ces régions, plus l'intelligibilité de la parole était élevée, plus l'activité corticale était forte. De même, une corrélation positive a également été trouvée dans l'IFG droit dans la condition favorable (r² = 0,09; *p* < 0,05). Pour la condition intermédiaire, les mêmes analyses de régression robuste n'ont pas montré d'associations linéaires significatives entre les scores RAU et l'activation corticale.
### 1.3. Les indices sonores comme outils de sélection de la parole

<figure><img src="image_29.png" /></figure>

<figure><img src="image_30.png" /><figcaption>**Figure 1.21** – Résultats des régressions entre le score d'intelligibilité et l'activation en NIRS. Les lignes rouges représentent l'ajustement linéaire. IFG : gyrus frontal inférieur. Auditory : cortex auditif primaire.</figcaption></figure>

## Synthèse

Au cours de cette étude, nous avons à nouveau observé qu'il existe une grande variabilité d'intelligibilité pour les situations de TMR défavorables. Certains participants ont obtenu une performance d'intelligibilité en TMR défavorable (-12 dB) supérieure ou égale à celle obtenue en TMR intermédiaire (-4 dB), voire égale à celle obtenue en TMR favorable (+4 dB). Ceci confirme d'une part que la différence d'intensité entre la cible et le masque peut être utilisée pour permettre de les ségréger et, d'autre part, que les niveaux de difficulté que nous avons définis à priori sur la base du TMR ne reflètent pas la réalité. Ceci pourrait expliquer que contrairement à nos hypothèses de départ, l'activité corticale maximale n'a pas été retrouvée pour la condition de TMR dite défavorable, mais pour le TMR intermédiaire. Dans ce cas, le TMR était faiblement défavorable et donc potentiellement plus difficile à utiliser. Il se peut que les participants aient eu besoin d'impliquer plus de ressources cognitives pour permettre d'atteindre une performance comparable à celle du TMR défavorable.

Enfin, la relation entre les scores d'intelligibilité de la parole et l'activation cérébrale dans chaque condition a conduit à deux résultats principaux. Les résultats suggèrent l'implication i) d'un réseau fronto-temporal (IFG bilatéral et cortex auditif gauche) dans la condition de TMR défavorable et ii) de l'IFG droit dans la condition de TMR favorable. Ces résultats montrent que la situation est plus complexe que ce que l'activation de la tâche a révélé.
Cette corrélation positive entre l'activité corticale et la performance est en faveur d'une variabilité de l'engagement dans la tâche, certains individus restant engagés dans la tâche en essayant de solliciter plus de ressources alors que d'autres peuvent avoir partiellement (p. ex. pour certains essais) arrêté d'essayer. Par conséquent, la variabilité de l'activité corticale dans notre population était liée à la capacité d'utiliser le TMR dans la condition défavorable, alors que d'autres mécanismes de ségrégation de la parole peuvent avoir eu lieu dans la condition intermédiaire, comme ceux basés sur les caractéristiques de fréquence de la voix (Bronkhorst, 2015) par exemple. La littérature a déjà établi le rôle de l'IFG gauche dans les paradigmes de parole dans le bruit (Alain et al., 2018). Nos résultats suggèrent maintenant que l'IFG gauche est impliqué dans l'intelligibilité de la parole quel que soit le type de masquage : énergétique (parole dans le bruit) ou informationnel (parole dans la parole) lorsque la tâche est difficile. En ce qui concerne l'IFG droit, l'intelligibilité de la parole dans le masquage informationnel nécessite l'inhibition du locuteur masque pour se concentrer sur le locuteur cible. Une étude précédente a également montré que l'IFG droit joue un rôle central dans le traitement de l'inhibition dans une tâche de Stop-Signal ou un test Go/No-Go par exemple (Hampshire et al., 2010). Cela s'appliquerait également à la condition de TMR favorable qui reste malgré tout une tâche avec une forte demande cognitive.

## Principales contributions

* Nous avons confirmé que certaines personnes sont capables d'utiliser les indices sonores fourni par un TMR défavorable

* L'intelligibilité dans la parole dans la parole implique aussi l'activation d'un réseau fronto-temporal

* L'IFG gauche notamment, joue un rôle clé dans l'intelligibilité, que le masquage soit énergetique ou informationnel

Selon la théorie des ressources attentionnelles limitées (C. D. Wickens, 1980), une augmentation de l'effort d'écoute peut donc affecter la performance à d'autres tâches concomitantes. Avec la charge mentale et les situations d'incongruité audiovisuelle que nous avons vu précédemment, l'effort d'écoute est donc un facteur de risque supplémentaire pour la bonne gestion d'un vol. L'ensemble de ces résultats montrent qu'il pourrait être possible de concevoir des systèmes de communication plus ergonomiques. Avec la spatialisation des sources, l'utilisation d'autres indices sonores pourrait permettre de diminuer l'effort d'écoute lors de l'utilisation de systèmes audio tels que les radios de communication. Un système de surveillance de cet effort pourrait être utile pour éviter les situations dangereuses ou simplement diminuer la fatigue des opérateurs.

Dans le chapitre suivant, je présenterai la deuxième thématique de mes travaux correspondant à une approche plus appliquée de l'analyse des processus cérébraux mis en jeu lors de l'activité de pilotage.
<figure><img src="image_31.png" /></figure>
Thématique 2. L'opérateur et son interface

Les travaux présentés au chapitre 1 ont permis de mettre en évidence certains mécanismes fondamentaux impliqués dans le filtrage attentionnel et la sélection d'informations auditives à l'échelle du groupe. Les travaux que je vais présenter dans ce chapitre se sont appuyés sur cette connaissance pour évaluer ces mécanismes de manière individuelle, en ligne, ou plus largement en termes d'état du pilote. Ce terme regroupe les paramètres psychophysiologiques mesurables qui permettent de comprendre comment réagit le pilote dans une situation donnée. Cette situation peut correspondre à l'activité de pilotage elle-même ou à la gestion et la supervision d'un système en particulier. Les questions principales qui ont motivé ces travaux peuvent se résumer ainsi :

* Peut-on utiliser les marqueurs électrophysiologiques pour détecter la surdité inattentionnelle à chaque présentation d'une alarme ?

* Peut-on classer différents états d'un pilote selon la tâche qu'il réalise en utilisant des mesures psychophysiologiques ?

* Quel impact peut avoir l'utilisation d'une nouvelle interface d'aide au pilotage sur la charge mentale du pilote ?

Ces travaux ont été faits en collaboration avec des laboratoires et industriels européens (projet D3COS<fnref n="1" />) et au cours de l'encadrement de 4 stages de Master. Nous avons utilisé l'activité oculaire (eye-tracker), cardiaque (électrocardiographie, ECG) et cérébrale (EEG et NIRS) pour évaluer des états mentaux (p. ex. détection d'alarme auditive, mémoire de travail ou charge mentale) ou évaluer l'impact de l'utilisation d'une nouvelle interface d'aide au pilotage.

La première partie a été initiée par les observations faites chez le pilote d'avion au chapitre précédent. Le but était d'utiliser des outils de **suivi de l'état du pilote**. Les résultats fondamentaux, dans le laboratoire ou au cours d'un vol réel, ont apporté des informations sur le contexte et les mécanismes cérébraux impliqués dans la surdité inattentionnelle. L'étape suivante a été de tester différentes chaines de traitements des données récoltées pour pouvoir classer ces états particuliers du pilote *essai par essai* et détecter la survenue d'une insensibilité aux alarmes lorsque

<footnote n="1">1. https://cordis.europa.eu/project/id/269336</footnote>
celle-ci se produit. Par la suite, il a été question de classer des états particuliers de charge mentale du pilote en lien avec son activité de pilotage, hors ligne et en ligne. Ceci a été fait non plus via l'utilisation d'une sonde auditive comme pour la surdité inattentionnelle, mais par la mesure de données cardiaques, oculométriques et d'activité cérébrale en lien avec l'activité de pilotage elle-même. Comme pour la surdité inattentionnelle, ces travaux étaient motivés par l'envie de construire des chaines de traitements et d'obtenir des marqueurs ayant un potentiel d'application dans la vie réelle. Ainsi, parallèlement à la focalisation qui a été faite sur l'état particulier de surdité inattentionnelle chez le pilote, trois études ont été conduites pour évaluer d'autres fonctions cognitives en lien avec l'activité de pilotage d'avion. Ces études ont été guidées à nouveau par le continuum expérimental. Un premier paradigme d'évaluation en ligne de la mémoire de travail a été fait en laboratoire. Une deuxième étude a été faite en simulateur de vol pour discriminer les états de charge en mémoire de travail. Enfin, une troisième étude en avion léger a eu pour but de classer les phases de vol en fonction de marqueurs électrocardiographiques et oculaires du pilote acquis au cours d'un vol précédent.

À travers trois autres études, nous avons souhaité **évaluer de nouvelles interfaces d'aide au pilotage**. Il a s'agit principalement d'évaluer leurs apports sur la performance de pilotage elle-même, mais aussi de quantifier l'impact que l'utilisation de celles-ci pouvait avoir sur les ressources attentionnelles disponibles. En d'autres termes, ces aides devaient apporter un gain dans la gestion du vol, mais il fallait s'assurer qu'elles n'engendrent pas de situations dans lesquelles d'autres informations pourraient être négligées ou mal analysées par le pilote.

**Principales publications**

* Dehais, F., Roy, R. N., and **Scannella, S.** (2019). Inattentional deafness to auditory alarms: Inter-individual differences, electrophysiological signature and single trial classification. *Behavioural brain research, 360*, 51-59. lien

* Gateau, T., Durantin, G., Lancelot, F., **Scannella, S.**, Dehais, F. (2015). Real-time state estimation in a flight simulator using fNIRS. *PLoSone*, 10(3). lien

* Chanel, P. C., Wilson, M. D., and **Scannella, S.** (2019). Online ECG-based Features for Cognitive Load Assessment. *In 2019 IEEE International Conference on Systems, Man and Cybernetics (SMC) (pp. 3710-3717)*. IEEE. lien

* **Scannella, S.**, Peysakhovich, V., Ehrig, F., Lepron, E., and Dehais, F. (2018). Assessment of Ocular and Physiological Metrics to Discriminate Flight Phases in Real Light Aircraft. *Human factors, 60*(7), 922-935. lien

* Dehais, F., Peysakhovich, V., **Scannella, S.**, Fongue, J., Gateau, T. (2015). "Automation Surprise" in Aviation: Real-Time Solutions. Paper presented at the *Computer-Human Interaction (CHI) International Conference*. lien

* Lacko, I., Moravek, Z., Osterloh, J.-P., Rister, F., Dehais, F., and **Scannella, S.** (2013). Modeling approach to multi-agent system of human and machine agents: Application in design of early experiments for novel aeronautics systems. Paper presented at the *Industrial Informatics (INDIN), 11th IEEE International Conference (INDIN)*. lien

* Valéry, B., **Scannella, S.**, Peysakhovich, V., Barone, P., and Causse, M. (2017). Can an aircraft be piloted via sonification with an acceptable attentional cost? A comparison of blind and sighted pilots. *Applied ergonomics, 62*, 227-236. lien
## 2.1 Suivi de l'état du pilote

Les systèmes automatisés dans lesquels évoluent les opérateurs fonctionnent en général de manière unidirectionnelle. Dans un avion par exemple, les informations telles que les paramètres de vol, les alarmes ou l'état du pilote automatique sont transmises selon des règles d'ergonomie bien définies, et aucun retour n'est fait vers le système pour lui indiquer que ces informations ont correctement été intégrées par l'opérateur. Si ces systèmes sont bien construits, nous avons vu qu'il existe toutefois des situations dans lesquelles le manque de communication entre l'humain et la machine pose problème. Pour palier ce déficit, il a été proposé que ces systèmes soient capables de prendre en compte l'état du pilote, ou tout du moins qu'ils disposent d'une information pour savoir comment celui-ci réagit aux informations qui lui sont transmises. Ce vecteur d'état pourrait être ensuite utilisé pour informer le système d'une bonne ou d'une mauvaise prise en compte de ces informations, ou encore d'un état dégradé, tel qu'une charge mentale trop élevée ou pas assez. On peut alors imaginer que le système soit capable de répéter, d'adapter ou de changer l'information sur la base de ce retour, dans le but d'une meilleure interaction. Ceci est aujourd'hui possible grâce aux interfaces cerveau-machine (ICM) dites passives (Zander & Kothe, 2011) qui peuvent utiliser le signal physiologique – traité en ligne – pour classer des états prédéfinis – appelés "classes" – et en informer le système dans le but d'une adaptation de celui-ci. En amont de ces ICM, il faut donc être capable de traiter correctement le signal – en ligne ou hors-ligne – de définir les bonnes classes et d'obtenir une précision de classification acceptable. C'est ce que nous avons cherché à réaliser dans les études présentées ci-après.

### 2.1.1 Détection de la surdité inattentionnelle

Dans le cadre du suivi de l'état du pilote, des collègues du CiNet au Japon ont par exemple montré qu'il était possible d'utiliser l'activité EEG pour classer la détection d'une alarme sonore par rapport au silence dans un simulateur de vol et dans un avion biplan (Callan et al., 2015). Nous avons voulu aller plus loin en essayant de classer les états "alarme prise en compte" versus "alarme négligée" — correspondant aux classes "Hit" et "Miss" des travaux en simulateur et en vol réel déjà présentés (section 1.2.1 et 1.2.2).

Plus précisément, nous avons testé l'hypothèse exploratoire d'une possibilité de détecter la surdité inattentionnelle sur la base des caractéristiques des ERP. Un algorithme de classification à deux classes ("prise en compte" vs. "non prise en compte"), utilisant deux filtres spatiaux comme caractéristiques, a montré une précision de classification de 72,2% (pour un seuil de chance ajusté à 59% selon Combrisson & Jerbi 2015). Les filtres maximisant cette différence montrent – sans surprise – que celle-ci se jouait principalement au niveau des électrodes fronto-centrales. L'explication vient du fait que les amplitudes de la N100, la P3a et la P3b étaient déjà fortement affectées au niveau du groupe en comparant la condition "Hit" à la condition "Miss". Ces marqueurs de la surdité inattentionnelle sont donc des indicateurs suffisamment robustes pour être utilisés essai par essai. Dans ce cas, le développement d'une interface cerveau-machine passive pourrait être d'une grande aide à la construction d'un système "pilote-avion" plus intelligent, plus
interactif. Si le système informatique du cockpit est capable d'analyser une telle information, alors il serait possible de concevoir des systèmes d'alarmes plus intelligents. Les règles de sécurité en condition opérationnelle imposent toutefois que l'utilisation d'un tel système conduise à des taux de classification plus élevés. Il reste néanmoins envisageable d'utiliser un système plus flexible qui tiendrait compte *partiellement* de cette information. C'est le cas notamment des chaines de décision à initiative mixte dans lesquelles l'information sur l'état du pilote peut être utilisée ou non selon un ensemble de paramètres (Singh, 2021).

### 2.1.2 Évaluation en ligne de la mémoire de travail : en simulateur de vol

La mémoire de travail est une fonction clé de l'activité de pilotage (Causse et al., 2011). Les listes de vérifications ou le collationnement des communications avec la tour de contrôle peuvent parfois induire une charge de mémoire de travail élevée. Il a été rapporté à plusieurs reprises que cette charge pouvait induire des problèmes de communications et mettre en péril la sécurité d'un vol (Billings & Cheaney, 1981). Dans une approche d'évaluation de cette charge en mémoire de travail au cours d'un vol, nous avons mis au point un protocole dans lequel des pilotes devaient communiquer avec la tour de contrôle pour paramétrer le pilote automatique d'un simulateur de vol. Notre but était de classer en ligne les états de faible ou de forte charge en mémoire de travail sur la base de l'activité du cortex préfrontal mesurée avec un système NIRS.

#### Hypothèse

* L'activité cérébrale du cortex préfrontal peut permettre de classer la charge en mémoire de travail en ligne pendant l'activité de pilotage

#### Méthode

**Paradigme expérimental.** Dix-neuf pilotes de l'aviation légère ont piloté le simulateur Pégase (A300) en utilisant le FCU (Flight Control Unit) pour gérer la vitesse, le cap, l'altitude et la vitesse verticale de l'appareil (Figure 2.1). Les paramètres de vol étaient entrés après que les pilotes ont reçu les informations d'un opérateur de tour de contrôle (ATC) dont les phrases ont été préenregistrées et diffusées de façon aléatoire. Ces phrases, en anglais, possédaient toujours la structure suivante : "Supaero 32, Speed *valeur*, Heading *valeur*, Altitude *valeur*, Vertical speed *valeur*, Over." Deux niveaux de difficulté (charge en mémoire de travail) ont été créés selon les valeurs des paramètres utilisés. Des messages faciles à retenir ont été créés en utilisant un même nombre pour les quatre paramètres (p. ex. 15 pour : "Speed 150, Heading 150, Altitude 1500, Vertical speed +1500"). Les messages difficiles comprenaient des valeurs de paramètres tous différents (p. ex. "Speed 164, Heading 235, Altitude 8700, Vertical speed -1600"). Vingt répétitions de chaque difficulté étaient présentées de manière pseudo aléatoire pour un total de 40 messages. Un message durait environ 11s et était présenté toutes les 40 à 45 s. L'activité du cortex préfrontal des pilotes était mesurée pendant l'expérience avec le bandeau NIRS de Biopac® (fNIRS100) utilisé dans l'étude section 1.3.1.
<figure><img src="image_32.png" /><figcaption>**Figure 2.1** – Photo d’illustration du FCU du simulateur de vol Pégase. Le pilote devait configurer le pilote automatique avec les informations de vitesse (*speed*), de cap (*heading*), d’altitude et de vitesse verticale (*v-speed*) fournies par l’ATC en utilisant les molettes correspondantes.</figcaption></figure>

<figure><img src="image_33.png" /><figcaption>**Figure 2.2** – Chaine d’acquisition et de traitement des données NIRS pour la construction de l’estimation d’état et de la classification de la charge en mémoire de travail du pilote selon les messages de la tour de contrôle.</figcaption></figure>
**Traitement des données et estimation d'états.** Avant de considérer les données NIRS pour estimer en ligne la charge mentale en lien avec la mémoire de travail, nous avons souhaité déterminer en ligne quand le pilote était en train de réaliser une tâche de mémorisation, indépendamment de la difficulté. Pour ce faire, nous avons appliqué un filtre MACD (Moving Average Convergence Divergence, Appel 2005) en ligne sur les données NIRS. Ainsi, nous avons obtenu une classification d'état du pilote conduisant à deux états : "pilote au travail" vs. "pilote au repos" tout au long de l'expérience (Figure 2.2). Dès lors qu'un état au travail était détecté, les données NIRS de cette période étaient utilisées comme entrée d'un algorithme de classification de charge en mémoire de travail basé sur du Support Vector Machin (SVM; Cortes & Vapnik 1995). En sortie de cet algorithme, deux états étaient possibles : mémoire de travail élevée vs. mémoire de travail faible. Cet algorithme était entraîné sur les 20 premiers essais pour classer les vingt suivants.

### Résultats

Sur le plan comportemental, les pilotes ont correctement retranscrit l'ensemble des paramètres énoncés par la tour de contrôle dans la condition facile alors qu'ils ont mal configuré au moins un paramètre sur les quatre dans 13,2 essais sur 40 (SD=4,7) dans la condition difficile. Les données NIRS analysées hors ligne montrent que cet effet se retrouve uniquement dans les concentrations maximum d'HbO2 avec une différence significative entre les 2 conditions pour le DLPFC droit ($p < 0,001$). Enfin, l'algorithme de classification des 10 essais faciles et 10 essais difficiles a montré une précision de 80,8 % (SD = 10,6 %; Figure 2.4).

<figure><img src="image_34.png" /><figcaption>**Figure 2.3 – High load et Low load.** Topographies des concentrations en HbO2 ($\mu mol.l^{-1}$) du groupe selon la complexité du message de la tour de contrôle 14 s après le début du message. **High-Low.** Topographie de la différence de concentration moyenne entre ces deux conditions. La différence est significative pour le DLPFC droit ($p < 0,001$). FnirSoft®.</figcaption></figure>
<figure><img src="image_35.png" /><figcaption>**Figure 2.4** – Précision de la classification de la charge en mémoire de travail pour tous les pilotes.</figcaption></figure>

## Synthèse

Ces travaux ont montré pour la première fois qu'il était possible d'implémenter une chaine de traitement du signal NIRS en ligne permettant d'inférer l'état du pilote en termes de charge en mémoire de travail liée aux communications avec l'ATC. Celle-ci a permis non seulement de faire la distinction entre une activité de mémorisation/restitution d'information sonores et le repos, mais aussi de discriminer deux niveaux de charge en mémoire de travail du pilote dans une tâche de communication très proche de la réalité. Bien que l'outil NIRS et la mesure du couplage neurovasculaire dans un environnement tel que celui d'un avion réel pose certains problèmes de fiabilité, la démonstration faite dans ce travail est une première pierre à la construction d'un système humain-machine qui prendrait en compte l'activité du pilote de manière individuelle. On pourrait par exemple imaginer une ICM qui détecterait les périodes de forte charge en mémoire de travail et limiterait la transmission d'autres informations non primordiales susceptibles de s'ajouter à cette charge.

## Principale contribution

* Nous avons construit et validé un outil de classification en ligne de la charge en mémoire de travail du pilote
## 2.1. Suivi de l'état du pilote

À la suite de ces travaux, nous nous sommes intéressés à la faisabilité de mesurer cette capacité in situ avec des outils ayant un potentiel d'implémentation en aéronautique plus élevé que la NIRS actuelle.

### 2.1.3 Évaluation en ligne de la mémoire de travail : au laboratoire

La recherche de solutions de suivi de l'état de pilote m'a conduit à collaborer avec le Docteur Caroline Ponzoni Carvalho Chanel du DCAS de l'ISAE-SUPAERO sur un projet d'analyse en ligne du signal cardiaque dans le but d'évaluer la mémoire de travail de manière dynamique. Cette fonction exécutive est au centre des processus cognitifs de haut niveau permettant la réalisation de tâches complexes (Miyake et al., 2000) et notamment celle du pilotage d'un aéronef (Causse et al., 2011). Différentes métriques de l'activité cardiaque sont sensibles à la charge mentale et – en particulier – à la quantité d'information à garder en mémoire de travail (Blix et al., 1974; Y.-H. Lee & Liu, 2003; Dahlstrom et al., 2011). C'est le cas de la fréquence cardiaque (FC), qui peut être exprimée en bpm (battements par minutes), ou plus directement de la durée de l'intervalle entre deux pics de l'onde R du cycle cardiaque (R-R intervalle ou période cardiaque). De plus, la variabilité de cette fréquence, que l'on peut exprimer en écart-type de la durée de l'intervalle R-R sur une période donnée (stdNN ou StdRR), a aussi été montrée comme étant sensible à la charge mentale (Castaldo et al., 2017). Bien que la variation de ces métriques soit influencée par de nombreuses composantes cognitives, affectives et circadiennes (Thayer & Lane, 2009), ces études montrent qu'il peut être possible d'inférer ou de quantifier certains niveaux de charge mentale avec un paradigme adapté. Une difficulté supplémentaire réside alors dans le fait de pouvoir faire cette évaluation en ligne dans le but de s'en servie de paramètre de surveillance de l'activité d'un opérateur ou de valeur d'entrée d'une ICM. Nous avons donc cherché à évaluer des algorithmes et des outils permettant de calculer certaines caractéristiques de l'ECG en ligne, potentiellement utiles pour les ICM, pour évaluer la mémoire de travail. Dans ce projet, nous avons fait un léger retour dans le continuum expérimental par rapport au travail précédent (tâche de mémoire simplifiée), mais un pas en avant en termes d'applicabilité (utilisation de l'ECG).

#### Hypothèse

* La fréquence et la variabilité cardiaques peuvent être utilisées pour évaluer la mémoire de travail en ligne

#### Méthode

Onze participants ont réalisé une tâche d'empan mnésique composée de séquences de consonnes apparaissant une après l'autre sur un écran d'ordinateur (Figure 2.5). Trois niveaux de difficultés ont été utilisés correspondant à une condition contrôle (7 caractères "#" à rapporter), une condition de difficulté moyenne (3 lettres et 4 "#") et une condition difficile (7 lettres). Ainsi, à chaque essai, les participants utilisaient le même nombre de touches de clavier (toujours 7) pour la réponse et seule la charge en mémoire de travail variait. De plus, les essais ont été présentés
à travers des blocs de difficulté constante ou de difficulté variable et aléatoire. Ces blocs avaient pour but d'évaluer nos mesures en ligne dans un contexte plus dynamique, pour se rapprocher des conditions réelles dans lesquelles la charge en mémoire de travail est rarement constante. La tâche a été créée et administrée avec Python et la plateforme *Simulation and Neuroscience Application Platform (SNAP<sup>2</sup>)*. L'enregistrement de l'activité cardiaque a été fait avec un système Faros 360 à 500 Hz et la synchronisation avec la tâche via le *Lab Streaming Layer (LSL<sup>3</sup>)*.

Le calcul du STDRR hors ligne s'est fait sur l'ensemble des intervalles RR de l'essai d'intérêt ; celui du STDRR en ligne a été fait en utilisant une moyenne mobile pondérée exponentielle (Lucas & Saccucci, 1990) sur une fenêtre glissante de 10 s à l'aide d'un script Python fait maison et des latences des pics R transmis par le Faros via LSL. Différentes autres mesures basées sur cette fenêtre ont aussi été évaluées, telles que la valeur maximum, la dernière valeur ou encore la pente à l'intérieur d'une fenêtre. Pour valider notre méthode d'analyse en ligne, nous avons d'abord validé la sensibilité de nos mesures (RR et Std-RR) hors ligne avec le logiciel de traitement *Kubios HRV<sup>4</sup>*, puis ces résultats ont été comparés à ceux obtenus en ligne. Enfin, différents algorithmes de classification ont été appliqués sur les métriques calculées en ligne pour classer deux niveaux de difficulté en mémoire de travail (empan 0 vs. empan de 7).

<figure><img src="image_36.png" /><figcaption>**Figure 2.5** – **a.** Illustration de l'installation du capteur ECG (Faros 360) sur un participant. **b.** Exemple de séquence de stimuli pour la tâche d'empan mnésique (difficulté moyenne).</figcaption></figure>

<footnote n="2">2. https://snap.stanford.edu/snappy/</footnote>

<footnote n="3">3. https://github.com/sccn/labstreaminglayer</footnote>

<footnote n="4">4. https://www.kubios.com</footnote>
### Résultats

La première étape a été de comparer la qualité de détection des pics R faite hors ligne sur le signal ECG continu par Kubios à celle fournie en ligne par le Faros (algorithme de détection de pic propriétaire). Un test de coefficient de corrélation de concordance de Lin (Lawrence & Lin, 1989) entre les deux séries d'intervalles RR a montré une quasi parfaite similitude ($\rho = 0,99$; déviation moyenne de 0,02 ms). De ce fait, les résultats obtenus sur les intervalles RR avec les pics R détectés en ligne étaient identiques à ceux obtenus avec les pics R détectés hors ligne. En résumé, les intervalles RR étaient plus faibles (FC plus élevée) pour la difficulté la plus grande et pour une présentation des blocs où la difficulté variait aléatoirement ($F_{(2,20)} = 13,01$; $p < 0.001$). Concernant la variabilité cardiaque moyenne évaluée à partir des STDRR en ligne, celle-ci a montré une sensibilité à la difficulté dans les blocs à difficulté constante ($p < 0.01$), mais pas dans ceux à difficulté variable. Toutefois, la dernière mesure de STDRR au sein de la fenêtre d'intérêt a montré une sensibilité particulière à la difficulté dans les blocs de difficulté aléatoire ($p < 0.01$; Figure 2.6).

<figure><img src="image_37.png" /><figcaption>**Figure 2.6** – Dernières valeurs moyennes (ms) obtenues dans la fenêtre STDRR en fonction de la taille de l'empan mnésique pour les blocs à difficulté aléatoire</figcaption></figure>

Enfin, les résultats de classification de la charge mnésique avec les mesures réalisées en ligne ont montré une précision de 86% en utilisant un LDA (Linear Discriminant Analysis) dans la condition de difficulté constante, et 63% en utilisant un SVM (Support Vector Machine) dans la condition à difficulté variable. Ces résultats étaient au moins aussi bons que ceux obtenus avec les mesures calculées hors-ligne.
## Synthèse

Ce travail a permis de montrer qu'il est possible d'utiliser des mesures de l'activité cardiaque en ligne pour inférer le niveau de charge en mémoire de travail. L'influence des processus cérébraux en lien avec la rétention et la restitution d'une chaine de caractères sur l'activité cardiaque a ainsi pu être observée par l'analyse de la fréquence cardiaque (ou période) et de sa variation au cours du temps (écart type) avec une latence de l'ordre de la dizaine de secondes. Cette mesure simple et facile à mettre en place en milieu opérationnelle semble donc prometteuse pour le suivi en ligne des opérateurs et la conception d'ICM. Des travaux dans ce sens sont en cours dans notre laboratoire (Singh et al., 2022).

## Principale Contribution

* Nous avons validé un outil d'évaluation en ligne de la mémoire de travail basé sur l'activité cardiaque ayant un potentiel d'utilisation en milieu opérationnel

La mémoire de travail est certes une fonction clé de l'activité de pilotage, mais il est difficile de ne cibler que cette fonction dans ce contexte, tant les facteurs confondants sont nombreux. Une approche plus globale a donc aussi été envisagée. Il a s'agit par la suite de mesurer l'effet de l'activité de pilotage – et donc de la charge mentale associée – sur certains paramètres de l'activité cardiaque et oculaire.

### 2.1.4 Inférer la phase de vol par les mesures psychophysiologiques

Dans le but d'évaluer la charge mentale des pilotes en lien avec l'activité de pilotage en situations de vol réel, des solutions potentiellement implémentables dans un cockpit ont été testées. L'oculométrie est une bonne candidate, d'autant plus qu'il existe aujourd'hui des systèmes déportés<fnref n="5" /> totalement invisibles pour l'utilisateur. Elle peut être complémentaire de l'activité cardiaque (section 2.1.3) pour mieux comprendre la manière dont la charge mentale – parfois fortement sollicitée pendant le pilotage (Billings & Cheaney, 1981) – a pu être générée. En effet, il a été suggéré que l'approche unimodale de la mesure de la demande cognitive associée à un vol conduit à une interprétation limitée de la charge mentale associée (Hankins & Wilson, 1998). Une augmentation de l'activité cardiaque, par exemple, n'aura pas la même signification si elle est associée à une activité oculaire plutôt focalisée (extraction de l'information) ou saccadique (recherche d'information). Nous nous sommes donc intéressés à la complémentarité de ces deux mesures dans leur capacité à inférer l'activité de pilotage de manière objective. Comme c'est le cas pour la plupart des approches utilisées dans ce chapitre, le but de ce travail était de trouver des solutions de surveillance de l'activité de pilotage permettant, à plus long terme, de détecter les états pouvant mettre en péril la sécurité des vols.

<footnote n="5">5. https://smarteye.se/solutions/behavioral-research/aviation-aerospace/</footnote>
## 2.1. Suivi de l'état du pilote

Concrètement, nous avons cherché à définir des marqueurs de l'activité de pilotage qui puissent être suffisamment stables dans le temps pour pouvoir discriminer des niveaux de charge mentale du pilote en lien avec les différentes phases de vol sur la base d'une référence idiosyncrasique. Nous nous sommes particulièrement intéressés à trois phases de vol pouvant induire une forte (décollage et atterrissage) ou faible (vent arrière) charge mentale.

### Hypothèse

* Les activités cardiaque et oculaire peuvent être utilisées pour inférer la phase de vol en conditions réelles

### Méthode

Les activités cardiaque et oculaire de 11 pi-lotes de l'ISAE-SUPAERO ont été acquises au cours de deux tours de piste standards (Figure 2.7) à bord d'un avion léger Robin DR400. Le système oculométrique était un Pertech® (1° de précision, 50 Hz) et le système élec-trocardiographique était un Procomp Infinity (Thought Technology®) à 2048 Hz. Pour les données oculaires, le taux de saccades, la durée des fixations et l'index moyen de plus proche de voisin (Mean Nearest Neighbor Index, MNI; Di Nocera et al. 2007) ont été calculés pour les trois phases de vol. Pour les données cardiaques, nous avons extrait le rythme cardiaque ainsi que la variabilité cardiaque en termes d'écart-type des intervalles RR pour ces mêmes phases. Enfin, trois algorithmes de classification basés sur une analyse discriminante linéaire (LDA) ont été construits en utilisant les données du premier tour de piste de chaque pilote (HR, taux de saccades ou les deux) pour classer les trois phases de vol du second tour de piste.

<figure><img src="image_38.png" /><figcaption>**Figure 2.7** – Illustration des trois phases de vol d'intérêt sur un plan de vol standard.</figcaption></figure>

### Résultats

Parmi l'ensemble des métriques utilisées, le rythme cardiaque et le taux de saccades ont montré la plus grande sensibilité aux effets des phases de vols sur le pilote. Le rythme cardiaque était différent entre le décollage et la vent arrière et entre la vent arrière et l'atterrissage ($p < 0,01$), mais pas entre le décollage et l'atterrissage. Le taux de saccades était différent entre les trois phases ($p < 0,01$ pour les trois comparaisons). Ces deux mesures ont ensuite été utilisées pour la classification des phases de vol en utilisant un LDA. Les résultats montrent une précision de 42% ($p = 0,17$) de la classification avec le rythme cardiaque seul. Cette précision était de 75% ($p < 0,001$) en utilisant le taux de saccades par seconde. De plus, aucune amélioration n'a été observée en combinant ces deux mesures (Figure 2.8). Enfin, une large variabilité de l'efficacité de classification par le LDA utilisant le taux de saccades seul a été observée à travers les pilotes.
<figure><img src="image_39.png" /><figcaption>**Figure 2.8** – Résultats graphiques de l'analyse discriminante linéaire multivariée utilisant le taux de saccades et le rythme cardiaque du premier tour de piste pour classer les trois phases de vol du second tour de piste.</figcaption></figure>

## Synthèse

Ce travail montre l'intérêt des mesures oculaires pour comprendre l'activité de pilotage. Dans cette étude, nous avons utilisé un algorithme de classification de l'activité de vol très simple. De plus, le traitement des données oculaires pour obtenir le taux de saccades et la classification des phases de vol avec le LDA ne nécessitent que très peu de temps de calcul. Dans une perspective d'application future, une fois que l'apprentissage est fait (comme ici, au cours d'un vol précédent par exemple), la catégorisation de l'activité au cours d'une période donnée pourrait être accessible dès que la dernière information oculaire de cette période est disponible. Ceci pourrait concerner des périodes de temps prédéfinies, mais aussi se faire de manière continue (Komogortsev & Karpov, 2013), à l'instar de l'analyse cardiaque en fenêtres glissantes que nous avons proposé (voir Section 2.1.3). Il semble donc tout à fait envisageable à l'heure actuelle de pouvoir construire des systèmes automatisés qui pourraient prendre en compte ces mesures et adapter les informations transmises au pilote en conséquence ou simplement détecter les situations critiques.

## Principale contribution

* Un algorithme de classification de l'activité de pilotage en vol réel a été construit et validé à partir des données oculométriques et cardiaques des pilotes
2.1. Suivi de l'état du pilote

À travers ces études du suivi de l'état du pilote, nous voyons qu'il est possible d'utiliser dif-
férents outils d'évaluation de la charge mentale, qu'elle soit en lien avec une fonction cognitive
donnée (p. ex. la mémoire de travail) ou une activité particulière (p. ex. le pilotage). Ce suivi en
condition réelle permettrait de construire des systèmes "humain-automatisme" plus intelligents.
En parallèle, ces informations sur l'état du pilote pourraient aussi faire partie des données enre-
gistrées dans les boites noires des appareils pour une meilleure compréhension des mécanismes
ayant conduit à un incident, comme cela a déjà été suggéré (Peysakhovich et al., 2018).
## 2.2 Construire et évaluer les aides au pilotage

Outre les évaluations mentionnées ci-dessus, disposer d'informations objectives sur la manière dont est traitée une information fournie par une interface, ou sur le coût cognitif associé à son utilisation, peut aussi permettre de concevoir ou d'évaluer de nouvelles interfaces de gestion d'un système. C'est ce que nous avons fait dans les trois études que je vais maintenant présenter.

### 2.2.1 Détecter et mitiger les conflits entre le pilote et le cockpit

Pour qu'un vol soit mené à bien, il faut que les informations transmises par le cockpit – et l'automate en général – soient parfaitement intégrées, comprises et acceptées par le pilote. De nombreux travaux se sont intéressés à cette conscience de la situation ou situation awerness en anglais (Endsley, 1999, 2021). D'après Endsley : "la conscience de la situation peut être vue comme un modèle de représentation mentale de l'état actuel de l'environnement de l'opérateur. Toutes les informations provenant des différents systèmes, de l'environnement extérieur, des membres de l'équipage et autres (p. ex. les autres avions à proximité ou les communications ATC) doivent être assimilées de sorte à former un tout [...] C'est à partir de cette représentation que toutes les décisions et actions pourront être prises." On comprend alors qu'une mauvaise conscience de la situation peut conduire à de mauvaises décisions ou actions. Cette situation peut se produire par exemple lorsqu'un changement de configuration est initié par un système automatisé – tel que le pilote automatique d'un avion – et que l'opérateur est "surpris" par cette modification (Sarter et al., 1997), ou ne la remarque pas. Il en résulte que l'opérateur peut alors décider de poursuivre une action qui va à l'encontre de celle du système automatisé, générant un conflit entre les deux buts à atteindre (Dehais et al., 2012).

En utilisant à nouveau le simulateur de vol Pégase, nous avons recréé des situations aéro-nautiquement plausibles dans lesquelles l'autopilote changeait d'état pour préserver l'intégrité du vol et entrait en conflit avec la réalisation du plan de vol voulue par le pilote. Nous avons évalué la possibilité d'objectiver l'occurrence de ces conflits par la mesure de l'activité oculaire. Enfin, nous avons proposé une solution technique sous forme d'un démonstrateur d'aide à la gestion de situations conflictuelles. Ce travail, associé à ceux réalisés en amont par Frédéric Dehais<fnref n="6" />, a initié la réflexion autour de la création de la société Hinfact<fnref n="7" />, qui travaille aujourd'hui sur des solutions de formation des pilotes par le suivi de leur activité oculaire en collaboration avec les chercheurs en Neuroergonomie de l'ISAE-SUPAERO.

#### Hypothèse

* L'activité oculaire permet de détecter l'occurrence de certains conflits entre l'opérateur et l'automatisme qu'il supervise

<footnote n="6">6. https://pagespro.isae-supaero.fr/frederic-dehais/</footnote>

<footnote n="7">7. https://hinfact.fr/</footnote>
### Méthodes

**Paradigme aéronautique.** Seize pilotes de l'ISAE-SUPAERO ont participé à un premier scénario de vol de 10 min à Blagnac (Toulouse, France) dans le simulateur 3-axes Pégase. Ce scénario a été construit de manière à recréer la survenue d'un conflit entre le pilote automatique et les choix du pilote tel qu'il pouvait se produire avec certains systèmes automatisés (voir Pizziol et al. 2014 pour une description formelle de l'autopilote utilisé). Au cours de celui-ci, une tour de contrôle simulée demandait au pilote de modifier les paramètres de l'autopilote à 9000 pieds pour éviter un trafic à la même altitude. Le pilote devait accélérer à 325 Nœuds, descendre à 5000 pieds à une vitesse verticale de -1000 pieds/min. À cette vitesse, l'autopilote est configuré pour éviter une survitesse (330 Nœuds) et bascule la vitesse verticale à +1000 pieds/min, ce qui conduit l'avion à rester en palier au lieu de descendre à l'altitude choisie. Le conflit était considéré comme résolu lorsque le pilote initié une action permettant de rétablir le plan de vol (p. ex. diminution de la vitesse ou passage en pilotage manuel).

**Oculométrie.** Les pilotes étaient équipés du système portable Pertech® utilisé dans l'étude précédente (section 2.1.4). Les clignements d'yeux, les saccades et les fixations ont été extraits avec un algorithme basé sur la dispersion et le mouvement (30°/s et un seuil à 1°). De plus, un ratio (R) permettant de rendre compte de la répartition entre la recherche et l'exploitation d'information basé sur les travaux de Goldberg & Kotval (1999) a été calculé de la manière suivante :

$$R = \frac{\text{saccades} + \text{fixations}_{\text{courtes}}}{\text{fixations}_{\text{longues}}} \qquad (2.1)$$

Lors de la recherche d'information, les nombres de saccades et de fixations courtes augmentent alors que celui des fixations longues diminue, ce qui a pour conséquence d'augmenter la valeur du ratio R. Inversement, le traitement de l'information nécessite des fixations plus longues et moins de saccades conduisant à une diminution du ratio R (Goldberg & Kotval, 1999).

**Système d'aide au pilote.** Dans une seconde partie de l'étude, un système d'aide à la résolution de conflit entre le PA et le pilote a été créé et évalué en ligne. Cet assistant analysait les actions du pilote et vérifiait que la bonne procédure était appliquée selon les règles de pilotage et la configuration du FCU. Trois types de situations potentiellement conflictuelles ont été créés et soumis à sept pilotes. Pour ces trois situations, si le pilote n'avait pas initié le bon paramétrage du FCU ou pris la main pour récupérer le vol dans les 5 s, l'assistant identifiait un conflit ou une incompréhension potentielle et diffusait une information auditive explicite sur les raisons du changement de configuration du pilote automatique.
<figure><img src="image_40.png" /><figcaption>**Figure 2.9 – Gauche.** Fréquence des événements oculaires en fonction de la situation de vol. **Droite.** Valeur du ratio R en fonction de la situation de vol. \* : *p* < 0,05 ; \*\*\* : *p* < 0,001.</figcaption></figure>

## Résultats

Sur les 16 pilotes, 14 ont mentionné avoir perçu un changement de configuration de l'auto-pilote dans la situation du premier conflit. Parmi eux, seule la moitié (7) a compris la situation et a initié la procédure correcte de récupération de vol à temps. Les données oculaires ont montré qu'il existait un schéma particulier en lien avec ces événements par rapport à l'activité de vol nominal. Celui-ci correspondait à un taux de saccades et de fixations courtes plus élevées (*p* < 0,05, *Z* = 2,04; *p* < 0,05, *Z* = 2,36 respectivement) ainsi qu'à un taux de fixations longues plus faible (*p* < 0,001, *Z* = 3,40) dans les situations de conflit (Figure 2.9). Le ratio R a révélé, lui aussi, un effet significatif de l'occurrence du conflit sur l'activité visuelle avec une valeur plus élevée en situation de conflit (*p* < 0,001, *Z* = 3,29).

En seconde partie de l'étude, les pilotes ont rapporté avoir été aidés par l'assistant 16 fois sur 21 situations conflictuelles (7 pilotes × 3 conflits) avec un temps moyen de réaction de prise de décision correcte de 5 s. Pour les 5 occurrences restantes, les décisions prises étaient correctes et les pilotes ont rapporté avoir été confortés par le message de l'assistant.

## Synthèse

Ce travail a premièrement montré que nous pouvions reproduire en simulateur des situations proches de la réalité en induisant un conflit entre le but à atteindre par un système automatisé (p. ex. protéger l'enveloppe de vol de l'appareil) et celui d'un pilote (p. ex. suivre un plan de vol et éviter une collision grâce aux informations radio de l'ATC). Cette mauvaise conscience de la situation a poussé la plupart des 16 pilotes à prendre les mauvaises décisions. Ils n'ont pas été en mesure d'initier la procédure correcte pour sortir de ce conflit, bien qu'elle fût relativement simple (réduire la vitesse via la commande au FCU). À la place, ils ont persévéré dans le désengagement et le réengagement de l'autopilote ou ont modifié les paramètres d'altitude et de vitesse verticale
en vain. Les 7 pilotes ayant finalement pris les bonnes décisions ne l'ont fait que 18 s en moyenne après l'occurrence du conflit. Ce délai est plus que suffisant pour qu'une collision avec un autre appareil puisse se produire. De plus, les données oculaires ont montré une grande sensibilité à la survenue de ces situations, confirmant leur utilité pour objectiver *in situ* des situations de mauvaise interaction avec les systèmes automatisés.

Enfin, une preuve de concept dans ce travail a montré que des outils d'aide à la compréhension de la logique de ces systèmes pouvaient aider les opérateurs à avoir une meilleure représentation de l'état du système dans lequel ils évoluent. Avec cette meilleure conscience de la situation, les décisions correctes peuvent être prises rapidement et limiter le risque d'accident ou d'incident.

### Principales contributions

* Il est possible de détecter certains conflits entre le pilote automatique et le pilote

* Nous avons construit et validé un démonstrateur capable d'améliorer la conscience de la situation chez les pilotes

Dans la même optique d'améliorer la conscience de la situation et de fournir une aide à la prise de décision pour les pilotes, une interface d'aide à l'atterrissage plus aboutie a été testée avec des pilotes de lignes.

### 2.2.2 Évaluation d'un système d'aide à l'atterrissage

Au cours d'un projet Européen sur la conception et l'évaluation de nouveaux systèmes de coopération humain-machine (D3COS<fnref n="8" />), j'ai participé à la mise en place et à l'évaluation d'un système d'aide à l'atterrissage pour les approches non stabilisées. Les approches non stabilisées ont été identifiées comme un facteur important dans les accidents en approche et à l'atterrissage. L'analyse des performances des pilotes en matière de pilotage, de contrôle des systèmes ou de gestion des ressources de l'équipage révèlent que, entre 2001 et 2010, 49% de tous les accidents mortels dans le monde se sont produits pendant l'approche initiale, l'approche finale ou la phase d'atterrissage (Boeing, 2010)<fnref n="9" />. Pour approcher la piste et atterrir en toute sécurité, les pilotes sont tenus de suivre des profils d'approche répondant à des critères de stabilisation prédéterminés, en fonction de paramètres de vol définis par les autorités (p. ex. vitesse et vitesse verticale, configuration d'atterrissage par rapport à la hauteur au-dessus du sol ; ICAO 2006). Si ces critères ne sont pas respectés à la hauteur de stabilisation (p. ex. 1000 pieds), une remise des gaz est obligatoire. Malgré cela, la poursuite d'une approche non stabilisée a été un facteur causal dans 40% des approches. L'automatisation actuelle du poste de pilotage a un impact négatif important sur cette phase de vol exigeante. Comme nous l'avons vu section 2.2.1, la confusion des modes ou la mauvaise connaissance de l'état du système contribuent de manière significative à la déstabilisation de l'approche (Sarter et al., 1997). Dans l'optique d'améliorer la conscience de la situation des pilotes dans cette phase de vol critique, une campagne expérimentale a été

<footnote n="8">8. https://cordis.europa.eu/project/id/269336/fr</footnote>

<footnote n="9">9. https://www.boeing.com/resources/boeingdotcom/company/about_bca/pdf/statsum.pdf</footnote>
menée dans les simulateurs full-flight B737 de la compagnie Lufthansa à Berlin. Nous souhaitions ainsi évaluer, dans les conditions les plus proches possibles de la réalité, les bénéfices d'un tel système en termes de performance de vol et de charge mentale.

## Hypothèses

* L'utilisation de l'assistant en approche non stabilisée améliore la qualité de l'atterrissage

* Son utilisation n'engendre ni augmentation de la charge mentale ni focalisation attentionnelle

<figure><img src="image_41.png" /><figcaption>**Figure 2.10 – Gauche.** Cockpit du simulateur Boeing 737 NG du centre Aviation Training de la Lufthansa (Berlin). **Droite.** Vue extérieure du simulateur.</figcaption></figure>

## Méthode

Vingt-six pilotes de lignes de la compagnie Lufthansa ont volé sur 4 scénarios de vols différents à travers deux groupes : G1 avec assistant et G2 sans assistant. Chaque scénario consistait en une approche de piste non stabilisée (vents violents, pannes d'instruments ou moteur, etc.). L'assistant à la gestion des paramètres de descente se présentait sous la forme d'un profil vertical de descente sur une tablette positionnée devant les manettes de gaz (Figure 2.11). Cet assistant analysait en continu les paramètres de vol pour donner des informations précises sur le plan de descente et proposer de configurer l'appareil de façon optimale. Les pilotes avaient pour consigne de piloter l'avion comme ils avaient l'habitude de le faire et d'utiliser ces informations supplémentaires à leur convenance. Ils étaient équipés d'un électrocardiographe (Procomp Infinity) et d'un eye tracker (Pertech). L'estimation de la charge mentale associée à la gestion des approches a été faite avec le ratio LF/HF de l'intervalle RR de l'ECG (Pagani et al., 1986) et le ratio R (exploration/exploitation visuelle) utilisé dans l'étude de la section 2.1.4 (voir équation 2.1).
<figure><img src="image_42.png" /><figcaption>**Figure 2.11** – Capture d'écran de la tablette illustrant les informations fournies aux pilotes par l'assistant au sein du projet D3COS.</figcaption></figure>

### Résultats

L'utilisation de l'assistant a permis aux pilotes de conserver plus facilement l'appareil dans son enveloppe de vol, limitant ainsi le nombre de remises de gaz. Sur les 48 vols réalisés (16 pilotes × 3 scénarios), les pilotes du groupe sans assistance ont réalisé 30 remises de gaz alors que ceux du groupe avec assistance en ont fait 18 ($p < 0,05$). De plus, les questionnaires subjectifs (NASA-TLX) et l'analyse cardiaque ont montré que la charge mentale des pilotes était moins élevée avec l'utilisation de l'assistant quel que soit le scénario ($p < 0,001$; Figure 2.12). Enfin, le ratio R calculé avec les données oculaires n'a pas mis en évidence de différence entre les groupes. L'oculométrie a cependant apporté une information qualitative secondaire. L'amélioration des performances d'atterrissage et la diminution de la charge mentale des pilotes du groupe 1 se sont faites avec moins de 2% du nombre total de fixations faites sur l'assistant au cours des 25 minutes de chaque vol.

### Synthèse

Ce travail a montré qu'il était possible d'objectiver les bénéfices apportés par un système d'aide à la prise de décision par la mesure comportementale et des marqueurs psychophysionlogiques de l'activité de pilotage. L'interface proposée a effectivement amélioré la qualité des approches dans des conditions difficiles (vents forts, pannes, etc.) tout en réduisant la charge mentale des pilotes. De plus, dans l'idée qu'un tel système d'aide puisse être implémenté un jour dans un cockpit, il fallait s'assurer que celui-ci soit utilisé uniquement en tant que soutien et n'implique donc pas de surplus d'activité pour les pilotes au détriment des procédures standards (ICAO, 2006). L'oculométrie a apporté une première preuve que ce système n'induisait pas de focalisation attentionnelle.
<figure><img src="image_43.png" /></figure>

**Figure 2.12** – Effets de l'utilisation de l'assistant à l'atterrissage sur le ratio LF/HF (sans unité) de l'intervalle RR, selon le repos (Baseline) et les différents scénarios de vol (Ham : Hambourg ; MUC26 R et L : Munich ; AVG Unst : moyennes pour les trois scénarios). Les barres représentent l'erreur-type de la moyenne. NS : non significatif. *** : *p* < 0,001.

## Principales contributions

* L'utilisation d'une interface d'aide pour les approches non stabilisées est bénéfique pour le pilote

* Cela se traduit par une meilleure gestion du plan de descente et une charge mentale plus faible

Au-delà d'une aide à la gestion du vol en situations critiques, il existe des systèmes qui permettent de supplanter partiellement ou totalement les instruments d'un cockpit. C'est le cas notamment des systèmes de sonification des paramètres de vol.

### 2.2.3 Coût attentionnel de la sonification des paramètres de vol

La sonification est un processus qui vise à fournir une représentation auditive des données afin de transmettre des informations significatives d'un ensemble de données à un auditeur par le biais de l'audition (Hermann et al., 2011). Le système *sound-flyer*, développé par Thalès (France), permet par exemple à des pilotes malvoyants ou non voyants d'accéder à une représentation précise des paramètres de l'avion et d'atteindre un niveau d'autonomie très élevé. Il transforme les paramètres d'attitude de l'avion tels que le tangage ou l'angle d'inclinaison en informations sonores modulées en fréquence ou en balance interaurale. De plus, sur demande du pilote (clavier), le *sound-flyer* peut synthétiser des messages vocaux indiquant les valeurs des différents paramètres principaux de l'avion (c.-à-d. altitude, vitesse, vitesse verticale, etc.).
Il a aussi été suggéré que les pilotes voyant puissent bénéficier d'un tel système, notamment dans les situations de désorientation spatiale (Brungart & Simpson, 2008). C'est ce que nous avons évalué dans l'étude que je vais présenter. Cette évaluation s'est faite en termes de qualité de pilotage, mais aussi en termes d'impact que l'utilisation de ce système peut avoir sur les ressources attentionnelles disponibles par le biais des sondes auditives. Dans ce contexte aussi, la mise en place et l'utilisation d'une nouvelle interface doivent se faire sans que les processus cognitifs impliqués dans la tâche principale ne soient dégradés.

### Hypothèses

* L'augmentation de la difficulté des manœuvres de pilotage induit une baisse de la performance associée à une augmentation de la difficulté ressentie

* Cette difficulté a aussi un impact sur la quantité de ressources attentionnelles auditives disponibles

### Méthodes

Deux groupes de pilotes (9 pilotes malvoyants et 8 pilotes voyants) ont participé à cette étude. Tous étaient équipés d'un bandeau leur masquant la vue pour éviter tout usage et interférence de la vue (même résiduelle) sur l'utilisation du *sound-flyer*. La tâche consistait en trois manœuvres aéronautiques de difficulté différente dans le simulateur de vol Pégase en utilisant uniquement les informations auditives fournies par le *sound-flyer* (Figure 2.13). Pour évaluer la quantité de ressources attentionnelles auditives disponibles, 170 stimuli auditifs (syllabes *Ta* ou *Ti*) ont été présentés et comprenaient 90% de sons fréquents et 10% de sons rares distribués aléatoirement toutes les 800 à 1200 ms au cours de chaque manœuvre. Aucune réponse comportementale n'était attendue pour ces sons. Le système EEG Biosemi Active-two à 128 électrodes gel actives était installé sur chaque pilote pour mesurer la puissance spectrale dans la bande alpha [8-12] Hz et les potentiels évoqués par les sondes auditives. Tous les pilotes étaient entraînés à utiliser le *sound-flyer* avant que les scénarios ne soient testés.

<figure><img src="image_44.png" /><figcaption>**Figure 2.13** – Illustration du paradigme expérimental pour l'évaluation du *sound-flyer*.</figcaption></figure>
## Résultats

La performance de maintien de l'avion dans les paramètres de vol était influencée par le type de manœuvre, avec une moins bonne performance en difficultés intermédiaire et difficile par rapport à la condition facile ($F_{(2,30)} = 26,58$; $p < 0,001$; $\eta_p^2 = 0,16$). Aucune différence significative n'a été observée entre les manœuvres difficiles et de niveau intermédiaire. Dans tous les cas, les performances étaient relativement bonnes avec seulement 2° d'écart par apport aux consignes données par le sound-flyer. L'utilisation du sound-flyer a conduit à des niveaux de performance comparables entre les pilotes voyants et mal voyants, quel que soit le niveau de difficulté de la manœuvre. Sur le plan électrophysiologique, les pilotes malvoyants présentaient une puissance de la bande alpha [8-12] Hz sur les électrodes O1 et O2 significativement plus faible que les pilotes voyants pendant les vols, indépendamment du niveau de difficulté ($F_{(1,15)} = 9,84$; $p < 0,01$; $\eta_p^2 = 0,40$); Figure 2.14.

<figure><img src="image_45.png" /><figcaption>**Figure 2.14 – Gauche.** Puissance du signal EEG dans la bande alpha [8-12] Hz au cours des trois types de manœuvres, selon le groupe (malvoyants vs. voyants) et la difficulté. **Droite.** Topographies moyennes de la distribution des courants de la bande alpha à travers toute la séance de vol. **: $p < 0,01$.</figcaption></figure>

Enfin, l'analyse des potentiels évoqués par la présentation des sondes auditives a montré des effets de la difficulté des manœuvres sur les deux composantes d'intérêts, à savoir la N100 et la P300 auditives, mais aucun effet du groupe ni d'interaction de celui-ci avec les autres facteurs n'a été mis en évidence ($p = 0,34$ dans le meilleur des cas). Pour la N100, l'effet de la difficulté s'est traduit par une variation d'amplitude avec la difficulté uniquement pour les sons rares, avec une amplitude plus grande pour la condition facile que pour la condition difficile sur l'électrode Fz ($p < 0,05$). Le même effet a été observé pour la P300 avec, cette fois, une diminution de l'amplitude sur l'électrode Pz à mesure que la difficulté augmentait (Figure 2.15).
<figure><img src="image_46.png" /><figcaption>**Figure 2.15** – Amplitudes maximales des composantes N100 (gauche) et P300 (droite) des potentiels évoqués par la présentation des sons rares (deviant) et fréquents (standard) selon la difficulté de la manœuvre. Les barres indiquent l'écart-type.</figcaption></figure>

### Synthèse

Dans une approche neuroergonomique de l'évaluation d'une aide au pilotage, nous avons montré que des pilotes voyants pouvaient apprendre rapidement à utiliser un système de sonification des paramètres de vol et obtenir des performances de pilotage comparables à des experts. En effet, les pilotes malvoyants utilisaient régulièrement le sound-flyer ce qui aurait pu conduire à de meilleures performances d'utilisation. D'autre part, l'organisation (ou la réorganisation) fonctionnelle du cortex visuel privé d'afférences visuelles chez ces personnes est susceptible de conduire à un traitement des informations auditives plus efficace. De plus, nous avons montré dans les deux populations que cette utilisation se faisait sans accaparer les ressources attentionnelles auditives, bien que ce canal fût fortement sollicité dans cette tâche.

### Principales contributions

* La sonification des paramètres de vol est possible chez le pilote voyant

* Elle n'engendre pas de surcharge de l'attention auditive

Les recherches présentées dans ce deuxième chapitre montrent l'intérêt de mesurer et d'évaluer la charge mentale in situ. Ainsi, il a été possible de créer des outils de surveillance de l'activité du pilote pour mieux comprendre son activité et analyser les difficultés d'interaction avec les systèmes automatisés. La compréhension des mécanismes attentionnels mis en jeu dans ces situations permet d'entrevoir la conception de nouvelles interfaces d'aide à la gestion des vols et de systèmes plus intelligents, qui seraient capables de prendre en compte les informations issues du pilote pour adapter la présentation et la diffusion des informations. Il est important de rappeler ici que le pilote d'avion est un modèle d'étude de l'opérateur de système complexe. Par conséquent, ces résultats sont susceptibles de trouver des applications (évaluations et évolutions d'interfaces) dans de nombreux domaines tels que l'automobile autonome ou la chirurgie assistée.
Une autre approche de l'étude de l'efficience cognitive m'a conduit à mettre en place des projets de recherche sur l'évaluation et la modulation de la performance. Cette dernière thématique, que je vais présenter dans le chapitre suivant, regroupe des travaux au cours desquels j'ai tiré parti des neurosciences fondamentales et de la neuroergonomie pour évaluer, prédire et moduler la performance comportementale par le biais des fonctions exécutives chez le sujet sain et le patient cérébro-lésé.
<figure><img src="image_47.png" /></figure>
Thématique 3. La performance cognitive dans la gestion de tâches complexes

La recherche d'un bon niveau de performance intéresse une large partie de la population humaine. Si l'efficience du corps nécessite souvent un travail sur la physiologie – comme la musculature, l'endurance ou la souplesse – beaucoup d'activités contemporaines exigent de posséder un cerveau aiguisé. Cette performance cognitive est ainsi recherchée dans le milieu scolaire, pour la réussite aux examens d'étude, ou chez les opérateurs de systèmes modernes complexes comme le pilotage d'avions de ligne, la chirurgie assistée par ordinateur ou le e-sport (Campbell et al., 2018). À une autre échelle, un retour au fonctionnement normal – à un niveau de performance acceptable – est recherché pour les patients qui présentent une atteinte cérébrale suite à un accident vasculaire cérébral ou un traumatisme crânien par exemple. Pour l'ensemble de ces populations, il est nécessaire de pouvoir évaluer objectivement cette performance cognitive ; de comprendre les mécanismes cérébraux qui en sont à l'origine, et enfin, de trouver des solutions efficaces pour l'améliorer. Avec la motivation d'étudier le lien entre efficience cognitive et performance comportementale, j'ai souhaité aborder les questions principales suivantes :

• Existe-t-il des marqueurs fonctionnels intrinsèques de la performance comportementale ?

• Ces marqueurs sont-ils le reflets de la mise en jeu du contrôle exécutif ?

• Peut-on moduler la performance par l'entraînement cognitif et la neuromodulation ?

• Quelle(s) mesure(s) fonctionnelle(s) pour objectiver ce gain supposé ?

Depuis 2018, j'ai entrepris des travaux à travers une ANR-ASTRID (projet MODEX, supervision du Dr. Evelyne Lepron) et trois encadrements de thèse (Mme. Cosima Lanzilotti, Mme. Claire Lebely et M. Quentin Chenot). Ils ont été l'occasion de mettre en place – ou de consolider – des collaborations scientifiques avec l'IRBA (Brétigny-sur-Orge), le CHU de Toulouse (service MRP), le laboratoire Euromov (Montpellier) et l'université de Zurich. Deux volets principaux et complémentaires y ont été abordés.
Premièrement, j'ai souhaité travailler sur des aspects du contrôle exécutif plus en amont des solutions adaptatives proposées jusqu'ici. Ce fut l'occasion de revenir sur un versant plus fondamental de mes compétences avec la recherche de **marqueurs intrinsèques de l'efficacité du contrôle exécutif**. Concrètement, j'ai souhaité étudier l'organisation fonctionnelle du cerveau pour évaluer et prédire la performance comportementale à une tâche complexe – telle que le pilotage d'un aéronef – à travers la mesure de l'activité cérébrale au repos et pendant la réalisation de cette tâche. Du fait des limites propres à chaque outil d'imagerie fonctionnelle cérébrale, j'ai souhaité une approche complémentaire en utilisant la NIRS (bonne résolution spatiale) et l'EEG (bonne résolution temporelle).

Ensuite – ou plutôt parallèlement – j'ai souhaité **mettre en place des entraînements cognitifs innovants** avec ou sans neuromodulation et valider leurs effets comportementaux. Ceci a été fait chez le sujet sain, avec un intérêt principalement fondamental de compréhension des mécanismes d'apprentissage, mais aussi chez des patients cérébro-lésés, dans une optique de conception de **nouvelles techniques de réhabilitation fonctionnelle**. Pour ces derniers, un effort particulier a été porté sur la méthodologie d'évaluation des effets de l'entraînement.

**Principales publications**

* Chenot, Q., Lepron, E., De Boissezon, X., and **Scannella, S.** (2021). Functional Connectivity Within the Fronto-Parietal Network Predicts Complex Task Performance: A fNIRS Study. *Frontiers in Neuroergonomics, 22*. lien

* Chenot, Q., Truninger, M., Langer, N., de Boissezon, X., and **Scannella, S.**, (2021). EEG microstates at rest predict task performance. *Neuroergonomics Conference*. lien

* Lanzilotti, C., Andéol, G., Micheyl, C., and **Scannella, S.** (2022). Cocktail party training induces increased speech intelligibility and decreased cortical activity in bilateral inferior frontal gyri. A functional near-infrared study. *PLoS ONE, 17(12)*. lien

* Chenot, Q., Hamery, C., Lepron, E., Besson, P., De Boissezon, X., Perrey, S., and **Scannella, S.** (2022). Performance after training in a complex cognitive task is enhanced by high-definition transcranial random noise stimulation. *Scientific reports, 12(1), 1-12*. lien

* Lebely, C., Lepron, E., Besse-armisen, R., **Scannella, S.**, and De Boissezon X., (2021). Premiers résultats d'un programme d'entraînement des fonctions exécutives couplé à des stimulations transcraniennes chez des patients cérébro-lésés : une étude en multiples cas uniques. *SOFMER 2021*. lien
## 3.1 Évaluation et prédiction de la performance

Pouvoir prédire la performance à partir de marqueurs psychophysiologiques est l'un des intérêts majeurs de la neuroergonomie (Ayaz et al., 2019). Cela pourrait être profitable à de nombreux domaines tels que la performance sportive, la sécurité routière, la sélection des militaires, le domaine chirurgicale ou encore le pilotage d'un avion. Les opérateurs de systèmes complexes, en particulier, sont confrontés à des tâches multiples, et leur capacité à les exécuter avec succès est primordiale car elle peut avoir un impact économique ou humain majeur. Ainsi, une meilleure estimation des performances futures pourrait améliorer de manière significative la formation des apprenants dans de nombreux domaines ainsi que la qualité des interactions avec les systèmes complexes.

### 3.1.1 Prédire la performance par la connectivité fonctionnelle cérébrale de repos en NIRS

La réalisation de tâches complexes, comme la supervision d'un système automatisé par exemple, repose sur l'activité des réseaux cérébraux impliqués dans des fonctions cognitives de haut niveau. Parmi eux, le réseau fronto-pariétal joue un rôle central dans les processus de mémoire de travail, d'attention et de raisonnement. La connectivité fonctionnelle globale au sein de ce réseau est élevée et augmente lorsqu'il s'agit de réaliser des tâches complexes nouvelles (Cole & Schneider, 2007; Cole et al., 2012). Toutefois, la plupart de ces évaluations ont été faites pendant la réalisation des tâches – souvent artificielles – pour lesquelles une mesure de la performance concomitante était faite. Une approche alternative serait de pouvoir disposer d'une mesure facile d'accès – telle qu'un enregistrement de quelques minutes de l'activité cérébrale au repos – qui prédirait la performance comportementale à une tâche complexe à venir. Selon une métaphore simplifiée, l'organisation anatomo-fonctionnelle du cerveau serait à l'efficience des fonctions exécutives ce que la musculature d'un athlète est à la performance sportive. Même si la musculature n'explique pas toute la performance, elle joue indéniablement un rôle dans cette dernière. Dans l'étude qui suit, nous nous sommes intéressés à la relation entre la connectivité fonctionnelle au sein du réseau fronto-pariétal au repos et la performance au jeu Space Fortress (Mané & Donchin, 1989) — une tâche complexe, engageante, et plus écologique que les tests neuropsychologiques utilisés classiquement.

#### Hypothèse

* La connectivité fonctionnelle au sein du réseau fronto-pariétal au repos prédit une partie de la performance à une tâche complexe
Méthodes

Le jeu Space Fortress<fnref n="1" />. Ce jeu en deux dimensions a été développé initialement pour la DARPA<fnref n="2" /> dans le but d'étudier différentes stratégies d'entraînement chez les pilotes d'avion dans un contexte de forte charge cognitive (Mané & Donchin, 1989). Différentes sous-tâches dans ce jeu font supposément appel à la mémoire de travail, à l'inhibition et à la capacité à alterner entre elles ("switching"). Ce lien reste supposé – bien que fortement supposé – car à ce jour, il n'existe pas d'étude ayant quantifié l'implication de ces fonctions exécutives dans ce jeu. Nous verrons plus tard que c'est un manque que je souhaite combler (voir Perspectives section 2.1). Le but principal de ce jeu est de détruire une forteresse positionnée au centre de l'écran à l'aide de missiles tirés par un vaisseau que le joueur contrôle (Figure 3.1). Le joueur doit détruire la forteresse en essayant de ne pas se faire toucher par les missiles qu'elle lui tire dessus. De plus, pour gagner des points et augmenter le stock de missiles à tirer, le joueur doit aussi identifier des mines de deux types différents et détecter l'occurrence d'une série préétablie de caractères spéciaux présentés aléatoirement. Le tout peut se jouer uniquement au clavier de l'ordinateur (voir Chenot et al. (2021), pour la liste exhaustive des règles).

<figure><img src="image_48.png" /><figcaption>**Figure 3.1** – Le jeu *Space Fortress*. Le joueur contrôle le vaisseau (*ship*) et doit détruire la forteresse au centre (*space fortress*) à l'aide de missiles, le tout en réalisant les autres sous-tâches pour gagner des missiles et des points : *bonus* (série de caractères spéciaux à identifier), *mines* (deux types à identifier).</figcaption></figure>

Le joueur doit alterner entre les sous-tâches, retenir en mémoire de travail les règles, les types de mines et la série de caractères spéciaux. Deux niveaux de difficulté ont été créés : un niveau facile (monotâche) dans lequel les participants devaient uniquement contrôler le vaisseau et tirer les missiles ; et un niveau difficile (multitâche) dans lequel s'ajoutait la gestion des sous-tâches.

<footnote n="1">1. https://github.com/CogWorks/SpaceFortress</footnote>

<footnote n="2">2. https://www.darpa.mil/</footnote>
**NIRS.** Le système NIRS utilisé était le NIRScout de NIRX (section 1.3.2). Vingt-huit optodes (14 sources × 14 détecteurs) ont été utilisées pour construire 32 canaux de mesure recouvrant les régions corticales principales qui appartiennent au réseau fronto-parietal : gyrus frontaux médians et supérieurs et lobules pariétaux inférieurs et supérieurs (Figure 3.2).

<figure><img src="image_49.png" /><figcaption>**Figure 3.2 – A, B et C.** Illustrations de la disposition des optodes et des canaux de mesures NIRS sur le modèle d'Atlas Viewer (v2.8, p2.1) et résultats de la simulation de sensibilité du montage de Monte Carlo (en couleur : rouge = meilleure sensibilité). **D.** Représentation 2D du montage. En rouge, les émetteurs ; en bleu, les récepteurs ; en jaune, les canaux de mesure.</figcaption></figure>

**Paradigme expérimental et analyses.** Quarante-et-un participants ont été recrutés pour participer à cette étude. Neuf d'entre eux ont été exclus en raison d'une qualité des données NIRS insuffisante. Un calcul de connectivité fonctionnelle sur la période du repos et pendant les parties de jeu a été fait avec les données NIRS prétraitées. Le résultat obtenu était un coefficient de corrélation entre tous les canaux de mesure (soir une matrice de 32 × 32) pour chaque participant au repos et pour chaque partie de Space Fortress. Ces coefficients ont ensuite été utilisés dans des régressions linéaires faites sous R, pour tenter d'expliquer les scores obtenus aux parties de Space Fortress de niveau facile et difficile. De plus, les participants ont répondu à un questionnaire sur leur niveau d'expertise précédente aux jeux vidéo.
### Résultats

Premièrement, une corrélation de Pearson entre le score à Space Fortress multitâche et le score au questionnaire d'expertise aux jeux vidéos a montré un lien significatif entre les deux variables (r=0,43; *p* < 0,05). De fait, en plus des données de connectivité NIRS, le niveau d'expertise des joueurs a été ajouté dans une régression multiple linéaire robuste pour expliquer la performance. Que ce soit avec les données NIRS issues du repos ou celles acquises pendant la pratique du jeu, la connectivité fonctionnelle moyenne du réseau fronto-pariétal n'expliquait pas significativement la performance au jeu en monotâche (*p* = 0,27; dans le meilleur des cas). En situation de jeu multitâche, les deux modèles de régression (avec les données de repos et en tâche) expliquaient significativement la performance au jeu. Pour le modèle issu des données en jeu, la performance à Space Fortress était égale à -3374,4 + 10050otFC + 397,1VGexp; où otFC correspond au coefficient de corrélation de connectivité fonctionnelle pendant la tâche et VGexp au score d'expertise aux jeux vidéos (R² = 0,32; *F*_{(2,29)}=14,07; *p* < 0,001). Autrement dit, le score des participants dans cette condition augmentait de 1005 pour 0,1 de coefficient de corrélation (*p* < 0,01) et de 397 point pour chaque point d'expérience aux jeux vidéos (*p* < 0,01).

<figure><img src="image_50.png" /><figcaption>**Figure 3.3** – Régressions linéaires robustes entre la connectivité fonctionnelle du réseau fronto-pariétal pendant le repos (A) et pendant la session multitâche de Space Fortress (B) en fonction du score en multitâche.</figcaption></figure>

Pour le modèle issu des données au repos, la performance à Space Fortress était égale à -2855,6 + 8330,5rsFC + 393,3VGexp; où rsFC est le coefficient de corrélation de connectivité fonctionnelle au repos (R² = 0,26; *F*_{(2,29)}=10,65; *p* < 0,01). Dans ce modèle, l'expérience aux jeux vidéos et la connectivité fonctionnelle au repos étaient tous deux des prédicteurs significatifs (*p* < 0,01 et *p* < 0,05; Figure 3.3 pour les résultats en lien avec la connectivité fonctionnelle).
## Synthèse

En ciblant les régions corticales du réseau fronto-pariétal accessibles avec un système NIRS, nous avons pu montrer que l'organisation fonctionnelle du cerveau au repos prédisait une partie de la performance comportementale à une tâche complexe qui n'avait jamais été pratiquée. Ces résultats sont en faveur d'un lien entre l'activité intrinsèque du cerveau et l'efficience cognitive lorsqu'il est sollicité, comme cela a pu être montré en IRMF (Cole et al., 2012). Ils renforcent aussi la littérature sur la faisabilité d'utiliser un système de mesure du couplage neurovasculaire cortical comme outil d'évaluation de la connectivité fonctionnelle cérébrale — globale dans notre cas. Enfin, une première étape a été franchie dans la validation de l'implication des fonctions exécutives dans la pratique du jeu Space Fortress. En condition difficile, ce jeu requiert de mémoriser des informations, de basculer entre différentes sous-tâches et d'inhiber certaines réponses automatiques. Dans notre étude, nous avons montré un lien entre l'activité du réseau qui sous-tend ces fonctions au repos et pendant la tâche avec le score à ce jeu.

## Principale contribution

* L'organisation fonctionnelle du réseau fronto-pariétal au repos prédit une partie de la performance en tâche complexe

Ce premier travail a ouvert plusieurs perspectives de recherche et d'évolution de protocoles. Premièrement, le besoin de quantifier l'implication des fonctions exécutives dans le jeu Space Fortress s'est précisé. Cela permettrait d'en faire une vraie tâche d'évaluation du fonctionnement exécutif, en partie exempt des défauts des tâches classiques (p. ex. les tâches de Stroop ou Posner) souvent abstraites et peu engageantes (Lumsden et al., 2016). Ensuite, la mesure NIRS précédente était certes intéressante, mais reste limitée en termes d'évaluation dynamique des réseaux fonctionnels cérébraux. Il serait déjà intéressant de comparer nos résultats à une analyse NIRS de connectivité fonctionnelle dynamique, mais mieux encore, d'évaluer ces mécanismes à une échelle temporelle plus proche de la réalité de la communication nerveuse (c.-à-d. la millisecorde). Dans cette optique, nous avons initié une campagne à plus grande échelle en se basant sur des données électroencéphalographiques pour comprendre le lien entre l'activité au repos du cerveau, les fonctions exécutives et la performance à Space Fortress.

### 3.1.2 Prédire la performance par la dynamique cérébrale de repos en EEG

Nous abordons ici une autre approche de l'étude du lien entre l'organisation fonctionnelle intrinsèque du cerveau et la performance à une tâche complexe. Si précédemment, nous nous sommes intéressés à une mesure globale de cette organisation pour prédire la performance à venir, il a été question ici d'étudier le lien entre la dynamique d'expression de différents réseaux fonctionnels au repos et la performance à une tâche. Il est en effet connu depuis plus de deux décennies qu'il n'existe pas un mais plusieurs réseaux fonctionnels actifs au repos (Damoiseaux et al., 2006; Smitha et al., 2017).
## 3.1. Évaluation et prédiction de la performance

On entend par "réseaux fonctionnels au repos" l'activité intrinsèque du cerveau en l'absence de stimulation, conduisant à une topologie précise et associée à des fonctions particulières. Le réseau du "mode par défaut" (Default Mode Network en anglais), le réseau du contrôle exécutif ou le réseau de la saillance en sont quelques exemples parmi la dizaine communément évoquée à ce jour (Smitha et al., 2017). Ces réseaux sont tous identifiables par des mesures de connectivité fonctionnelle au repos, mais leur expression suivrait un motif temporel variable conduisant à la dominance momentanée de l'un par rapport aux autres et donnant l'impression de l'expression unique de l'un ou l'autre (The winner-take-all : Mishra et al. 2020). Des chercheurs ont ainsi utilisé l'EEG pour mettre en évidence l'expression de ces réseaux à l'échelle de la millisecorde (Michel & Koenig, 2018). Lehmann (1990) a défini le premier ce qu'il considérait comme pouvant être les "atomes de la pensée" et les a nommés "Micro-états". Ces micro-états correspondent à des topographies quasi stables (quelques dizaines de millisecades) de distribution de courants électriques à la surface du scalp. Chaque topographie prototypique s'exprime pendant quelques dizaines de millisecades avant d'alterner et correspondrait à un réseau fonctionnel cérébral identifié en IRMf. Cela signifie donc que les micro-états en EEG seraient en quelque sorte les fractales des motifs macroscopiques identifiés en IRMf, à une échelle temporelle beaucoup plus faible. Aujourd'hui, l'étude de ces micro-états et de leur rôle dans la cognition est un sujet en plein essor (Michel & Koenig, 2018). Il devient commun de considérer qu'au moins 4 micro-états sont systématiquement identifiés chez une personne saine au repos. Ces micro-états A, B, C et D correspondraient respectivement à des réseaux impliqués dans le traitement auditif, visuel, la saillance et l'attention. Cette association directe avec les réseaux observés en IRMf est à prendre avec précaution étant donné le chevauchement anatomique et temporel des réseaux du repos (Karahanoğlu & Van De Ville, 2015). Toutefois, plusieurs études en EEG ont confirmé les générateurs de ces micro-états, apportant ainsi un argument de plus en faveur de ce lien (Pascual-Marqui et al., 2014; Milz et al., 2017). Dans l'étude préliminaire que je vais présenter, nous avons donc voulu utiliser les micro-états comme marqueurs intrinsèques de l'efficience du contrôle exécutif en tâche complexe. Un intérêt particulier a été porté aux micro-états C et D qui ont été associés à des fonctions cognitives de haut niveau comme l'intelligence fluide et la mémoire de travail (Santarnekchi et al., 2017; Seitzman et al., 2017).

### Hypothèses

* Space Fortress repose sur le fonctionnement exécutif

* La dynamique cérébrale au repos prédit la performance à une tâche complexe

### Méthode

L'activité EEG au repos de neuf participants a été enregistrée pendant 5 min à l'aide de l'appareil Active-two Biosemi avec 64 électrodes. Après l'acquisition de l'EEG, les participants ont joué à Space Fortress version multitâche (voir section 3.1.1) et ont réalisé 9 tâches d'évaluation des fonctions exécutives (3 tâches de mémoire de travail, 3 tâches d'inhibition et 3 tâches de changement de tâche ou "switching-tasks"), selon la même procédure que Miyake et al. (2000)
via le logiciel Inquisit<fnref n="3" /> de millisecond®. Les micro-états de repos ont été extraits selon les recommandations en vigueur (Michel & Koenig, 2018) pour obtenir la durée moyenne et la fréquence d'occurrence des 4 principaux micro-états (A, B, C et D; Figure 3.4).

<figure><img src="image_51.png" /></figure>

**Figure 3.4** – Chaine d'extraction des micro-états. Le GFP (Global Field Power) du signal EEG pré-traité est calculé pour chaque participant. Les topographies des pics de GFP sont concatenées en un seul ensemble de données. Un clustering (regroupement par similarité) de premier niveau est appliqué à cet ensemble de données (*First-level clustering*), participant par participant. Ensuite, un clustering de second niveau est appliqué sur les résultats concatenés des clusters de premier niveau (*second-level clustering*) pour obtenir les 4 topographies prototypiques moyenne de la population. Un rétro-ajustement des clusters de second niveau est ensuite effectué sur les données initiales des participants (*back fitting*). Chaque point de mesure EEG est étiqueté avec le prototype de micro-état (MS) avec lequel il est le "moins dissimilaire" topographiquement. Le résultat final est une séquence temporelle de micro-états dont on peut extraire des métriques (p. ex. nombre d'occurrences ou durée moyenne).

<footnote n="3">3. https://www.milliscond.com/</footnote>
### Résultats

Premièrement, la validité externe de Space Fortress à solliciter les fonctions exécutives a été évaluée par des analyses de corrélation entre le z-score moyen individuel des résultats aux tests des fonctions exécutive et le z-score du score obtenu à Space Fortress. Cette analyse a montré que la performance à Space Fortress est fortement corrélée à celle obtenue aux tests des fonctions exécutives ($R^2 = 0,81; p < 0,001$). De plus, une seconde analyse de corrélation a montré que la durée moyenne d'expression au repos du micro-état C (réseau du contrôle exécutif) était corrélée à la performance à Space Fortress ($R^2 = 0,46; p < 0,05$). Un résultat proche, mais non significatif, a été obtenu avec le micro-état D ($R^2 = 0,39; p = 0,07$).

<figure><img src="image_52.png" /><figcaption>**Figure 3.5** – Corrélation entre les métriques des micro-états C et D (nombre d'occurrences et durée moyenne) avec le z-score de la performance à Space Fortress.</figcaption></figure>