# CC: Eye-Interaction: Une étude multimodale de l'incapacitation cognitive chez les pilotes de ligne

Jonathan Deniel, Maud Dupuy, Alexandre Duchevet, Nadine Matton, Jean-Paul Imbert, Causse Mickaël

► To cite this version:

Jonathan Deniel, Maud Dupuy, Alexandre Duchevet, Nadine Matton, Jean-Paul Imbert, et al. CC: Eye-Interaction: Une étude multimodale de l'incapacitation cognitive chez les pilotes de ligne. EPIQUE, Jul 2023, Paris, France. 1 (1), pp.477, 2023. hal-04984679

HAL Id: hal-04984679

https://hal.science/hal-04984679v1

Submitted on 10 Mar 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>
# **CC: Eye-Interaction : Une étude multimodale de l'incapacitation cognitive chez les pilotes de ligne**

Jonathan Deniel<fnref n="1" />, Maud Dupuy<fnref n="2" />, Alexandre Duchevet<fnref n="2" />, Nadine Matton<fnref n="2" />, Jean-Paul Imbert<fnref n="2" />, Mickaël Causse<fnref n="1" />

## RÉSUMÉ

En aviation civile, l'incapacitation cognitive désigne l'altération temporaire des facultés cognitives du pilote en réaction à un contexte de stress intense. Elle se traduit par des phénomènes variés tels que la persévération cognitive, des actions de pilotage risquées, etc. Il apparaît important de mieux comprendre l'émergence de l'incapacitation cognitive afin de pouvoir l'anticiper, la détecter, et la traiter. Cette communication fait état d'une expérimentation en cours visant à identifier des marqueurs physiologiques, comportementaux et de personnalité possiblement associés à l'incapacitation cognitive. Pour cela, des pilotes réalisent des tests de personnalité et des tâches cognitives avec manipulation de la charge mentale. Ils réalisent ensuite une session de pilotage en simulateur de vol mettant en scène des évènements intenses et surprenants pouvant générer un sursaut (startle reflex en anglais). Les résultats préliminaires montrent que la majorité des pilotes a eu un réflexe de sursaut suite à un stimulus intense (fort bruit de tonnerre). L'impact sur la performance de pilotage est en cours d'analyse.

## MOTS-CLÉS

Pilotage, Stress, Surprise, Sursaut, Incapacitation Cognitive

## 1. INTRODUCTION

L'incapacitation cognitive (également appelée incapacitation mentale) englobe des états mentaux particuliers pouvant survenir chez les pilotes d'avion en situation de stress intense. Contrairement à l'incapacitation médicale (par exemple, l'évanouissement, le malaise cardiaque, la perte de conscience, etc.), l'incapacitation cognitive fait référence à des déficiences cognitives temporaires pouvant résulter de différents phénomènes tels que la surcharge cognitive (Durantin et al., 2014), le stress aigu (Dismukes et al., 2015, Vine et al., 2015), des événements inattendus comme un coup de tonnerre (Kinney and O'Hare, 2020), ou encore des situations ayant une dimension effrayante (Martin et al. 2016). L'incapacitation cognitive consécutive aux effets de surprise et de sursaut a par ailleurs été reconnue comme un facteur contributif dans plusieurs incidents (FBU711, BEA, 2020)<fnref n="22" /> et accidents (AF 447, BEA, juin 2012)<fnref n="23" />. Par conséquent, l'Organisation de l'Aviation Civile Internationale (OACI, 2012), ainsi que l'Agence Européenne de la Sécurité Aérienne (AESA, 2015) et l'Administration Fédérale de l'Aviation (FAA, 2015) ont appelé au développement de formations dédiées à l'amélioration de la gestion de ce phénomène par les pilotes. Pour cela, il est intéressant de développer des méthodes permettant de détecter ces états mentaux préjudiciables ainsi que

<footnote n="1">¹ ISAE-SUPAERO, Université de Toulouse, Toulouse, France</footnote>

<footnote>jonathan.deniel@isae-supaero.fr ; mickael.causse@ isae-supaero.fr</footnote>

<footnote n="2">² ENAC, Université de Toulouse, Toulouse, France</footnote>

<footnote>maud.dupuy@enac.fr ; alexandre.duchevet@enac.fr ; nadine.matton@enac.fr ;</footnote>

<footnote>jean-paul.imbert@enac.fr</footnote>

<footnote n="22">²² https://bea.aero/fileadmin/user_upload/BEA2020-0065.en.pdf</footnote>

<footnote n="23">²³ https://bea.aero/docspa/2009/f-cp090601.en/pdf/f-cp090601.en.pdf</footnote>
d'identifier les susceptibilités individuelles à l'incapacitation cognitive comme les traits de personnalité, l'anxiété ou la capacité à gérer la charge mentale. À cette fin, nous avons développé un protocole expérimental en deux phases consistant en (1) une session de tests de personnalité et de tâches cognitives suivis par (2) une session de simulateur de vol mettant en œuvre un scénario complexe, avec un stimulus « sursaut » visant à produire un effet de surprise et de sursaut par son caractère inattendu et intense (fort bruit d'éclair). Des données physiologiques, comportementales et subjectives sont collectées tout au long du scénario.

## 2. HYPOTHESES

Nous testerons l'hypothèse H1 selon laquelle la susceptibilité à l'incapacitation cognitive après un évènement stressant pourrait fortement varier selon les individus, et que cela pourrait être détecté par différents indices subjectifs, comportementaux, et physiologiques. Ainsi, une plus forte anxiété (H1a), une plus faible compétence en régulation émotionnelle (H1b) ou une moins bonne gestion de la charge mentale (H1c) pourraient être associées à une diminution de la gestion du stimulus sursaut et des performances lors des sessions de simulateur de vol (i.e., scénario complexe et surprenant). Nous avons également testé l'hypothèse (H2) que les participants démontrant un réflexe de sursaut (après le stimulus sursaut) pourraient avoir des performances de vol plus dégradées, en particulier lorsque celui-ci était intense. Nous présentons ici les résultats préliminaires qui démontrent l'efficacité du protocole à éliciter un sursaut. Les résultats définitifs relatifs aux hypothèses feront l'objet d'une publication ultérieure. A titre exploratoire nous évaluerons l'association des données de performance aux données oculométriques et cardiaques.

## 3. METHODE

Pour tester ces hypothèses, un protocole en deux phases est en cours. La première phase expérimentale comprend des tests évaluant le stress perçu, l'anxiété, la réactivité, et la régulation émotionnelle [i.e., Multidimensional Emotion Questionnaire (Klonsky et al., 2019), Big Five Personality Inventory (Courtois et al., 2020), State Anxiety Inventory - Trait (Spielberger, 1983), et le Perceived Stress Scale (Cohen et al., 1983)] ainsi que la consommation de substances, la durée du sommeil et l'activité physique au cours des dernières 24 heures. Puis les participants réalisent trois tâches cognitives et psychomotrices présentées dans un ordre contrebalancé. Chaque participant est préalablement équipé d'un électrocardiogramme portable (faros 360) et ses mouvements oculaires sont enregistrés via un dispositif d'eye-tracking (Tobii Spectrum). La première tâche, dite tâche de gestion des priorités, est utilisée dans le processus de sélection des candidats pilotes de l'ENAC. Elle implique l'engagement du participant dans quatre sous-tâches simultanées : surveillance, suivi, détection et calcul (Matton et al., 2016). La seconde tâche, la Toulouse N-back Task, consiste en la combinaison d'une tâche classique de type n-back avec des opérations arithmétiques. Elle a été conçue spécifiquement pour être extrêmement difficile, et plutôt à destination d'opérateurs tels que les pilotes ou les contrôleurs aériens (Causse et al., 2017). Deux niveaux de difficulté, 0-back et 2-back, sont présentés de manière aléatoire au participant lors de cette tâche. La troisième tâche cognitive est une version open-source et actualisée de la Multi-Attribute Task Battery (OpenMATB) (Cegarra et al., 2020; Comstock et al., 1992). Cette tâche consiste à effectuer quatre sous-tâches simultanées : surveillance, suivi, communication auditive et gestion des ressources.

La seconde phase expérimentale consiste à réaliser un scénario dans un simulateur de vol A320. Les participants sont équipés d'un oculomètre portable (TOBII Glasses 2), d'un ECG portable (faros 360) et d'un dispositif d'électromyographie (Biopac MP 150) pour mesurer l'activité du muscle sterno-cléido-mastoïdien. En effet, ce dernier se contracte lors de la survenance d'un réflexe de sursaut (Truong et al., 2022). De plus, l'ensemble de la simulation est enregistrée au moyen d'une caméra
placée face au participant. Deux chercheurs analysent ces vidéos de « vérité terrain » pour déterminer la survenue et l'intensité du sursaut et de la réaction de surprise (Ekman et al., 1985).

<figure><img src="image_2.png" /><figcaption>Figure 1. Illustration du simulateur en conditions nominales (gauche) et en condition sursaut (startle reflex) (droite). Le flash lumineux matérialisant l'éclair est visible sur la photo de droite.</figcaption></figure>

Dans un premier temps, les participants sont invités à se familiariser avec le simulateur de vol (Fig. 1.) en effectuant un scénario d'entraînement. Il consiste en un atterrissage manuel sur l'aéroport d'Orly dans des conditions nominales. Puis les participants sont briefés pour un scénario d'atterrissage en conditions de vol aux instruments (mauvaise visibilité). Par ailleurs, un orage leur est signalé au nord de l'aéroport. Ce scénario commence par un circuit d'attente avant atterrissage (holding pattern) de quelques minutes au cours duquel un avertissement de faible niveau de carburant est déclenché. Cet évènement a pour but de pousser les participants à demander un atterrissage prioritaire qui leur est immédiatement accordé. Peu après, le copilote (pilot monitoring), joué par un complice, se déclare en incapacité totale d'assurer ses fonctions. Cet évènement a pour but d'augmenter la charge mentale du participant qui doit se préparer à effectuer l'atterrissage seul. Quelques instants plus tard, un foudroiement de l'appareil est simulé par un flash et un fort bruit de tonnerre (environ 90db). Ce stimulus intense et soudain a pour but de provoquer le sursaut du participant, il est suivi quelques secondes plus tard d'une panne électrique d'urgence (Emergency Electrical Configuration). Cette panne provoque la disparition de la plupart des interfaces affichées sur les écrans ainsi que la désactivation brutale du pilote automatique et de l'auto-manette. La situation oblige donc le participant à se poser manuellement sans la plupart des assistances et des interfaces. Les actions du participant sur les commandes ainsi que les paramètres de vol sont enregistrés. Afin de pouvoir établir une comparaison des performances et des paramètres physiologiques du participant à une référence, un autre scénario nominal dans les même conditions météorologiques (sans évènements particuliers) d'atterrissage à Orly est réalisé avant ou après le scénario surprenant. Enfin, un débriefing composé de questions ouvertes, de test de personnalité et d'évaluation de la charge mentale est organisé afin de recueillir l'expérience des participants et de fournir un retour structuré sur les objectifs de la recherche.

# 4. RESULTATS PRELIMINAIRES ET DISCUSSION

À ce jour 7 élèves pilotes (âge moyen = 21 ans, ET = 1,07 ans) ont été impliqués dans le protocole de recherche. Nos résultats préliminaires confirment que le protocole satisfait aux objectifs de l'étude. Tout d'abord, les évaluations subjectives montrent qu'un nombre élevé de participants déclare avoir sursauté en entendant le bruit du tonnerre. En effet, l'analyse des vidéos montrent que 57% d'entre eux ont présenté un réflexe de sursaut (4 participants), avec toutefois des variations inter-individuelles dans l'intensité de la réaction. Certains ont eu une forte réaction (2 participants) tandis que d'autres n'ont fait que cligner des yeux ou ont eu des expressions faciales de sursaut minimes mais néanmoins typiques (2 participants). Cette variation de la sensibilité au réflexe de sursaut sera explorée plus en profondeur en comparant les résultats de la phase 1 à ceux de la phase 2. Ensuite, nous notons que les tâches cognitives de la phase 1 semblent être cohérentes avec la tâche de vol concernant le niveau de charge de travail mentale, du moins pour les deux environnements multitâches (TGP et OpenMATB). Cela confirme l'idée que les tests de laboratoire peuvent fournir des indications
précieuses sur le comportement, notamment du point de vue de la gestion de tâches complexes. Enfin, les évaluations de personnalité des 7 pilotes impliqués indiquent des niveaux de stress plus faibles, un niveau de conscienciosité plus élevé et un niveau de neuroticisme plus faible par rapport à la population générale (Courtois et al., 2020). Ces résultats sont en accord avec la spécificité recherchée du profil psychologique des pilotes, qui sont sélectionnés sur la base de traits de personnalité connus pour être avantageux pour la gestion des situations stressantes (Mesarosova, 2018).

Notre prochaine étape est d'étudier l'impact de ces traits de personnalité sur la gestion du réflexe de sursaut, qui est un aspect crucial de cette recherche. À l'issue de l'acquisition des données pour la totalité des participants, les résultats seront explorés plus en profondeur et mis en lien avec les paramètres physiologiques cardiaques et oculométriques.

## 5. CONCLUSION

Le présent projet s'inscrit dans le cadre des recommandations internationales actuelles sur l'effet de sursaut et la gestion de la surprise et devrait permettre, d'une part, de proposer un scénario de simulateur de vol intégrable dans les programmes de formation des pilotes et, d'autre part, d'identifier certains précurseurs, déclencheurs et marqueurs de l'incapacitation cognitive.

## 6. BIBLIOGRAPHIE

- Durantin, G., Gagnon, J. F., Tremblay, S., & Dehais, F. (2014). Using near infrared spectroscopy and heart rate variability to detect mental overload. *Behavioural brain research, 259*, 16-23.

- Dismukes, R., Goldsmith, T. E., & Kochan, J. A. (2015). Effects of acute stress on aircrew performance: literature review and analysis of operational aspects.

- Vine, S. J., Uiga, L., Lavric, A., Moore, L. J., Tsaneva-Atanasova, K., & Wilson, M. R. (2015). Individual reactions to stress predict performance during a critical aviation incident. *Anxiety, Stress, & Coping, 28*(4), 467-477.

- Kinney, L., & O'Hare, D. (2020). Responding to an Unexpected In-Flight Event: Physiological Arousal, Information Processing, and Performance. Human Factors, 62(5), 737-750.

- Martin, W. L., Murray, P.S., Bates, P. R., Lee, P.S.Y. (2015) Fear-Potentiated Startle: A Review from an Aviation Perspective, The International Journal of Aviation Psychology, 25:2, 97-107.

- ICAO Doc 8984 "Manual of Civil Aviation Medicine", third edition (2012).

- Klonsky, E. D., Victor, S. E., Hibbert, A. S., & Hajcak, G. (2019). The multidimensional emotion questionnaire (MEQ): Rationale and initial psychometric properties. *Journal of Psychopathology and Behavioral Assessment, 41*, 409-424.

- Courtois, R., Petot, J.M., Plaisant, O., Allibe, B., Lignier, B. Réveillère, C., Lecocq, G. and John, O. (2020). "Validation française du Big Five Inventory à 10 items (BFI-10)." L'Encéphale 46, no. 6, 455-462.

- Spielberger, C. D. (1983). State-trait anxiety inventory for adults.

- Cohen, S., Kamarck, T., and Mermelstein, R. (1983). "A Global Measure of Perceived Stress." Journal of Health and Social Behavior 24, no. 4 (1983): 385-96.

- Matton, N., Paubel, P., Cegarra, J., & Raufaste, E. (2016), Differences in multitask resource reallocation after change in task values. Human factors, 58(8), 1128-1142.

- Causse, M., Peysakhovich, V., & Mandrick, K. (2017). Eliciting sustained mental effort using the Toulouse N-back Task: prefrontal cortex and pupillary responses. In Advances in Neuroergonomics and Cognitive Engineering: Proceedings of the AHFE 2016 International Conference on
Neuroergonomics and Cognitive Engineering, July 27-31, 2016, Walt Disney World®, Florida, USA (pp. 185-193). Springer International Publishing.

Cegarra, J., B. Valéry, Eugénie Avril, C. Calmettes, and J. Navarro. (2020). "OpenMATB: A Multi-Attribute Task Battery promoting task customization, software extensibility and experiment replicability." *Behavior research methods* 52. 1980-1990.

Comstock Jr, J. R. & Arnegard, R. J., (1992) The multi-attribute task battery for human operator workload and strategic behavior research. (NASA-TM-104174). Washington: National Aeronautics and Space Administration.

Truong, T. E., Luttmer, N. G., Eshete, E. R., Zaki, A. B., Greer, D. D., Hirschi, T. J., Stewart, B.R., Gregory, C.A., Minor, M. A. (2022). Evaluating the Effect of Multi-Sensory Stimulation on Startle Response Using the Virtual Reality Locomotion Interface MS. TPAWT. In *Virtual Worlds* (Vol. 1, No. 1, pp. 62-81). MDPI.

Ekman, P., Friesen, W. V., & Simons, R. C. (1985). Is the startle reaction an emotion?. *Journal of personality and social psychology, 49*(5), 1416.

Mesarosova, K., Siegling, A. B., Plouffe, R. A., Saklofske, D. H., Smith, M. M., & Tremblay, P. F., (2018) "Personality measurement and profile in a European sample of civil airline pilots". *European Journal of Psychological Assessment*.