## Synthèse

Ces résultats préliminaires montrent pour la première fois que la performance à Space Fortress a le potentiel d’être une excellente mesure des fonctions exécutives de manière plus écologique et engageante que les tâches classiques. De plus, ces résultats confirment ceux obtenus en NIRS (section 3.1.1) et proposent que la performance à une tâche complexe puisse être en partie prédite par des marqueurs neurophysiologiques au repos — en l’occurrence la dynamique spatio-temporelle des micro-états en EEG. Il est particulièrement intéressant de voir que la durée moyenne des micro-états C et D est positivement corrélée à la performance à Space Fortress. Cela signifie que plus la durée de prédominance des réseaux de la saillance et de l’attention au repos est grande, meilleur serait le fonctionnement exécutif en tâche. Une étude future visant à confirmer ce caractère prédictif de la dynamique cérébrale au repos avec une meilleure puissance statistique (n= 140 participants) est prévue et a déjà été préenregistrée dans la revue Cortex.

## Principales contributions

* Le jeu Space Fortress pourrait permettre une évaluation plus écolgique des fonctions exécutives

* La dynamique spatio-temporelle du cerveau au repos prédit une partie de la performance en tâche complexe

Nous avons vu qu'il était possible d'évaluer et de prédire une partie de la performance à une tâche complexe, que ce soit par la connectivité fonctionnelle globale du réseau fronto-parietal (NIRS) ou par la mesure de la dynamique spatio-temporelle des réseaux fonctionnels identifiables au repos (micro-états EEG). Ces deux approches supposent que la performance est liée à l'efficacité des fonctions exécutives mises en jeu lors de la réalisation d'une tâche difficile. Un versant parallèle à ces travaux concerne la possibilité de pouvoir agir sur l'organisation anatomo-fonctionnelle de ces régions cérébrales dans le but d'améliorer la performance comportementale. Ainsi, j'ai entrepris d'évaluer les effets de l'entraînement cognitif seul ou couplé à la neuromodulation chez le sujet sain et le patient cérébro-lésé.
### 3.2 Modulation de la performance cognitive

Que ce soit dans le milieu scolaire ou professionnel, pour la gestion de systèmes complexes, la compétition intellectuelle ou dans la prise en charge du vieillissement et des patients, l'entraînement cognitif concerne presque toute la population (Jolles & Crone, 2012; Au et al., 2015; Kray et al., 2012; Lumsden et al., 2016; Buttelmann & Karbach, 2017). Dans les travaux qui suivent, je me suis intéressé à trois cas particuliers d'application de l'entraînement cognitif ci-blant les fonctions exécutives. À chaque fois, l'objectif était le même : améliorer la performance comportementale dans la gestion d'une tâche complexe. La première étude fait partie de l'étude sur l'intelligibilité en situation multilocuteur dont j'ai mentionné la première partie (section 1.3.2). Les participants qui n'étaient pas capables d'utiliser le TMR défavorable à leur avantage ont suivi un entraînement à cette tâche. Nous avons mesuré l'évolution de l'activité cérébrale pour objectiver le gain comportemental hypothétique et comprendre l'évolution de leur effort d'écoute. Dans une seconde étude, nous avons associé un entraînement à Space Fortress à une stimulation électrique transcrânienne du DLPFC droit pour tester la capacité d'un certain type de stimulation à favoriser les processus cognitifs impliqués dans le contrôle exécutif. En-fin, dans une troisième étude, nous avons utilisé le même type de stimulation et la pratique de tâches écologiques de manière concomitante pour concevoir un protocole de réhabilitation fonctionnelle chez des patients cérébro-lésés dysexécutifs.

#### 3.2.1 Entraînement cognitif en situation multilocuteur

Au cours de l'étude de l'effort d'écoute en situation multilocuteur (voir section 1.3.2), nous avons à nouveau observé qu'il existait une grande variabilité de l'intelligibilité dans les situations de TMR défavorables (c.-à-d. quand le locuteur masque était plus fort que le locuteur cible). Certains participants ont obtenu une performance d'intelligibilité en TMR défavorable (-12 dB) supérieure ou égale à celle obtenue en TMR intermédiaire (-4 dB), voire égale à celle obtenue en TMR favorable (+4 dB). La différence d'intensité entre le locuteur cible et le locuteur masque peut donc être utilisée pour permettre de ségréger ces deux flux auditifs. Deux questions se sont alors posées. Premièrement, il était intéressant de savoir si cette capacité est propre à une personne – à la manière de l'oreille absolue – ou si elle peut s'acquérir par apprentissage. Étant donné la relation linéaire entre l'intelligibilité et l'activation de l'IFG gauche observée dans notre population initiale, nous avons ensuite émis l'hypothèse selon laquelle l'amélioration de l'intelligibilité, suite à l'entraînement, serait accompagnée d'une augmentation de l'activité dans cette région. Toutefois, cette hypothèse s'est heurtée à celle de l'efficience cognitive (Fairclough et al., 2019) qui stipule que l'apprentissage – et en particulier l'automatisation de certains processus – conduit à une moindre activation (c.-à-d. plus efficace) des régions impliquées dans les processus ciblés. Pour répondre à ces deux questions, nous avons donc créé un entraînement cognitif d'intelligibilité de la parole et suivi l'évolution de l'activité cérébrale à l'aide de la NIRS.
## Hypothèses

* L'utilisation d'indices sonores, tels que le TMR, pour améliorer l'intelligibilité du langage est un processus qui peut s'apprendre

* Cet apprentissage s'accompagne d'une amélioration de l'intelligibilité et d'une plus grande efficience neurale

## Méthodes

Le protocole et la tâche initiale (Coordinate Response Measure (CRM); Bolia et al. 2000) sont décrits à la section 1.3.2. Sur les 74 participants retenus dans la première phase de cette expérience, nous en avons sélectionné 27 qui présentaient un score d'intelligibilité inférieur ou égal à 50% dans la condition de TMR défavorable (-12 dB). Ces participants ont été répartis en deux groupes et ont suivi un programme d'entraînement consistant en la pratique du CRM. Le premier groupe a pratiqué la tâche de façon identique à la première séance et a été dénommé *Not-Driven group*. Le second groupe a pratiqué la même tâche, mais était informé par l'expérimentatrice avant chaque bloc de la condition dans laquelle il allait se trouver (c.-à-d. "la voix cible sera la plus forte" ou "la voix cible sera la moins forte"). De plus, après chaque essai, les participants de ce groupe recevaient un retour auditif avec la voix du locuteur cible seule pour confirmer leur réponse (feedback). Du fait de ces consignes, ce second groupe a été dénommé *Driven group*. Un entraînement par jour à chaque TMR pendant 20 minutes était réalisé sur trois jours successifs. Enfin, au 4<sup>ème</sup> jour, les 27 participants réalisaient à nouveau la tâche à la manière de la première séance et l'activité cérébrale était à nouveau enregistrée avec la NIRS "toute tête" Niscout. Ainsi, nous disposions des données NIRS pour les périodes pré et post entraînement.

## Résultats

Les entraîements ont conduit les deux groupes à progresser dans les trois TMR ($p < 0,001$ pour les trois conditions; Figure 3.6). Cette progression était toutefois plus forte en défavorable et intermédiaire qu'en favorable ($F_{2,52}=12,14; p < 0,001$). Le type d'entraînement n'a pas montré d'effet significatif ($p = 0,09$) et n'a pas interagi avec le TMR. Autrement dit, les deux groupes ont progressé de manière équivalente dans les trois conditions.

Du fait de l'absence de différence comportementale entre les deux types d'entraîements, les données NIRS des deux groupes ont été réunies pour les analyses. Celles-ci ont montré que l'entraînement a conduit à plusieurs effets selon la difficulté et la région cérébrale concernée, presque toujours dans le sens d'une diminution de l'activité (Figure 3.7). Ainsi, pour le TMR défavorable, une diminution significative a été observée dans le DLPFC droit, l'IPL droit et gauche, l'IPL gauche et le cortex auditif droit ($p < 0,05$ corrigé FDR). Pour la condition de TMR intermédiaire, une diminution seulement dans le cortex auditif droit a été observée ($p < 0,05$ corrigé FDR). Enfin, l'entraînement a conduit à une augmentation de l'activité dans le cortex préfrontal droit pour la condition de TMR favorable ($p < 0,05$ corrigé FDR).
## 3.2. Modulation de la performance cognitive

<figure><img src="image_53.png" /><figcaption>**Figure 3.6** – Effets de l'entraînement sur les scores d'intelligibilité (RAU; Studebaker 1985) en fonction du type d'entraînement et pour les 3 TMR. Les données des participants de l'expérience 1 (sans entraînement : *BestPreTest*) sont présentées en gris à titre indicatif. Les boites représentent les étendues interquartiles autour des médianes. Les moustaches s'étendent de la plus petite à la plus grande valeur observée dans 1.5 fois l'interquartile. *** : *p* < 0,001.</figcaption></figure>

Pour évaluer le lien entre les effets de l'entraînement sur l'activité cérébrale et les effets de l'entraînement sur le comportement, une régression robuste entre les variations de bêta pondérés et les variations de scores RAU a été faite (delta = valeur post - valeur pré). Cette régression a montré un lien significatif entre les deux variables dans l'IFG gauche et pour la condition défavorable seulement (Figure 3.8). Dans cette condition, plus l'augmentation de l'intelligibilité de la parole était élevée, plus la diminution de l'activité de l'IFG gauche était importante.

### Synthèse

Cette partie de l'étude sur les processus impliqués dans l'écoute de la parole dans la parole a montré premièrement que l'utilisation des indices sonores tels que la différence d'intensité entre le locuteur cible et le locuteur masque est une habileté qui peut s'apprendre facilement (3 séances de 20 minutes). Non seulement cet entraînement a permis d'améliorer considérablement l'intelligibilité en situation complexe, mais il a conduit à une baisse de l'activation corticale dans plusieurs régions et particulièrement celles associées aux fonctions exécutives (DLPFC et IFG). L'explication la plus probable est qu'au cours de cette semaine d'expérience, l'apprentissage a conduit à une amélioration de l'efficacité des réseaux cérébraux impliqués dans la ségrégation et l'extraction du message cible. Cette évolution peut être associée à l'efficience neurale (Fairclough et al., 2019) qui stipule que l'automatisation des processus conduit à une amélioration de la performance associée à une baisse de l'effort cognitif.
<figure><img src="image_54.png" /></figure>

**Figure 3.7** – Effets de l'entraînement sur les activations corticales (coefficients bêta) pour chaque condition TMR. Pré : session pré-entraînement; Post : session post-entraînement. \* *p* < 0,05 (corrigé FDR).

<figure><img src="image_55.png" /></figure>

**Figure 3.8** – Régression robuste entre l'effet de l'entraînement sur le score d'intelligibilité et l'effet de l'entraînement sur l'activation corticale de l'IFG gauche. Pour les deux variables, le delta correspond à la soustraction des valeurs Post - Pré. Ligne rouge : ajustement linéaire.

## Principales contributions

* L'utilisation d'indices sonores pour améliorer l'intelligibilité peut s'apprendre rapidement

* L'entraînement cognitif en situation complexe permet de diminuer l'effort d'écoute
L'entraînement cognitif semble donc pouvoir influencer la façon dont sont recrutées certaines fonctions exécutives dans les processus d'écoute. L'effet de cette approche indirecte de la modulation de fonctions cognitives pourrait toutefois être potentialisé par une approche plus directe telle que la stimulation cérébrale, comme cela a été montré dans de nombreuses études (Brem et al., 2018; Almquist et al., 2019; Harty & Cohen Kadosh, 2019; Snowball et al., 2013; Datta et al., 2008; Kuo et al., 2013; Muthalib et al., 2018). Dans le travail suivant, je me suis intéressé au couplage entre l'entraînement cognitif et la stimulation cérébrale dans le but d'évaluer un effet additif des deux techniques sur la performance de gestion d'une tâche complexe.

### 3.2.2 Entraînement cognitif et neuromodulation pour la gestion de tâches complexes

Au cours des dix dernières années, le nombre d'études sur les effets de la neuromodulation – et en particulier de la stimulation cérébrale électrique transcrânienne – sur la cognition a fortement augmenté (Fertonani & Miniussi, 2017). Les travaux suivants sur l'utilité de cette technique de stimulation chez le sujet sain, ont avant tout un but fondamental de compréhension des mécanismes cérébraux, puis un but appliqué avec le pilote d'avion et un transfert vers le patient cérébro-lésé. Dans ce projet, nous nous sommes intéressés à une variante récente (première étude par Terney et al. 2008) de la stimulation transcrânienne électrique qui utilise un courant alternatif (TACS) dont la fréquence est aléatoire (Figure 3.9).

<figure><img src="image_56.png" /><figcaption>**Figure 3.9** – Schématisations de la forme des courants électriques pour une stimulation électrique transcrânienne à courant direct (tDCS), alternatif (tACS) et alternatif à bruit aléatoire (tRNS).</figcaption></figure>

La stimulation électrique transcrânienne a bruit aléatoire ou tRNS (pour transcranial Random Noise Stimulation en anglais) a en effet montré des résultats sensiblement plus prometteurs que son équivalent en courant direct. Ainsi, nous souhaitions évaluer les effets de cette stimulation lors d'un entraînement au jeu Space Fortress par rapport à l'entraînement seul et selon différents montages des électrodes de stimulations.
## Hypothèses

* La tRNS potentialise les effets de l'entraînement cognitif en tâche complexe

* Une stimulation focale du DLPFC est plus efficace qu'une stimulation diffuse

## Méthode

La tâche utilisée pour l'entraînement et l'évaluation de la performance était à nouveau le jeu Space Fortress (voir section 3.1.1 et Figure 3.1). Soixante-et-un participants ont pris part à cette étude au cours de cinq journées consécutives et sont revenus 10 jours plus tard.

La première journée servait de référence avec une mesure de la performance à Space Fortress. Les jours 2, 3 et 4 correspondaient aux jours d'entraînement à Space Fortress avec ou sans stimulation selon le groupe. Au cours de ces trois jours, ils étaient équipés d'un casque en néoprène avec un dispositif de stimulation Starstim de Neuroelectrics®. Au cours des jours 5 et 15, les participants pratiquaient à nouveau le jeu Space Fortress sans stimulation pour servir de mesures post-entraînement respectivement à court et moyen termes. Trois groupes d'entraînement de 20, 20 et 21 participants ont été créés. Les deux premiers groupes (SD-tRNS et Sham) avaient le même montage en "Simple Définition" qui comprenait deux électrodes<fnref n="4" /> circulaires en éponge (Sponstim, 5 × 5 cm²) trempées dans une solution saline et positionnées sur les repères F3 et F4 (DLPFC gauche et droit, BA du système 10-20 EEG). Un troisième groupe (HD-tRNS) disposait d'un montage "Haute Définition" de type 4×1, avec 5 électrodes circulaires (π cm², NG Pistim) positionnées sur le scalp et recouvertes d'un gel conducteur (Signa Gel) sur les emplacements C4, Fp2, Fz, F8 et F4 (Figure 3.10). L'électrode F4 était l'électrode active (100% du courant) et les 4 autres servaient de retour (environ 25% de courant chacune).

La répartition des groupes (Sham vs. SD-tRNS vs. HD-tRNS) a été effectuée en double aveugle pour l'expérimentateur et les participants en utilisant le logiciel NIC<fnref n="5" /> v2.0. Chaque participant a été assigné au hasard à l'un des trois groupes. Notez que pour garantir le double aveugle, les expérimentateurs ont été amenés à croire que le plan comprenait également une condition HD-Sham (c.-à-d. 4 groupes fictifs). Les paramètres de tRNS ont été définis selon les études précédentes et notamment ceux utilisés par Snowball et al. (2013). Pendant les séances d'entraînement (jours 2 à 4), les groupes SD-tRNS et HD-tRNS ont reçu une stimulation utilisant un courant oscillant entre -0,5 et 0,5 mA (moyenne = 0, écart-type = 0,333), à des fréquences aléatoires comprises entre 100 et 500 Hz. Le groupe placebo recevait juste un dosage faible en début et fin de séance pendant 15s. Enfin, un questionnaire sur les habitudes de jeux et sur les effets indésirables de la stimulation a été rempli par chaque participant.

<footnote n="4">4. Les termes "anode" et "cathode" ont volontairement été évités, car ils ne sont pas valides dans le cas d'une stimulation électrique à courant alternatif où chaque électrode "alterne" entre ces deux polarités au cours de chaque cycle du courant.</footnote>

<footnote n="5">5. https://www.neuroelectrics.com/resources/software</footnote>
## 3.2. Modulation de la performance cognitive

<figure><img src="image_57.png" /><figcaption>**Figure 3.10** – Visualisation du montage des électrodes selon le groupe de participants (Montage et de la propagation du courant sur la matière blanche (Influence maps). Sham : stimulation placebo. SD-tRNS : stimulation simple définition. HD-tRNS : stimulation haute définition.</figcaption></figure>

### Résultats

Les groupes ayant bénéficié de la stimulation (SD et HD) n'ont pas significativement progressé plus vite que le groupe placébo ($F_{2,57}=2.50; p = 0,09$). L'expérience au jeu vidéo était néanmoins un prédicteur de la courbe d'apprentissage ($F_{1,57}=4,47; p < 0,05; \eta_p^2=0,07$). Le gain de l'entraînement a ensuite été calculé en termes de différence de scores (delta), soit entre la référence du jour d'inclusion et chacune des deux évaluations à court (J+5) et moyen (J+15) termes, soit entre les deux évaluations à court et moyen termes (Figure 3.11). Entre le jour d'inclusion et l'évaluation à court terme, un résultat similaire au taux d'apprentissage a été trouvé avec un effet de l'expérience de jeu ($F_{1,57}=7,37; p < 0,01; \eta_p^2=0,11$), mais pas d'effet du type de stimulation ($F_{2,57}=2,27; p = 0,11$). Ces effets ont eu tendance à s'inverser lorsque l'on compare le jour d'inclusion et l'évaluation à moyen terme. Pour cette observation, l'effet de l'expérience aux jeux n'était plus significatif ($F_{1,57}=2,87; p = 0,10$) alors que l'effet du type de stimulation est devenu significatif ($F_{2,57}=4,21; p < 0,05; \eta_p^2=0,07$). Les tests post-hoc ont montré que cet effet était seulement dû à un delta de score plus élevé chez le groupe HD-tRNS que chez le groupe placebo ($p < 0,05$).
Enfin, la différence de score entre le moyen terme et le court terme (J+5) était, elle aussi, uniquement influencée par le type de stimulation ($F_{2,57}=4,32; p < 0,05; \eta_p^2=0,13$). Cet effet de rétention s'est manifesté par une différence de score plus élevée pour le groupe HD-tRNS que les deux autres groupes ($p < 0,05$ dans les deux cas).

<figure><img src="image_58.png" /><figcaption>**Figure 3.11** – a. Delta entre la performance à court terme et la performance initiale à Space Fortress. b Delta entre la performance à moyen terme et la performance initiale. c Delta entre la performance à moyen terme et la performance à court terme. GS : session de jeu. En gras : $p < 0,05$.</figcaption></figure>

## Synthèse

Dans cette étude, nous avons montré qu'une stimulation électrique transcrânienne du DLPFC droit pouvait améliorer les effets d'un entraînement cognitif à une tâche complexe. Toutefois, cet effet de la tRNS s'est observé avec un montage particulier (HD) et sur une mesure particulière (rétention). Le montage HD avec une électrode centrée sur le DLPFC droit et quatre électrodes de "retour", a montré un meilleur effet qu'un montage plus conventionnel de type SD, où une électrode est positionnée sur le DLPFC droit et une autre sur le DLPFC gauche.
Deux effets physiques peuvent avoir contribué à cette différence. Premièrement, la carte d'influence du montage HD montre une distribution des courants plus focale que celle du montage SD. Ce ciblage a conduit à une dose de courant administrée par cm² plus grande pour le HD et une modification potentielle de l'excitabilité corticale du DLPFC droit plus importante. Le second effet physique peut provenir de la position de l'électrode de retour sur le DLPFC gauche. En montage SD avec un courant alternatif, il n'y a pas d'anode et de cathode constante, mais une alternance de phase conduisant à la stimulation des deux régions sous ces électrodes. Il est donc possible que cette stimulation bilatérale ait conduit à des effets opposés, notamment via des processus d'inhibition inter-hémisphérique déjà mis en évidence pour le cortex moteur (Daskalakis et al., 2002). Enfin, la supériorité de la stimulation HD s'est manifestée à moyen terme et sur la rétention de la performance, c'est-à-dire à distance des séances de stimulation. Ceci pourrait être expliqué par le temps nécessaire pour que des modifications des réseaux impliqués dans la gestion d'une tâche complexe se mettent en place (H. Lee et al., 2012).

### Principales contributions

* Une stimulation tRNS focale du DLPFC droit permet de consolider les effets d'un entraînement cognitif

* Une stimulation tRNS bilatérale (SD) du DLPFC n'apporte pas de bénéfices

Ces résultats ont permis de déterminer les paramètres de stimulation à appliquer pour un entraînement cognitif chez une autre population. Suite à un traumatisme ou à une résection tumorale dans la région préfrontale du cortex, certains patients présentent des troubles dysexécutifs (Godefroy et al., 2010). Ces troubles se manifestent par des erreurs persévératives, des problèmes d'inhibition ou une incapacité décisionnelle (aboulie) en lien avec des fonctions exécutives altérées. À l'heure actuelle, ces patients sont pris en charge dans des services de Médecine Physique et de Réadaptation (MPR) ou de neuropsychologie. Toutefois, les médecins constatent que les méthodes utilisées pour redonner de l'autonomie à ces patients et évaluer les améliorations sont assez limitées avec peu de transfert de l'hôpital vers le monde réel (Cicerone et al., 2019). Ma volonté d'étudier les troubles exécutifs au sein du continuum cognitif m'a conduit à travailler avec cette population. L'intérêt était double : transférer vers cette population les outils développés chez les sujets sains et utiliser le modèle lésionnel en retour pour mieux comprendre les troubles transitoires chez le sujet sain en situation complexe.

### 3.2.3 Entraînement cognitif et neuromodulation chez le patient cérébro-lésé

L'étude que je vais présenter maintenant fait partie du projet ANR-ASTRID Modex et concerne l'évaluation de nouvelles techniques de réhabilitation fonctionnelle pour des patients devenus dysexécutifs suite à une lésion cérébrale, notamment du cortex préfrontal. Ces patients ont été contactés en phase chronique de leurs symptômes, après être sortis de la prise en charge courante en ergothérapie et en neuropsychologie.
Au moment de la prise en charge dans notre étude, tous présentaient une récupération cogni-
tive partielle avec encore des difficultés au quotidien et peu d'autonomie. Pour tenter d'améliorer
leurs symptômes, nous avons défini un nouveau type d'entraînement cognitif dont le but était de
maximiser l'approche individuelle et le transfert des gains vers la vie réelle. Celui-ci reposait sur
le triptyque suivant :

- Utiliser des tâches plus écologiques que celles utilisées en réhabilitation fonctionnelle

- Potentialiser l'entraînement cognitif par la stimulation cérébrale

- Avoir une approche statistique individuelle de l'évaluation des gains

L'intérêt du caractère écologique et engageant de la tâche d'entraînement a déjà été abordé
dans ce manuscrit (section 3.1.1) et reste le même pour les patients : une plus grande motivation
à réaliser la tâche et plus de chance de transfert vers le quotidien. L'étude en HD-tRNS sur
le DLPFC droit des participants sains (section 3.2.2) a montré que cette stimulation pouvait
potentialiser les processus cognitifs sous-tendus par cette région. Toutefois, l'analyse statistique
des résultats chez les patients est plus compliquée qu'avec les personnes saines. L'hétérogénéité
de cette population conduit à des tailles d'effets souvent faibles à l'échelle du groupe. De même,
les études de cas cliniques isolés sont plus qualitatives que quantitatives. Une nouvelle approche
a donc été utilisée pour palier ces défauts et parvenir à révéler des effets individuels quantifiables
de la prise en charge cognitive. Par conséquent, nous avons entraîné ces patients avec des tâches
qui consistaient en la réalisation d'achats en supermarché ou de conduite automobile. Pendant
ces entraînements, les patients recevaient une stimulation de type HD-tRNS sur le DLPFC droit.
Enfin, une approche statistique en multiple cas uniques (Single Case Experimental Design ou
SCED, Krasny-Pacini & Evans 2018) a été utilisée pour valider statistiquement les bénéfices
potentiels de manière individuelle.

Hypothèse

- Une intervention cognitive couplant tRNS-HD du DLPFC droit et entraînement à une tâche écologique permet d'améliorer la pratique de tâche quotidienne

Méthodes

Douze patients cérébro-lésés ont suivi un protocole d'entraînement cognitif sur 12 semaines au service MPR de l'hôpital de Rangueil. Un SCED en ligne de base multiple a été utilisé. Dans cette approche, chaque cas est son propre contrôle, ce qui permet de prendre en compte l'hétérogénéité des patients. Le principe de ce type de protocole est de suivre les performances d'un patient sur plusieurs phases à travers des mesures répétées. On compense ainsi le faible nombre de patients par un grand nombre de mesures. Nous avons utilisé un paradigme de type A1-B-A2 permettant de suivre l'évolution des patients grâce à une échelle comportementale (GAS - Goal Attainment Scale, Krasny-Pacini et al. 2013) lors de phases de références (A1 et A2, rééducation classique en ergothérapie) et d'intervention (B, entraînement + tRNS). La GAS permet une mesure régulière, exempt d'effet de répétition et est adaptée aux SCED. La durée de la phase A1 était variable d'un patient à l'autre (3 à 5 semaines) de sortes que le début de l'intervention B était distribué pseudo aléatoirement. La durée de la phase B était de 4 semaines.
## 3.2. Modulation de la performance cognitive

La phase d'observation A2 durait le temps nécessaire pour compléter les 12 semaines, soit 3, 4 ou 5 semaines selon le patient (Figure 3.12).

<figure><img src="image_59.png" /><figcaption>**Figure 3.12** – Présentation du schéma expérimental pour un groupe de trois patients à travers les trois phases A1-B-A2 au cours des 12 semaines d'inclusion.</figcaption></figure>

Les deux tâches utilisées pour l'entraînement cognitif provenaient de la batterie Covirtua<fnref n="6" />. La première consistait en la réalisation de courses alimentaires dans un supermarché virtuel et la seconde était une tâche de conduite automobile dans un simulateur sur ordinateur. Pour les deux, l'expérimentateur pouvait adapter la difficulté selon le patient. Pour mesurer un effet de transfert de l'entraînement sur la vie quotidienne, trois objectifs comportementaux à atteindre – spécifiques à chaque patient – ont été créés par l'équipe de soin à l'aide de la GAS. Ces objectifs pouvaient être la reprise d'une activité comme la peinture, la réalisation de recettes de cuisine ou aller acheter son pain régulièrement. Une cotation de ces scores était réalisée deux fois par semaine pour un total de 24 mesures sur les 12 semaines. Durant les périodes d'observation A1 et A2, les patients étaient pris en charge en rééducation d'ergothérapie classique. Durant la phase d'intervention B les patients pratiquaient Covirtua pendant une heure et recevaient une stimulation tRNS du DLPFC droit pendant 20 minutes (à mi-parcours de la tâche) quatre fois par semaine pour un total de 16 séances.

## Résultats

Pour chaque participant et chaque objectif GAS, une analyse du TAU (Tarlow, 2017) a été faite. Le premier participant par exemple a montré une évolution significative du score obtenu à l'un de ses trois objectifs suite à l'entraînement cognitif (CESSOR, 2019; TAU=0,69; *p* < 0,001; Figure 3.13). Sur les douze participants, nous avons validé statistiquement que l'intervention a permis à huit d'entre eux d'atteindre au moins un des objectifs fixés (Tableau 3.1).

<footnote n="6">6. https://www.covirtua.com/</footnote>
De manière qualitative, les objectifs GAS qui ont montré une réponse à cette intervention ciblaient les processus de raisonnement, de planification d'action, de mémoire prospective et d'attention sélective.

P1

<figure><img src="image_60.png" /><figcaption>**Figure 3.13** – Évolution des scores de trois objectifs GAS en fonction des phases du SCED (A1, B et A2) pour le patient 1. L'objectif concentration a été amélioré par le programme d'entraînement (TAU=0,69; *p* < 0,001).</figcaption></figure>

<table><caption>**Table 3.1** – Liste des objectifs atteints par patient.</caption><thead><tr><th>Patients</th><th>Objectifs</th><th>Evolution A1-B-A2</th></tr></thead><tbody><tr><td rowspan="2">1</td><td>Gestion de la boîte mail</td><td>TAU= 0,65**</td></tr><tr><td>Concentration</td><td>TAU=0,69***</td></tr><tr><td rowspan="3">2</td><td>Suivre un planning de tâches ménagères</td><td>TAU= 0,43*</td></tr><tr><td>Planification des courses</td><td>TAU = 0,56**</td></tr><tr><td>Somme des 3 objectifs</td><td>TAU =0,74**</td></tr><tr><td>3</td><td>Gestion de la liste des courses</td><td>BC-TAU=0,87***</td></tr><tr><td>5</td><td>Somme des 3 objectifs</td><td>TAU =0,42*</td></tr><tr><td rowspan="3">6</td><td>Suivre une recette de cuisine</td><td>TAU=0,53*</td></tr><tr><td>Gestion des courses</td><td>TAU = 0,44*</td></tr><tr><td>Somme des 3 objectifs</td><td>TAU =0,53**</td></tr><tr><td>7</td><td>S'impliquer dans le jardinage</td><td>TAU = 0,44*</td></tr><tr><td>11</td><td>Somme des 3 objectifs</td><td>TAU = 0,46*</td></tr><tr><td rowspan="2">12</td><td>Attention divisée</td><td>TAU = 0,60**</td></tr><tr><td>Somme des 3 objectifs</td><td>TAU= 0,442*</td></tr></tbody></table>

<footnote>* : *p* < 0,05; ** : *p* < 0,01; *** : *p* < 0,001</footnote>
### Synthèse

La mise en place de la méthodologie en analyse de multiple cas uniques (SCED) a montré son potentiel pour révéler des effets individuels de la prise en charge cognitive des patients cérébro-lésés avec des effets quantifiables sur la gestion des tâches quotidienne chez ces patients. Une approche en groupe aurait contraint la création d'objectifs individualisés, gommé les effets individuels et une approche en cas unique n'était pas adapté statistiquement. Ainsi, un entraînement cognitif basé sur la pratique de tâches réalistes, couplé à une stimulation du DLPFC à raison de 4 séances par semaine pendant 4 semaines, a permis d'améliorer significativement la gestion d'au moins une tâche du quotidien chez deux tiers des patients dysexécutifs.

### Principales contributions

* Un entraînement cognitif couplé à une stimulation tRNS-HD du DLPFC droit apporte une amélioration des conditions de vie de certains patients dysexécutifs

* La méthode SCED est adaptée à l'étude de populations hétérogènes comme les patients cérébro-lésés

Que ce soit à l'échelle du groupe ou de manière individualisée, un entraînement cognitif ciblé et adapté permet d'améliorer la gestion d'une tâche complexe. Cette complexité n'est pas simplement implicite, mais varie selon l'efficacité du cerveau qui doit gérer la tâche. L'étude des fonctions exécutives selon le continuum cognitif montre qu'il peut être aussi complexe de gérer une liste de course au quotidien pour une personne cérébro-lésée que de piloter un avion moderne pour un cerveau sain. Dans les deux cas, cibler les fonctions exécutives par un entraînement cognitif couplé ou non à une stimulation cérébrale semble être une approche permettant une meilleure flexibilité mentale face à cette complexité.
À travers la sélection de travaux que je viens de présenter, j'ai montré l'intérêt d'étudier les fonctions exécutives en lien avec l'attention selon les continuums expérimentaux (de l'ordinateur à l'avion) et cognitifs (du patient au participant sain). S'ils ont permis d'affiner notre compréhension du lien entre lésions cérébrales et dégradation cognitive, ils ont surtout contribué à mieux comprendre comment de tels troubles pouvaient apparaitre dans un cerveau sain. Ainsi, le niveau de charge mentale induit par la tâche à réaliser pèse sur les ressources cognitives disponibles au point de modifier la performance de détection des alarmes dans certains cas. Cette charge mentale est modulée par la quantité d'informations à garder en mémoire de travail. Elle est aussi dépendante du coût cognitif associé à la gestion de l'interférence entre les informations d'une même modalité ou à travers les modalités sensorielles. Le conflit entre les informations visuelles et auditives, par exemple, biaise notre raisonnement et peut conduire à des erreurs de prise de décision. Le conflit entre le but à atteindre par un système automatisé et celui de son opérateur peut induire une moins bonne conscience de la situation et là aussi, de mauvaises décisions. Ces travaux m'ont permis de **mieux comprendre le rôle des fonctions exécutives** dans les processus attentionnels.

Fort de ces connaissances, j'ai travaillé à **mesurer objectivement la performance du cerveau** en situation opérationnelle. Ces travaux contribuent aujourd'hui à obtenir une information objective sur l'état du pilote ou détecter *in situ* les situations attentionnelles à risque (persévération, conflit, surdité inattentionnelle, etc.). Ces informations sont une voie d'entrée pour la conception de nouvelles interfaces humain-système non seulement plus sûres, mais aussi plus faciles à utiliser. C'est par ces aspects que j'ai pris la mesure réelle de ce qu'apporte la neuroergonomie par rapport aux neurosciences cognitives et l'ergonomie : étudier le cerveau en action pour concevoir des interfaces qui prennent en compte les *lois du travail*, mais aussi la manière dont le cerveau peut les superviser. Toutefois, j'ai souhaité montrer que tenir compte des caractéristiques du cerveau humain pour concevoir des systèmes plus sophistiqués, n'est pas la seule approche neuroergonomique.
Ainsi, dans une troisième thématique de recherche, j'ai montré que l'on pouvait améliorer la manière dont le cerveau peut intégrer les informations qui lui parviennent. L'entraînement cognitif, couplé ou non à une stimulation cérébrale non invasive, semble une approche prometteuse pour atténuer les troubles exécutifs, qu'ils soient transitoires ou chroniques. En permettant une meilleure efficience des réseaux neuronaux impliqués dans les fonctions exécutives, ce type d'intervention conduit à une meilleure performance comportementale en situation complexe (pour le sujet sain) ou au quotidien (pour le patient).

Ces travaux ont soulevé d'autres questions auxquelles je souhaite répondre aujourd'hui à travers mon projet de recherche. Celui-ci peut se décrire selon deux grands thèmes : **créer des modèles de l'efficience cognitive** et **créer de nouvelles méthodes d'entraînement cognitif**.
PERSPECTIVES DE RECHERCHE
<figure><img src="image_61.png" /></figure>
Pour évoquer mes perspectives, je commencerai par décrire l'orientation générale que je souhaite donner à mon projet de recherche. J'exposerai les différents défis et objectifs avant de présenter les travaux prévus à court et moyens termes.

Un premier point général concerne l'éthique et la qualité du travail que je souhaite mener. Depuis quelques années, les domaines des neurosciences et de la psychologie font face à une **crise majeure de reproductibilité**. Cette dernière est en effet un pilier majeur en sciences et certaines études ont essayé de l'estimer. Une collaboration de chercheurs en psychologie a ainsi répliqué 100 études et a démontré que seulement 36% de ces dernières avaient des résultats significatifs reproductibles (Collaboration, 2015). En neurosciences, de telles études commencent seulement à être mises en place (Pavlov et al., 2021), et il semble que les résultats seront similaires, avec un taux de reproductibilité estimé entre 30 et 50%. Les raisons de ce constat sont multiples, mais une des causes principale est la taille trop petite d'échantillon des études (médiane de 25 participants en neurosciences, par exemple, Button et al. 2013). En effet, de petits échantillons peuvent conduire à davantage de faux positifs, surtout si l'étude est exploratoire. Ainsi, un article récent (Marek et al., 2022) s'est appuyé sur une large base de données en neuroimagerie humaine (50 000 IRM fonctionnelles) qui a été ré-échantillonnée de 25 à plusieurs milliers de participants. Cette étude a montré que les résultats des faibles sous-échantillons (autour de 25 participants) n'avaient pas suffisamment de puissance statistique, et avaient donc des tailles d'effet gonflées, ainsi que davantage de faux positifs/négatifs. Le problème de la faible puissance statistique comporte également des dimensions éthiques : une recherche non fiable, non reproductible, est inefficace et dispendieuse. Pour répondre à cette problématique et améliorer la qualité de la science, les chercheurs de ces domaines ont proposé trois pistes : (a) augmenter les tailles d'échantillon, (b) partager de manière ouverte les données et (c) produire des Registered Reports (Button et al., 2013). J'entends travailler sur ces trois pistes à la fois. À court terme, un de mes projets concernera la constitution d'une **base de données multimodale** (imagerie cérébrale, anatomique et fonctionnelle, électrophysiologie, oculométrie, etc.) avec plus de 500 participants. Cette base de données sera ouverte au public pour permettre l'échange et la confrontation des méthodes d'analyse.
Parallèlement, nous avons défini les premières étapes méthodologiques de mutualisation et de partage de données d'imagerie cérébrale au sein de notre laboratoire, notamment pour les analyses de micro-états en EEG. Enfin, un premier *registered report* a été accepté dans la revue *Cortex* (première étape de l'acceptation de principe) et concerne une étude sur 140 participants en cours d'acquisition. Sur le long terme, je souhaite favoriser les études avec un nombre de participants conséquents avec, en particulier, des collaborations qui permettront des études multicentriques.

Un second point concerne mon interaction avec des acteurs impliqués dans l'élaboration de solutions appliquées. Deux axes majeurs m'intéressent particulièrement : la formation et le suivi des pilotes d'une part, et la réhabilitation fonctionnelle de patients d'autre part. Comme évoqué dans mes travaux (section 2.1.4), l'oculométrie et l'électrocardiographie sont des instruments à fort potentiel d'implémentation dans les cockpits d'avion avec un intérêt pour le suivi en ligne du pilote, mais aussi pour la formation. La société Hinfact, avec laquelle je collabore, s'intéresse à des **solutions de monitoring pour la formation des pilotes**. Elle s'est principalement intéressée à l'oculométrie et envisage aujourd'hui d'enrichir ses modèles d'état avec l'électrocardiographie. Ainsi, mes travaux sur l'analyse des données ECG en ligne trouveront un terrain d'application via cette collaboration. Un travail important doit être fait toutefois pour valider les métriques en lien avec l'état du pilote et franchir les différentes étapes d'intégration et de certification pour l'aéronautique. Sur le plan clinique enfin, je souhaite **renforcer mes liens avec les équipes de réhabilitation fonctionnelle** de patients cérébro-lésés. Le moyen le plus efficace pour y arriver est de pouvoir transférer les méthodes et le savoir acquis en recherche fondamentale, notamment en développant des outils de prises en charge innovants (entraînements cognitifs, stimulation cérébrale, approche statistique individualisée, etc.) ou en participant à la validation de nouveau outils (réalité virtuelle, Covirtua® par exemple). Un exemple concerne la création d'une boîte à outils prête à l'emploi sous forme de logiciel gratuit pour les cliniciens et les chercheurs pour pouvoir réaliser des acquisitions et analyses de données EEG dans les SCED. Ce projet nécessite, en outre, plusieurs validations méthodologiques (chaines de traitements) et fondamentales comme **l'évaluation et la modélisation des fonctions exécutives en situation écologique**. Au-delà des patients cérébro-lésés, ce travail pourrait concerner l'étude d'autres pathologies affectant les fonctions cognitives de haut niveau, telles que les troubles déficitaires de l'attention avec hyperactivité ou les patients schizophrènes, qui pourraient être abordées dans de futurs essais cliniques.

De manière globale, je souhaite orienter mes recherches dans les années à venir autour de deux grands axes 1) l'approche multifactorielle et écologique de l'efficience cognitive et 2) la mise en place et l'évaluation de nouvelles solutions d'entraînement pour les sujets sains et les patients dysexécutifs. Dans chaque axe, je souhaite développer des aspects fondamentaux et méthodologiques que je synthétise sur la figure suivante (Figure 1.1) et que je détaille dans les deux chapitres suivants. Ces aspects, en plus de leur intérêt propre, ont pour moi un intérêt primordial dans l'élaboration de solutions appliquées pour les populations ciblées.
<table><thead><tr><th>Evaluation de l'efficience cognitive</th><th colspan="3">Programmes d'entraînement</th></tr></thead><tbody><tr><td colspan="4"><strong>Fondamental</strong></td></tr><tr><td>Évaluation écologique des Fonctions exécutives<sup>1</sup><br>Sains, n=140</td><td>Modèles et prédiction de la performance<sup>2</sup><br>Sains, n>500</td><td rowspan="2"><strong>Entraînement</strong><br>effort d'écoute<sup>4</sup><br>Continuum état auditif<br>n=100</td><td rowspan="2"><strong>Neuromodulation</strong><br>flexibilité mentale<sup>7</sup></td></tr><tr><td>Marqueurs cérébraux de la performance au pilotage<sup>3</sup><br>Pilotes, n=60</td><td>Liens<br>Effort Écoute<br>&lt;-&gt; état auditif<sup>4</sup><br>Continuum état auditif,<br>n=100</td></tr><tr><td colspan="4"><strong>Méthodologie</strong></td></tr><tr><td>Evaluation des SCED chez le pilote<sup>5</sup><br>Pilotes, n=9*</td><td>Micro-états repos / en tâche</td><td><strong>ECG dans le cockpit<sup>6</sup></strong><br>Entraînement pilotes</td><td><strong>Électrophysiologie</strong><br>pour les SCED<sup>5</sup><br>Sains / Patients</td></tr><tr><td colspan="4"><strong>Applications</strong></td></tr><tr><td>Base de données multimodale ouverte<sup>2</sup><br>Sains, n>500</td><td>Concours<br>Algorithme de classification<sup>2</sup><br>Sains, n>500</td><td><strong>Programmes d'entraînement cognitif personnalisés</strong><br>Sains</td><td><strong>Logiciel d'analyse</strong><br>EEG/SCED<br>simplifié<br>Patients</td></tr><tr><td colspan="4"><strong>Instruments de financement</strong></td></tr><tr><td colspan="4">1. ANR-ASTRID MODEX (financement obtenu)</td></tr><tr><td colspan="4">2. ANR-ASTRID 2023 (dépôt de dossier)</td></tr><tr><td colspan="4">3. Projet école AID (financement obtenu)</td></tr><tr><td colspan="4">4. Thèse C.Hamery (financement MESRI obtenu)</td></tr><tr><td colspan="4">5. ANR-DGOS (dépôt 2022 / dépôt 2024)</td></tr><tr><td colspan="4">6. Développement avec la société Hinfact</td></tr><tr><td colspan="4">7. Thèse ONERA-ISAE 2023-2026 (dossier déposé à la FONISEN)</td></tr></tbody></table>

**Figure 1.1** – Schéma synthétique des projets initiés ou à venir. Sous chaque projet sont mentionnés en italique le type et la taille de la population cible envisagée quand ceux-ci sont disponibles.

* la taille d'échantillon n'est pas pertinente pour les expériences en SCED (voir section 3.2.3 pour plus de détails).
Ce premier axe de recherche a pour vocation d'aboutir à la construction de modèles robustes de l'efficience cognitive en tâche complexe. Pour cela, il sera nécessaire de disposer de nouvelles tâches et de nouveaux outils d'évaluation qui seront utilisés à travers des populations de grande taille. La validation expérimentale et statistique des outils développés, couplée à la robustesse des modèles basés sur les grands échantillons, permettraient de définir des normes en neuroergonomie (limites cognitives, distribution optimale d'information, etc.) et cliniques (référence écologique, suivi longitudinal de la rééducation des patients). Dans cet axe, je présenterai les moyens que je souhaite mettre en œuvre afin de valider l'utilisation de tâches complexes comme outil de mesure des fonctions exécutives ainsi que mon projet de mise en place et de validation d'une base de données multimodale.

## 2.1 Les tâches complexes comme outil de mesures des fonctions exécutives

Un premier travail planifié et de valider l'utilisation de tâches complexes comme outil de mesure de l'efficacité des fonctions exécutives. Actuellement, l'approche la plus courante est d'utiliser une batterie de tests pour évaluer individuellement les fonctions exécutives, puis de calculer un score global qui représente le fonctionnement exécutif. Cette approche présente au moins deux inconvénients majeurs. Premièrement, les fonctions exécutives sont perçues comme des processus indépendants et discrets, qui n'interagissent pas ensemble, ce qui ne représente pas la réalité (Miyake et al., 2000). Ensuite, les tâches existantes, telles que le N-back ou le Go/No-Go, peuvent être répétitives et conduire à une perte de motivation. En conséquences, un engagement moins important dans la réalisation de la tâche est parfois observé (Ryan & Deci, 2000). Ces deux limites conduisent à un biais dans l'évaluation de la performance. Pour palier ces défauts, il a été proposé de rendre ces tâches plus ludiques et notamment de les "gamifier" (Lumsden et al., 2016). Au préalable, il est toutefois nécessaire de valider statistiquement les fonctions qu'elles sollicitent.
## 2.1. Les tâches complexes comme outil de mesures des fonctions exécutives

### Buts du projet

* Disposer d'un outil d'évaluation écologique des fonctions exécutives

* Quantifier la solicitation des différentes fonctions exécutives par une tâche complexe

Ce travail a commencé avec l'utilisation du jeu vidéo Space Fortress (voir section 3.1.2) et le travail réalisé avec Quentin Chenot, en post-doctorat sous ma supervision. Pour valider ce jeu comme étant une mesure fiable et écologique du fonctionnement exécutif, il est nécessaire d'évaluer le degré de corrélation entre la performance à Space Fortress et la performance aux tâches exécutives.

Pour servir de référence, nous utiliserons les tâches proposées par Miyake et al. (2000) et une analyse de type CFA (Confirmatory Factor Analysis). Ce type d'analyse permet d'extraire une variable latente (non observable directement) en trouvant des modèles entre les variables observables (mesurables directement). Le modèle proposé distingue trois variables latentes des fonctions exécutives : 1) la mise à jour et le maintien des représentations en mémoire de travail, 2) l'inhibition des stimuli ou des plans moteurs non pertinents et 3) le "switching" ou alternance entre les tâches en cours (Figure 2.1).

<figure><img src="image_62.png" /><figcaption>**Figure 2.1** – Modèle estimé à trois facteurs de Miyake et al. (2000). Les flèches unidirectionnelles indiquent les poids standardisés ($p < 0,05$) entre les variables latentes et les variables mesurées. Les valeurs devant les flèches à gauche de la figure sont les termes d'erreur pour chaque tâche dont le carré donne une estimation de la variance de la tâche qui n'est pas expliquée par la variable latente. Les flèches courbées montrent les coefficients de corrélations significatifs entre les variables latentes.</figcaption></figure>
Ce modèle a été évalué et validé à travers neuf tâches cognitives, qui correspondent aux variables observables. Les auteurs ont montré que les fonctions exécutives ciblées sont partiellement interdépendantes avec des coefficients de corrélation allant de 0,4 à 0,6 entre les trois variables latentes, confirmant que le concept de fonctions exécutives présente à la fois "unité et diversité".

Une étude incluant 140 participants a été initiée pour confirmer la validité ce modèle et évaluer le degré de corrélation entre ces mesures et les scores obtenus à Space Fortress. Par la suite, les enseignements de ce projet nous permettront d'étendre cette approche à d'autres tâches complexes utilisées en neuroergonomie comme la MATB-II (Santiago-Espada et al., 2011).

## 2.2 Modèles de prédiction et d'estimation de la performance

Pouvoir prédire la performance cognitive ou comportementale sur la base de marqueurs psychophysiologiques est d'un intérêt majeur (Ayaz et al., 2019). De nombreuses applications en découlent telles que la prévention des états cognitifs dégradés, la mise en place de protocoles d'entraînements adaptés ou encore l'évaluation objective de l'apprentissage à des tâches complexes ou en récupération fonctionnelle. Les travaux présentés dans ce manuscrit montrent par exemple qu'il est possible de prédire un certain pourcentage de la performance à une tâche complexe à partir de l'activité cérébrale mesurée au repos (voir section 3.1.2 et section 3.1.1). Cependant, que ce soit dans ces travaux ou ceux de la littérature, la plupart des modèles statistiques d'évaluation et de prédiction manquent de données (petits échantillons) et de robustesse (approche basée sur une seule modalité). Pour pallier ces limites, une solution serait de construire une base de données multimodale incluant un large ensemble de mesures de l'activité et de l'anatomie cérébrale sur une population conséquente (n=500). En s'appuyant sur cette base de données, il sera alors possible de construire des modèles prédictifs complets et robustes de la performance humaine lors de tâches complexes. Cette base inclura notamment l'IRM anatomique et fonctionnelle, l'électroencéphalographie, l'électrocardiographie, la performance aux tâches ciblant les fonctions exécutives et la performance aux tâches complexes (Space Fortress / MATB-II). Un dossier de demande de financement ANR est en cours de rédaction pour répondre à l'appel ANR-ASTRID 2023.

### Buts du projet

- Construire une base de données multimodale de la performance cognitive en accès libre

- Créer des modèles normés de la performance cognitive

**Déterminer des normes psychophysiologiques.** Les normes tiennent une place importance dans certains domaines, comme la psychologie cognitive. Les résultats des tests de Quotient Intellectuels, par exemple, permettent une classification par rapport à la norme. Ils peuvent être utilisés dans le cadre de diagnostics, que ce soit de Haut Potentiel Intellectuels, ou encore de retards mentaux. Or, si nous connaissons les normes comportementales à certaines tâches cognitives, il n'existe pas, à ce jour, de normes physiologiques (p. ex. rythme cardiaque ou activité cérébral) de la performance humaine lors de tâches complexes.
Dans ce projet, les 500 participants prévus réaliseront un ensemble de tâches complexes pseudo-écologiques ou simulant des tâches du monde réel, telles que Space Fortress et la MATB-II. Leur activité physiologique sera mesurée lors de la réalisation de ces tâches complexes. Ainsi, la complémentarité des mesures au repos et en cours de réalisation de tâches permettra de déterminer les normes psychophysiologiques en lien avec la réalisation de ces tâches complexes.

Une base de données pour les Interfaces Cerveau-Ordinateur (ICO). Que ce soit en contexte opérationnel, d'apprentissage ou encore clinique, les ICO passives sont un des moyens les plus utilisés pour estimer les états mentaux (Lotte et al., 2007). Avec une interface passive, l'utilisateur ne module pas directement ou volontairement son activité cérébrale. Cette dernière est décodée pour surveiller un état psychophysiologique particulier comme la fatigue ou la charge mentale et servir d'entrée à un système d'alarme par exemple. L'utilisation de ce type d'interface reste cependant confrontée à certaines limites :

* L'effet multi-session : à quel point les résultats des ICO sont reproductibles d'une session à l'autre ?

* L'effet individuel : à quel point la psychologie et la physiologie d'un individu peut impacter l'efficacité des ICO ?

* L'effet tâche : est-ce qu'une ICO validée sur une tâche est transférable sur une autre tâche ?

* L'effet algorithme : quel est l'algorithme le plus performant ?

Chacune de ces limites est actuellement un obstacle pour l'utilisation des ICO en situations réelles, que ce soit dans un contexte clinique ou dans un contexte opérationnel (Roy et al., 2022). Créer une base de données multimodale permettra de quantifier précisément le poids de ces différentes limites, et notamment grâce à un nombre conséquent de participants, de sessions et de tâches proposées. De plus, étant donné les enjeux des ICO et le potentiel de la communauté scientifique travaillant sur ces thématiques, un concours international pourra être créé. Celui-ci pourrait permettre d'établir les algorithmes les plus fiables et les plus robustes pour estimer des états-mentaux optimaux tels que le flow (Csikszentmihalyi & Csikzentmihaly, 1990) ou dégradés comme la tunnelisation, le désengagement ou la fatigue. De tels concours ont permis des avancées majeures dans d'autres domaines nécessitant d'importants calculs algorithmiques (p. ex. le repliement des protéines Jumper et al. 2021).
# Modulation de la performance à travers le continuum cognitif

Ce second axe est aussi un axe transdisciplinaire qui a vocation à parcourir le continuum cognitif. Ainsi, j'envisage de continuer mon travail avec des participants sains, des pilotes d'avion en situation complexe et des patients cérébro-lésés. Quatre projets spécifiques et un projet de Chaire de mécénat sont amenés à voir le jour. Les trois premiers projets concernent la mise en place d'entraînements cognitifs particuliers, pour chacune des populations que je viens de mentionner. Le dernier projet porte sur l'évaluation méthodologique du transfert de méthodes cliniques vers la recherche fondamentale. Enfin, la chaire proposée portera sur les deux aspects d'évaluation et d'entraînement cognitif pour permettre une plus grande autonomie et un travail sur le long terme.

## 3.1 L'entraînement cognitif pour diminuer l'effort d'écoute

Pour rappel, l'effort d'écoute peut se définir comme la quantité de ressource attentionnelle auditive nécessaire pour la mise en place d'une intelligibilité du langage efficace au regard de la motivation à réaliser la tâche (Peelle, 2018). Nous avons vu que cet effort peut devenir particulièrement important dans un environnement sonore complexe – notamment en présence de plusieurs locuteurs qui parlent en même temps – au risque de compromettre la qualité de l'intelligibilité. Parallèlement, un état auditif altéré (p. ex. un traumatisme sonore) ou une fatigue trop importante, peuvent réduire la qualité de communication, mettre une mission en péril et augmenter les risques pour l'opérateur et les personnes qui en dépendent (p. ex. militaires ou pilotes d'avions). Nos résultats (voir section 1.3.2, 3.2.1 et Figure 3.8) montrent que l'IFG est impliqué dans les processus cognitifs de la gestion de cet effort. Nos hypothèses suggèrent que c'est par son rôle d'inhibiteur des schémas dominants non pertinents qu'il contribue à filtrer les informations auditives pour une meilleure intelligibilité. Un projet a donc été construit pour tester ces hypothèses et fait l'objet d'un financement doctoral pour la thèse de Mme Caroline Hamery et une collaboration avec l'IRBA.
## Buts du projet

* Mettre en place et évaluer de nouveaux protocoles d'entraînement cognitif pour réduire l'effort d'écoute

* Quantifier les liens entre l'état auditif d'une personne et son effort d'écoute en situation complexe

**Recherche fondamentale.** Le travail proposé ici a donc pour but fondamental de mettre en évidence la relation entre l'inhibition et l'effort d'écoute en situation multilocuteur et de l'utiliser à des fins pratiques en termes d'amélioration de performance d'écoute chez les opérateurs de systèmes à risque. Nous proposons une adaptation de l'entraînement cognitif développé précédemment (section 3.2.1), dans le but de sélectionner et d'entraîner les fonctions exécutives qui sous-tendent l'effort d'écoute. L'efficacité d'un tel entraînement en termes de réduction de l'effort d'écoute et de l'amélioration de la performance en multitâche sera évaluée sur des participants sains, et des militaires (recrutement et passation via l'IRBA à Brétigny-sur-Orge), à la fois sur le plan comportemental, subjectif et neurophysiologique.

**Effort d'écoute et état auditif.** Un autre aspect important de ce projet et qu'il a vocation à apporter des éléments de réponses sur le lien entre l'état auditif d'une personne (audiométrie, lésion cachée, etc.) et l'effort d'écoute. Les participants recrutés passeront un bilan auditif complet comprenant, notamment, l'audiométrie, la mesure des otoémissions acoustiques et les potentiels évoqués auditifs du tronc cérébral. Cette cartographie précise sera utilisée pour créer un modèle "clinique" de l'effort d'écoute.

**Les micro-états en EEG comme marqueurs de l'effort d'écoute.** Comme pour le projet sur la création de modèles de la performance cognitive, nous souhaitons évaluer le lien entre la dynamique spatio-temporelle cérébrale au repos et l'effort d'écoute en tâche à travers les métriques des micro-états (Michel & Koenig, 2018; Cai et al., 2019). Cette mesure servira aussi de marqueurs de l'évolution de l'apprentissage suite à l'entraînement.

Au-delà des connaissances fondamentales, les résultats apportés par ce travail de thèse pour-ront mener au développement d'applications portables ayant un potentiel d'intégration dans les formations des opérateurs de systèmes à risque. L'objectif étant, par la suite, de prévenir les efforts d'écoute trop importants en proposant une meilleure intégration des outils de communication. De plus, la mise en place d'un système de soutien entraînant les militaires à réduire les effets des pertes auditives, inhérentes à leur activité, profiterait à d'autres populations. Ce travail poserait ainsi les bases génériques de systèmes personnalisés pour les domaines dans lesquels l'intelligibilité de la parole est un facteur déterminant dans la sécurité et la réussite de la mission de l'opérateur (p. ex. conducteurs de trains, automobile, missions spatiales). L'entraînement de fonctions cognitives permettra une adaptation au monde réel de façon à renouveler les méthodes de communication des opérateurs de système à risque et améliorer les conditions de vie de personnes montrant des troubles auditifs.
## 3.2 L'entraînement cognitif chez le pilote

Bien que la formation des pilotes soit efficace pour gérer la plupart des situations critiques, son apport reste limité lorsqu'il s'agit de faire face à des situations nouvelles qui, par définition, n'ont jamais été présentées. La problématique d'un maintien efficace des fonctions exécutives se présente donc à deux niveaux. En amont des situations opérationnelles, au niveau de la formation des pilotes et au cours de l'activité de pilotage elle-même. Il semble donc pertinent d'essayer d'intervenir sur ces deux niveaux. En collaboration avec le Professeur Frédéric Dehais et à travers l'encadrement de deux chercheurs post-doctoraux (M. Quentin Chenot et M. Ludovic Darmet), il a été proposé de mettre en place un programme de recherche visant à agir à ces deux niveaux. Nous avons obtenu un financement de l'AID (Agence Innovation Défense) pour un projet sur l'entraînement cognitif du pilote dans la problématique générale de la coopération homme-machine et de l'interaction adaptative en particulier. Le projet Power Brain a trois ambitions principales.

**Développer de nouveaux paradigmes** de neuromodulation pour améliorer la flexibilité mentale et les capacités attentionnelles des pilotes. L'enjeu sera d'évaluer leurs effets en comparant la performance de pilotage en situation complexe entre les sessions pré et post-neuromodulation sur trois groupes de pilotes.

**Identifier des marqueurs cérébraux** de la performance au pilotage. Nous utiliserons différents marqueurs prédictifs de la performance tels que les métriques en électroencéphalographie (micro-états et puissance thêta) et de variations comportementales (performances aux tâches). Enfin, une approche en modélisation par équations structurelles (SEM) permettra de quantifier les contributions des fonctions exécutives ciblées aux différentes tâches écologiques.

**Réaliser des expérimentations selon le continuum expérimental**, en suivant une démarche neuroergonomique où les participants seront placés dans un gradient écologique, depuis des tâches fondamentales de laboratoire, vers un micro-monde de pilotage (MATB-II) et un simulateur sur vérin, jusqu'à des expérimentations en vol réel dans la plateforme volante de l'ISAE-SUPAERO. L'objectif est d'amener progressivement les pilotes dans des situations les plus proches possibles de la réalité, pour valider l'apport de la neuromodulation dans la gestion des situations opérationnelles complexes.

### Buts du projet

* Développer de nouveaux paradigmes de neuromodulation pour améliorer la flexibilité mentale

* Identifier des marqueurs cérébraux de la performance au pilotage

Soixante pilotes seront répartis à travers trois groupes : groupe neurostimulation + entraînement cognitif (G1), groupe entraînement cognitif seul (G2), et groupe contrôle (G3). Tous réaliseront une session de référence permettant de recueillir leur score en fonctions exécutives (batterie des neuf tâches de Miyake et al. 2000) et aux tâches Space Fortress et MATB-II, ainsi que leur performance de base dans la gestion de vols critiques en simulateur (Figure 3.1).
Au cours des 10 séances suivantes, les pilotes des groupes 1 et 2 recevront un entraînement aux tâches complexes seul (G2) ou couplé à une stimulation tRNS-HD du DLPFC droit (G1) avec les paramètres utilisés dans nos études précédentes (sections 3.2.2 et 3.2.3). Le groupe contrôle réalisera des tâches de lectures pendant les 10 séances. Enfin, deux séances (court et long termes) permettront d'évaluer les effets de transferts potentiels en simulateurs lors de nouveaux scénarios vol.

<figure><img src="image_63.png" /><figcaption>**Figure 3.1** – Schéma du protocole expérimental pour l'entraînement des pilotes. Les sessions des semaines 1, 7 et 11 sont identiques et correspondent respectivement à la session de référence, l'évaluation à court terme et l'évaluation à long terme. L'entraînement cognitif couplé ou non à la stimulation se fera sur 10 séances au cours de 6 semaines.</figcaption></figure>

Sur la base de nos résultats précédents (section 3.2.2 et 3.2.3), l'hypothèse principale dans ce projet stipule que l'application répétée de la tRNS-HD sur le DLPFC droit lors de l'entraînement cognitif conduira à un gain plus important en performances de gestion de vol en simulateur (pourcentage d'alarmes correctement détectées) que chez les deux autres groupes. L'hypothèse secondaire stipule que cette différence de gain sera quantifiable sur le plan neurophysiologique en termes de modification des paramètres des micro-états évalués en EEG au repos. Une variante de ce projet est en cours de construction au sein d'une collaboration avec le docteur Stefania Ficarella de l'ONERA, pour laquelle nous avons déposé une demande de financement de thèse intitulée : *Mitiger les effets nocifs du stress sur la prise de décision : effets combinés de la stimulation cérébrale et vagale non invasives.*
## 3.3 L'entraînement cognitif chez le patient

Les premiers travaux que nous avons initiés avec le CHU de Rangueil (Pr. Xavier De Boissezon et thèse de Mme Claire Lebely) ont permis de montrer que l'approche expérimentale en analyse de multiple cas uniques (SCED) était adaptée à l'étude des patients cérébro-lésés (voir section 3.2.3). Si cette méthode pallie certains défauts des essais cliniques courants, elle a révélé dans notre cas l'importance cruciale du choix de la variable dépendante qui est mesurée de manière répétée tout au long du protocole. Nous avons utilisé les objectifs GAS (Krasny-Pacini et al., 2013) car ils permettent d'avoir une variable sans effet plafond et sont mesurables régulièrement. Toutefois, pour certains d'entre eux, le recueille des résultats s'est avéré difficile ou impossible. Prenons l'exemple d'un objectif de reprise d'une activité de jardinage. Celle-ci sera dépendante des conditions météorologiques. Il y a donc certains critères importants à respecter pour le choix de cette mesure. Une revue de la littérature que nous avons faite<fnref n="1" /> sur les critères de jugements principaux utilisés en SCED nous a permis de définir certains de ces critères.

La mesure répétée des SCED doit viser à satisfaire le maximum des conditions suivantes pour permettre une interprétation fiable : 1) être robuste aux effets de répétition et d'habituation ; 2) être sensible au changement ; 3) être suffisamment courte, facile à administrer ; 4) ne pas être trop fatigante ou ennuyeuse pour le patient ; 5) être exempte d'effet Hawthorne (Adair, 1984) et de contraintes environnementales (l'effet spécifique de l'intervention doit être séparable) ; 6) ne pas entraîner les processus cognitifs ciblés ; et si possible 7) les expérimentateurs doivent être aveugles à l'étape du protocole. La sélection du résultat le plus pertinent est donc une étape clé de la qualité de l'étude et essentielle pour conclure sur l'effet de l'intervention.

Pour concevoir et évaluer la pertinence d'une telle mesure chez le patient (et par extension chez le sujet sain) un projet a été présenté à l'appel ANR-DGOS qui a pour vocation de financer des projets translationnels. La campagne 2022 n'a pas conduit au financement, mais le projet sera amélioré et représenté en 2023.

### Buts du projet

* Mettre en place une nouvelle méthode d'évaluation des effets d'une intervention cognitive

* Évaluer la pertinence des mesures électrophysiologiques comme mesure répétée dans les SCED

**Les mesures électrophysiologiques pour les SCED.** Dans la perspective de créer une mesure robuste pour les SCED, nous nous intéresserons en particulier à l'activité cérébrale et notamment au repos. Dans ce projet, nous utiliserons des mesures EEG, telles que la puissance spectrale des bandes de fréquences alpha et thêta et les paramètres spatio-temporels des micro-états au repos, pour quantifier une progression fonctionnelle chez des patients dysexécutifs pris en charge par une intervention cognitive (Borghini et al., 2014; Makeig & Inlow, 1993; Santarnecchi et al., 2017). Des premières analyses sont en cours (voir Figure 3.2 par exemple).

<footnote n="1">1. En cours de soumission au moment de l'écriture de ce manuscrit</footnote>
### 3.3. L'entraînement cognitif chez le patient

Pour faire le lien avec l'évolution du fonctionnement exécutif des patients au cours de leur prise en charge, une tâche comportementale répondant aux critères présentés ci-dessus servira aussi de mesure répétée dans le SCED. Un travail de prospection est encore nécessaire pour cette dernière, mais les premières pistes convergent vers une tâche de mémoire de travail dans laquelle il n'y a pas d'apprentissage.

<figure><img src="image_64.png" /><figcaption>**Figure 3.2 – Haut.** Cartographies prototypiques des 4 micro-états obtenues à partir de la littérature (Michel & Koenig, 2018). **Bas.** Premières analyses de faisabilité chez des trois patients cérébro-lésés.</figcaption></figure>

Parmi les défis que soulèvent un tel projet, l'un d'entre eux tient au fait que les cartographies des micro-états de référence (A, B, C et D) risque d'être modifiées pour certains patients par rapport au cerveau sain. Toute différence observée pourrait être liée au type de lésion qui va modifier le nombre et l'organisation des dipôles électromagnétiques ainsi que la diffusion du champ électrique mesuré par l'EEG. Il sera intéressant alors d'établir le lien entre cette modification fonctionnelle et la réorganisation anatomique suite à la lésion telle qu'observable en IRMF anatomique. Ces données pourront d'ailleurs être inclus dans le projet de modélisation dont nous avons parlé plus haut (section 2.2).
## 3.4 Protocoles en ligne de base multiple pour la neuroergonomie

L'utilisation des SCED en clinique est apparu évident compte tenu de l'hétérogénéité des populations étudiées. Après avoir approfondi nos connaissances sur le choix des critères de jugement et les analyses statistiques les plus adaptées, l'idée d'utiliser ce type de design expérimental dans d'autres protocoles en neuroergonomie est née. En effet, l'étude de groupe avec des participants sains pose aussi certains problèmes que les SCED peuvent résoudre. Lorsqu'il s'agit d'évaluer l'effet d'un entraînement ou d'une interface de gestion par exemple, il est nécessaire de constituer des groupes contrôles avec une population parfois difficile à recruter. De la même façon, il pourrait être intéressant d'appliquer cette méthode dans les étapes initiale de conception d'un projet pour vérifier sur quelques participants si nos hypothèses ont des chances de pouvoir être validées. Valider cette méthode avec des pilotes par exemple serait donc un gain de temps et de simplicité d'expérimentation. Ce projet correspond au pendant plus fondamental du projet sur l'utilisation des mesures électrophysiologiques pour les SCED avec les patients (section 3.3).

### Buts du projet

* Valider l'utilisation des SCED pour la recherche en neuroergonomie

* Quantifier l'effet d'un entraînement cognitif à l'échelle individuelle

**Protocole envisagé.** Trois ensembles de 3 participants seront inclus dans un SCED en ligne de base multiple (A1-B-A2) sur 12 semaines au cours desquelles l'EEG au repos sera enregistré deux fois par semaine. Des mesures comportementales continues et pré-post seront également enregistrées pour être comparées aux résultats de l'EEG et pour attester de la relation entre les modifications cérébrales et l'amélioration du comportement. Quarante-huit sessions et 24 mesures répétées seront effectuées pour chaque participant (soit un total de 432 sessions d'entraînement et 216 enregistrements EEG). Le jeu vidéo Space Fortress (SF) a été choisi comme tâche d'entraînement complexe en raison de sa capacité à améliorer les fonctions cognitives non entraînées (Boot et al., 2010) et à modifier la connectivité fonctionnelle au sein des réseaux du contrôle attentionnel et exécutif (Voss et al., 2012). De plus, nos travaux ont montré que la performance comportementale à SF pouvait être prédite par cette connectivité fonctionnelle (Chenot et al., 2021). L'entraînement cognitif (phase B) consistera en quatre séances de 45 min de SF pendant 4 semaines. Pour les phases de ligne de base (A1) et de rétention (A2), les participants joueront à la version simplifiée (monotâche), nécessitant principalement des capacités visuospatiales. Cette tâche servira d'entraînement témoin avec une faible implication du contrôle attentionnel. Enfin, deux fois par semaine, et tout au long de l'expérience, un dispositif EEG à 64 électrodes sera utilisé pour enregistrer l'activité cérébrale spontanée durant 6 minutes au repos. Le prétraitement approprié d'extraction des micro-états sera appliqué conformément à nos travaux précédents pour obtenir les durées et les occurrences des micro-états C et D en particulier. Les résultats de l'effet de l'intervention seront évalués statistiquement par une comparaison des paramètres des micro-états à travers les phases du SCED en utilisant le Tau-U (Manolov et al., 2014).
3.4. Protocoles en ligne de base multiple pour la neuroergonomie

<figure><img src="image_65.png" /></figure>

**Figure 3.3** – Illustration du protocole envisagé pour l’évaluation des SCED chez les participants sains. **Phase A1** (ligne de base, en bleu). Version monotâche de Space Fortress. **Phase B** (intervention, en rose). Entraînement cognitif avec Space Fortress multitâche. **Phase A2** (rétention, en vert). Version monotâche Space Fortress. Pour chaque semaine (c.-à-d. chaque rectangle), quatre sessions d’entraînement et deux sessions de mesures EEG + tâche comportementale seront faites. T1 à T4 : Évaluations longitudinales supplémentaires.
## 3.5 Une chaire pour l'entraînement cognitif

Pour clore la description de ces perspectives de recherche, je souhaiterais présenter un projet de chaire de mécénat pour soutenir le développement de l'entraînement cognitif. Quelques mois avant le premier volet de la crise sanitaire de 2019, des échanges avec la SNCF avaient conduit à un premier accord pour la mise en place d'une chaire de mécénat sur le sujet du *Neurotraining*. En effet, nos potentiels partenaires à la SNCF étaient intéressés par les mêmes problématiques que nous, à savoir l'évaluation de la charge mentale de leur conducteur de train et l'amélioration de leur formation. Malheureusement, les conditions de cette crise ont empêché la finalisation de la convention. Aujourd'hui, avec l'aide de la fondation ISAE-SUPAERO, nous prospectons pour mettre en place un nouveau partenariat avec un industriel qui pourrait bénéficier des connaissances et des développements liés à l'entraînement cognitif pour contribuer à une avancée significative dans ce domaine.

Le projet de mise en place d'une telle chaire est dans la continuité des travaux réalisés chez le pilote et le patient dysexécutif dans le sens où il est le transfert logique des savoir-faire acquis vers d'autres populations. Il regroupe différents aspects de l'évaluation de la performance cognitive et de l'amélioration de cette dernière. La différence majeure de ce type de soutien à la recherche par rapport aux financements évoqués plus haut est qu'il permet une plus grande autonomie, un travail sur le long terme (5, voire 10 ans), et potentiellement un élargissement de son groupe de recherche, à l'instar de la chaire de neuroergonomie portée par le professeur Frédéric Dehais<fnref n="2" />. Cette chaire serait l'occasion de développer une recherche académique originale en neurotraining, avec un intérêt particulier pour les problématiques d'attention.

Comme pour notre modèle du pilote d'avion qui fait face à un cockpit de plus en plus sophis-
tiqué, les modes de communication ont connu ces dernières années une croissance exponentielle
via l'explosion des médias sociaux et l'utilisation de nouvelles interfaces de communication, de
gestion et d'enseignement (Voogt et al., 2013; Sarkar, 2012; Xu et al., 2022). Ces modes, ainsi
que la masse d'informations qu'ils génèrent, sont susceptibles de créer de nouvelles sources de
distraction, d'augmenter la charge mentale et d'induire de la fatigue. Ces facteurs peuvent alors
impacter les activités cognitives et conduire à un problème important de manque d'attention, qui
perturbe l'apprentissage et les processus de prise de décision. Il est donc nécessaire aujourd'hui de
bien comprendre la manière dont ces perturbations modifient les activités cérébrales afin d'amé-
liorer les méthodes d'enseignement et de formation, ainsi que les environnements d'apprentissage
et de travail.

<footnote n="2">2. https://www.axa-research.org/en/project/frederic-dehais</footnote>
## Buts de la chaire

* Faciliter les processus cérébraux impliqués dans l'apprentissage cognitif

* Objectiver les processus relatifs à l'apprentissage et mettre en place des entraînements cognitifs adaptés aux populations cibles (étudiants, apprenants, opérateurs, etc.)

* Diffusion des connaissances auprès d'acteurs majeurs de l'éducation et de la formation

Cette approche pourrait apporter un nouvel éclairage sur le comportement humain, en situation de stress et de charge de travail importante, dans les domaines de l'éducation (élèves, étudiants), de la formation (opérateurs, apprenants) ou du divertissement (jeux, réseaux sociaux). Cela peut se concrétiser par exemple par la création de méthodes d'enseignement, d'apprentissage, ainsi que de contenus pédagogiques. L'analyse de marqueurs cérébraux de l'apprentissage permettrait de comprendre les troubles d'attention, de concentration, de mémorisation, de motivation et/ou de créativité en lien avec l'assimilation de ces informations et d'adapter ainsi la formation sur le plan individuel.
Adair, J. G. (1984). The hawthorne effect : a reconsideration of the methodological artifact. *Journal of applied psychology*, 69(2), 334.

Alain, C., Du, Y., Bernstein, L. J., Barten, T., & Banai, K. (2018). Listening under difficult conditions : An activation likelihood estimation meta-analysis. *Human brain mapping*, 39(7), 2695–2709.

Alais, D., & Burr, D. (2004). The ventriloquist effect results from near-optimal bimodal integration. *Current biology*, 14(3), 257–262.

Almquist, J. N.-F., Mathan, S., Brem, A.-K., Plessow, F., McKanna, J., Santarnecchi, E., ... Yeung, N. (2019). Fast : A novel, executive function-based approach to cognitive enhancement. *Frontiers in human neuroscience*, 13, 235.

Appel, G. (2005). *Technical analysis : power tools for active investors*. FT Press.

Au, J., Sheehan, E., Tsai, N., Duncan, G. J., Buschkuehl, M., & Jaeggi, S. M. (2015). Improving fluid intelligence with training on working memory : a meta-analysis. *Psychonomic bulletin & review*, 22(2), 366–377.

Ayaz, H., Curtin, A., Mark, J., Kraft, A., & Ziegler, M. (2019). Predicting future performance based on current brain activity : An fnirs and eeg study. In *2019 ieee international conference on systems, man and cybernetics (smc)* (pp. 3925–3930).

Billings, C. E., & Cheaney, E. S. (1981). *Information transfer problems in the aviation system* (Rapport technique). CA, United States : NASA Ames Research Center Moffett Field.

Blix, A., Stromme, S., & Ursin, H. (1974). Additional heart rate–an indicator of psychological activation. *Aerospace medicine*, 45(11), 1219–1222.

Boeing, J. (2010). *Statistical summary of commercial jet airplane accidents worldwide operations 1959–2009* (Rapport technique). Seattle, USA : Technical Report, Aviation Safety Boeing Commercial Airplanes.

Bolia, R. S., Nelson, W. T., Ericson, M. A., & Simpson, B. D. (2000). A speech corpus for multitalker communications research. *The Journal of the Acoustical Society of America*, 107(2), 1065–1066.

Boot, W. R., Basak, C., Erickson, K. I., Neider, M., Simons, D. J., Fabiani, M., ... others (2010). Transfer of skill engendered by complex task training under conditions of variable priority. *Acta psychologica*, 135(3), 349–357.

Borghini, G., Astolfi, L., Vecchiato, G., Mattia, D., & Babiloni, F. (2014). Measuring neurophysiological signals in aircraft pilots and car drivers for the assessment of mental workload, fatigue and drowsiness. *Neuroscience & Biobehavioral Reviews*, 44, 58–75.
Brem, A.-K., Almquist, J. N.-F., Mansfield, K., Plessow, F., Sella, F., Santarnecchi, E., ... Mathan, S. (2018). Modulating fluid intelligence performance through combined cognitive training and brain stimulation. *Neuropsychologia, **118*, 107–114.

Bronkhorst, A. W. (2015). The cocktail-party problem revisited: early processing and selection of multi-talker speech. *Attention, Perception, & Psychophysics*, 77(5), 1465–1487.

Brungart, D. S. (2001). Informational and energetic masking effects in the perception of two simultaneous talkers. *The Journal of the Acoustical Society of America, **109**(3), 1101–1109.

Brungart, D. S., & Simpson, B. D. (2008). Design, validation, and in-flight evaluation of an auditory attitude indicator based on pilot-selected music.

Buttelmann, F., & Karbach, J. (2017). Development and plasticity of cognitive flexibility in early and middle childhood. *Frontiers in psychology, **8***, 1040.

Button, K. S., Ioannidis, J., Mokrysz, C., Nosek, B. A., Flint, J., Robinson, E. S., & Munafò, M. R. (2013). Power failure : why small sample size undermines the reliability of neuroscience. *Nature reviews neuroscience*, **14**(5), 365–376.

Cai, Y., Chen, S., Chen, Y., Li, J., Wang, C.-D., Zhao, F., ... others (2019). Altered resting-state eeg microstate in idiopathic sudden sensorineural hearing loss patients with tinnitus. *Frontiers in Neuroscience, **13***, 443.

Cain, B. (2007). A review of the mental workload literature. *RTO-TR-HFM*.

Callan, D. E., Durantin, G., & Terzibas, C. (2015). Classification of single-trial auditory events using dry-wireless eeg during real and motion simulated flight. *Frontiers in systems neuroscience, **9***, 11.

Campbell, M., Toth, A., Moran, A., Kowal, M., & Exton, C. (2018, 10). esports : A new window on neurocognitive expertise?. doi: 10.1016/bs.pbr.2018.09.006

Cassoudesalle, H., Scannella, S., Pariente, J., Lotterie, J., Celsis, P., Castel-Lacanal, E., ... Pastor, J. (2015). The behavioral and electrophysiological effects of posterior parietal cortex damage in spatial audio-visual conflict. *Annals of Physical and Rehabilitation Medicine, **58***, e29–e30.

Castaldo, R., Montesinos, L., Wan, T. S., Serban, A., Massaro, S., & Pecchia, L. (2017). Heart rate variability analysis and performance during a repeated mental workload task. In *Embec & nbc 2017* (pp. 69–72). Springer.

Causse, M., Dehais, F., & Pastor, J. (2011). Executive functions and pilot characteristics predict flight simulator performance in general aviation pilots. *The International Journal of Aviation Psychology, **21**(3), 217–234.

Chenot, Q., Lepron, E., De Boissezon, X., & Scannella, S. (2021). Functional connectivity within the fronto-parietal network predicts complex task performance : A fnirs study. *Frontiers in Neuroergonomics*, 22.

Cherry, E. C. (1953). Some experiments on the recognition of speech, with one and with two ears. *The Journal of the acoustical society of America, **25**(5), 975–979.

Cicerone, K. D., Goldin, Y., Ganci, K., Rosenbaum, A., Wethe, J. V., Langenbahn, D. M., ... others (2019). Evidence-based cognitive rehabilitation : systematic review of the literature from 2009 through 2014. *Archives of physical medicine and rehabilitation, **100**(8), 1515–1533.

Clark, L., & Manes, F. (2004). Social and emotional decision-making following frontal lobe injury. *Neurocase, **10**(5), 398–403.

Colavita, F. B. (1974). Human sensory dominance. *Perception & Psychophysics*, **16**(2), 409–412.

Cole, M. W., & Schneider, W. (2007). The cognitive control network : Integrated cortical regions with dissociable functions. *Neuroimage*, **37**(1), 343–360.

Cole, M. W., Yarkoni, T., Repovš, G., Anticevic, A., & Braver, T. S. (2012). Global connectivity of prefrontal cortex predicts cognitive control and intelligence. *Journal of Neuroscience*, **32**(26), 8988–8999.
Colflesh, G. J., & Conway, A. R. (2007). Individual differences in working memory capacity and divided attention in dichotic listening. *Psychonomic bulletin & review, 14*(4), 699-703.

Collaboration, O. S. (2015). Estimating the reproducibility of psychological science. *Science, 349*(6251), aac4716.

Collyer, S. C., & Malecki, G. S. (1998). Tactical decision making under stress : History and overview. *Making decisions under stress : Implications for individual and team training, 3-15.*

Combrisson, E., & Jerbi, K. (2015). Exceeding chance level by chance : The caveat of theoretical chance levels in brain signal classification and statistical assessment of decoding accuracy. *Journal of neuroscience methods, 250*, 126-136.

Cortes, C., & Vapnik, V. (1995). Support-vector networks. *Machine learning, 20*(3), 273-297.

Csikszentmihalyi, M., & Csikzentmihaly, M. (1990). *Flow : The psychology of optimal experience* (Vol. 1990). Harper & Row New York.

Dahlstrom, N., Nahlinder, S., Wilson, G. F., & Svensson, E. (2011). Recording of psychophysiological data during aerobatic training. *The International journal of aviation psychology, 21*(2), 105-122.

Dalton, P., & Fraenkel, N. (2012). Gorillas we have missed : Sustained inattentional deafness for dynamic events. *Cognition, 124*(3), 367-372.

Damoiseaux, J. S., Rombouts, S., Barkhof, F., Scheltens, P., Stam, C. J., Smith, S. M., & Beckmann, C. F. (2006). Consistent resting-state networks across healthy subjects. *Proceedings of the national academy of sciences, 103*(37), 13848-13853.

Daskalakis, Z. J., Christensen, B. K., Fitzgerald, P. B., Roshan, L., & Chen, R. (2002). The mechanisms of interhemispheric inhibition in the human motor cortex. *The Journal of physiology, 543*(1), 317-326.

Datta, A., Elwassif, M., Battaglia, F., & Bikson, M. (2008). Transcranial current stimulation focality using disc and ring electrode configurations : Fem analysis. *Journal of neural engineering, 5*(2), 163.

Dehais, F., Causse, M., & Pastor, J. (2010). Toward the definition of a pilot's physiological state vector through oculometry : a preliminary study in real flight conditions. *Proceedings of HCI Aero. Available online at : http://mickael.causse.free.fr/medias/publis/HCI_dehais_causse_pastor.pdf* (Accessed August 24, 2016).

Dehais, F., Causse, M., Vachon, F., & Tremblay, S. (2012). Cognitive conflict in human-automation interactions : a psychophysiological study. *Applied ergonomics, 43*(3), 588-595.

Di Nocera, F., Camilli, M., & Terenzi, M. (2007). A random glance at the flight deck : Pilots' scanning strategies and the real-time assessment of mental workload. *Journal of Cognitive Engineering and Decision Making, 1*(3), 271-285.

Edworthy, J., Loxley, S., & Dennis, I. (1991). Improving auditory warning design : Relationship between warning sound parameters and perceived urgency. *Human factors, 33*(2), 205-231.

Endsley, M. R. (1999). Situation awareness in aviation systems. *Handbook of aviation human factors, 257, 276.*

Endsley, M. R. (2021). Situation awareness. *Handbook of human factors and ergonomics, 434-455.*

Fairclough, S., Ewing, K., Burns, C., & Kreplin, U. (2019). Neural efficiency and mental workload : locating the red line. In *Neuroergonomics* (pp. 73-77). Elsevier.

Fertonani, A., & Miniussi, C. (2017). Transcranial electrical stimulation : what we know and do not know about mechanisms. *The Neuroscientist, 23*(2), 109-123.

Fioratou, E., Flin, R., Glavin, R., & Patey, R. (2010). Beyond monitoring : distributed situation awareness in anaesthesia. *British journal of anaesthesia, 105*(1), 83-90.

Godefroy, O., Azouvi, P., Robert, P., Roussel, M., LeGall, D., Meulemans, T., & of the Groupe de Réflexion sur l'Evaluation des Fonctions Exécutives Study Group, B. (2010). Dysexecutive syndrome : diagnostic criteria and validation study. *Annals of neurology, 68*(6), 855-864.
Goldberg, J. H., & Kotval, X. P. (1999). Computer interface evaluation using eye movements : methods and constructs. *International journal of industrial ergonomics, 24*(6), 631–645.

Hampshire, A., Chamberlain, S. R., Monti, M. M., Duncan, J., & Owen, A. M. (2010). The role of the right inferior frontal gyrus : inhibition and attentional control. *Neuroimage, 50*(3), 1313–1319.

Hankins, T. C., & Wilson, G. F. (1998). A comparison of heart rate, eye activity, eeg and subjective measures of pilot mental workload during flight. *Aviation, space, and environmental medicine, 69*(4), 360–367.

Harty, S., & Cohen Kadosh, R. (2019). Suboptimal engagement of high-level cortical regions predicts random-noise-related gains in sustained attention. *Psychological science, 30*(9), 1318–1332.

Hermann, T., Hunt, A., & Neuhoff, J. G. (2011). *The sonification handbook*. Logos Verlag Berlin.

Homan, R. W., Herman, J., & Purdy, P. (1987). Cerebral location of international 10–20 system electrode placement. *Electroencephalography and clinical neurophysiology, 66*(4), 376–382.

ICAO, D. (2006). *8168, “procedures for air navigation services-aircraft operations (pansops)”*. International Civil Aviation Organization (ICAO), Montréal.

Ihlefeld, A., & Shinn-Cunningham, B. (2008). Spatial release from energetic and informational masking in a selective speech identification task. *The Journal of the Acoustical Society of America, 123*(6), 4369–4379.

Johnsrude, I. S., & Rodd, J. M. (2016). Factors that increase processing demands when listening to speech. *Neurobiology of language, 49*–502.

Jolles, D. D., & Crone, E. A. (2012). Training the developing brain : a neurocognitive perspective. *Frontiers in human neuroscience, 6*, 76.

Jumper, J., Evans, R., Pritzel, A., Green, T., Figurnov, M., Ronneberger, O., ... others (2021). Highly accurate protein structure prediction with alphafold. *Nature, 596*(7873), 583–589.

Karahanoğlu, F. I., & Van De Ville, D. (2015). Transient brain activity disentangles fmri resting-state dynamics in terms of spatially and temporally overlapping networks. *Nature communications, 6*(1), 1–10.

Komogortsev, O. V., & Karpov, A. (2013). Automated classification and scoring of smooth pursuit eye movements in the presence of fixations and saccades. *Behavior research methods, 45*(1), 203–215.

Kramer, A. F., Trejo, L. J., & Humphrey, D. (1995). Assessment of mental workload with task-irrelevant auditory probes. *Biological psychology, 40*(1-2), 83–100.

Krasny-Pacini, A., & Evans, J. (2018). Single-case experimental designs to assess intervention effectiveness in rehabilitation : A practical guide. *Annals of physical and rehabilitation medicine, 61*(3), 164–179.

Krasny-Pacini, A., Hiebel, J., Pauly, F., Godon, S., & Chevignard, M. (2013). Goal attainment scaling in rehabilitation : a literature-based update. *Annals of physical and rehabilitation medicine, 56*(3), 212–230.

Kray, J., Karbach, J., Haenig, S., & Freitag, C. (2012). Can task-switching training enhance executive control functioning in children with attention deficit/-hyperactivity disorder? *Frontiers in human neuroscience, 5*, 180.

Kuo, H.-I., Bikson, M., Datta, A., Minhas, P., Paulus, W., Kuo, M.-F., & Nitsche, M. A. (2013). Comparing cortical plasticity induced by conventional and high-definition 4×1 ring tdcs : a neurophysiological study. *Brain stimulation, 6*(4), 644–648.

Lawrence, I., & Lin, K. (1989). A concordance correlation coefficient to evaluate reproducibility. *Biometrics, 25*–268.

Lebib, R., Papo, D., de Bode, S., & Baudonnière, P.-M. (2003). Evidence of a visual-to-auditory cross-modal sensory gating phenomenon as reflected by the human p50 event-related brain potential modulation. *Neuroscience letters, 341*(3), 185–188.
Lee, H., Voss, M. W., Prakash, R. S., Boot, W. R., Vo, L. T., Basak, C., ... Kramer, A. F. (2012). Video-game training strategy-induced change in brain function during a complex visuomotor task. *Behavioural Brain Research, 232*(2), 348-357.

Lee, Y.-H., & Liu, B.-S. (2003). Inflight workload assessment : Comparison of subjective and physiological measurements. *Aviation, space, and environmental medicine, 74*(10), 1078-1084.

Lehmann, D. (1990). Brain electric microstates and cognition : the atoms of thought. In *Machinery of the mind* (pp. 209-224). Springer.

Leon-Dominguez, U., Martín-Rodríguez, J. F., & León-Carrión, J. (2015). Executive n-back tasks for the neuropsychological assessment of working memory. *Behavioural brain research, 292*, 167-173.

Lotte, F., Congedo, M., Lécuyer, A., Lamarche, F., & Arnaldi, B. (2007). A review of classification algorithms for eeg-based brain-computer interfaces. *Journal of neural engineering, 4*(2), R1.

Lucas, J. M., & Saccucci, M. S. (1990). Exponentially weighted moving average control schemes : properties and enhancements. *Technometrics, 32*(1), 1-12.

Lumsden, J., Edwards, E. A., Lawrence, N. S., Coyle, D., & Munafò, M. R. (2016). Gamification of cognitive assessment and cognitive training : a systematic review of applications and efficacy. *JMIR serious games, 4*(2), e5888.

MacDonald, J., & McGurk, H. (1978). Visual influences on speech perception processes. *Perception & psychophysics, 24*(3), 253-257.

Macdonald, J. S., & Lavie, N. (2011). Visual perceptual load induces inattentional deafness. *Attention, Perception, & Psychophysics, 73*(6), 1780-1789.

Makeig, S., & Inlow, M. (1993). Lapse in alertness : coherence of fluctuations in performance and eeg spectrum. *Electroencephalography and clinical neurophysiology, 86*(1), 23-35.

Mané, A., & Donchin, E. (1989). The space fortress game. *Acta psychologica, 71*(1-3), 17-22.

Manolov, R., Gast, D. L., Perdices, M., & Evans, J. J. (2014). Single-case experimental designs : Reflections on conduct and analysis. *Neuropsychological rehabilitation, 24*(3-4), 634-660.

Marek, S., Tervo-Clemmens, B., Calabro, F. J., Montez, D. F., Kay, B. P., Hatoum, A. S., ... others (2022). Reproducible brain-wide association studies require thousands of individuals. *Nature, 603*(7902), 654-660.

Mejdal, S., McCauley, M. E., & Beringer, D. B. (2001). *Human factors design guidelines for multifunction displays* (Rapport technique). Oklahoma City, OK 73125 : United States. Department of Transportation. Federal Aviation Administration.

Mesulam, M.-M. (1986). *Frontal cortex and behavior* (Vol. 19) (Nº 4). Wiley Subscription Services, Inc., A Wiley Company Hoboken.

Michel, C. M., & Koenig, T. (2018). Eeg microstates as a tool for studying the temporal dynamics of whole-brain neuronal networks : a review. *Neuroimage, 180*, 577-593.

Milz, P., Pascual-Marqui, R. D., Achermann, P., Kochi, K., & Faber, P. L. (2017). The eeg microstate topography is predominantly determined by intracortical sources in the alpha band. *Neuroimage, 162*, 353-361.

Mishra, A., Englitz, B., & Cohen, M. X. (2020). Eeg microstates as a continuous phenomenon. *Neuroimage, 208*, 116454.

Miyake, A., Friedman, N. P., Emerson, M. J., Witzki, A. H., Howerter, A., & Wager, T. D. (2000). The unity and diversity of executive functions and their contributions to complex “frontal lobe” tasks : A latent variable analysis. *Cognitive psychology, 41*(1), 49-100.

Moura, G. S., Trinanes-Pego, Y., & Carrillo-de-la Pena, M. T. (2010). Effects of stimuli intensity and frequency on auditory p50 and n100 sensory gating. In *Brain inspired cognitive systems 2008* (pp. 5-17). Springer.
Mueller, S. T., & Piper, B. J. (2014). The psychology experiment building language (pebl) and pebl test battery. *Journal of neuroscience methods, 222*, 250–259.

Müller, R., & Schneider, J. (2017). Noise exposure and auditory thresholds of german airline pilots : a cross-sectional study. *BMJ open, 7*(5), e012913.

Muthalib, M., Besson, P., Rothwell, J., & Perrey, S. (2018). Focal hemodynamic responses in the stimulated hemisphere during high-definition transcranial direct current stimulation. *Neuromodulation : Technology at the Neural Interface, 21*(4), 348–354.

Pagani, M., Lombardi, F., Guzzetti, S., Rimoldi, O., Furlan, R., Pizzinelli, P., ... Piccaluga, E. (1986). Power spectral analysis of heart rate and arterial pressure variabilities as a marker of sympatho-vagal interaction in man and conscious dog. *Circulation research, 59*(2), 178–193.

Pascual-Marqui, R. D., Lehmann, D., Faber, P., Milz, P., Kochi, K., Yoshimura, M., ... Kinoshita, T. (2014). The resting microstate networks (rmn) : cortical distributions, dynamics, and frequency specific information flow. *arXiv preprint arXiv :1411.1949*.

Pavlov, Y. G., Adamian, N., Appelhoff, S., Arvaneh, M., Benwell, C. S., Beste, C., ... others (2021). # eegmanylabs : Investigating the replicability of influential eeg experiments. *cortex, 144*, 213–229.

Peelle, J. E. (2018). Listening effort : How the cognitive consequences of acoustic challenge are reflected in brain and behavior. *Ear and hearing, 39*(2), 204.

Peryer, G., Noyes, J., Pleydell-Pearce, K., & Lieven, N. (2005). Auditory alert characteristics : a survey of pilot views. *The International Journal of Aviation Psychology, 15*(3), 233–250.

Peysakhovich, V., Lefrançois, O., Dehais, F., & Causse, M. (2018). The neuroergonomics of aircraft cockpits : the four stages of eye-tracking integration to enhance flight safety. *Safety, 4*(1), 8.

Pizziol, S., Tessier, C., & Dehais, F. (2014). Petri net-based modelling of human-automation conflicts in aviation. *Ergonomics, 57*(3), 319–331.

Polich, J. (2007). Updating p300 : an integrative theory of p3a and p3b. *Clinical neurophysiology, 118*(10), 2128–2148.

Raveh, D., & Lavie, N. (2015). Load-induced inattentional deafness. *Attention, Perception, & Psycho-physics, 77*(2), 483–492.

Reason, J. (1990). The contribution of latent human failures to the breakdown of complex systems. *Philosophical Transactions of the Royal Society of London. B, Biological Sciences, 327*(1241), 475–484.

Rhoda, D. A., & Pawlak, M. (1999). An assessment of thunderstorm penetrations and deviations by commercial aircraft in the terminal area. *Massachusetts Institute of Technology, Lincoln Laboratory, Project Report NASA/A-2, 3*.

Roberts, K. L., & Hall, D. A. (2008). Examining a supramodal network for conflict processing : a systematic review and novel functional magnetic resonance imaging data for related visual and auditory stroop tasks. *Journal of cognitive neuroscience, 20*(6), 1063–1078.

Roy, R. N., Bonnet, S., Charbonnier, S., & Campagne, A. (2016). Efficient workload classification based on ignored auditory probes : a proof of concept. *Frontiers in human neuroscience, 10*, 519.

Roy, R. N., Hinss, M. F., Darmet, L., Ladouce, S., Jahanpour, E. S., Somon, B., ... Lotte, F. (2022). Retrospective on the first passive brain-computer interface competition on cross-session workload esti-mation. *Frontiers in Neuroergonomics, 4*.

Ryan, R. M., & Deci, E. L. (2000). Intrinsic and extrinsic motivations : Classic definitions and new directions. *Contemporary educational psychology, 25*(1), 54–67.

Santarnecchi, E., Khanna, A. R., Musaeus, C. S., Benwell, C. S., Davila, P., Farzan, F., ... Shafi, M. M. (2017). Eeg microstate correlates of fluid intelligence and response to cognitive training. *Brain topo-graphy, 30*(4), 502–520.
Santiago-Espada, Y., Myer, R. R., Latorella, K. A., & Comstock Jr, J. R. (2011). *The multi-attribute task battery ii (matb-ii) software for human performance and workload research : A user's guide (Rapport technique)*.

Santosa, H., Zhai, X., Fishburn, F., & Huppert, T. (2018). The nirs brain analyzir toolbox. *Algorithms*, **11**(5), 73.

Sarkar, S. (2012). The role of information and communication technology (ict) in higher education for the 21st century. *Science*, **1**(1), 30–41.

Sarter, N. B., Woods, D. D., & Billings, C. E. (1997). Automation surprises. *Handbook of human factors and ergonomics*, **2**, 1926–1943.

Scannella, S. (2011). Bases cérébrales du conflit visuo-auditif spatial et sémantique : études en irm fonctionnelle et eeg. *Thèse de doctorat, Toulouse 3*.

Schwartz, S., Vuilleumier, P., Hutton, C., Maravita, A., Dolan, R. J., & Driver, J. (2005). Attentional load and sensory competition in human vision : modulation of fmri responses by load at fixation during task-irrelevant stimulation in the peripheral visual field. *Cerebral cortex*, **15**(6), 770–786.

Seitzman, B. A., Abell, M., Bartley, S. C., Erickson, M. A., Bolbecker, A. R., & Hetrick, W. P. (2017). Cognitive manipulation of brain electric microstates. *Neuroimage*, **146**, 533–543.

Singh, G. (2021). *Enhancing manned unmanned teaming with physiological computing and adaptive interaction* (Thèse de doctorat non publiée). Toulouse, ISAE.

Singh, G., Roy, R. N., & Chanel, C. P. (2022). Pomdp-based adaptive interaction through physiological computing. In *Hhai2022 : Augmenting human intellect* (pp. 32–45). IOS Press.

Singhal, A., Doerfling, P., & Fowler, B. (2002). Effects of a dual task on the n100–p200 complex and the early and late nd attention waveforms. *Psychophysiology*, **39**(2), 236–245.

Sinnett, S., Spence, C., & Soto-Faraco, S. (2007). Visual dominance and attention : The colavita effect revisited. *Perception & Psychophysics*, **69**(5), 673–686.

Smitha, K., Akhil Raja, K., Arun, K., Rajesh, P., Thomas, B., Kapilamoorthy, T., & Kesavadas, C. (2017). Resting state fmri : A review on methods in resting state connectivity analysis and resting state networks. *The neuroradiology journal*, **30**(4), 305–317.

Snowball, A., Tachtsidis, I., Popescu, T., Thompson, J., Delazer, M., Zamarian, L., ... Kadosh, R. C. (2013). Long-term enhancement of brain function and cognition using cognitive training and brain stimulation. *Current Biology*, **23**(11), 987–992.

Song, L., & Kuchar, J. K. (2001). Describing, predicting, and mitigating dissonance between alerting systems. *Human Error, Safety, and System Development, Linköping, Sweden*.

Spiro, R. J. (1988). Cognitive flexibility theory : Advanced knowledge acquisition in ill-structured domains. *Center for the Study of Reading Technical Report; no. 441*.

Sreetharan, S., Schlesinger, J. J., & Schutz, M. (2021). Decaying amplitude envelopes reduce alarm annoyance : Exploring new approaches to improving auditory interfaces. *Applied Ergonomics*, **96**, 103432.

Studebaker, G. A. (1985). A" rationalized" arcsine transform. *Journal of Speech, Language, and Hearing Research*, **28**(3), 455–462.

Tarlow, K. R. (2017). An improved rank correlation effect size statistic for single-case designs : Baseline corrected tau. *Behavior modification*, **41**(4), 427–467.

Terney, D., Chaieb, L., Moliadze, V., Antal, A., & Paulus, W. (2008). Increasing human brain excitability by transcranial high-frequency random noise stimulation. *Journal of Neuroscience*, **28**(52), 14147–14155.

Thayer, J. F., & Lane, R. D. (2009). Claude bernard and the heart-brain connection : Further elaboration of a model of neurovisceral integration. *Neuroscience & Biobehavioral Reviews*, **33**(2), 81–88.
Voogt, J., Erstad, O., Dede, C., & Mishra, P. (2013). Challenges to learning and schooling in the digital networked world of the 21st century. *Journal of computer assisted learning, 29*(5), 403-413.

Voss, M. W., Prakash, R. S., Erickson, K. I., Boot, W. R., Basak, C., Neider, M. B., ... Kramer, A. F. (2012). Effects of training strategies implemented in a complex videogame on functional connectivity of attentional networks. *Neuroimage, 59*(1), 138-148.

Wang, Y., Kong, J., Tang, X., Zhuang, D., & Li, S. (2000). Event-related potential n270 is elicited by mental conflict processing in human brain. *Neuroscience letters, 293*(1), 17-20.

Wang, Y., Wang, H., Cui, L., Tian, S., & Zhang, Y. (2002). The n270 component of the event-related potential reflects supramodal conflict processing in humans. *Neuroscience letters, 332*(1), 25-28.

Wickens, C., Hollands, J., Banbury, S., & Parasuraman, R. (2015). *Engineering psychology & human performance. psychology press.*

Wickens, C. D. (1980). The structure of attentional resources. *Attention and performance VIII, 8*, 239-257.

Wickens, C. D., Martin-Emerson, R., & Larish, I. (1993). Attentional tunneling and the head-up display.

Wickens, C. D., Rice, S., Keller, D., Hutchins, S., Hughes, J., & Clayton, K. (2009). False alerts in air traffic control conflict alerting system : Is there a "cry wolf" effect? *Human factors, 51*(4), 446-462.

Williams, L. J. (1988). Tunnel vision or general interference? cognitive load and attentional bias are both important. *The American journal of psychology*, 171-191.

Xia, J., Nooraei, N., Kalluri, S., & Edwards, B. (2015). Spatial release of cognitive load measured in a dual-task paradigm in normal-hearing and hearing-impaired listeners. *The Journal of the Acoustical Society of America, 137*(4), 1888-1898.

Xu, S., Wang, Z., & David, P. (2022). Social media multitasking (smm) and well-being : Existing evidence and future directions. *Current Opinion in Psychology, 101345*.

Young, M. S., Brookhuis, K. A., Wickens, C. D., & Hancock, P. A. (2015). State of science : mental workload in ergonomics. *Ergonomics, 58*(1), 1-17.

Zaki, N. M., Husin, S. C., Husain, M. A., Husain, N. A., Ma'aram, A., Marmin, S. A., ... Kassim, K. A. (2021). Auditory alert for in-vehicle safety technologies : A review. *Journal of the Society of Automotive Engineers Malaysia, 5*(1), 88-102.

Zander, T. O., & Kothe, C. (2011). Towards passive brain-computer interfaces : applying brain-computer interface technology to human-machine systems in general. *Journal of neural engineering, 8*(2), 025005.

Zekveld, A. A., Rudner, M., Kramer, S. E., Lyzenga, J., & Rönnberg, J. (2014). Cognitive processing load during listening is reduced more by decreasing voice similarity than by increasing spatial separation between target and masker speech. *Frontiers in Neuroscience, 8*, 88.

Zhang, R., Hu, Z., Debi, R., Zhang, L., Li, H., & Liu, Q. (2013). Neural processes underlying the "same"-"different" judgment of two simultaneously presented objects-an eeg study. *PloS one, 8*(12), e81737.

Zhang, X., Ma, L., Li, S., Wang, Y., Weng, X., & Wang, L. (2008). A mismatch process in brief delayed matching-to-sample task : an fmri study. *Experimental brain research, 186*(2), 335-341.
ANNEXES
<figure><img src="image_66.png" /></figure>
1

Sélection de cinq articles représentatifs
<figure><img src="image_67.png" /></figure>
RESEARCH ARTICLE

# Cocktail party training induces increased speech intelligibility and decreased cortical activity in bilateral inferior frontal gyri. A functional near-infrared study

Cosima Lanzilotti¹,²,³, Guillaume Andéol¹, Christophe Micheyl⁴, Sébastien Scannella²*

1 Département Neuroscience et Sciences Cognitives, Institut de Recherche Biomédicale des Armées, Brétigny sur Orge, France, 2 ISAE-SUPAERO, Université de Toulouse, Toulouse, France, 3 Thales SIX GTS France, Gennevilliers, France, 4 Starkey France, Creteil, France

* sebastien.scannella@isae-supaeo.fr

<figure><img src="image_68.png" /></figure>

## Abstract

The human brain networks responsible for selectively listening to a voice amid other talkers remain to be clarified. The present study aimed to investigate relationships between cortical activity and performance in a speech-in-speech task, before (Experiment I) and after training-induced improvements (Experiment II). In Experiment I, 74 participants performed a speech-in-speech task while their cortical activity was measured using a functional near infrared spectroscopy (fNIRS) device. One target talker and one masker talker were simultaneously presented at three different target-to-masker ratios (TMRs): adverse, intermediate and favorable. Behavioral results show that performance may increase monotonically with TMR in some participants and failed to decrease, or even improved, in the adverse-TMR condition for others. On the neural level, an extensive brain network including the frontal (left prefrontal cortex, right dorsolateral prefrontal cortex and bilateral inferior frontal gyri) and temporal (bilateral auditory cortex) regions was more solicited by the intermediate condition than the two others. Additionally, bilateral frontal gyri and left auditory cortex activities were found to be positively correlated with behavioral performance in the adverse-TMR condition. In Experiment II, 27 participants, whose performance was the poorest in the adverse-TMR condition of Experiment I, were trained to improve performance in that condition. Results show significant performance improvements along with decreased activity in bilateral inferior frontal gyri, the right dorsolateral prefrontal cortex, the left inferior parietal cortex and the right auditory cortex in the adverse-TMR condition after training. Arguably, lower neural activity reflects higher efficiency in processing masker inhibition after speech-in-speech training. As speech-in-noise tasks also imply frontal and temporal regions, we suggest that regardless of the type of masking (speech or noise) the complexity of the task will prompt the implication of a similar brain network. Furthermore, the initial significant cognitive recruitment will be reduced following a training leading to an economy of cognitive resources.

<figure><img src="image_69.png" /></figure>

OPEN ACCESS

**Citation:** Lanzilotti C, Andéol G, Micheyl C, Scannella S (2022) Cocktail party training induces increased speech intelligibility and decreased cortical activity in bilateral inferior frontal gyri. A functional near-infrared study. PLoS ONE 17(12): e0277801. https://doi.org/10.1371/journal.pone.0277801

**Editor:** Paul Hinckley Delano, Universidad de Chile, CHILE

**Received:** April 28, 2022

**Accepted:** November 3, 2022

**Published:** December 1, 2022

**Copyright:** © 2022 Lanzilotti et al. This is an open access article distributed under the terms of the Creative Commons Attribution License, which permits unrestricted use, distribution, and reproduction in any medium, provided the original author and source are credited.

**Data Availability Statement:** All NIRS files, containing behavioral data, are available from the OSF database: https://osf.io/g4rym/.

**Funding:** CL received a sponsorship from Thales SIX GTS France (https://www.thalesgroup.com/en). The funder provided support in the form of salaries for author [CL], but did not have any additional role in the study design, data collection and analysis, decision to publish, or preparation of
the manuscript. The specific roles of this author are
articulated in the 'author contributions' section.

**Competing interests:** The authors have declared that no competing interests exist. This does not alter our adherence to PLOS ONE policies on sharing data and materials.

**Introduction**

Our ability to selectively attend to a specific sound source in the presence of other sounds has been a research topic of interest to psychologists and neuroscientists for several decades [1–6]. An everyday-life example of this ability can be found in multi-talker conversations where extracting information from a target speech is challenging. Several previous studies have started to elucidate psychoacoustical, cognitive, and neurobiological processes involved in the ability to selectively attend to and decode a speech stream in the presence of concurrent streams, including competing voices [7, 8]. Broadly, auditory stream segregation and selective auditory attention likely play a crucial role for good speech intelligibility in such listening situations [9]. Psychoacoustic studies have outlined various acoustic cues, such as fundamental-frequency, sound-intensity, or source-location differences between the target and competing voices [10–13], which can be used in auditory and cognitive systems to separate concurrent voices, and to group or ‘track’ over time sounds from a given voice.

In parallel to these behavioral investigations, brain-imaging studies have started to shed light on brain networks involved in speech comprehension in adverse listening situations. From the recent review of Peelle [9], it emerges that the quality of an auditory stimulus (acoustically clear or degraded) can determine the type of the cognitive recruitment required to perform the listening task. In particular, an acoustically clear auditory stimulus should involve the recruitment of a Core Speech Network, including the left inferior frontal gyrus (IFG) and bilateral temporal cortices. When speech is degraded, this core speech network shows increased neural activation and additional brain regions are recruited in order to deal with the increased difficulty in extracting the auditory information. The latter brain regions comprise the cingulo-opercular cortex, the premotor cortex, the dorsolateral prefrontal cortex (DLPFC) and the inferior parietal cortex [9, 14–17].

Recent studies have talked the question of underlined neural substrate of speech-in-speech paradigm within fMRI scanners [18, 19]. In Evans and colleagues' study [18], the authors used target narratives with or without the presence of competing speech and assessed intelligibility performance after the participants completed the task. Their results partially support speech-in-noise findings as they found increased activation for masked *versus* clear speech beyond the temporal lobe, in regions associated with cognitive control (i.e., anterior cingulate, middle frontal gyri and insula, left inferior and superior parietal lobule and right inferior frontal gyrus). According to the authors themselves however, the sound of the imaging acquisition within the scanner is a significant issue for sound processing that is likely to interfere with auditory and cognitive processes, making the results poorly transferable to real life situations. In addition, the fact that the behavioral response was assessed after the task–outside the scanner–arguably involved additional working memory effort to some extent.

To study spoken language in a more ecological way, some researchers have started to use optical imaging that has the advantage of being silent, albeit covering only the surface of the cortex when used in conventional designs [9, 20]. For instance, using a speech-in-speech paradigm, Andéol et al. [21] showed a positive correlation between prefrontal activity and speech intelligibility in the most difficult condition, reflecting greater recruitment of cognitive resources outside the core speech network. Consistently with these findings, it has been suggested that in a complex auditory scene at least two high-level cognitive processes, namely the working memory and attentional-based functions [22–24], are involved in selecting targeted auditory stream thanks to the information provided by the low level processes [9]. Regarding the attentional-based functions specifically, it seems that individual inhibitory control capacity–as assessed by the Stroop task [25] for instance–plays a significant role in the target voice selection [26–28]. This hypothesis is furthermore supported by the fact that errors in speech-
in-speech paradigms often result from participants reporting the masker's words instead of the target's ones [29] contrary to speech-in-noise paradigms.

Difficulties however, in interpreting the results from the literature, stem at least from two principal factors. First, according to Evans et al. [18], research in speech perception should take into consideration the distinction between energetic masking (i.e., interferences between sounds at the energetic level in terms of power) and informational masking (i.e., interferences between sounds that share perceptual attributes that can draw attention). Indeed, as the energetic masking reflects direct interaction within the auditory periphery, informational masking refers to additional effects underpinned by higher cognitive processes such as selection, inhibition and linguistic processing [19, 29–31]. As a consequence, energetic masking is likely to affect speech perception linearly, which is not the case for informational masking [29]. In addition, speech intelligibility in informational masking may improve over time, whereas it is relatively stable for energetic masking due to steady state noise [32]. Second, in multi-talker situations, speech intelligibility can be influenced by several factors. Some of them are related to low level processes—such as physical stimulus (acoustic) or the differences between the target and the masker voices—and others are more related to high level processes—such as attention and working memory [2, 9, 33, 34]. Therefore, the cortical activity recorded during a speech intelligibility task could be related to any or all of these low and high levels factors. However, as speech-in-speech performance is supposed to be more related to high level processes [34–37], there is a need in facilitating the recording of the associated brain networks. This could be achieved for instance, by keeping constant the acoustic characteristics of the stimuli handled by low levels processes, while training the listener in a goal to improve the efficiency of high-level processes.

The fact that speech intelligibility can improve with training is already well established [38–41]. Moreover, it is known that changes in strategies and improvements in performance in multi-talker speech-intelligibility tasks can also be achieved by providing participants with specific instructions and/or feedback [36, 42].

The present study takes advantage of such an approach based on inter-individual differences in, and intra-individual changes of, cognitive ability to address brain networks involved in performance of a speech-intelligibility task with two concurrent speech streams. Specifically, this approach builds upon earlier observations that some listeners use the sound-level difference between the target and the masker to aid in the identification and the segregation of them [21, 29, 36, 37, 43]. However, many listeners seem to not use this strategy, as shown by their poor performance in adverse target-to-masker ratio (TMR) [21]. We posited that listeners' ability to exploit this strategy could be enhanced via the provision of specific instructions, practice (perceptual training) and feedback to participants in a training paradigm. This way, we were able to study changes in brain activity related specifically to changes in task performance, unconfounded by concomitant physical-stimulus changes.

Using the speech-in-speech Coordinate Response Measure (CRM) task [44], we postulated that brain areas outside the temporal lobe will be involved to ensure speech intelligibility in multi-talker situation in addition to the Core Speech Network like for the degraded speech [9]. More precisely, we targeted this additional network by probing the prefrontal cortex, the bilateral IFGs and the DLPFCs, the inferior parietal cortices and the auditory cortices. To prevent from any additional auditory interference, we used a functional near infrared spectroscopy (fNIRS) device in a quiet room. Also, occipital regions, for which conditions effects were not expected, have been probed in order to maximize specificity.

The study consisted of two experiments. In Experiment I (observational phase), initially naïve participants performed a speech-in-speech intelligibility task while their cortical activity was recorded. This first experiment had two purposes. The first one was to select participants
that were not able to properly use the TMR as an auditory clue to segregate the auditory
stream. These participants would then be involved in a training protocol designed to improve
their use of this auditory clue. The second purpose was to reproduce previous results [21],
hence we predicted that participants' speech intelligibility scores in an adverse TMR condition
would positively co-vary with frontal regions activity [21]. In Experiment II (training phase),
participants who had the poorest speech-intelligibility scores in Experiment I were recruited
and trained (through instructions, task practice, and feedback) to take advantage of sound-
level differences between the target and masker voices. We predicted that, following this train-
ing, speech intelligibility would improve and that IFG, IPL and DLPFC cortical activities
would decrease concomitantly reflecting a more efficient recruitment of cognitive resources
implicated in inhibitory control [41, 45].

**Materials and methods**

Participants

Seventy-four adult volunteers (20 women, mean age = 23.6 ± 3.2 years) were recruited to take part in the study. All were students from ISAE-SUPAERO and Toulouse University with normal hearing, defined as pure-tone hearing thresholds better than 20 dB hearing level (HL) at octave frequencies from 125 Hz to 8 kHz (Audio Console Oscilla® headphones with built-in software). The study was cleared by the local ethics committee (Comité de Protection des Personnes Sud-Ouest et Outre Mer II, IDRCB 2017-A00859-44). Before starting the study, all participants completed a written consent form. They were paid 15 euros for their participation in Experiment I. Participants who additionally completed Experiment II received a total of 60 euros.

Speech stimuli

Stimuli used in the speech-intelligibility task were sentences from the CRM corpus [44]. CRM
sentences are all constructed using the same pattern: "Ready *call sign* go to *color number* now",
where *call sign*, *color*, and *number* are placeholders. The actual call sign, color, and number
played during a sentence are drawn from a list of 8 call signs (*Baron*, *Charlie*, *Ringo*, *Eagle*,
*Arrow*, *Hopper*, *Tiger*, *Laker*), 4 colors (*red*, *blue*, *green*, *white*) and 8 numbers (from 'one' to
'eight') resulting in 256 possible sentences. The sentences used in this study were uttered by
four male speakers.

For the purpose of the present study, the sentences were always presented in pairs, with one
target sentence indicated by the call sign, Baron, and a concurrent (simultaneously presented)
masker sentence drawn at random, and independently, from the list of the 7 remaining call
signs. Three conditions, corresponding to three different TMRs, were tested: an ‘adverse’ con-
dition (TMR = -12 dB), an ‘intermediate’ condition (TMR = -4 dB), and a ‘favorable’ condition
(TMR = +4 dB). Stimuli corresponding to one of the three conditions were presented consecu-
tively to the participant in a block of 32 pairs of sentences, before the next condition was tested,
also as a block. The testing order of the three conditions was randomized across participants.
Each stimulus (a pair of simultaneous sentences) lasted 2 s. After each stimulus, participants
had to report the color and the number corresponding to the target sentence. They provided
answers using a home-made response box. To allow sufficient time for measurement of the
hemodynamic response, a minimum inter-stimulus-interval (ISI) of 18 s was enforced.

Stimuli (.wav audio files) were selected from the CRM corpus using custom software writ-
ten in Matlab® (2018b) on a Dell Optiflex 990 computer. All sounds were normalized at the
same RMS level. Then, for each trial, a gain or attenuation was applied to the target sound
depending on the selected TMR (-12, -4 or +4 dB). Both target and masker sounds were trans-
mitted to a digital signal processor (RX8; Tucker Davis Technologies, TDT) to be filtered in
real time with HRTFs (Head Related Transfer Functions) measured using a dummy head (Neumann KU-100). The target and masker sentences were filtered by the same frontal HRTF, such that they appeared to the listener to both be coming from straight ahead (0 degree azimuth and elevation). Then, target and masker sounds were added together, and, following the procedure of [29], a gain was randomly chosen over a 6-dB range (in 1-dB steps) to be applied on the sound mixture. The signal was pre-amplified (HB7, TDT) and presented binaurally through headphones (Beyerdynamic DT770) at an overall level of approximately 70 dB SPL. Behavioral responses were recorded using a homemade response box with three rows of buttons: a first row for the colors, a second row for numbers one to four, and a third row for numbers five to eight. The response box was linked to the real-time processor and the responses were recorded with Matlab®.

## Experimental design

This study included two experiments. A first experiment (Experiment I) involved all 74 participants. This was followed by a second experiment (Experiment II), which involved only a subset of participants from Experiment I, selected based on their performance in the adverse condition of Experiment I. Experiment II involved a training program over three consecutive days (T1, T2, T3), followed by one final test session, which was similar to the single test session of Experiment I.

## fNIRS data collection

Cortical activity was assessed with a whole-head fNIRS device NIRScout (Nirx https://nirx.net/nirscout/). A 15-by-23 optode array, including 15 emitters ($\lambda_1$ = 760 nm; $\lambda_2$ = 850 nm) and 23 detectors, yielding 44 measurement channels in total (see Fig 1B), was used. The source-detector spacing was maintained at approximately 30 mm using plastic spacers. The sampling rate was 7.81 Hz. Data were acquired using NIRSTAR v14.2 software. Channel positioning was made using the international 10–20 EEG system. The 15 sources were positioned at Fpz, AF7, AF8, F3, F4, FC5, FC6, T7, T8, TPP7h, TPP8h, P3, Pz, P4, Oz; the 23 detectors were positioned at Fp1, Fp2, AF3, AF4, F5, F6, FT7, FC3, FC4, FT8, C5, C6, TP7, TP8, P5, P1, P2, P6, PO1, POZ, PO2, O1, O2.

Cortical sensitivity maps were computed using a Monte-Carlo simulation algorithm within Atlas Viewer (V2.8) (Fig 1C). Default parameters were used, except for the number of photons, which was set to $10^7$ [46]. From the channel MNI coordinates obtained in Atlas viewer, regions targeted by our montage were localized with Talairach software [47]. In the Talairach Client, we used a 4 mm option to get a description of the brain regions within a 9 mm³ volume around each channel coordinate as the spatial resolution of fNIRS provides a brain observation area of roughly 1 cm² around the center of the Montreal Neurological Institute (MNI) coordinate system [48]. Finally, the sub-regions have been concatenated across the channels that belong to the same functional region.

As a result, thirteen brain region of interests (ROIs) were defined (Fig 1B and Table 1), corresponding to: Prefrontal Cortex (PFC), Dorsolateral Prefrontal Cortex (DLPFC), Inferior Frontal Gyrus (IFG), Auditory Cortex (AC), Superior Parietal Lobe (SPL), Inferior Parietal Lobe (IPL), and Visual Cortex (V1). The regions listed are to be considered bilaterally except for V1 that was considered as a unique ROI.

## fNIRS preprocessing

Preprocessing and statistical analyses are summarized in Fig 2. Data were processed using the Matlab-based NIRS AnalyzIR toolbox [49] V.615, with Matlab® R2018b. First, raw fNIRS data
<figure><img src="image_70.png" /><figcaption>**Fig 1.** Graphic representation of fNIRS data collection. a) Photography of the optode-array holder placed on the head of one of the participants for demonstration purposes. (b) 2D representation of ROI location; each line represents a measurement channel between source (S) and detector (D) optodes. (c) Left (up) and right (down) views of the cortical sensitivity maps obtained using Monte-Carlo simulation within Atlas Viewer (V2.8; default parameters except for the number of photons that has been set to 10⁷).</figcaption></figure>

https://doi.org/10.1371/journal.pone.0277801.g001

were imported in Matlab® and a demographic table was created based on the NIRstar demographic inputs and on task-performance results. Channel quality check was carried out using the Scalp Coupling Index (SCI) procedure [50]. Channels with SCI-value of +0.60 or greater were kept for further analyses. We considered a ROI reliable enough for analyses when at least n-1 channels within this ROI were above the +0.60 threshold (i.e., 2 channels > 0.60 for a 3-channel ROI, 1 channel > 0.60 for a 2-channel ROI and 1 channel > 0.60 for a 1-channel ROI). If these criteria were not reached, the whole participant's data were excluded for further analyses. For experiment I, over the 74 participants, 11 were thus excluded. For the 63 remaining ones, 2.5 channels (±3) were excluded. Stimulus duration was set to 2s, corresponding to the duration of CRM sentences. Raw data were then converted into optical density and submitted to a Temporal Derivative Distribution Repair (TDDR) for motion correction [51]. These authors have shown that this correction is highly effective in correcting movement artifacts in fNIRS data. Concentration changes for oxygenated and deoxygenated hemoglobins were computed using the modified Beer-Lambert law with a partial path length factor (ppf) of 0.1 for both wavelengths.

# Experiment I: Naive participants

## Methods

**Participants.** Participants in Experiment I performed the concurrent-speech intelligibility task described above while their brain activity was recorded with the 15-by-23 optodes NIRScout fNIRS device (Nirx https://nirx.net/nirscout/). Before fNIRS data acquisition, all
<table><caption>Table 1. Description of fNIRS ROIs and measurement channels.</caption><thead><tr><th rowspan="3">ROI</th><th colspan="6">Left Hemisphere</th><th colspan="6">Right Hemisphere</th></tr><tr><th colspan="2">Channels</th><th colspan="3">MNI Coordinates</th><th colspan="2">Channels</th><th colspan="3">MNI Coordinates</th></tr><tr><th>Source</th><th>Detector</th><th>x</th><th>y</th><th>z</th><th>Source</th><th>Detector</th><th>x</th><th>y</th><th>z</th></tr></thead><tbody><tr><td rowspan="2">PFC</td><td>S1</td><td>D1</td><td>-12</td><td>72</td><td>1</td><td>S1</td><td>D2</td><td>15</td><td>70</td><td>0</td></tr><tr><td>S3</td><td>D1</td><td>-25</td><td>58</td><td>2</td><td>S2</td><td>D2</td><td>36</td><td>67</td><td>5</td></tr><tr><td rowspan="3">DLPFC</td><td>S5</td><td>D3</td><td>-23</td><td>49</td><td>24</td><td>S4</td><td>D4</td><td>23</td><td>44</td><td>26</td></tr><tr><td>S5</td><td>D9</td><td>-40</td><td>32</td><td>31</td><td>S4</td><td>D10</td><td>46</td><td>23</td><td>32</td></tr><tr><td>S5</td><td>D5</td><td>-36</td><td>35</td><td>18</td><td>S4</td><td>D6</td><td>50</td><td>-40</td><td>-25</td></tr><tr><td rowspan="3">IFG</td><td>S7</td><td>D7</td><td>-42</td><td>9</td><td>16</td><td>S6</td><td>D8</td><td>48</td><td>9</td><td>10</td></tr><tr><td>S7</td><td>D9</td><td>-57</td><td>24</td><td>34</td><td>S6</td><td>D10</td><td>46</td><td>13</td><td>25</td></tr><tr><td>S7</td><td>D5</td><td>-55</td><td>34</td><td>22</td><td>S6</td><td>D6</td><td>46</td><td>24</td><td>19</td></tr><tr><td rowspan="2">AC</td><td>S9</td><td>D11</td><td>-50</td><td>-12</td><td>9</td><td>S8</td><td>D12</td><td>64</td><td>-10</td><td>12</td></tr><tr><td>S9</td><td>D13</td><td>-58</td><td>-20</td><td>8</td><td>S8</td><td>D14</td><td>51</td><td>-20</td><td>12</td></tr><tr><td rowspan="2">SPL</td><td>S13</td><td>D17</td><td>-33</td><td>-69</td><td>54</td><td>S12</td><td>D18</td><td>39</td><td>-70</td><td>53</td></tr><tr><td>S13</td><td>D19</td><td>-36</td><td>-76</td><td>47</td><td>S12</td><td>D20</td><td>39</td><td>-75</td><td>44</td></tr><tr><td>IPL</td><td>S13</td><td>D15</td><td>-50</td><td>-12</td><td>9</td><td>S12</td><td>D16</td><td>43</td><td>-64</td><td>33</td></tr><tr><td rowspan="2">V1</td><td>S15</td><td>D23</td><td>-10</td><td>-97</td><td>6</td><td>S15</td><td>D22</td><td>20</td><td>-99</td><td>7</td></tr><tr><td></td><td></td><td></td><td></td><td></td><td>S15</td><td>D21*</td><td>3</td><td>-96</td><td>24</td></tr></tbody></table>

MNI coordinates (x, y, z of the centroids) extracted from Atlas viewer (V2.8).

*The S15-D21 channel is actually centered between the two hemispheres but is presented here as part of the right hemisphere for simplicity purposes. PFC: Prefrontal Cortex; DLPFC: Dorsolateral Prefrontal Cortex; IFG: Inferior Frontal Gyrus; AC: Auditory Cortex; SPL: Superior Parietal Lobule; IPL: Inferior Parietal Lobule; V1: Primary visual cortex.

https://doi.org/10.1371/journal.pone.0277801.t001

participants performed one short training block of 16 speech stimuli at 0 dB TMR to verify correct understanding of the instructions and provide basic familiarization with the task. The whole Experiment I lasted approximately one hour.

**Statistical analyses.** *Behavioral analyses.* A response was considered as correct when both the color and the number were correctly reported. The correct response rate for each condition was transformed using the Rationalized Arcsin Unit (RAU) transform [52]; this transform yields results more suitable for parametric statistical analyses than untransformed percent-correct data.

A preliminary Mauchly's Sphericity test came up significant for the TMR factor ($\chi^2 = 11.24; p < 0.01$), hence a multivariate analysis of variance (MANOVA) was used to test for condition effect over the RAU scores, with TMRs (Adverse vs. Intermediate vs. Favorable) as a within-subject factor. Post-hoc comparisons were carried out using the Tukey's Honest Significant Difference (HSD) test. All behavioral statistical analyses were performed using the software STATISTICA™ (V10) from StatSoft® and a significant threshold was set to 0.05.

**fNIRS—task activation.** Task activation was quantified by convolving the preprocessed HbO (Oxygenated hemoglobin) signal with the hemodynamic response function (HRF) referred to as “canonical” within the Nistoolbox for each condition (Adverse, Intermediate and Favorable TMRs). The canonical HRF was used with the default parameters ($uShootTime = 16s; ratio = 1/6; duration = 32s$), except for the *peakTime* that has been changed from 4 to 5s according to Pedregosa et al. [53]. Following Barker et al. [54], beta coefficients were then estimated using an autoregressive iteratively reweighted least squares (AR-IRLS) algorithm; this algorithm was used to account for the presence of serial correlations in fNIRS data and to control for Type-1 errors. As a consequence, and following Huppert's
<figure><img src="image_71.png" /></figure>
**Fig 2.** fNIRS data collection, processing and statistical analysis pipeline. Accurate description of all phases of data acquisition, data processing (rejection bad channels, filtering, data conversion) and subject and group level statistical analyses.

https://doi.org/10.1371/journal.pone.0277801.g002

recommendations [55], no additional filtering or prewhitening of the data has been applied to avoid bias in the estimated response. The estimated betas for the three conditions were then submitted to a robust mixed-effects model (see Eq 1, according to Wilkinson notation [56] in the Nirs Toolbox code), with condition as a fixed effect (Cond) and subject as a random effect (1|Subject) using the *nirs.modules.MixedEffects* function of the toolbox.

$$ \beta = -1 + \text{Cond} + (1|\text{Subject}) \quad (1) $$

The *robustfit* function with the bisquare weight function and default tuning constant value (i.e., 4.685) was used by selecting the option *robust = true* within the *nirs.modules.MixedEffects* function.

Lastly, statistical differences in the weighted betas across the 3 TMR conditions (Adverse vs. Intermediate vs. Favorable) were assessed using multiple two-sample t-tests. Multiple comparisons across ROIs were controlled for using the Benjamini-Hochberg procedure [57], and *p*-values were corrected using the false discovery rate (FDR), corresponding to the *q*-values in the toolbox output.

*Relationship between cortical activity and speech intelligibility scores.* The relationship between speech intelligibility scores and brain activations across ROIs was assessed using second-level robust mixed-effects models for each condition separately, with condition as a fixed effect (Cond) and speech-intelligibility scores (RAU) as regressors (see Eq 2). As for the task activation, it uses the *robustfit* function from Matlab® with the bisquare weight function and default tuning constant value (i.e., 4.685). As for the task activation, multiple comparisons across ROIs were controlled for using the Benjamini-Hochberg procedure [57], and *p*-values were corrected using the false discovery rate (FDR).

$$ \beta = -1 + \text{Cond} + \text{Cond} : \text{RAU} \quad (2) $$

## Results

**Behavior.** Behavioral data showed that the TMR level had a significant effect on the target speech intelligibility (F(2, 146) = 90.63, *p* < 0.001; see Fig 3). This corresponded to higher scores with the favorable TMR (M = 76.03; SD = 14.93), compared to the intermediate (M = 31.56; SD = 26.85; *p* < 0.001) and the adverse ones (M = 35.37; SD = 28.95; *p* < 0.001). No statistically significant difference however was observed between the intermediate and adverse TMRs (*p* = 0.5). These data also revealed a large variability in the ability to use the TMR as a clue to segregate the two voice streams with the largest standard deviation in the adverse condition (SD = 35.37) followed by the intermediate one (SD = 31.56).

**fNIRS.** *Task activation.* Fig 4 illustrates the main significant findings. We found that greater activation was observed for the intermediate-TMR condition compared to the adverse-TMR condition in frontal ROIs (left PFC, left IFG and right DLPFC; *p* < 0.05; FDR-corrected) and temporal regions (bilateral auditory cortex: *p* < 0.05; FDR-corrected). Greater activation was also observed for the intermediate-TMR condition compared to the favorable-TMR condition in bilateral IFGs and auditory cortices (*p* < 0.05; FDR-corrected). No other contrast in any region showed significant result.

*Relationship between cortical activation and intelligibility scores.* To confirm the relationship between the cortical activation and the behavioral performance, a robust regression was carried-out using the weighted betas (i.e., cortical activation) as the dependent variable and the
<figure><img src="image_72.png" /><figcaption>**Fig 3. Correct responses (Rationalized Arcsin Units) as a function of TMR in Experiment I.** Boxplots show the median (horizontal bar) and the interquartile range (boxes). The whiskers reach from the lowest to the highest observed value within 1.5 times the interquartile range. Dots show individual data points. Individual data points corresponding to the same listener across different conditions are connected with grey lines. \*\*\*: *p* < 0.001.</figcaption></figure>

https://doi.org/10.1371/journal.pone.0277801.g003

RAU score (i.e., behavioral accuracy) as the independent variable (see Fig 5 for main results). For the adverse-TMR condition, statistically significant positive correlations between these two variables were observed for the left auditory cortex ($r^2$ = 0.11; *p* < 0.05), and the bilateral IFGs ($r^2$ = 0.18; *p* < 0.01, for both correlations). In these regions, the higher the speech intelligibility, the higher the cortical activity. Similarly, a positive correlation was also found within the right IFG in the favorable-TMR condition ($r^2$ = 0.09; *p* < 0.05). For the intermediate condition the same robust-regression analyses failed to show statistically significant linear associations between RAU scores and cortical activation.

## Discussion I

In Experiment I, a speech-in-speech listening task was used to explore the relationship between speech intelligibility and cortical activity. As previously shown, intelligibility at the group level was higher in the favorable TMR but did not decrease from intermediate to adverse TMR. However, large individual differences revealed that some listeners were able to reach more than half of correct responses in the adverse condition whereas others did not (Fig 3).
<figure><img src="image_73.png" /><figcaption>**Fig 4.** HbO activations for the TMR condition effect (t-test results). \*: *p* < 0.05 (FDR-corrected) for the number of ROI areas. Vertical bars denote the standard error of the mean.</figcaption></figure>

https://doi.org/10.1371/journal.pone.0277801.g004

More precisely, for some listeners, speech intelligibility improved as the difference in sound level between the target and masker voices (i.e., the target-to-masker ratio, TMR) increased from adverse (negative) to favorable (positive). For other listeners, intelligibility was actually highest for adverse and favorable TMRs, whereas it was very low for intermediate TMRs—that is, when the target and masker voices had approximately the same sound level [21, 29, 36, 37, 43]. Although the latter finding may initially seem counter-intuitive, it can easily be accounted for by considering that, when the target and masker voices have different sound levels, listeners can in principle take advantage of these differences to aid in the identification of target and masker sounds. However, this strategy is only available to listeners who perceive the sound-level difference and who are actually able to use it as an advantage. The latter result fulfilled our first purpose which was to select participants who were not able to properly use this auditory cue and would be then involved in a training protocol designed to improve their use of it.

**Task activation.** While there was no difference between the adverse and intermediate conditions at the behavioral level, there was a clear difference at the neural level between conditions. Indeed, greater activation was observed within the left PFC, the bilateral IFG, the right DLPFC and the bilateral STG for the intermediate-TMR condition compared to the adverse-TMR condition and the favorable-TMR condition. As discussed above, the intermediate-TMR condition is an *a priori* intermediate difficulty condition given that several participants reached higher speech intelligibility scores in the adverse condition compared to the intermediate one. The significant higher cortical activations for the intermediate-TMR condition are thus in favor of a global higher mental demand for this condition.

The scientific literature of listening effort has already shown a significant non-linear relationship between cortical activity and the intrinsic complexity of the task in terms of intelligibility of the stimulus to be processed. Notably, the involvement of the left IFG in complex
<figure><img src="image_74.png" /></figure>

<figure><img src="image_75.png" /></figure>

<figure><img src="image_76.png" /></figure>
**Fig 5. Relationship between cortical activity (beta coefficients for HbO) and speech intelligibility (RAU scores) for the adverse condition.** Scatter plot of the robust linear regression results for the left and right IFGs and left auditory cortex. The red line indicates the robust linear fit. Reported *p*-values are FDR corrected.

https://doi.org/10.1371/journal.pone.0277801.g005

listening situations was greater when the signal was degraded but still intelligible compared to situations in which the signal was perfectly intelligible, or in non-intelligible noise conditions [15–17, 58]. This activation would follow a so-called U-reverse activation with respect to the difficulty of the task. This non-monotonic relationship has also been observed in other objective markers of listening effort, notably pupillary dilation [59]. Intermediate intelligibility conditions, compared to perfect or impossible intelligibility conditions, require effort to accomplish the task. In the intermediate intelligibility condition, the listener still remains motivated and feels able to succeed in the task [23, 60, 61]. On the other hand, if the task becomes too difficult (near impossible) or if the cost of completing the task is deemed too high [60], activation decreases, probably due to a disengagement. The particularity in our case is that this relative disengagement may have occurred only for some of the listeners, that is, those who were not able to use the unfavorable TMR to their advantage. To explore this result, we carried out regression analyses in this first experiment (see Fig 5).

**Relationship between speech intelligibility and brain activations.** The relationship between speech intelligibility scores and brain activation within each condition led to two main findings. Results suggest the involvement of i) a fronto-temporal network (bilateral IFG and left auditory cortex) in the adverse TMR condition and ii) the right IFG in the favorable TMR condition. Those results show that the situation is more complex than what task activation revealed. This positive correlation between cortical activity and performance is in favor of engagement variability in the task with some individuals remaining engaged in the task by trying to solicit more resources while other may have partially (e.g., for some trials) stop trying. As a result, the cortical activity variability in our sample was related to the capacity to use the TMR in the adverse condition, whereas other speech segregation mechanisms may have occurred in the intermediate one, like those based on voice frequency characteristics [2] for instance.

The literature has already established the role of the left IFG in speech-in-noise paradigms [14]. We suggest now that the left IFG is involved in speech intelligibility whatever the masking type: energetic (speech-in-noise) or informational (speech-in-speech) when the task is challenging.

Regarding the right IFG, speech intelligibility in informational masking arguably requires the inhibition of the masker talker to focus on the target talker. Previous study also found that the right IFG plays a central role in inhibition processing in a Stop-Signal task or Go/No-Go test for instance [62]. Indeed, inhibitory control is necessary to suppress irrelevant cognitive processes or motor plans [63] and maintaining and adapting goal directed behaviors in changing situations [64]. This ability relies on a right-lateralized fronto-basal brain network that includes the right IFG [62, 64, 65]. This would also apply to the favorable-TMR condition that remains a challenging task.

The literature about challenging listening conditions also highlights the implication of a larger fronto-temporo-parietal network, not limited to the bilateral IFG, for optimal speech intelligibility [66–69]. While the higher activation of the auditory cortex is more linked to the acoustic features of the stimulus, the prefrontal and parietal regions show a stimulus-independent activation [9, 70]. This suggests that the involvement of these brain areas can be attributed to higher order processes like attention, monitoring and memory [9, 21].

**Providing further evidence of the relationship between behavior and cortical activity.** Although this first experiment provides evidence of a link between speech intelligibility and
cortical activation when the TMR can be used, this link remains only observational. A more
effective way to test this relationship is to quantify the effect of the modification of one variable
over the other. Taking this into account, we designed a training paradigm in Experiment II
using an approach based on training and/or coaching. We hypothesized that task performance
in the adverse-TMR condition would improve in participants who initially had not performed
well in this condition. To do so we (a) specifically draw their attention to the voice level differ-
ences with instructions (e.g., "the target voice has a lower sound level than the masker voice"),
or (b) simply let them to further practice the task. Importantly, any improvement in behavioral
task performance and/or cognitive engagement, which might result from such interventions,
could not be ascribed to a change in the physical characteristics of the signals since TMRs
remained the same before and after interventions. Therefore, any change in cortical activity
between before and after this intervention would likely be indicative of a true association
between cortical activity and behavioral performance.

**Experiment II—trained participants**

**Methods**

**Participants and training groups.** Twenty-seven participants from Experiment I who achieved less than 50% of correct responses in the adverse condition were recruited to take part in Experiment II. These selection criteria have been chosen to address the following requirements. First, we had to select a condition in which the speech intelligibility variability and the room for improvement were the largest, which resulted in the exclusion of the favorable TMR condition. As our hypotheses focused on the improvement in the use of TMR to better segregate the target voice, we selected the condition that most segregates between participants who are able to use it and those who are not (i.e., a TMR of -12dB).

To control for task repetition effects, two types of training were tested with two subgroups
of participants. The first group, hereafter referred to as the ‘not-driven group’, simply repeated
the same task as in Experiment I. The second group hereafter referred to as the ‘driven group’,
received explicit verbal information that was meant to facilitate task performance by making it
easier for the participants to distinguish the target from the masker (see Fig 6). Specifically,
prior to a block of trials, participants from the driven group were informed whether the target
voice would be softer (negative TMR condition) or louder (positive TMR condition) than the
masker voice. Moreover, auditory feedback, consisting in the target sentence without the
masker, was systematically presented after each trial and participants were asked to validate
their answer one more time. The presentation of the target sentence in isolation was meant to
facilitate learning of relevant perceptual cues and strategies for more easily identifying and
hearing-out the target sentence from the target-plus-masker mixture.

**Training program.** All participants were randomly assigned to the not-driven or driven group. The training program was made of three consecutive days of training session (T1, T2 and T3). Each session lasted about 20 minutes and no fNIRS recordings were made during them. At the end of the training program, all 27 participants performed the same task as in the Experiment I with fNIRS recordings. This session, corresponding to the post-training session, lasted 30 minutes.

**Statistical analyses.** *Behavioral analyses.* Mauchly's sphericity tests on the RAU scores yielded significant results ($\chi^2 = 17.43; p < 0.001$ for TMR, and $\chi^2 = 8.56; p < 0.05$ for the TMR-by-session interaction). Accordingly, a two-by-three MANOVA was used to analyze the RAU scores, with Session (Pre- vs. Post-training) and TMRs (Adverse vs. Intermediate vs. Favorable) as within-subject factors and Group (Not-driven Group vs. Driven Group) as a between-subject factor. All post-hoc comparisons involved Tukey's honestly significant
<figure><img src="image_77.png" /><figcaption>**Fig 6.** Schematic of the experimental design. The two experiments are illustrated: Experiment I and Experiment II. For each experiment the number of participants and the experimental protocol are specified. The Experiment II also specifies the criterion for selecting the participants, the division into sub-groups and the training strategy used.</figcaption></figure>

https://doi.org/10.1371/journal.pone.0277801.g006

difference (HSD) tests. In addition, in order to test whether the trained participants had reached the best performers' accuracy of Experiment I, we also ran two-sided multiple t-test comparisons between the 27 best performers of Experiment I (Best Pre-test group) and the 27 participants of Experiment II, before training (Pre-training) and after training (Post-training).
P-values were corrected using the sequentially rejective multiple test procedure [71]. All behav-
ioral statistical analyses were performed using the software STATISTICA™ (V10) from Stat-
Soft® and a significant threshold was set to 0.05.

*fNIRS analyses.* Task activation and relationship between cortical activity and speech intelligibility scores were performed identically to Experiment I. Since behavioral analyses showed no group differences or interaction with it (see *Results* section), all fNIRS results presented hereafter refer to the whole population (driven + not-driven groups).

*Training effects on the relationship between cortical activity and speech intelligibility scores.*
In addition to the fNIRS analyses carried out identically to Experiment I, we have tested a
training effect over the relationship between speech intelligibility and brain activations with a
robust regression analysis between delta accuracies and delta fNIRS activations (i.e., differ-
ences between Post-training and Pre-training sessions). The *robustfit* function from Matlab®
with the bisquare weight function and default tuning constant value (i.e., 4.685) was also used.

**Results**

**Behavior.** The two different training types did not lead to any speech intelligibility differ-
ence between groups as attested by the MANOVA (p = 0.09 in best case; see Fig 7: driven
group and not driven group scores). Similarly, the training type did not interfere with the
TMR condition. These results indicate that the two types of training did not lead to any post-
training behavioral differences. However, a significant interaction between TMR and the

<figure><img src="image_78.png" /><figcaption>Fig 7. Speech intelligibility scores (RAUs) for each TMR (adverse, intermediate, favorable), training session (pre, post), training group (driven, not driven) and the 24 best performers of Experiment I (BestPreTest). Boxplots show medians (horizontal bars) and interquartile ranges (boxes). Whiskers reach from the lowest to the highest observed value within the 1.5 interquartile range.</figcaption></figure>

https://doi.org/10.1371/journal.pone.0277801.g007
training session was found (F(2,52) = 12.14; *p* < 0.001). As Tukey's HSD post-hoc tests showed a significant positive training effect for all three TMR conditions (*p* < 0.001 for all TMRs), a graphical interpretation of this interaction suggests a smaller improvement after the training for the favorable condition compared to the two others. Consistently, a main effect of the training session was also found, corresponding to a global significant increase in speech intelligibility after the training (M<sub>pre</sub> = 41.25, SD = 3.18; M<sub>post</sub> = 77.20, SD = 3.80; F(1,26) = 72.2; *p* < 0.001).

When compared to the best performers of Experiment I, t-tests revealed that pre-training scores of participants from Experiment II were lower within the adverse (*p* < 0.001; *t* = 9.05) and the intermediate conditions (*p* < 0.05; *t* = 2.73), but not within the favorable one (*p* = 0.13; *t* = 1.55). The same t-tests comparisons for post-training session showed that participants' scores of Experiment II reached higher accuracy scores in the favorable condition than the best performers of Experiment I (*p* < 0.05; *t* = -3.01).

**fNIRS.** *Task activation.* To investigate the brain correlates of the behavioral improvements following the training, T-tests between pre and post training sessions were carried out. The results showed significant activation decrease in bilateral IFG, right DLPFC, right auditory cortex and left IPL after training (*p* < 0.05; FDR corrected) for the adverse-TMR condition (see Fig 8). These contrasts also revealed a decrease of the right auditory cortex activation following training for the intermediate-TMR condition. This trend of decreasing cortical activity was instead reversed in the right PFC for the intermediate-TMR condition where the cortical activity increased after training.

*Relationship between cortical activation and intelligibility scores.* Contrary to what we found in Experiment I no significant correlation has been found between fNRIS activation and speech intelligibility score in any ROI and condition after the training.

Taking into consideration the training effects however, we found a significant negative cor-
relation between behavioral improvements and cortical activity. This effect was only observ-
able for the left IFG and only for the adverse condition, in which we found that the higher the
increase of speech intelligibility, the larger the decrease in the left IFG activity (see Fig 9).

Discussion II

**Training effects over the speech intelligibility.** The findings of similar, statistically sig-
nificant, improvements in behavioral performance in the not-driven and the driven groups
indicate that the provision of explicit instructions and feedback regarding response correctness
did not yield greater performance improvements than those afforded by supplementary task
practice alone. The improvements observed may have been due, at least in part, to further
learning of differentiating the talkers’ voices characteristics by the participants [72]. In addi-
tion, or instead, participants may have developed their own strategy to achieve the task [36],
probably based on inhibitory control.

In the present study, once the two voices are segregated, the listener has to select the target
voice and inhibit the masker voice. Besides, in the adverse condition, the masker voice is
louder and therefore easier to select. However, the listener has to inhibit this natural trend in
order to focus on the weaker target voice. Thus, inhibitory control seems to be crucial for good
speech intelligibility in our informational masking task. The development of an efficient inhib-
itory control has already been demonstrated during a short period of training without feed-
back or explicit instructions for well-known inhibition tests (e.g., Go/No-Go test, Stop-Signal
task, Stroop task), in EEG [73] and fMRI [74] experiments.

**Training effects over the cortical activity.** We observed that the training led to a decrease of bilateral IFG, right DLPFC and right auditory cortex activities within the adverse-TMR
<figure><img src="image_79.png" /><figcaption>Fig 8. Effects of training on cortical activations for each TMR condition. Pre: Pre-training session; Post: post-training session. * *p* < 0.05 (FDR corrected).</figcaption></figure>

https://doi.org/10.1371/journal.pone.0277801.g008

condition, as well as a decrease of right auditory cortex activity in the intermediate-TMR condition. This contrasts with previous studies and our first experiment results that showed greater cortical activation associated with higher speech intelligibility [38, 40]. We can argue however, that measurement of cortical activity during the first training sessions would have probably shown greater activation of IFGs that would have subsequently decrease due to automatization mechanisms. Previous studies have found such initial cortical activity increase, followed by a progressive decrease during training [45, 75]. In Qi et al.'s study [45], the authors measured the cortical activity during a discrimination tasks with speech (Mandarin) tones and sinewave tones, before and after intensive Mandarin course (i.e., listening, reading and writing) in native English-speakers. They showed that participants exhibiting a larger decrease of right IFG activity showed better long-term retention of Mandarin language. A similar pattern– with an increase followed by a decrease of IFG activity during training–has also been observed in an fMRI study using a visuo-spatial working memory task [75]. Finally, decreased IFG activity has also been found in studies involving inhibitory-control tasks [73, 76].

The role of inhibitory control in the task is the second major difference between our study and previous studies that reported better speech intelligibility associated with a higher IFG
<figure><img src="image_80.png" /><figcaption>Fig 9. Relationship (robust regression) between training effects over the speech intelligibility (RAU score) in the adverse condition, and training effects over the left IFG activity (fNIRS activation). For both measures, the delta corresponds to the difference between Post-training and Pre-training session values.</figcaption></figure>

https://doi.org/10.1371/journal.pone.0277801.g009

activation across conditions. Indeed, we used a speech-in-speech task with two talkers producing intelligible sentences, whereas most of the previous studies used degraded speech with only one talker [38, 40]. As a consequence, the inhibition of the loud masker talker, that plays a major role in our task achievement, is not required in the former studies since it doesn't exist.

At the neural level, inhibitory control has been associated with a consistent network of brain areas involving mainly the frontal cortex and more specifically, the bilateral IFG [63, 74, 77–79]. Inhibitory control belongs to a domain-general system that manages the ability to inhibit interference from task-irrelevant information [65, 80]. Chavan et al. [74] for instance, used a Go/No-Go proficiency test to study the effects of a two-week training on frontal top-down inhibitory control mechanisms. They found that behavioral improvements were associated with decreased activities in bilateral IFG, consistent with our training results. They argued that participants presented a minor engagement of neural populations involved in the inhibitory process to achieve the task.

As an explanation, some authors suggest that neural modifications (e.g., synaptic weight updates), leading to more efficient and lower neural activity, would occur during the training [81]. We suggest now that similar mechanisms were involved in the present study, and that it may explain the decreased activity of the IFG following the training.

**Training effects over the relationship between speech intelligibility and cortical activity.** Finally, one interesting result is the fact the relationship between speech intelligibility scores and cortical activations observed in Experiment I was no more significant in Experiment II. This effect may be explained by 1) the decrease in variability after the training (which was expected) and 2) a lower sample size than Experiment I. Nevertheless, analyzing this relationship in terms of variation between pre- and post-training sessions (i.e., delta performance and delta activation) we found that participants who benefited the most from the training in
the adverse-TMR condition were those who reduced the most their left and right IFG as well as left auditory cortex activities. Along with the results from Experiment I, this is additional evidence that some automatization mechanisms in the left IFG may rapidly take place within the speech-in-speech task to provide better speech intelligibility.

General discussion

The present study aimed to investigate the neural mechanisms underlying the ability of human listeners to selectively attend to, and understand, a talker's voice in the presence of a competing voice—a particular case of a more general ability, sometimes referred to as 'cocktail party' listening. To address this question, two complementary approaches were used. In a first experiment (Experiment I), correlations between behavioral performance and cortical activity were assessed for three conditions, corresponding to different TMRs, yielding different levels of task difficulty. For the adverse-TMR condition only, correlations were observed, indicating greater cortical activity with higher performance. Importantly, for some participants, performance was lower in this adverse-TMR condition than in the two others, more favorable TMR conditions (as expected based on the level of the masker). For other participants, performance was higher in the adverse-TMR condition than in the intermediate-TMR condition. The latter arguably took advantage of the sound level difference between the target and the masker sentences to identify the target. Consequently, a second experiment (Experiment II) used a different approach to further investigate the relationships between task performance and cortical activity. In this approach, training, specific task instructions, and feedback were used to improve the performance of participants who had initially performed poorly in the adverse-TMR condition in Experiment I. Changes in cortical activity were observed, related to changes in behavioral performance with training, providing further evidence for the existence of relationships between these two variables. Together, these two approaches, observational (Experiment I) and training (Experiment II), provide additional support for the hypothesis proposed in earlier studies [14], that left IFG is involved in challenging listening situations.

This leaves the neural activity related to masker inhibition as the most plausible explanation for the combined results of Experiment I and II. By associating learning with synaptic weight-
ing updates and lower neural activity [81–84], the neural efficiency theory provides a compre-
hensive framework for the dual observation of a better performance and a lower brain activity
in terms of a lower cognitive engagement. In line with the assumptions of this theory, Bless
et al. [81] found that training in a dichotic task led to better performance and lower cortical
activity in brain regions associated with selective auditory processing. A decrease of neural
activity resulting from training likely results in cognitive-resource savings that can be used
subsequently to perform concurrent tasks. This could be assessed, for instance, in future stud-
ies using a dual-task paradigm.

Finally, the multi-talker task used in this study involves inhibition of the masker's voice to
focus on the talker's voice, suggesting that training benefits may stem from better inhibitory
control. Indeed, the inhibitory control is particularly relevant here since the louder masker in
the adverse TMR condition is much easier to report than the target talker. Hence, the listener
has to struggle against this natural trend to perform correctly. Nevertheless, a broader role of
inhibitory control in generic speech-in-speech task has to be confirmed. The crucial role of
inhibitory control may be limited to multi-talker situations with large level differences between
talkers. For instance, it is expected that no natural trend would be in favor of a given talker if
talkers differ only by their gender. However, inhibitory control would help, at least, to limit the
interference of the masker talker in any multi talker situations [85]. Future studies could target
the role of inhibitory control thanks to specific protocols. For instance, an experiment could
reinforce the inhibitory control by training with a non-auditory task, and then test whether that training can improve the speech-in-speech intelligibility. Reciprocally, other experiment could test the effect of speech-in-speech training on non-auditory measurement of inhibitory control.

The present findings argue that the improvement in speech-in-speech intelligibility can be mediated by a cognitive ability, namely the inhibitory control. Since that ability is not auditory specific, it could be trained by non-auditory tasks (e.g., serious games) and then benefits patients with clinical or subclinical auditory lesions. Moreover, as suggested by the decrease of the left IFG activity following the training, such training should spare cognitive resources and therefore be more beneficial for the elderly or the workers submitted to cognitive constraints.

## Acknowledgments

The authors warmly thank Bruno Sourdillat and François Capman for their helpful support and Jean Christophe Bouy for software development.

## Author Contributions

**Conceptualization:** Cosima Lanzilotti, Guillaume Andéol, Sébastien Scannella.

**Data curation:** Cosima Lanzilotti, Guillaume Andéol, Sébastien Scannella.

**Formal analysis:** Cosima Lanzilotti, Guillaume Andéol, Christophe Micheyl, Sébastien Scannella.

**Funding acquisition:** Guillaume Andéol, Sébastien Scannella.

**Investigation:** Cosima Lanzilotti.

**Methodology:** Cosima Lanzilotti, Guillaume Andéol, Christophe Micheyl, Sébastien Scannella.

**Project administration:** Cosima Lanzilotti, Guillaume Andéol, Sébastien Scannella.

**Resources:** Guillaume Andéol, Christophe Micheyl, Sébastien Scannella.

**Software:** Christophe Micheyl, Sébastien Scannella.

**Supervision:** Guillaume Andéol, Christophe Micheyl, Sébastien Scannella.

**Validation:** Cosima Lanzilotti, Guillaume Andéol, Sébastien Scannella.

**Visualization:** Cosima Lanzilotti, Guillaume Andéol, Christophe Micheyl, Sébastien Scannella.

**Writing – original draft:** Cosima Lanzilotti, Guillaume Andéol, Christophe Micheyl, Sébastien Scannella.

**Writing – review & editing:** Cosima Lanzilotti, Guillaume Andéol, Christophe Micheyl, Sébastien Scannella.

## References

1. Bee MA, Micheyl C. The "Cocktail Party Problem": What Is It? How Can It Be Solved? And Why Should Animal Behaviorists Study It? J Comp Psychol Wash DC 1983. 2008; 122: 235-251. https://doi.org/10.1037/0735-7036.122.3.235 PMID: 18729652

2. Bronkhorst AW. The cocktail-party problem revisited: early processing and selection of multi-talker speech. Atten Percept Psychophys. 2015. https://doi.org/10.3758/s13414-015-0882-9 PMID: 25828463

3. Cherry EC. Coktail Party Effect Cherry 1953.pdf. J Acoust Soc Am. 1953; 25: 975-979.
4. McDermott JH. The cocktail party problem. Curr Biol. 2009; 19: 1024-1027. https://doi.org/10.1016/j.cub.2009.09.005 PMID: 19948136

5. Micheyl C, Oxenham AJ. Pitch, harmonicity and concurrent sound segregation: Psychoacoustical and neurophysiological findings. Hear Res. 2010; 266: 36-51. https://doi.org/10.1016/j.heares.2009.09.012 PMID: 19788920

6. Shinn-Cunningham BG, Best V. Selective Attention in Normal and Impaired Hearing. Trends Amplif. 2008. https://doi.org/10.1177/1084713808325306 PMID: 18974202

7. Soltanparast S, Toufan R, Talebian S, Pourbakht A. Regularity of background auditory scene and selective attention: A brain oscillatory study. Neurosci Lett. 2022; 772: 136465. https://doi.org/10.1016/j.neulet.2022.136465 PMID: 35063501

8. Zhang M, Alamatsaz N, Ihlefeld A. Hemodynamic Responses Link Individual Differences in Informational Masking to the Vicinity of Superior Temporal Gyrus. Front Neurosci. 2021; 15: 675326. https://doi.org/10.3389/fnins.2021.675326 PMID: 34366772

9. Peelle JE. Listening effort: How the cognitive consequences of acoustic challenge are reflected in brain and behavior. Ear Hear. 2018; 39. https://doi.org/10.1097/AUD.0000000000000494 PMID: 28938250

10. Best V, Shinn-Cunningham BG, Ozmeral EJ, Kopčo N. Exploring the benefit of auditory spatial continuity Spatial release from informational masking in speech recognition Exploring the benefit of auditory spatial continuity. Cit J Acoust Soc Am. 2010; 127: 2112-2112. https://doi.org/10.1121/1.3431093 PMID: 20550229

11. Brodbeck C, Simon JZ. Cortical tracking of voice pitch in the presence of multiple speakers depends on selective attention. bioRxiv; 2021. p. 2021.12.03.471122. https://doi.org/10.1101/2021.12.03.471122

12. Oxenham AJ. Pitch Perception and Auditory Stream Segregation: Implications for Hearing Loss and Cochlear Implants. 2008. https://doi.org/10.1177/1084713808325881 PMID: 18974203

13. Popham S, Boebinger D, Ellis DPW, Kawahara H, McDermott JH. Inharmonic speech reveals the role of harmonicity in the cocktail party problem. Nat Commun. 2018; 9: 2122. https://doi.org/10.1038/s41467-018-04551-8 PMID: 29844313

14. Alain C, Du Y, Bernstein LJ, Barten T, Banai K. Listening under difficult conditions: An activation likelihood estimation meta-analysis. Hum Brain Mapp. 2018; 39: 2695-2709. https://doi.org/10.1002/hbm.24031 PMID: 29536592

15. Lawrence RJ, Wiggins IM, Anderson CA, Davies-Thompson J, Hartley DEH. Cortical correlates of speech intelligibility measured using functional near-infrared spectroscopy (fNIRS). Hear Res. 2018; 370: 53-64. https://doi.org/10.1016/j.heares.2018.09.005 PMID: 30292959

16. Wijayasiri P, Hartley DEH, Wiggins IM. Brain activity underlying the recovery of meaning from degraded speech: A functional near-infrared spectroscopy (fNIRS) study. Hear Res. 2017; 351: 55-67. https://doi.org/10.1016/j.heares.2017.05.010 PMID: 28571617

17. Wild CJ, Yusuf A, Wilson DE, Peelle JE, Davis MH, Johnsrude IS. Effortful Listening: The Processing of Degraded Speech Depends Critically on Attention. J Neurosci. 2012; 32: 14010-14021. https://doi.org/10.1523/JNEUROSCI.1528-12.2012 PMID: 23035108

18. Evans S, McGettigan C, Agnew ZK, Rosen S, Scott SK. Getting the Cocktail Party Started: Masking Effects in Speech Perception. J Cogn Neurosci. 2016; 28: 483-500. https://doi.org/10.1162/jocn_a_00913 PMID: 26696297

19. Scott SK, McGettigan C. The neural processing of masked speech. Hear Res. 2013; 303: 58-66. https://doi.org/10.1016/j.heares.2013.05.001 PMID: 23685149

20. Quaresima V, Ferrari M. Functional Near-Infrared Spectroscopy (fNIRS) for Assessing Cerebral Cortex Function During Human Behavior in Natural/Social Situations: A Concise Review. Organ Res Methods. 2019; 22: 46-68. https://doi.org/10.1177/1094428116658959

21. Andéol G, Suied C, Scannella S, Dehais F. The Spatial Release of Cognitive Load in Cocktail Party Is Determined by the Relative Levels of the Talkers. JARO-J Assoc Res Otolaryngol. 2017; 18: 457-464. https://doi.org/10.1007/s10162-016-0611-7 PMID: 28101695

22. Blain S, Talamini F, Fornoni L, Bidet-Caulet A, Caclin A. Shared cognitive resources between memory and attention during sound-sequence encoding. Atten Percept Psychophys. 2022; 84: 739-759. https://doi.org/10.3758/s13414-021-02390-2 PMID: 35106682

23. Eckert MA, Teubner-Rhodes S, Vaden KI. Is Listening in Noise Worth It? The Neurobiology of Speech Recognition in Challenging Listening Conditions. Ear Hear. 2016; 37: 101S-110S. https://doi.org/10.1097/AUD.0000000000000300 PMID: 27355759

24. White BE, Langdon C. The cortical organization of listening effort: New insight from functional near-infrared spectroscopy. NeuroImage. 2021; 240: 118324. https://doi.org/10.1016/j.neuroimage.2021.118324 PMID: 34217787
25. Stroop JR. Studies of interference in serial verbal reactions. J Exp Psychol. 1935; 18: 643–662. https://doi.org/10.1037/h0054651

26. Dey A, Sommers MS. Age-related Differences in Inhibitory Control Predict Audiovisual Speech Perception. Psychol Aging. 2015; 30: 634–646. https://doi.org/10.1037/pag0000033 PMID: 26121287

27. Sommers MS, Danielson SM. Inhibitory processes and spoken word recognition in young and older adults: The interaction of lexical competition and semantic context. Psychol Aging. 1999; 14: 458–472. https://doi.org/10.1037/0882-7974.14.3.458 PMID: 10509700

28. Taler V, Aaron GP, Steinmetz LG, Pisoni DB. Lexical Neighborhood Density Effects on Spoken Word Recognition and Production in Healthy Aging. J Gerontol Ser B. 2010; 65B: 551–560. https://doi.org/10.1093/geronb/gbq039 PMID: 20542997

29. Brungart DS. Informational and energetic masking effects in the perception of two simultaneous talkers. J Acoust Soc Am. 2001; 109: 1101–1109. https://doi.org/10.1121/1.1345696 PMID: 11303924

30. Boulenger V, Hoen M, Ferragne E, Pellegrino F, Meunier F. Real-time lexical competitions during speech-in-speech comprehension. Speech Commun. 2010; 52: 246–253. https://doi.org/10.1016/j.specom.2009.11.002

31. Shinn-Cunningham BG. Object-based auditory and visual attention. Trends Cogn Sci. 2008; 12: 182–186. https://doi.org/10.1016/j.tics.2008.02.003 PMID: 18396091

32. Ezzatian P, Li L, Pichora-Fuller MK, Schneider BA. The effect of energetic and informational masking on the time-course of stream segregation: Evidence that streaming depends on vocal fine structure cues. Lang Cogn Process. 2012; 27: 1056–1088. https://doi.org/10.1080/01690965.2011.591934

33. Ljung R, Israelsson K, Hygge S. Speech Intelligibility and Recall of Spoken Material Heard at Different Signal-to-noise Ratios and the Role Played by Working Memory Capacity. Appl Cogn Psychol. 2013; 27: 198–203. https://doi.org/10.1002/acp.2896

34. Rimmele JM, Zion Golumbic E, Schröger E, Poeppel D. The effects of selective attention and speech acoustics on neural speech-tracking in a multi-talker scene. Cortex. 2015; 68: 144–154. https://doi.org/10.1016/j.cortex.2014.12.014 PMID: 25650107

35. Kidd G, Mason CR, Richards VM, Gallun FJ, Durlach NI. Informational masking. Audit Percept Sound Sources. 2008; 143–189.

36. Thompson ER, Iyer N, Simpson BD, Wakefield GH, Kieras DE, Brungart DS. in Speech-on-Speech Masking Experiments a). 2015; 138: 1297–1304.

37. Brungart DS, Simpson BD. Effect of target-masker similarity on across-ear interference in a dichotic cocktail-party listening task. J Acoust Soc Am. 2007; 122: 1724–1734. https://doi.org/10.1121/1.2756797 PMID: 17927432

38. Eisner F, McGettigan C, Faulkner A, Rosen S, Scott SK. Inferior frontal gyrus activation predicts individual differences in perceptual learning of cochlear-implant simulations. J Neurosci. 2010; 30: 7179–7186. https://doi.org/10.1523/JNEUROSCI.4040-09.2010 PMID: 20505085

39. Golestani N, Zatorre RJ. Learning new sounds of speech: Reallocation of neural substrates. NeuroImage. 2004; 21: 494–506. https://doi.org/10.1016/j.neuroimage.2003.09.071 PMID: 14980552

40. Sehm B, Schnitzler T, Obleser J, Groba A, Ragert P, Villringer A, et al. Facilitation of inferior frontal cortex by transcranial direct current stimulation induces perceptual learning of severely degraded speech. J Neurosci. 2013; 33: 15868–15878. https://doi.org/10.1523/JNEUROSCI.5466-12.2013 PMID: 24089493

41. Sohoglu E, Davis MH. Perceptual learning of degraded speech by minimizing prediction error. Proc Natl Acad Sci. 2016; 113: E1747–E1756. https://doi.org/10.1073/pnas.1523266113 PMID: 26957596

42. Brungart DS, Simpson BD. Within-ear and across-ear interference in a dichotic cocktail party listening task: Effects of masker uncertainty. J Acoust Soc Am. 2004; 115: 301–310. https://doi.org/10.1121/1.1628683 PMID: 14759023

43. Cooke M, Garcia Lecumberri ML, Barker J. The foreign language cocktail party problem: Energetic and informational masking effects in non-native speech perception. J Acoust Soc Am. 2008; 123: 414–427. https://doi.org/10.1121/1.2804952 PMID: 18177170

44. Bolia RS, Nelson WT, Ericson MA, Simpson BD. A speech corpus for multitalker communications research. J Acoust Soc Am. 2000; 107: 1065–1066. https://doi.org/10.1121/1.428288 PMID: 10687719

45. Qi Z, Han M, Wang Y, de los Angeles C, Liu Q, Garel K, et al. Speech processing and plasticity in the right hemisphere predict variation in adult foreign language learning. NeuroImage. 2019; 192: 76–87. https://doi.org/10.1016/j.neuroimage.2019.03.008 PMID: 30853566

46. Aasted CM, Yücel MA, Cooper RJ, Dubb J, Tsuzuki D, Becerra L, et al. Anatomical guidance for functional near-infrared spectroscopy: AtlasViewer tutorial. Neurophotonics. 2015; 2: 020801–020801. https://doi.org/10.1117/1.NPh.2.2.020801 PMID: 26157991
47. Lancaster JL, Woldorff MG, Parsons LM, Liotti M, Freitas CS, Rainey L, et al. Automated Talairach atlas labels for functional brain mapping. Hum Brain Mapp. 2000; 10: 120-131. https://doi.org/10.1002/1097-0193(200007)10:3<120::aid-hbm30>3.0.co;2-8 PMID: 10912591

48. Poldrack RA, Mumford JA, Nichols TE. Handbook of Functional MRI Data Analysis. Cambridge University Press; 2011.

49. Santosa H, Zhai X, Fishburn F, Huppert T. The NIRS Brain AnalyzIR toolbox. Algorithms. 2018;11. https://doi.org/10.3390/A11050073

50. Pollonini L, Olds C, Abaya H, Bortfeld H, Beauchamp MS, Oghalai JS. Auditory cortex activation to natural speech and simulated cochlear implant speech measured with functional near-infrared spectroscopy. Hear Res. 2014; 309: 84-93. https://doi.org/10.1016/j.heares.2013.11.007 PMID: 24342740

51. Fishburn FA, Hlutkowsky CO, Bemis LM, Huppert TJ, Wakschlag LS, Perlman SB. Irritability uniquely predicts prefrontal cortex activation during preschool inhibitory control among all temperament domains: A LASSO approach. NeurolImage. 2019; 184: 68-77. https://doi.org/10.1016/j.neuroimage.2018.09.023 PMID: 30213776

52. Studebaker GA. A "Rationalized" Arcsine Transform. J Speech Lang Hear Res. 1985; 28: 455-462. https://doi.org/10.1044/jshr.2803.455 PMID: 4046587

53. Pedregosa F, Eickenberg M, Ciuciu P, Thirion B, Gramfort A. Data-driven HRF estimation for encoding and decoding models. NeurolImage. 2015; 104: 209-220. https://doi.org/10.1016/j.neuroimage.2014.09.060 PMID: 25304775

54. Barker JW, Aarabi A, Huppert TJ. Autoregressive model based algorithm for correcting motion and seriously correlated errors in fNIRS. Biomed Opt Express. 2013; 4: 1366-1366. https://doi.org/10.1364/BOE.4.001366 PMID: 24009999

55. Huppert TJ. Commentary on the statistical properties of noise and its implication on general linear models in functional near-infrared spectroscopy. Neurophotonics. 2016; 3: 010401. https://doi.org/10.1117/1.NPh.3.1.010401 PMID: 26989756

56. Wilkinson GN, Rogers CE. Symbolic description of factorial models for analysis of variance. J R Stat Soc Ser C Appl Stat. 1973; 22: 392-399.

57. Benjamini Y, Hochberg Y. Controlling the False Discovery Rate: A Practical and Powerful Approach to Multiple Testing. J R Stat Soc Ser B Methodol. 1995; 57: 289-300. https://doi.org/10.1111/j.2517-6161.1995.tb02031.x

58. Davis MH, Johnsrude IS. Hierarchical processing in spoken language comprehension. J Neurosci. 2003; 23: 3423-3431. https://doi.org/10.1523/JNEUROSCI.23-08-03423.2003 PMID: 12716950

59. Zekveld AA, Heslenfeld DJ, Johnsrude IS, Versfeld NJ, Kramer SE. The eye as a window to the listening brain: Neural correlates of pupil size as a measure of cognitive listening load. NeurolImage. 2014; 101: 76-86. https://doi.org/10.1016/j.neuroimage.2014.06.069 PMID: 24999040

60. Pichora-Fuller MK, Kramer SE, Eckert MA, Edwards B, Hornsby BWY, Humes LE, et al. Hearing impairment and cognitive energy: The framework for understanding effortful listening (FUEL). Ear Hear. 2016; 37: 5S-27S. https://doi.org/10.1097/AUD.0000000000000312 PMID: 27355771

61. Vaden KI, Kuchinsky SE, Cute SL, Ahlstrom JB, Dubno JR, Eckert MA. The Cingulo-Opercular Network Provides Word-Recognition Benefit. J Neurosci. 2013; 33: 18979-18986. https://doi.org/10.1523/JNEUROSCI.1417-13.2013 PMID: 24285902

62. Hampshire A, Chamberlain SR, Monti MM, Duncan J, Owen AM. The role of the right inferior frontal gyrus: inhibition and attentional control. NeurolImage. 2010; 50: 1313-1319. https://doi.org/10.1016/j.neuroimage.2009.12.109 PMID: 20056157

63. Aron AR, Robbins TW, Poldrack RA. Inhibition and the right inferior frontal cortex: One decade on. Trends Cogn Sci. 2014; 18: 177-185. https://doi.org/10.1016/j.tics.2013.12.003 PMID: 24440116

64. Aron AR. The neural basis of inhibition in cognitive control. Neuroscientist. 2007; 13: 214-228. https://doi.org/10.1177/1073858407299288 PMID: 17519365

65. Aron AR, Robbins TW, Poldrack RA. Inhibition and the right inferior frontal cortex. Trends Cogn Sci. 2004; 8: 170-177. https://doi.org/10.1016/j.tics.2004.02.010 PMID: 15050513

66. Fiedler L, Wöstmann M, Herbst SK, Obleser J. Late cortical tracking of ignored speech facilitates neural selectivity in acoustically challenging conditions. NeurolImage. 2019; 186: 33-42. https://doi.org/10.1016/j.neuroimage.2018.10.057 PMID: 30367953

67. Hill KT, Miller LM. Auditory attentional control and selection during cocktail party listening. Cereb Cortex. 2010; 20: 583-590. https://doi.org/10.1093/cercor/bhp124 PMID: 19574393

68. Szalárdy O, Tóth B, Farkas D, György E, Winkler I. Neuronal correlates of informational and energetic masking in the human brain in a multi-talker situation. Front Psychol. 2019; 10: 1-16. https://doi.org/10.3389/fpsyg.2019.00786 PMID: 31024409
69. Tóth B, Farkas D, Urbán G, Szalárdy O, Orosz G, Hunyadi L, et al. Attention and speech-processing related functional brain networks activated in a multi-speaker environment. PLoS ONE. 2019. p. 31. https://doi.org/10.1371/JOURNAL.PONE.0212754 PMID: 30818389

70. Peelle JE, Eason RJ, Schmitter S, Schwarzbauer C, Davis MH. Evaluating an acoustically quiet EPI sequence for use in fMRI studies of speech and auditory processing. NeuroImage. 2010; 52: 1410–1419. https://doi.org/10.1016/j.neuroimage.2010.05.015 PMID: 20483377

71. Holm S. A Simple Sequentially Rejective Multiple Test Procedure. Scand J Stat. 1979; 6: 65–70. Available: https://www.jstor.org/stable/4615733

72. Johnsrude IS, Mackey A, Hakyemez H, Alexander E, Trang HP, Carlyon RP. Swinging at a Cocktail Party: Voice Familiarity Aids Speech Perception in the Presence of a Competing Voice. Psychol Sci. 2013; 24: 1995–2004. https://doi.org/10.1177/0956797613482467 PMID: 23985575

73. Manuel AL, Bernasconi F, Spierer L. Plastic modifications within inhibitory control networks induced by practicing a stop-signal task: An electrical neuroimaging study. Cortex. 2013; 49: 1141–1147. https://doi.org/10.1016/j.cortex.2012.12.009 PMID: 23313010

74. Chavan CF, Mouthon M, Draganski B, van der Zwaag W, Spierer L. Differential patterns of functional and structural plasticity within and between inferior frontal gyri support training-induced improvements in inhibitory control proficiency. Hum Brain Mapp. 2015; 36: 2527–2543. https://doi.org/10.1002/hbm.22789 PMID: 25801718

75. Hempel A, Giesel FL, Garcia Caraballo NM, Amann M, Meyer H, Wüstenberg T, et al. Plasticity of Cortical Activation Related to Working Memory during Training. Am J Psychiatry. 2004; 161: 745–747. https://doi.org/10.1176/appi.ajp.161.4.745 PMID: 15056524

76. Hartmann L, Sallard E, Spierer L. Enhancing frontal top-down inhibitory control with Go/NoGo training. Brain Struct Funct. 2016; 221: 3835–3842. https://doi.org/10.1007/s00429-015-1131-7 PMID: 26459141

77. Jonides J, Smith EE, Marshuetz C, Koeppé RA, Reuter-Lorenz PA. Inhibition in verbal working memory revealed by brain activation. Proc Natl Acad Sci U S A. 1998; 95: 8410–8413. https://doi.org/10.1073/pnas.95.14.8410 PMID: 9653200

78. Swick D, Ashley V, Turken U. Are the neural correlates of stopping and not going identical? Quantitative meta-analysis of two response inhibition tasks. NeuroImage. 2011; 56: 1655–1665. https://doi.org/10.1016/j.neuroimage.2011.02.070 PMID: 21376819

79. Xue G, Aron AR, Poldrack RA. Common neural substrates for inhibition of spoken and manual responses. Cereb Cortex. 2008; 18: 1923–1932. https://doi.org/10.1093/cercor/bhm220 PMID: 18245044

80. Miyake A, Friedman NP, Emerson MJ, Witzki AH, Howerter A, Wager TD. The Unity and Diversity of Executive Functions and Their Contributions to Complex “Frontal Lobe” Tasks: A Latent Variable Analysis. Cognit Psychol. 2000; 41: 49–100. https://doi.org/10.1006/cogp.1999.0734 PMID: 10945922

81. Bless JJ, Westerhausen R, Kompus K, Gudmundsen M, Hugdahl K. Self-supervised, mobile-application based cognitive training of auditory attention: A behavioral and fMRI evaluation. Internet Interv. 2014; 1: 102–110. https://doi.org/10.1016/j.invent.2014.06.001

82. Curtin A, Ayaz H, Tang Y, Sun J, Wang J, Tong S. Enhancing neural efficiency of cognitive processing speed via training and neurostimulation: An fNIRS and TMS study. NeuroImage. 2019; 198: 73–82. https://doi.org/10.1016/j.neuroimage.2019.05.020 PMID: 31078636

83. Fairclough S, Ewing K, Burns C, Kreplin U. Neural efficiency and mental workload: Locating the red line. Neuroergonomics Brain Work Everyday Life. 2018; 73–77. https://doi.org/10.1016/B978-0-12-811926-6.00012–9

84. Putkinen V, Saarikivi K. Neural correlates of enhanced executive functions: Is less more? Ann N Y Acad Sci. 2018; 1423: 117–125. https://doi.org/10.1111/nyas.13645 PMID: 29635748

85. Strauß A, Wöstmann M, Obleser J. Cortical alpha oscillations as a tool for auditory selective inhibition. Front Hum Neurosci. 2014; 8: 1–7. https://doi.org/10.3389/fnhum.2014.00350 PMID: 24904385
<figure><img src="image_81.png" /></figure>
<figure><img src="image_82.png" /></figure>

Check for updates

OPEN

# Performance after training in a complex cognitive task is enhanced by high-definition transcranial random noise stimulation

Quentin Chenot<fnref n="1" />✉, Caroline Hamery<fnref n="1" />, Evelyne Lepron<fnref n="1" />, Pierre Besson², Xavier De Boissezon³,⁴, Stéphane Perrey² & Sébastien Scannella<fnref n="1" />✉

Interest for neuromodulation, and transcranial random noise stimulation (tRNS) in particular, is growing. It concerns patients rehabilitation, but also healthy people who want or need to improve their cognitive and learning abilities. However, there is no consensus yet regarding the efficacy of tRNS on learning and performing a complex task. In particular, the most effective electrode montage is yet to be determined. Here, we examined the effect of two different tRNS montages on learning rate, short- and long-term performance in a video game (Space Fortress) that engages multiple cognitive abilities. Sixty-one participants were randomly assigned to one of three groups (sham vs. simple-definition tRNS vs. high-definition tRNS) in a double-blind protocol. Their performance on the Space Fortress task was monitored during a 15-day experiment with baseline (day 1), stimulation (day 2 to 4), short- (day 5) and long-term (day 15) evaluations. Our results show that the high-definition tRNS group improved more on the long term than simple-definition tRNS group, tended to learn faster and had better performance retention compared to both simple-definition tRNS and sham groups. This study is the first to report that high-definition tRNS is more effective than conventional simple-definition tRNS to enhance performance in a complex task.

During the last 10 years, the number of publications studying the effects of the transcranial electrical stimulation (tES) on cognitive training and cognitive functions has blossomed<fnref n="1" />. Here, we sought to investigate the effect of tES on the learning and retention of cognitive skills in a video-game like complex task. More specifically, we assessed two different montages (large pad-electrodes in a bilateral configuration vs. multi smaller electrodes in a 4 × 1 ring configuration) of a particular tES technique—the transcranial random noise stimulation (tRNS).

The effects of tES, especially transcranial direct current stimulation (tDCS) on cognitive performance has been widely studied². Nevertheless, the results are mostly heterogeneous with some studies showing an increase of performance whereas other studies show no improvement²⁻⁴. The reasons for these heterogeneous results may be found in the limits of the tDCS, which delivers a direct electrical current with a constant intensity and fixed polarity<fnref n="1" />. This constant intensity may be a limit as it could prevent persistent changes in neuronal membrane potentials through homeostatic mechanisms⁵,⁶.

Recently, a focus has been emphasized on tRNS that delivers a low intensity current at random frequencies, producing noise in the neural system. While the precise effect of such noise is still debated<fnref n="1" />, the proposed mechanisms include enhanced cortical excitability⁷, lower inhibitory thresholds in neurons⁸, facilitation of sodium channels reopening (i.e. repolarization) after a depolarization⁹ and stochastic resonance¹⁰. Stochastic resonance refers to the amplification of a weak signal with the addition of noise¹¹. More specifically, it has been suggested that this phenomenon modulates, not only the activity of the neurons under the site of stimulation, but also the activity of the other distant, inter-connected, neurons¹². By inducing noise, such stimulation may modify the

<footnote n="1">¹ISAE-SUPAERO, Université de Toulouse, Toulouse, France. ²EuroMov Digital Health in Motion, Univ Montpellier, IMT Mines Ales, Montpellier, France. ³Toulouse Neuroimaging Center (ToNIC), Université de Toulouse, INSERM, Toulouse, France. ⁴Department of Physical Medicine and Rehabilitation, University Hospital of Toulouse, Toulouse, France. ✉email: quentinchenot@gmail.com; sebastien.scannella@isae-supaero.fr</footnote>
discharge threshold of the neurons in the related brain networks, which should in turn induce a modification of behavioral performance¹.

These potential behavioral modifications have been investigated, and a summary of methods and results of studies (as of July 2021) that used tRNS and measured its effects on cognitive functions can be found in Table S2 in supplementary material. These include a wide range of high-level cognitive functions, spreading from attention¹³, working memory⁶,¹⁴, inhibition¹⁵⁻¹⁷, to mathematical skills¹⁸⁻²¹ and multitasking²². Noteworthy, the effects of tRNS on high-level cognitive functions are heterogeneous across studies with some studies showing no effects¹⁵,²³,²⁴ and several others showing significant effects⁶,¹⁸,²¹,²²,²⁵⁻²⁷. For instance, Brem et al.²⁵ showed that groups that received either tRNS or tDCS coupled with cognitive training (by means of a video game) had better transfer effect on fluid intelligence tasks compared to a sham stimulation. In the same way, another study²⁶, using an executive function training protocol coupled with tES, showed that the tRNS group had better improvements than the sham group. In addition to longitudinal, multi-session studies, Harty et al.²² investigated the effect of tRNS on learning of a complex and ecological task (start-up procedure of simulated waste water treatment) during one learning session. They showed that tRNS promoted better multitasking performance and better long-term retention of the task during the second session (after 2 weeks) compared to the sham group. Taken together, these results point out that tRNS is promising for training complex task skills that involve multiple cognitive functions.

Several studies presented above used a conventional bilateral tRNS montage over the dorsolateral prefrontal cortex (DLPFC), with large pad electrodes (typically between 25–35 cm²), soaked with saline and placed on F3 and F4 scalp positions of the 10–20 international system²⁰⁻²³,²⁶. We will refer to this montage as SD (simple definition). Recent development in tES have also used a 4 × 1 montage (i.e. 4 peripheral and 1 central electrode), to which we will refer as HD (high definition). This type of montage has the advantage of being more focal thanks to the use of smaller electrodes (e.g. π cm²) distributed over a predetermined brain area. This HD-montage has been used with various types of stimulation, including tDCS²⁸, but also transcranial alternating current stimulation²⁹⁻³² (tACS). Such HD-montage is now thought to be one the leads to optimize the stimulation effects on a specific area, regardless the type of stimulation²⁸,³³.

Specifically, both right and left DLPFC are typically thought to be recruited when performing complex tasks. It has been shown higher activity in these areas when individuals perform tasks involving executive functions tasks³⁴⁻³⁸ or multitasking³⁹,⁴⁰. Especially, the right DLPFC seems to be more involved during planing⁴¹, a key component of executive functions⁴². Therefore, a focal stimulation with the latter area may be more efficient than a conventional SD montage to improve training and cognitive performance in complex tasks.

However, to our knowledge, no study has attempted to investigate the potential advantages of HD-tRNS over a standard SD-tRNS montage during a 1-week training protocol of a complex task. In the present study, we used the Space Fortress (SF) video game as a complex task (Fig. 1). We selected this game because it has been specifically designed by psychologists to study complex task learning⁴³. In this 2D game, the player's performance is assessed through the practice of four concomitant sub-tasks: controlling a ship in the space, destroying a fortress, destroying moving mines and capturing bonuses (see Table S1 in supplementary material). Because of the multitasking skills required to perform well in this game, it makes it an interesting task to learn and master, necessarily involving several high-level cognitive processes such as executive functions⁴⁴,⁴⁵. This assertion is supported by the fact that SF training has been shown to modify the activity and the connectivity of the fronto-parietal network⁴⁶, which is typically involved in high-level cognitive functions⁴⁷⁻⁴⁹. Therefore, we aimed to stimulate a key brain region in this network—the DLPFC⁵⁰—in order to drive brain plasticity during SF learning.

Based on previous literature that showed that tRNS may increase performance in complex cognitive tasks²¹,²²,²⁵,²⁶, we expected (hypothesis 1) that the stimulated groups (SD-tRNS and HD-tRNS) would have a better learning rate in the SF task compared to the control group (sham). This higher learning rate would result in higher performance during both short-term, that is the day right after the training, (hypothesis 2.a.) and long-term evaluation, 10 days after the training (hypothesis 2.b.). We expected that the stimulated groups would also have better retention of performance between the end of the training and ten days after (hypothesis 3). Finally, based on the studies that showed that HD-tDCS may have an increased effect compared to SD-tDCS⁵¹⁻⁵⁴, we expected the HD-tRNS group to exhibit higher effects than the SD-tRNS group for all variables mentioned in the previous hypotheses (hypothesis 4).

To test these hypotheses, we ran a double-blind, randomized, placebo-controlled experiment. The experimentation lasted for five consecutive days at a fixed schedule, with one additional session ten days later. Day 1 was the baseline for SF performance, with no stimulation. From days 2 to 4 (training period), participants played two game sessions a day, each lasting 10 min. The stimulation was performed according to the group assignment (sham vs. SD-tRNS vs. HD-tRNS). The last two experimental sessions (short and long-term evaluations) were similar, but with no stimulation (see Fig. 1). To assess the effect of the stimulation, we computed the learning rate as the regression coefficient of a logarithmic adjustment model of SF performance over time⁵⁵. We also measured the deltas of performance between baseline and short-term, baseline and long-term, and between short-term and long-term (retention) experimental sessions. One way ANCOVAs (analyses of covariance) were conducted to investigate differences between groups (sham vs. SD-tRNS vs. HD-tRNS) on the learning rate and on the deltas of performance, each time controlling for video game experience (the covariate). Gaming experience was established with a standardised questionnaire to assess the frequency and intensity participants used to and/or presently play video games.

## Results

**Assessment of individual learning rates.** The ANCOVA on the learning rates (Figs. 2 and 3) showed a significant effect of the gaming experience ($F_{(1,57)} = 4.47, p = 0.039, \eta_p^2 = 7\%$, $b = 0.26, \text{power} = 0.55$), whereas the group factor did not reach significance ($F_{(2,57)} = 2.50, p = 0.091, \eta_p^2 = 8\%$, power = 0.48).