n'avait pas été au contact de langues étrangères (TH_FG) tandis que l'autre locutrice (TH FE), âgée de 18 ans, était étudiante en première année du département de français de l'Université Silpakorn de Nakhon Pathom, Thaïlande, au moment de l'enregistrement. Les résultats sont issus de 81 pseudo-mots * 2 tons * 2 répétitions * 2 locutrices, soit un total de 648 stimuli cibles.

## 3.3 Mesures et analyses

Le signal acoustique des productions de chaque locutrice a été segmenté et annoté manuellement avec Praat (v.6.2.23, Boersma & Weenink, 2022). Le traitement des données physiologiques a été effectué avec TRAP (TRaitement Automatique de la Parole), développé sous Matlab en interne au GIPSA-lab (Savariaux, 2017) et consistait à l'étiquetage des événements glottographiques sur le signal EEG. (FIGURE 1).

<figure><img src="image_135.png" /><figcaption>FIGURE 1: Visualisation de la fenêtre de travail du programme TRAP avec les 4 points repérés (Maximum PVL, Minimum PVL, Début de la consonne, Fin de la consonne) pour $C_1$ et $C_2$ sur la trajectoire du larynx lors de la réalisation de la syllabe /kak/ réalisé [kak'] par TH FE4.</figcaption></figure>

Les tracés du déplacement du larynx pouvant être liés à des mouvements de la tête et/ou des électrodes de l'EGG ont été exclus des analyses. Au total, 269 réalisations ont été écartées, comprenant 140 réalisations de $C_1$ (21 %) et 129 réalisations de $C_2$ (20 %). Les données glottographiques analysées correspondent à la position verticale du larynx (dorénavant PVL). Quatre événements ont été repérés le long de la trajectoire PVL : (1) le début acoustique de la consonne cible (Deb) ; (2) la fin acoustique de la consonne (Fin) ; (3) la position maximale de la PVL (Max) ; (4) la position minimale de la PVL (Min). Généralement, la valeur maximale de PVL se situe autour du début acoustique de la consonne et la valeur minimale autour de la fin acoustique de celle-ci. Pour décrire le mouvement de déplacement vertical du larynx pendant la réalisation des consonnes cibles, quatre calculs de différence de PVL ($\Delta$PVL) ont été effectués à partir de ces points de mesure : (1) $\Delta$PVL$_{FD}$ = Fin - Deb, (2) $\Delta$PVL$_{mM}$ = Min - Max, (3) $\Delta$PVL$_{MD}$ = Max - Deb, (4) $\Delta$PVL$_{mF}$ = Min - Fin. Étant donné que le matériel EGG utilisé ne dispose d'aucun paramètre de calibrage, les quatre différences d'amplitude du mouvement du larynx pour un locuteur donné ont ensuite été calibrées en les divisant par la valeur maximale de PVL (PVLMax) du locuteur. Par exemple, le pourcentage de l'abaissement du larynx $\Delta$PVL$_{FD}$ du locuteur j est calculé avec la formule suivante : $100 * \frac{\Delta$PVL$_{FDj}$}{PVL_{Maxj}}$. Cependant, parmi les quatre calculs de $\Delta$PVL initialement proposés, celui qui semble le plus pertinent pour rendre compte de l'amplitude et de la trajectoire du larynx pendant la production des plosives est $\Delta$PVL$_{FD}$. Par conséquent, nous présentons ci-dessous les analyses de cette variable.
## 3.4 Analyses statistiques

Pour chacune des deux participantes, nous avons étudié l'impact de plusieurs variables explicatives et de leurs interactions sur la variable réponse $\Delta PVL_{FD}$. Les variables explicatives sont CONSONNE (p, t, k), TON (T2 et T4), POSITION (initiale $C_1$ et finale $C_2$) et VOYELLE (a, e, i, o, u, $\epsilon$, $\theta$, $\gamma$, $\omega$). Les valeurs de la variable réponse sont bornées dans l'intervalle [-100, 0]. Compte tenu qu'un mot est prononcé plusieurs fois, nous avons introduit la variable *STIMULI* comme effet aléatoire dans le modèle. Dès lors, comme nous sommes en présence d'une variable réponse dont les valeurs sont bornées, et de mesures répétées, nous avons choisi d'utiliser une régression beta avec effets aléatoires réalisée à l'aide de la fonction *glmmTMB* du package *glmmTMB* du logiciel R. Pour pouvoir utiliser la régression beta, nous avons appliqué une bijection sur les valeurs de la variable réponse pour passer de l'intervalle [-100, 0] à l'intervalle [0, 1]). Afin d'évaluer si les facteurs fixes ainsi que leur interaction ont un impact significatif sur la variable réponse, nous avons utilisé des tests de modèles emboités en partant du modèle initial et en réalisant une sélection descendante avec $p \le 0.05$. Les tests ont été réalisés à l'aide de la fonction *anova* et du package *DHARMa* de R. En complément de l'étape de sélection du modèle, nous avons réalisé des comparaisons multiples (Hothorn et al., 2008) en utilisant la fonction *glht* du package *multcomp* de R d'où ont été tirées les valeurs de p présentées ci-dessous. La matrice de contrastes a été calculée avec la fonction *emmeans* du package *emmeans*.

## 4 Résultats

Afin d'observer les effets en inter-sujet, l'amplitude du déplacement vertical du larynx est estimée par rapport au point de référence correspondant spécifiquement à la valeur la plus élevée de la PVL relevée chez l'ensemble des locutrices. Parmi les deux sujets, TH_FG présente le plus grand abaissement de la PVL. Le point de référence est donc observé chez cette locutrice avec une valeur maximale absolue de 0,89.

<figure><img src="image_136.png" /><figcaption>FIGURE 2: Valeurs moyennes et intervalles de confiance pour la descente du larynx, pendant la réalisation de /p, t, k/ chez la locutrice TH_FG, en fonction de la position de la consonne dans la syllabe (à gauche) et en fonction du contexte tonal (bas T2 ou haut T4) et de la position de la consonne dans la syllabe (à droite).</figcaption></figure>
Lors de la segmentation des données acoustiques, nous avons remarqué dans les répétitions de la locutrice TH FE que le segment sonore /d/ qui suit la consonne finale C2 de la syllabe cible se dévoise régulièrement. Ainsi, un silence est présent sur le signal acoustique entre C2 non relâchée et /d/ dévoisée, ce qui rend difficile la détermination de la durée de C2 pour cette locutrice. Par conséquent, les données glottographiques de cette locutrice ne nous permettent pas d'étudier l'hypothèse principale de ce travail concernant une comparaison de la PVL entre C1 et C2. Afin de pouvoir continuer la segmentation et observer les C2 non relâchées entre elles, il a été décidé de placer la frontière entre C2 et C3 en nous basant sur l'intensité. La fin de C2 est ainsi déterminée par le point où la courbe d'intensité commence à remonter.

Concernant la locutrice TH FG, la tendance de la descente du larynx présente des variations entre les consonnes en position initiale et finale. Le larynx descend un peu plus en C2 pour /t/ et /k/ mais en C1 pour /p/. Cependant, ces différences entre C1 et C2 ne sont pas significatives.

Une analyse plus détaillée en fonction du contexte tonal, révèle des différences dans le mouvement du larynx en position initiale et finale. Par exemple, pour le ton bas (T2) en position initiale, le larynx descend davantage pour la coronale (47 %), puis la vélaire (46 %), et moins pour la bilabiale (41 %), tandis qu'en position finale, cette distribution est inversée : le larynx descend davantage pour /p/ et /k/ (39 %) et moins pour /t/ (36 %). En fonction de la position de la plosive dans la syllabe, c'est en C1 où une descente plus importante est relevée pour les trois lieux d'articulation (/p/ C1 : 42 % vs C2 : 39 %, /t/ C1 : 50 % vs C2 : 36 % et /k/ C1 : 46 % vs C2 : 38 %). En contexte tonal haut (T4), la descente du larynx est marquée pour la consonne bilabiale en C1 : le larynx descend plus pour la consonne /p/ (47 %), suivie de /t/ (39 %), et finalement de /k/ (38 %). En C2, le larynx descend plus notablement pour la consonne coronale (54 %) et moins pour la bilabiale (46 %). À l'intérieur des consonnes, une descente plus importante en C2 qu'en C1 est observée pour /t/ (54 % vs 39 %) et /k/ (51 % vs 38 %), tandis que la différence pour /p/ est quasi inexistante (46,98 % en C2 vs 46,91 en C1). En dépit de ces constatations, le facteur CONSONNE et toutes les interactions associées ont été statistiquement éliminées par la sélection descendante. En conséquence, les analyses des comparaisons entre C1 et C2 pour cette locutrice ne concernent que les interactions des variables TON et VOYELLE. Suite au traitement statistique résultant, les différences significatives trouvées sont limitées aux voyelles /i/ et /e/ sous le ton bas T2 (z = -3.282, p = 0.016 et z = -3.01, p = 0.039 respectivement) où le larynx descend davantage en position initiale, et à la voyelle /ɔ/ sous registre tonal haut T4 (z = 2.955, p = 0.047) avec un abaissement plus important en position finale qu'initiale.

<figure><img src="image_137.png" /></figure>

FIGURE 3: Valeurs moyennes et intervalles de confiance de la variation de la descente du larynx pendant la réalisation de /p, t, k/ chez la locutrice TH FE, en fonction du contexte tonal (bas T2 ou haut T4) et de la position de la consonne dans la syllabe.
Rappelons que pour TH FE, en raison du voisement du segment qui suit la syllabe cible, nous n'avons pas inclut ces données dans les analyses qui comparent la PVL entre C₁ et C₂. Néanmoins, ces données ont également révélé des tendances en fonction du contexte tonal. En position C₂, la différence de mouvement du larynx est plus ou moins prononcée selon le ton porté par la syllabe : une descente plus importante pour le ton haut que pour le ton bas est observée. Les analyses statistiques ont révélé des différences significatives pour les trois consonnes /p, t, k/ en fonction du ton (z = 16.672, p = <0.001 pour les trois consonnes), ainsi que pour la combinaison de facteurs CONSONNE*VOYELLE, à l'exception des voyelles fermées postérieures /u, w/ (z = 2.986, p = 0.073 et z = 2.966, p = 0.077 respectivement). La différence entre T2 et T4 pour les consonnes en position finale s'est révélée également significative chez la locutrice TH FG pour toutes les voyelles (z = 3.817 ; p = 0.002).

# 5 Conclusion

Cette étude qui est une partie d'un projet en cours vise à déterminer les aspects physiologiques des plosives non relâchées du thaï. Face aux résultats de travaux antérieurs qui attestent une absence de fuite nasale ou de fermeture glottique (Iwata et al., 1990 ; Michaud, 2004 ; Tran et al., 2020 ; Cano Córdoba et al., 2022), une analyse du mouvement vertical du larynx est proposée en considérant plusieurs variables, notamment le lieu d'articulation, la position syllabique de la consonne, le contexte vocalique, ainsi que le registre tonal. En accord avec les travaux antérieurs de Shipp et al. (1987), une descente du larynx a été observée lors de la production des plosives sourdes. Par ailleurs, entre la position initiale et la position finale de syllabe, une variation selon le contexte tonal a été trouvée.

Malgré la variabilité et l'absence de significativité statistique pour les données de TH_FG, une descente plus marquée du larynx a été constatée en C₂ qu'en C₁ pour les consonnes coronale et vélaire. Une analyse plus détaillée du comportement du larynx en fonction du ton a révélé des tendances spécifiques selon le registre tonal porté dans la syllabe. Pour la plupart des contextes vocaliques sous le ton haut (T4), une descente plus importante en C₂ qu'en C₁ a été observée, tandis que pour le ton bas (T2), le cas inverse a été relevé : c'est en position initiale que le larynx s'abaisse davantage. Cet effet du registre tonal sur le mouvement du larynx pourrait s'expliquer par le rôle de sa position dans la diminution de la hauteur de la fréquence fondamentale (Ohala, 1978 ; Trigo, 1991 ; Honda et al., 1999). Ainsi, lorsque le noyau syllabique se trouve sous le registre haut, le larynx est dans une position plus élevée que pour un registre tonal bas. En l'absence de fuite nasale ou de fermeture glottique, si un geste de descente de larynx est opéré pour donner lieu au non relâchement, celui-ci devrait être plus ample pour une consonne qui succède à une voyelle sous le ton haut que sous le ton bas. En conséquence des observations réalisées au cours de cette étude, il semble important de poursuivre l'exploration des stratégies individuelles qui pourraient expliquer le non relâchement des plosives finales en thaï. Le traitement et l'analyse des productions de deux autres locuteurs issues de la même campagne d'acquisition de données sont en cours.

# Remerciements

Ce travail a bénéficié d'une aide de l'Etat gérée par l'Agence Nationale de la Recherche au titre du programme « Investissements d'avenir » portant la référence ANR-15-IDEX-02 » (PAALAS : Perceptual-Acoustic cues of Asian-LAnguage final Stop consonants).

Les auteurs remercient l'IDEX pour sa contribution au financement de la mobilité de PACC.

Nous remercions vivement tous les locuteurs qui ont participé aux enregistrements.
Références

ABRAMSON, A. S., & TINGSABADH, K. (1999). Thai Final Stops: Cross-Language Perception. Phonetica, 56(3-4), 111-122. https://doi.org/10.1159/000028446

BOERSMA, P., & WEENINK, D. (2022). Praat: Doing phonetics by computer [Computer program]. Version 6.2.23. http://www.praat.org/

CANO CÓRDOBA, P. A., TRAN, T. T. H., VALLÉE, N., SAVARIAUX, C., GERBER, S., & YAMLAMAI, N. (2022). Caractérisation des consonnes plosives non relâchées du thaï: Une étude électroglottographique. XXXIIIIèmes Journées d'Etude sur la Parole, 361-370.

CHO, T., JUN, S.-A., & LADEFOGED, P. (2002). Acoustic and aerodynamic correlates of Korean stops and fricatives. Journal of Phonetics, 30(2), 193-228. https://doi.org/10.1006/jpho.2001.0153

EDMONDSON, J. A., CHANG, C. B., HUANG, H. J., HSIEH, F., & PENG, Y. (2010). Reinforcing voiceless stop coda in Taiwanese, Vietnamese and other East and Southeast Asian languages: Laryngoscopic case studies. Labphon, 12. https://labphon.org/sites/default/files/previous_conferences/LabPhon12.pdf

EDMONDSON, J. A., CHANG, Y., HSIEH, F., & HUANG, H. J. (2011). Reinforcing voiceless finals in Taiwanese and Hakka: Laryngoscopic case studies. Proceedings of the 17th International Congress of Phonetic Sciences, 627-630.

ESLING, J. H., MOISIK, S. R., BENNER, A., & CREVIER-BUCHMAN, L. (2019). Voice quality: The laryngeal articulator model. Cambridge University Press.

EWAN, W. G., & KRONES, R. (1974). Measuring larynx movement using the thyroumbrometer. Journal of Phonetics, 2(4), 327-335. https://doi.org/10.1016/S0095-4470(19)31302-6

HALLÉ, P. A. (1994). Evidence for Tone-Specific Activity of the Sternohyoid Muscle in Modern Standard Chinese. Language and Speech, 37(2), 103-123. https://doi.org/10.1177/002383099403700201

HONDA, K., HIRAI, H., MASAKI, S., & SHIMADA, Y. (1999). Role of Vertical Larynx Movement and Cervical Lordosis in F0 Control. Language and Speech, 42(4), 401-411. https://doi.org/10.1177/00238309990420040301

HOOLE, P. (2006). Experimental studies of laryngeal articulation [Thèse d'habilitation pour l'obtention de la Venia Legendi dans le domaine de la phonétique]. Ludwig-Maximilians-Universität.

HOOLE, P., & KROOS, C. (1998). Control of larynx height in vowel production. 5th International Conference on Spoken Language Processing (ICSLP 1998), paper 1097-0. https://doi.org/10.21437/ICSLP.1998-360

HOTHORN, T., BRETZ, F., & WESTFALL, P. (2008). Simultaneous Inference in General Parametric Models. Biometrical Journal, 50(3), 346-363. https://doi.org/10.1002/bimj.200810425

IWATA, R., HIROSE, H., NIIMI, S., SAWASHIMA, M., & HORIGUCHI, S. (1990). Syllable final stops in East Asian languages: Southern Chinese, Thai, and Korean. Proceedings of the 1990 International Conference on Spoken Language Processing, 621-624. http://www.isca-speech.org/archive/icslp_1990

KINGSTON, J. (2008). Lenition. 1-31.

KLEINER, C., HÄSNER, P., & BIRKHOLZ, P. (2023). Intrinsic velocity differences between larynx raising and larynx lowering. PLOS ONE, 18(2), e0281877. https://doi.org/10.1371/journal.pone.0281877

LADEFOGED, P., & MADDIESON, I. (1996). The sounds of the world's languages. Blackwell.

LISKER, L., & ABRAMSON, A. S. (1964). A Cross-Language Study of Voicing in Initial Stops: Acoustical Measurements. WORD, 20(3), 384-422. https://doi.org/10.1080/00437956.1964.11659830
MADDIESON, I. (1984). Patterns of sounds. Cambridge University Press.

MICHAUD, A. (2004). Final Consonants and Glottalization: New Perspectives from Hanoi Vietnamese. Phonetica, 61(2-3), 119-146. https://doi.org/10.1159/000082560

MOISIK, S. R., LIN, H., & ESLING, J. H. (2014). A study of laryngeal gestures in Mandarin citation tones using simultaneous laryngoscopy and laryngeal ultrasound (SLLUS). Journal of the International Phonetic Association, 44(1), 21-58.

OHALA, J. J. (1978). Production of Tone. In V. A. Fromkin (Éd.), Tone (p. 5-39). Academic Press. https://doi.org/10.1016/B978-0-12-267350-4.50006-6

PETERSEN, N. R. (1983). The effect of consonant type on fundamental frequency and larynx height in Danish. Annual Report of the Institute of Phonetics University of Copenhagen, 17, 55-86. https://doi.org/10.7146/aripuc.v17i

RIORDAN, C. J. (1977). Control of vocal-tract length in speech. The Journal of the Acoustical Society of America, 62(4), 998-1002. https://doi.org/10.1121/1.381595

ROTHENBERG, M. (1992). A multichannel electroglottograph. Journal of Voice, 6(1), 36-43. https://doi.org/10.1016/S0892-1997(05)80007-4

ROUSSET, I. (2004). Structures syllabiques et lexicales des langues du monde. Données, typologies, tendances universelles et contraintes substantielles [Phdthesis, Université Stendhal - Grenoble III]. https://tel.archives-ouvertes.fr/tel-00250154

SAGART, L., HALLÉ, P. A., BOYSSON-BARDIES, B. DE, & ARABIA-GUIDET, C. (1986). Tone production in modern standard chinese: An electromyographic investigation. Cahiers de Linguistique - Asie Orientale, 15(2), 205-221. https://doi.org/10.3406/clao.1986.1204

SAVARIAUX, C. (2017). Trap (version 7.2) [Logiciel de traitement des signaux de parole] (Gipsa-lab Brevet).

SHIPP, T., GUINN, L., SUNDBERG, J., & TITZE, I. R. (1987). Vertical laryngeal position—Research findings and their relationship to singing. Journal of Voice, 1(3), 220-222. https://doi.org/10.1016/S0892-1997(87)80003-6

STEVENS, K. N. (1997). Articulatory-Acoustic-Auditory Relationships. In W. J. Hardcastle & J. Laver (Éds.), The Handbook of Phonetic Sciences (1re éd., p. 462-506). Blackwell. https://doi.org/10.1002/9781444317251.ch12

STEVENS, K. N. (2000). Acoustic phonetics (1. paperback ed). MIT Press.

STORTO, L., & DEMOLIN, D. (2002). The Phonetics and Phonology of Unreleased Stops in Karitiana. Annual Meeting of the Berkeley Linguistics Society, 28(1), 487-497. https://doi.org/10.3765/bls.v28i1.3860

TINGSABADH, M. R. K., & ABRAMSON, A. S. (1993). Thai. Journal of the International Phonetic Association, 23(1), 24-28. https://doi.org/10.1017/S0025100300004746

TRAN, T. T. H. (2011). Processus d'acquisition des clusters et autres séquences de consonnes en langue seconde : De l'analyse acoustico-perceptive des séquences consonantiques du vietnamien à l'analyse de la perception et production des clusters du français par des apprenants vietnamiens du FLE (Numéro 2011GRENL028) [Thesis, Université de Grenoble]. https://tel.archives-ouvertes.fr/tel-01568326

TRAN, T. T. H., VALLÉE, N., SAVARIAUX, C., KIM, I., & KIM, S. (2020). Caractérisation des plosives finales dans des langues d'Asie : Une étude multilingue du non relâchement. Actes des XXVIIIèmes Journées d'Etude sur la Parole, Nancy, France, 597-605.

TRIGO, L. (1991). On Pharynx-Larynx Interactions. Phonology, 8(1), 113-136.

TSUKADA, K. (2004). A Cross-linguistic Acoustic Comparison of Unreleased Word-final Stops: Korean and Thai. Proceedings of INTERSPEECH 2004 - ICSLP, 8th International Conference on Spoken Language Processing, 1293-1296. https://doi.org/10.21437/Interspeech.2004-76
VALLÉE, N., BOE, L. J., SCHWARTZ, J. L., BADIN, P., & ABRY, C. (2002). The Weight of Phonetic Substance in the Structure of Sound Inventories. ZAS Papers in Linguistics, 28, 145-168. https://doi.org/10.21248/zaspil.28.2002.163

YAMLAMAI, N., & TRAN, T. (2018). Effet de la position de la syllabe sur la réalisation acoustique des consonnes finales du thaï. Actes des XXXIIe Journées d'Études sur la Parole, 151-159. https://doi.org/10.21437/JEP.2018-18
# Détection automatique des schwas en français - Application à la détection des troubles du sommeil

Colleen Beaumard¹,², Vincent P. Martin³, Yaru Wu⁴, Jean-Luc Rouas¹, Pierre Philip²

(1) LaBRI/UMR5800, 351 cours de la Libération, 33400 Talence, France

(2) SANPSY/6033, Place Amélie Raba-Léon, 33076 Bordeaux, France

(3) DDP Research Unit, Department of Precision Health, LIH, 1 A-B Rue Thomas Edison, 1445 Strassen, Luxembourg

(4) CRISCO/UR4255, Esplanade de la Paix, 14032 Caen, France

`{colleen.beaumard, jean-luc.rouas}@labri.fr, vincentp.martin@lih.lu, yaru.wu@unicaen.fr, pierre.philip@u-bordeaux.fr`

## RÉSUMÉ

La Somnolence Diurne Excessive affecte négativement les individus et est un problème de santé publique. L'analyse de la parole pourrait aider les cliniciens à la surveiller. Nous nous sommes concentrés sur la détection du schwa /ə/ et avons trouvé un lien entre le nombre d'occurrences annoté manuellement et le niveau de somnolence des patients hypersomnolents d'un sous-ensemble du corpus TILE. Dans un second temps, afin de pouvoir généraliser ces résultats à l'intégralité du corpus, nous avons conçu un système de détection des schwas, robuste à la somnolence. Dans un troisième temps, nous avons étendu notre analyse à deux autres phonèmes supplémentaires /θ/ et /ð/. Nous avons ainsi observé une relation significative entre /θ/ et la combinaison des trois phonèmes et la somnolence subjective à court terme.

## ABSTRACT

Automatic Schwa Spotting in French - Application to Pathological Sleepiness Detection

Excessive Daytime Sleepiness negatively affects both individuals and public health. Speech analysis could help clinicians monitor it. We focused on the detection of schwa /ə/ since it is a vowel whose realization is optional in French. We found a link between its manually annotated number and the sleepiness level of hypersomnolent patients of a subset of the MSLTc. We need a schwa spotting system robust to sleepiness to attest to this link in the whole corpus. We compared two different systems outputting either phonemes (baseline) or words (proposed) and found the second system was more robust to sleepiness, using manual annotation as our reference. Two other phonemes were considered due to their closeness to /ə/. Using automatic detection, we found a significant relationship between /θ/ and their combination, and short-term subjective sleepiness.

**MOTS-CLÉS** : Détection de schwa, Somnolence, Reconnaissance Automatique de la Parole.

**KEYWORDS:** Schwa Spotting, Sleepiness, Automatic Speech Recognition.

## 1 Introduction

La Somnolence Diurne Excessive (SDE) est associée à une grande variété de maladies (neurologiques, cardiovasculaires...) et affecte négativement la vie quotidienne et professionnelle des personnes qui en

<figure><img src="image_138.png" /></figure>
souffrent (Barnes & Watson, 2019). Elle augmente également le risque de mortalité (pour les accidents de véhicule (Bioulac et al., 2017), etc.) et de handicap (Jike et al., 2018), qui sont des problèmes de santé publique. Le suivi des symptômes de la SDE est difficile étant donné que les tests sont effectués à l'hôpital pendant une journée, ce qui est à la fois chronophage pour le patient et coûteux pour l'hôpital. Ainsi, les cliniciens ont besoin d'un outil pour collecter ces symptômes régulièrement et dans des conditions écologiques. L'analyse automatique de la parole peut être employée pour surveiller la SDE. La collecte de données vocales peut également être simplifiée en étant effectuée via des smartphones en enregistrant la parole lue ou spontanée.

Plusieurs corpus ont été créés pour détecter automatiquement la somnolence en analysant la parole, chacun utilisant différents types d'annotation. La mesure de somnolence utilisée pour annoter les corpora Sleepy Language (SLC) (Schuller et al., 2011) et SLEEP (Schuller et al., 2019) n'est pas validée cliniquement, donc non-interprétable par les médecins du sommeil. L'annotation du dataset Voiceome (Tran et al., 2022) ne permet pas de distinguer la somnolence de la fatigue (Maclean et al., 1992). Le corpus TILE (Martin et al., 2021b) (Test Itératif de Latence d'Endormissement) est le seul à notre connaissance à mesurer à la fois la somnolence subjective et physiologique avec des mesures validées par les cliniciens.

Bien que de nombreuses tentatives aient été faites pour étudier la détection automatique de la somnolence par l'analyse de la voix, les corpora utilisés sont presque exclusivement composés de parole lue. Ainsi, malgré les performances encourageantes obtenues par les derniers systèmes, certaines des caractéristiques utilisées sont spécifiques à ce type de parole (Martin et al., 2021a, 2022).

Puisque notre objectif est de pouvoir classifier automatiquement la somnolence de manière écologique, nous avons besoin d'évaluer des caractéristiques liées à la somnolence spécifiques à l'analyse de la parole spontanée. Le contrôle neuro-moteur et la planification cognitive peuvent avoir un impact sur la parole élicitée par les sujets somnolents (Harrison & Horne, 1997), nous avons donc décidé de nous concentrer en premier lieu sur l'étude de phonèmes spécifiques qui peuvent être influencés par un tel phénomène, et notamment le schwa.

En français, le schwa /ə/ est une voyelle centrale optionnelle - ce qui signifie que sa prononciation ou son absence ne change pas le sens du mot (Bürki et al., 2011; Durand, 2014). Par exemple, /dəmɛ/ « demain » peut être prononcé [dəmɛ] ou [dmɛ] sans changer son sens. Une pause remplie peut également être produite comme une voyelle de type schwa ([ə:] , « euh »). Sa présence ou son absence est liée à de nombreux facteurs tels que l'accent, la coarticulation, ou le type de parole. L'analyse phonétique peut être appliquée à la fois à la parole spontanée et à la lecture, ce qui pallie au manque de corpus de parole spontanée spécifique à la somnolence. Un corpus nommé Medispeech est actuellement en cours d'enregistrement au Service Universitaire de Médecine du Sommeil (SUMS) du CHU de Bordeaux et contient à la fois de la parole lue et de la parole spontanée. En attendant d'avoir un nombre suffisant d'enregistrement, nous avons utilisé un sous-ensemble du corpus TILE contenant 20 patients avec les plus importantes variations de somnolence à court terme (Martin et al., 2023a) et avons montré que le nombre de schwas annotés manuellement est lié au niveau de somnolence (Beaumard et al., 2023).

Notre objectif est de concevoir un système de détection automatique de schwas – c’est-à-dire détecter la présence (ou non) de schwa dans un signal de parole – sachant qu’elle ne doit pas être impactée par le niveau de somnolence des patients (robuste à la somnolence), et de le valider sur une base de données étiquetée à la main. Ce système peut ensuite être utilisé pour détecter automatiquement le schwa sur un corpus plus large (le corpus TILE) afin de confirmer nos précédents résultats obtenus.
Cet article est organisé comme suit : la Section 2 décrit le corpus utilisé, le sous-ensemble annoté manuellement à des fins d'évaluation ainsi que la méthodologie d'annotation. Dans la Section 3, nous présentons les systèmes de détection des schwas de référence et proposés. Leurs performances sont présentées et comparées dans la Section 4. Enfin, la Section 5 discute de l'utilité du système de détection de schwas conçu pour l'évaluation automatique de la somnolence.

# 2 Description des données

## 2.1 Le corpus TILE

Le corpus TILE (Martin et al., 2021b) contient 660 enregistrements de 132 patients hypersomnolents du SUMS du CHU de Bordeaux. Chaque patient a effectué un Test Itératif de Latence d'Endormissement (test éponyme du corpus) consistant en 5 opportunités de sieste de 20 minutes toutes les 2 heures, de 9h à 17h. Leur latence d'endormissement, c'est-à-dire le temps entre le début du test et le moment où le patient s'endort ou la fin du test, est mesurée à chaque occurrence du test. C'est une mesure de référence de la somnolence physiologique à long terme (Arand et al., 2005; Martin et al., 2023b). Avant chaque opportunité de sieste, les patients sont enregistrés en train de lire à voix haute un texte différent du Petit Prince (A. de Saint-Exupéry) d'environ 250 mots. Les patients ont également renseigné deux échelles cliniques : l'échelle de somnolence de Karolinska (KSS) et l'échelle de somnolence d'Epworth (ESS). Le premier mesure le niveau de somnolence subjective instantanée sur une échelle de Lickert à 9 points. Les patients remplissent ce questionnaire avant chaque lecture (somnolence subjective à court terme). Le second questionnaire mesure le niveau de somnolence subjective à long terme avec des questions sur des situations quotidiennes. Les patients remplissent ce questionnaire une fois.

Nous utilisons un sous-ensemble du corpus TILE (Martin et al., 2023a) contenant 100 enregistrements de 20 patients hypersomniaques ayant les plus fortes variations de somnolence à court terme (KSS) dans le but de mesurer l'impact du niveau de somnolence sur les performances de détection automatique de schwas.

Ce corpus et les descriptions de son sous-ensemble sont présentés dans la Table 1.

<table><caption>TABLE 1 – Description du corpus TILE et du sous-ensemble utilisé</caption><thead><tr><td>Corpus</td><td>TILE</td><td>Sous-ensemble</td></tr></thead><tbody><tr><td>Durée</td><td>14h 10m 12s</td><td>2h 11m 47s</td></tr><tr><td>#Patients (hommes/femmes)</td><td>132 (81/51)</td><td>20 (10/10)</td></tr><tr><td>#Enregistrements</td><td>660</td><td>100</td></tr><tr><td>KSS moyenne (sd)</td><td>4 (2)</td><td>5 (2)</td></tr><tr><td>Latence d'endormissement moyenne (sd)</td><td>12 (6)</td><td>14 (6)</td></tr></tbody></table>

## 2.2 Annotation manuelle

Nous avons tout d'abord transcrit les textes originaux en utilisant le Lexique 3.83 (New et al., 2004), qui contient la prononciation française standard d'environ 140 000 mots. Le /ə/ étant phonétiquement
proche du /ø/ (« deux ») et du /œ/ (« neuf ») (Fougeron et al., 2007), nous pensons que notre système de détection de schwas pourrait confondre le /ə/ avec l'un d'eux et avons donc étendu les phonèmes considérés au /ə/, /ø/, et /œ/. La Table 2 contient le nombre ainsi que la proportion de /ə/, /ø/, /œ/, et « e » (la combinaison des trois phonèmes) pour chaque texte et pour l'ensemble des textes. Nous avons ensuite annoté manuellement la présence ou l'absence de ces phonèmes sur les enregistrements audio du sous-ensemble.

<table><caption>TABLE 2 – Nombre et proportion de tous les phonèmes (33), /ə/, /ø/, /œ/ et « e » pour chaque texte et pour l'ensemble des textes. Nombre moyen et ratio moyen pour l'annotation manuelle.</caption><thead><tr><th>Phonème</th><th>Prononciation Réalisations</th><th>Texte 1</th><th>Texte 2</th><th>Texte 3</th><th>Texte 4</th><th>Texte 5</th><th>Tous</th></tr></thead><tbody><tr><td>Tous</td><td>Texte lu</td><td>735</td><td>726</td><td>634</td><td>689</td><td>734</td><td>3 518</td></tr><tr><td>/ə/</td><td>Texte lu</td><td>30 (4,1%)</td><td>53 (7,3%)</td><td>42 (6,6%)</td><td>42 (6,1%)</td><td>35 (4,8%)</td><td>202 (5,7%)</td></tr><tr><td></td><td>Annotées manuellement</td><td>28 (3,8%)</td><td>48 (6,6%)</td><td>38 (5,5%)</td><td>37 (5,4%)</td><td>28 (3,8%)</td><td>179 (5,1%)</td></tr><tr><td>/ø/</td><td>Texte lu</td><td>4 (0,5%)</td><td>7 (1,0%)</td><td>7 (1,1%)</td><td>7 (1,0%)</td><td>6 (0,8%)</td><td>31 (0,9%)</td></tr><tr><td></td><td>Annotées manuellement</td><td>4 (0,5%)</td><td>6 (0,8%)</td><td>6 (0,9%)</td><td>6 (0,9%)</td><td>8 (1,1%)</td><td>30 (0,8%)</td></tr><tr><td>/œ/</td><td>Texte lu</td><td>4 (0,5%)</td><td>3 (0,4%)</td><td>3 (0,5%)</td><td>2 (0,3%)</td><td>0 (0,0%)</td><td>12 (0,3%)</td></tr><tr><td></td><td>Annotées manuellement</td><td>3 (0,4%)</td><td>3 (0,4%)</td><td>3 (0,5%)</td><td>2 (0,3%)</td><td>0 (0,0%)</td><td>11 (0,3%)</td></tr><tr><td>« e »</td><td>Texte lu</td><td>38 (5,2%)</td><td>63 (8,7%)</td><td>52 (8,2%)</td><td>51 (7,4%)</td><td>41 (5,6%)</td><td>245 (7,0%)</td></tr><tr><td></td><td>Annotées manuellement</td><td>36 (4,9%)</td><td>58 (8,0%)</td><td>48 (7,6%)</td><td>46 (6,7%)</td><td>36 (4,9%)</td><td>224 (6,4%)</td></tr></tbody></table>

# 3 Systèmes de détection de schwa

## 3.1 Système de détection de schwas de référence

Notre système de détection de schwas de référence est un système de Reconnaissance Automatique de la Parole (RAP) basé uniquement sur un modèle TDNN-HMM entraîné avec la fonction LF-MMI (Boyer & Rouas, 2019). Le réseau neuronal est un réseau à délai temporel échantillonné avec 7 couches TDNN, chacune ayant 1024 unités. La valeur de pas temporel est réglée sur 1 pour les trois premières couches, 0 pour la quatrième, et 3 pour les suivantes. Le modèle acoustique est basé sur un vecteur MFCC de haute résolution à 40 dimensions concatené avec un i-vecteur de 100 dimensions (Gupta et al., 2014). Il a été entraîné en utilisant la boîte à outils Kaldi (Povey et al., 2011) sur un sous-ensemble d'ESTER 1 et 2 (Galliano et al., 2009). Nous utilisons directement la sortie phonétique du système pour les analyses. Le nombre de /ə/, /ø/ et /œ/ est ensuite extrait de cette transcription. La Figure 1 schématise le système de référence. Ce système atteint un taux d'erreur de phonèmes de 19,5% sur le corpus Rhapsodie composé de parole préparée, semi-spontanée et spontanée (Martin et al., 2024).

## 3.2 Système de détection de schwas proposé

L'idée de notre système proposé est d'améliorer les performances de la détection de schwa en supprimant les différences individuelles en utilisant la prononciation standard des mots. Pour ce faire, nous utilisons le système de RAP avec un lexique contenant des variantes de prononciation du dictionnaire phonémique fourni par le Laboratoire d'Informatique de l'Université du Mans (LIUM). De plus, un modèle de langage en mots 3-gram prenant en compte le contexte est implémenté.
Ce dernier a été entraîné sur les corpus ESTER en utilisant la méthode de comptage n-gram de SRILM (Stolcke, 2002) avec une réduction KN et a été limité aux 50 000 mots les plus fréquents dans les textes d'entraînement et le dictionnaire. Ce système atteint un taux d'erreur de mots de 13,7% (Boyer & Rouas, 2019).

Nous utilisons ainsi la sortie en mots de ce système complet de RAP que nous transcrivons ensuite en unités phonétiques en utilisant le Lexique 3.83 (voir la Figure 2). Si un mot n'est pas inclus dans celui-ci, nous l'avons transcrit manuellement. Le nombre d'occurrences détecté de /ə/, /ø/, et /œ/ est ensuite extrait de cette transcription. Cette méthode permet d'associer l'audio à la prononciation standard, ce qui réduirait la différence dans les transcriptions entre le lexique du système complet RAP et le lexique 3.83. Par exemple, le lexique à l'intérieur du système transcrivait le mot « premier » comme /pvəmje/ alors que la prononciation standard dans le Lexique 3.83 est /pVKmje/.

<figure><img src="image_139.png" /><figcaption>FIGURE 1 – Système de détection de schwas de référence</figcaption></figure>

<figure><img src="image_140.png" /><figcaption>FIGURE 2 – Système de détection de schwas proposé</figcaption></figure>

# 4 Performances de reconnaissance des phonèmes étudiés

Afin d'évaluer les performances des deux systèmes, nous avons calculé l'Erreur Absolue Moyenne normalisée (%MAE) et la Racine de l'Erreur Quadratique Moyenne (%RMSE) entre le nombre de schwas annotés manuellement et le nombre détecté par chaque système. Plus ces valeurs sont basses, meilleur est le système. La Table 3 référence le %MAE et le %RMSE pour le système initial tandis que la Table 4 référence les mêmes métriques pour le système proposé.

Dans la Table 3, le pourcentage d'erreur de détection du schwa est élevé, indiquant que ce système est peu performant par rapport à l'annotation manuelle, en détectant plus de schwas que leur nombre annoté. De plus, ces performances dépendent du texte (le système initial est plus performant sur le texte
#2 que sur le texte #5). Les performances pour /ø/ et /œ/ sont également faibles, particulièrement pour /ø/, et dépendent elles aussi du texte. La catégorie « e » montre également de faibles performances, avec les mêmes disparités entre les textes.

<table><caption>TABLE 3 – %MAE et %RMSE pour /ə/, /ø/, /œ/ et « e » pour chaque texte et pour l'ensemble avec le système de détection de schwas de référence.</caption><thead><tr><th>Phonème</th><th>Métrique</th><th>Texte 1</th><th>Texte 2</th><th>Texte 3</th><th>Texte 4</th><th>Texte 5</th><th>Tous</th></tr></thead><tbody><tr><td rowspan="2">/ə/</td><td>%MAE</td><td>29,3</td><td>11,2</td><td>28,4</td><td>33,5</td><td>50,2</td><td>28,3</td></tr><tr><td>%RMSE</td><td>35,7</td><td>13,5</td><td>30,5</td><td>36,2</td><td>52,0</td><td>32,4</td></tr><tr><td rowspan="2">/ø/</td><td>%MAE</td><td>50,0</td><td>14,5</td><td>44,8</td><td>42,6</td><td>52,5</td><td>40,0</td></tr><tr><td>%RMSE</td><td>50,0</td><td>14,5</td><td>46,3</td><td>44,1</td><td>42,5</td><td>44,6</td></tr><tr><td rowspan="2">/œ/</td><td>%MAE</td><td>2,6</td><td>33,3</td><td>3,2</td><td>20,0</td><td>-</td><td>12,5</td></tr><tr><td>%RMSE</td><td>5,1</td><td>36,7</td><td>9,7</td><td>30,0</td><td>-</td><td>25,0</td></tr><tr><td rowspan="2">e</td><td>%MAE</td><td>17,5</td><td>9,6</td><td>16,5</td><td>21,5</td><td>28,0</td><td>17,8</td></tr><tr><td>%RMSE</td><td>23,6</td><td>11,4</td><td>18,6</td><td>23,6</td><td>30,7</td><td>20,9</td></tr></tbody></table>

<table><caption>TABLE 4 – %MAE et %RMSE pour /ə/, /ø/, /œ/ et « e » pour chaque texte et pour l'ensemble avec le système de détection de schwas proposé.</caption><thead><tr><th>Phonème</th><th>Métrique</th><th>Texte 1</th><th>Texte 2</th><th>Texte 3</th><th>Texte 4</th><th>Texte 5</th><th>Tous</th></tr></thead><tbody><tr><td rowspan="2">/ə/</td><td>%MAE</td><td>8,9</td><td>6,4</td><td>11,5</td><td>10,2</td><td>25,3</td><td>11,4</td></tr><tr><td>%RMSE</td><td>12,9</td><td>9,5</td><td>13,4</td><td>13,7</td><td>30,2</td><td>15,8</td></tr><tr><td rowspan="2">/ø/</td><td>%MAE</td><td>0,4</td><td>17,1</td><td>16,7</td><td>7,4</td><td>11,3</td><td>10,8</td></tr><tr><td>%RMSE</td><td>0,1</td><td>17,1</td><td>21,2</td><td>10,3</td><td>15,0</td><td>16,9</td></tr><tr><td rowspan="2">/œ/</td><td>%MAE</td><td>2,6</td><td>6,7</td><td>6,5</td><td>25,0</td><td>-</td><td>8,3</td></tr><tr><td>%RMSE</td><td>7,7</td><td>16,7</td><td>12,9</td><td>35,0</td><td>-</td><td>20,8</td></tr><tr><td rowspan="2">e</td><td>%MAE</td><td>7,5</td><td>5,9</td><td>7,4</td><td>7,8</td><td>18,8</td><td>8,9</td></tr><tr><td>%RMSE</td><td>10,6</td><td>8,8</td><td>9,3</td><td>11,7</td><td>22,4</td><td>12,4</td></tr></tbody></table>

Les mêmes métriques d'évaluation calculées sur la sortie du système de RAP proposé sont rapportées dans la Table 4. Les %MAE et %RMSE des trois phonèmes et de leur combinaison ont grandement diminué : la pire %RMSE pour tous les textes avec le système initial était de 44,6% (/ø/) tandis qu'avec le système proposé, il est de 20,8% (/œ/). De plus, même s'il existe encore des disparités entre les textes, elles sont moindres que celles du système initial. Le système proposé est donc plus proche de l'annotation manuelle, donc plus performant, pour la détection de /ə/, /ø/, /œ/, et de leur combinaison. Nous devons maintenant évaluer sa robustesse à la somnolence avant de le considérer comme un système fiable.

## 4.1 Robustesse du système proposé à la somnolence

Pour mesurer l'effet des textes, de la KSS, et de la latence d'endormissement sur les performances de détection de /ə/, /ø/, et /œ/ par le système proposé, nous avons calculé quatre ANOVA multivariées à mesures répétées pour expliquer les variations intra- et inter-locuteurs des performances de détection des phonèmes avec celles de la somnolence et l'influence des textes. Les résultats de ces ANOVA sont reportés dans la Table 5.

Les différents facteurs n'ont pas d'effet significatif sur les variations inter-locuteurs des phonèmes étudiés. Seuls les textes influencent significativement les variations intra-locuteur des performances de détection de /ə/ et /ø/. Puisque la détection de chaque phonème n'est pas affectée par la somnolence,
le système de détection de schwas proposé est robuste à la somnolence et fiable pour la détection de ces phonèmes.

Nous allons maintenant mesurer si le nombre de /ɔ/, /ø/, et /œ/ détecté automatiquement est corrélaté au niveau de somnolence des patients sur l'ensemble du corpus TILE en utilisant le système proposé.

<table><caption>TABLE 5 – Résultats des ANOVA multivariées à mesures répétées avec le système de détection de schwas proposé sur le sous-ensemble. Nous n’avons trouvé aucune influence significative du Texte, de la somnolence subjective ou objective sur les variations inter-locuteurs ; seule l’influence sur les variations intra-locuteurs est rapportée. *** : p < .001</caption><thead><tr><th>Facteur</th><th>Perf. sur /ə/</th><th>Perf. sur /ø/</th><th>Perf. sur /œ/</th><th>Perf. sur « e »</th></tr></thead><tbody><tr><td>Texte</td><td>***</td><td>***</td><td>-</td><td>***</td></tr><tr><td>KSS</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>Latence d'endormissement</td><td>-</td><td>-</td><td>-</td><td>-</td></tr></tbody></table>

## 5 Lien entre somnolence et détection automatique de phonèmes

Chaque /ɔ/, /ø/, et /œ/ extrait des textes transcrits avec le Lexique 3.83 a été comptabilisé afin d’obtenir le nombre attendu pour chacun d’entre eux. Nous avons appliqué le système proposé au corpus TILE et calculé la moyenne et l’écart-type du nombre de phonèmes détectés sur les enregistrements. La moyenne et l’écart-type de la valeur absolue de la différence entre le nombre de phonèmes attendus et détectés ont également été calculés. La Table 6 référence ces mesures.

<table><caption>TABLE 6 – Nombre de /ɔ/, /ø/, /œ/ et « e » attendus. Moyenne et écart-type (valeurs arrondies) des phonèmes détectés par le système de détection de schwas proposé.</caption><thead><tr><th>Texte</th><th>Mesures</th><th>#/ə/</th><th>#/ø/</th><th>#/œ/</th><th>#« e »</th></tr></thead><tbody><tr><td rowspan="2">Texte 1</td><td>Attendu</td><td>30</td><td>4</td><td>4</td><td>38</td></tr><tr><td>Détecté</td><td>31 (1)</td><td>4 (1)</td><td>4 (0)</td><td>38 (2)</td></tr><tr><td rowspan="2">Texte 2</td><td>Attendu</td><td>53</td><td>7</td><td>3</td><td>63</td></tr><tr><td>Détecté</td><td>50 (2)</td><td>8 (1)</td><td>3 (1)</td><td>61 (3)</td></tr><tr><td rowspan="2">Texte 3</td><td>Attendu</td><td>42</td><td>7</td><td>3</td><td>52</td></tr><tr><td>Détecté</td><td>42 (3)</td><td>6 (1)</td><td>3 (1)</td><td>50 (3)</td></tr><tr><td rowspan="2">Texte 4</td><td>Attendu</td><td>42</td><td>7</td><td>2</td><td>51</td></tr><tr><td>Détecté</td><td>41 (3)</td><td>7 (1)</td><td>2 (1)</td><td>50 (3)</td></tr><tr><td rowspan="2">Texte 5</td><td>Attendu</td><td>35</td><td>6</td><td>0</td><td>41</td></tr><tr><td>Détecté</td><td>34 (2)</td><td>7 (1)</td><td>0 (0)</td><td>42 (2)</td></tr><tr><td rowspan="2">Tous</td><td>Attendu</td><td>202</td><td>31</td><td>12</td><td>245</td></tr><tr><td>Détecté</td><td>197 (6)</td><td>32 (2)</td><td>12 (1)</td><td>242 (7)</td></tr></tbody></table>

Le nombre détecté de /œ/ est le plus proche du nombre attendu tandis que la détection de /ɔ/ est la plus éloignée. Cela peut s’expliquer par son nombre attendu élevé par rapport à /ø/ et /œ/ (202, 31, et 12 respectivement pour tous les textes). En moyenne, le nombre de phonèmes détectés par ce système est égal ou proche du nombre attendu, ce qui signifie que le système proposé est fiable.

Pour évaluer l’impact de la somnolence sur le nombre de phonèmes détectés par le système proposé, nous avons réalisé quatre ANOVA multivariées à mesures répétées avec les mêmes facteurs qu’au-
paravant (textes, KSS, et latence d'endormissement). Les résultats sont référencés dans la Table 7. Aucun effet significatif des variations inter-locuteurs n'a été trouvé contrairement aux variations intra-locuteurs. Un effet significatif de la somnolence subjective à court terme (KSS) sur les nombres détectés automatiquement de /ø/ et « e » a été mesuré tandis que la latence d'endormissement n'affecte la détection automatique d'aucun phonème. Le perception subjective de la somnolence à court terme impacterait donc la détection automatique du nombre de /ø/ et « e » contrairement à la somnolence physiologique mesurée par EEG.

<table><caption>TABLE 7 – Résultats de l'ANOVA multivariée à mesures répétées (variations intra-locuteur unique-ment) avec le système de détection de schwas proposé sur le corpus TILE. : p < .1 ; * : p < .05 ; ** : p < .01</caption><thead><tr><th>Facteur</th><th>Nombre de /ø/</th><th>Nombre de /ø/</th><th>Nombre de /œ/</th><th>Nombre de « e »</th></tr></thead><tbody><tr><td>KSS</td><td>.</td><td>**</td><td>-</td><td>*</td></tr><tr><td>Latence d'endormissement</td><td>-</td><td>-</td><td>-</td><td>.</td></tr></tbody></table>

# 6 Conclusion

Dans le but d'aider les cliniciens à suivre l'évolution des symptômes de la Somnolence Diurne Excessive (SDE) en analysant la parole spontanée, nous avons cherché à compléter les approches précédentes centrées sur la durée et l'emplacement des pauses en étudiant le comportement phonétique. En particulier, nous nous sommes intéressés au schwa, phonème optionnel en français, dont sa réalisation peut refléter un effort vocal de la part du locuteur. Nous émettons l'hypothèse que la somnolence altère cet effort. Du fait de l'absence de corpus de parole spontanée spécifique à la somnolence, nous avons utilisé le corpus TILE contenant des enregistrements de parole lue car l'analyse phonétique est transposable à la parole spontanée.

Pour ce faire, nous avons validé un système de détection de schwas fiable et robuste à la somnolence sur l'annotation manuelle d'un sous-ensemble du corpus TILE et l'avons étendu à d'autres phonèmes liés au schwa. Nous l'avons ensuite appliqué à l'ensemble du corpus TILE et avons trouvé une relation significative entre les phonèmes considérés détectés automatiquement par notre système et la somnolence subjective à court terme.

Notre prochaine étape consiste à concevoir un système de classification automatique en prenant en compte les résultats actuels afin d'améliorer la détection de la somnolence. De plus, nous visons à étudier le lien entre la durée et les propriétés acoustiques des trois phonèmes et la somnolence. La méthode utilisée pour le système de détection de schwas pouvant être appliquée à d'autres phonèmes, nous projetons également d'élargir les phonèmes considérés ainsi que les caractéristiques étudiées (le débit de parole, etc.).

# Remerciements

CB a reçu le soutien financier de la MITI du CNRS (projet PRIME 80 DSM-HEALTH). VPM a reçu le soutien financier du programme de recherche et d'innovation européen Horizon Europe à travers le projet Marie Skłodowska-Curie MATER (No. 101106577).
Références

ARAND D., BONNET M., HURWITZ T., MITLER M., ROSA R. & SANGAL R. B. (2005). The Clinical Use of the MSLT and MWT. *Sleep, 28*(1), 123-144. DOI: 10.1093/sleep/28.1.123.

BARNES C. M. & WATSON N. F. (2019). Why healthy sleep is good for business. *Sleep Med. Rev.*, **47**, 112–118. DOI: 10.1016/j.smrv.2019.07.005.

BEAUMARD C., MARTIN V., WU Y., ROUAS J.-L. & PHILIP P. (2023). Automatic detection of schwa in French hypersomniac patients. *Plate-Forme Intelligence Artificielle (PFIA)*.

BIOULAC S., MICOULAUD-FRANCHI J.-A., ARNAUD M., SAGASPE P., MOORE N., SALVO F. & PHILIP P. (2017). Risk of Motor Vehicle Accidents Related to Sleepiness at the Wheel : A Systematic Review and Meta-Analysis. *Sleep, 40*(10). DOI: 10.1093/sleep/zsx134.

BOYER F. & ROUAS J.-L. (2019). End-to-End Speech Recognition : A review for the French Language. *arXiv*. DOI: 10.48550/ARXIV.1910.08502.

BÜRKI A., ERNESTUS M., GENDROT C., FOUGERON C. & FRAUENFELDER U. H. (2011). What affects the presence versus absence of schwa and its duration : A corpus analysis of French connected speech. *J. Acoust. Soc. Am.*, **130**(6), 3980–3991. DOI: 10.1121/1.3658386.

DURAND J. (2014). À la recherche du schwa : données, méthodes et théories. *SHS Web of Conferences, 8*, 23–43. DOI: 10.1051/shsconf/20140801396.

FOUGERON C., GENDROT C. & BÜRKI A. (2007). On the acoustic characteristics of French schwa. In *ICPhS 2007*, Saarbrücken.

GALLIANO S., GRAVIER G. & CHAUBARD L. (2009). The ester 2 evaluation campaign for the rich transcription of French radio broadcasts. In *Interspeech 2009*, p. 2583–2586. DOI: 10.21437/Interspeech.2009-680.

GUPTA V., KENNY P., OUELLET P. & STAFYLAKIS T. (2014). I-vector-based speaker adaptation of deep neural networks for French broadcast audio transcription. In *ICASSP*, p. 6334–6338. DOI: 10.1109/ICASSP.2014.6854823.

HARRISON Y. & HORNE J. A. (1997). Sleep Deprivation Affects Speech. *Sleep, 20*(10), 871–877. DOI: 10.1093/sleep/20.10.871.

JIKE M., ITANI O., WATANABE N., BUYSSE D. J. & KANEITA Y. (2018). Long sleep duration and health outcomes : A systematic review, meta-analysis and meta-regression. *Sleep Med. Rev.*, **39**, 25–36. DOI: 10.1016/j.smrv.2017.06.011.

MACLEAN A. W., FEKKEN G. C., SASKIN P. & KNOWLES J. B. (1992). Psychometric evaluation of the Stanford Sleepiness Scale. *J. Sleep Res.*, **1**(1), 35–39. DOI: 10.1111/j.1365-2869.1992.tb00006.x.

MARTIN V., ARNAUD B., ROUAS J.-L. & PHILIP P. (2022). Does sleepiness influence reading pauses in hypersomniac patients? In *Speech Prosody 2022*, p. 62–66. DOI: 10.21437/SpeechProsody.2022-13.

MARTIN V., FERRON A., ROUAS J.-L., SHOCHI T., DUPUY L. & PHILIP P. (2023a). Physiological vs. Subjective sleepiness : what can human hearing estimate better? Insights from the French Endymion study. In *ICPhS 2023*.

MARTIN V., LOPEZ R., DAUVILLIERS Y., ROUAS J.-L., PHILIP P. & MICOULAUD-FRANCHI J.-A. (2023b). Sleepiness in adults : An umbrella review of a complex construct. *Sleep Med. Rev.*, **67**, 1017–1018. DOI: 10.1016/j.smrv.2022.101718.
MARTIN V., ROUAS J.-L., BOYER F. & PHILIP P. (2021a). Automatic Speech Recognition Systems Errors for Objective Sleepiness Detection Through Voice. In *Interspeech 2021*, p. 2476–2480. DOI: 10.21437/Interspeech.2021-291.

MARTIN V., ROUAS J.-L., MICOULAUD-FRANCHI J.-A., PHILIP P. & KRAJEWSKI J. (2021b). How to Design a Relevant Corpus for Sleepiness Detection Through Voice? *Front. digit. health.*, **3**, 686068. DOI: 10.3389/fdgt.2021.686068.

MARTIN V. P., BEAUMARD C., ROUAS J.-L. & WU Y. (2024). Is automatic phoneme recognition suitable for speech analysis? Temporal and performance evaluation of an Automatic Speech Recognition model in spontaneous French. In *Speech Prosody 2024*.

NEW B., PALLIER C., BRYSBAERT M. & FERRAND L. (2004). Lexique 2 : A new French lexical database. *Behavior Research Methods, Instruments, & Computers*, **36**(3), 516–524. DOI: 10.3758/BF03195598.

POVEY D., GHOSHAL A., BOULIANNE G., BURGET L., GLEMBEK O., GOEL N., HANNEMANN M., MOTLÍČEK P., QIAN Y., SCHWARZ P., SILOVSKÝ J., STEMMER G. & VESELÝ K. (2011). The Kaldi Speech Recognition Toolkit. In *IEEE 2011 Workshop on Automatic Speech Recognition and Understanding*, Hawaii : IEEE Signal Processing Society.

SCHULLER B., STEIDL S., BATLINER A., SCHIEL F. & KRAJEWSKI J. (2011). The INTERSPEECH 2011 speaker state challenge. In *Interspeech 2011*, p. 3201–3204. DOI: 10.21437/Interspeech.2011-801.

SCHULLER B. W., BATLINER A., BERGLER C., POKORNY F. B., KRAJEWSKI J., CYCHOSZ M., VOLLMANN R., ROELEN S.-D., SCHNIEDER S., BERGELSON E., CRISTIA A., SEIDL A., WARLAUMONT A. S., YANKOWITZ L., NÖTH E., AMIRIPARIAN S., HANTKE S. & SCHMITT M. (2019). The INTERSPEECH 2019 Computational Paralinguistics Challenge : Styrian Dialects, Continuous Sleepiness, Baby Sounds & Orca Activity. In *Interspeech 2019*, p. 2378–2382. DOI: 10.21437/Interspeech.2019-1122.

STOLCKE A. (2002). SRILM - an extensible language modeling toolkit. In *7th International Conference on Spoken Language Processing (ICSLP 2002)*, p. 901–904. DOI: 10.21437/ICSLP.2002-303.

TRAN B., ZHU Y., LIANG X., SCHWOEBEL J. W. & WARRENBURG L. A. (2022). Speech Tasks Relevant to Sleepiness Determined With Deep Transfer Learning. In *ICASSP*, p. 6937–6941. DOI: 10.1109/ICASSP43922.2022.9747000.
# Effet du vieillissement sur l'anticipation d'arrondissement intra-syllabique en français.

Louise Wohmann-Bruzzo¹ Cécile Fougeron¹ Nicolas Audibert¹

(1) Laboratoire de Phonétique et Phonologie (CNRS & Sorbonne Nouvelle), 4, rue des Irlandais, 75005 Paris, France
prénom.nom@sorbonne-nouvelle.fr

## RÉSUMÉ

Cette étude examine l'évolution de l'anticipation d'arrondissement intra-syllabique en fonction de l'âge, en se basant sur les travaux précédents de D'Alessandro et Fougeron (2021), qui montre une diminution de la coarticulation inter-syllabique chez les personnes âgées. Nous avons analysé acoustiquement les syllabes /sy/ et /si/ de 40 locuteurs français répartis en deux groupes : 20 jeunes adultes (23-34 ans) et 20 personnes âgées (72-86 ans). Nos résultats montrent une diminution significative de l'anticipation d'arrondissement chez les âgés, indépendante d'une diminution de débit articulatoire. Moins de coarticulation au sein d'une même syllabe ne peut pas s'expliquer par un encodage syllabe par syllabe, comme pouvait l'être la diminution de coarticulation entre syllabe. Nous avançons donc que cette diminution globale de la co-articulation reflète un changement de paramétrisation de la parole chez les personnes âgées limitant le chevauchement entre gestes articulatoires et garantissant l'atteinte des cibles articulatoires successives.

## ABSTRACT

### Ageing effects on intra-syllabic anticipatory rounding in French.

This study examines the evolution of intra-syllabic rounding anticipation as a function of age, building upon previous work by D'Alessandro and Fougeron (2021), which demonstrated a decrease in inter-syllabic coarticulation among older individuals. Acoustic analysis was conducted on the syllables /sy/ and /si/ from 40 French speakers divided into two groups: 20 young adults (aged 23-34) and 20 elderly individuals (aged 72-86). Our findings reveal a significant decrease in rounding anticipation among the elderly, independent of a decrease in articulatory rate. The reduced coarticulation within a syllable cannot be explained by a syllable-by-syllable encoding, as was the case with the decrease in inter-syllabic coarticulation. We therefore propose that this overall reduction in coarticulation reflects a shift in speech parameterization among the elderly, limiting overlap between articulatory gestures and ensuring the achievement of successive articulatory targets.

**MOTS-CLES** : coarticulation, vieillissement, anticipation d'arrondissement, acoustique, fricative

**KEYWORDS** : coarticulation, speech aging, rounding anticipation, acoustic analysis, fricative

<figure><img src="image_141.png" /></figure>
# 1 Introduction

## 1.1 Vieillissement de la parole

La phonétique, particulièrement dans son application clinique, explore de plus en plus les liens entre langage, parole et maladies neurodégénératives, lesquelles affectent principalement les personnes âgées. En comparaison, moins d'études se penchent sur le lien entre parole et vieillissement sain, privant ainsi la littérature de bases de données saines à comparer aux données pathologiques. Or, il est difficile de décrire les effets du vieillissement pathologique sur la parole sans savoir comment la parole est supposée vieillir sans pathologie. Notre étude préliminaire s'inscrit dans un projet plus large, qui vise à mieux comprendre les effets du vieillissement sur la parole. Nous savons que les muscles s'affaiblissent et que les cartilages se solidifient avec l'âge, et des changements de voix dus à l'âge ont été expliqués par ces phénomènes physiologiques (Xue & Hao, 2003; Linville & Rens, 2001). Nos capacités cognitives (Rodríguez-Aranda & Jakobsen, 2011) et nos capacités motrices déclinent également : nos mouvements sont moins précis, et plus lents. Les personnes âgées prennent alors plus de temps pour planifier leurs gestes, notamment leurs gestes articulatoires. Le ralentissement du débit de parole est un des résultats les plus robustes des études faites sur l'âge : les personnes âgées parlent plus lentement que les personnes jeunes. Cela a été constaté sur plusieurs tâches de production de parole (Amerman & Parnell, 1992; Ramig, 1983; voir Tucker, 2021, pour une revue), avec plusieurs groupes d'âge, et sur des études transversales (Bóna, 2014) comme longitudinales (Quené, 2013). Mais la nature de ce ralentissement de débit articulatoire peut être multifactorielle. Le ralentissement moteur général lié à l'âge est un des facteurs connus (Yan, Thomas & Stelmach, 1998), même si ses causes sont débattues, et on sait qu'il pourrait affecter les gestes articulatoires. Un ralentissement des réponses cognitives pourrait s'ajouter et pousser les personnes âgées à adopter de nouvelles stratégies, dont le ralentissement des gestes articulatoires ferait partie, afin de répondre à un changement dans leurs ressources. D'autres stratégies, discutées dans la littérature, seraient l'utilisation de pauses ou de fillers plus importante chez les personnes âgées, qui, selon Bortfeld et al. (2001) et Martin-Reis & Andrade (2011), répondraient à une difficulté accrue à planifier les unités de parole. Tous ces changements pourraient affecter la manière dont les personnes âgées parlent, mais on connaît encore mal leur rôle et leur conséquence. Pour essayer de démêler les effets de certains de ces facteurs, particulièrement le ralentissement du débit et les éventuels changements dans la planification de la parole, nous avons choisi d'utiliser la coarticulation anticipatoire comme indice des effets du vieillissement sur la parole.

## 1.2 Arrondissement anticipatoire

La coarticulation est le phénomène par lequel les gestes articulatoires peuvent s'exécuter ensemble. Ainsi, les sons vont s'influencer dans le flux de parole. Elle est nécessaire à la fluidité du signal produit. Nous avons choisi d'étudier l'arrondissement anticipatoire, en français, d'une voyelle arrondie sur la fricative qui la précède. Dans une étude récente, D'Alessandro et Fougeron (2021) ont montré que la coarticulation anticipatoire de voyelle à voyelle, entre deux syllabes en français, diminue avec l'âge, et ceci de manière non linéaire entre 20 et 90 ans. Afin de tester si la diminution de la coarticulation était la conséquence directe d'un ralentissement du débit – car un débit plus lent impliquerait moins de chevauchements de gestes et inversement, le débit serait plus lent car les gestes se chevauchent moins –, les autrices ont étudié les liens entre coarticulation et débit des locuteurs. Leurs résultats montrent une réduction abrupte du degré de coarticulation chez les locuteurs dépassant 54 ans. Entre 20 ans et 70 ans, la réduction de la coarticulation et le
ralentissement du débit sont bien corrélés. Mais, à partir de 70 ans, le ralentissement du débit n'explique plus la diminution de la coarticulation : les locuteurs âgés coarticulent peu, quel que soit leur débit. Les autrices proposent l'hypothèse suivante pour expliquer leurs résultats. Cette diminution pourrait être due à la modification de la taille de l'unité sur laquelle la parole est planifiée. En effet, les voyelles impliquées dans ce processus de coarticulation faisant partie d'un seul et même mot bisyllabique, la présence d'anticipation d'une syllabe sur la précédente suppose une planification d'une unité de parole dans laquelle les gestes peuvent se chevaucher qui est à l'échelle du mot, a minima. Si la coarticulation entre les syllabes, dans ce mot, disparaît, cela peut venir du fait que les gestes sont planifiés non plus à l'échelle du mot où les syllabes sont coordonnées, mais sur des unités plus petites, syllabe par syllabe. Or, pour appuyer cette hypothèse, il est nécessaire de savoir si la coarticulation à l'intérieur d'une syllabe varie aussi avec l'âge. Ceci est l'objectif du projet dans lequel s'inscrit le présent travail. Nous cherchons à vérifier si une coarticulation anticipatoire à l'échelle syllabique serait affectée par l'âge. Pour cela, nous examinons l'anticipation de l'arrondissement de la voyelle /y/ sur la fricative sourde /s/ dans des syllabes /sy/ en parole continue en français. Dans ce travail préliminaire, les effets du vieillissement sont testés par une comparaison de groupes, entre adultes âgés et jeunes.

## 1.3 Quantification de l'arrondissement dans les réalisations de /s/

Le choix de la syllabe /sy/ pour considérer l'anticipation d'arrondissement dans notre étude est motivé par les propriétés mêmes des sons impliqués : la voyelle /y/ et la fricative sourde /s/ sont compatibles articulatoirement. Peu de gestes articulatoires diffèrent entre leurs productions, et cela favorise l'apparition de coarticulation (Yeni-Komshian & Soli, 1981). Le geste de la labialisation, qui se traduit en français par une protrusion des lèvres et une réduction de leur aperture, peut être anticipé dès la production du /s/, et il a un effet directement observable acoustiquement : l'allongement de la cavité antérieure a un impact sur le bruit du /s/, et donc sur les mesures acoustiques qui le quantifient. La mesure habituelle dans la littérature pour les fricatives, et particulièrement les sibilantes, est le premier moment spectral : le centre de gravité (CoG). Mais le CoG ne permet pas toujours une interprétation claire des événements articulatoires. Il a été vérifié que le CoG baisse en contexte arrondi (Koenig et al., 2013; Jongman et al., 2000) ; mais cet abaissement peut traduire à la fois l'augmentation de la taille de la cavité antérieure à la constriction (effet sur le filtre), ou le placement de l'apex lingual plus en arrière (effet sur le chenal fricatif). Une mesure permettant une interprétation plus directe et plus transparente est introduite par Koenig et al. (2013), qui cherchent à capturer la résonance de la cavité antérieure à la constriction : la mesure FreqM est une mesure du pic spectral du /s/, qui se trouve généralement dans les fréquences moyennes (entre 3 et 7 kHz pour les hommes et entre 3 et 8 kHz pour les femmes). Cette mesure capture la résonance de la cavité antérieure à la constriction. Les études de Koenig et al. (2013) et de Shadle et al. (2023) montrent que le FreqM des sibilantes labialisées diminue, permettant de distinguer celles avec et sans anticipation d'arrondissement. Son abaissement, lié à l'allongement de la cavité antérieure à la constriction, se fait dynamiquement : on peut l'observer tout au long de la fricative, avec un abaissement maximal à la fin. C'est pourquoi nous avons choisi d'utiliser FreqM dans notre étude. Cette mesure étant dépendante du sexe des locuteurs, il est important de traiter séparément les données des hommes et des femmes, comme il est recommandé pour la plupart des études sur les sibilantes (Shadle et al., 2023 ; Stuart-Smith, 2007, Stuart-Smith et al., 2007). La prise en compte de l'évolution temporelle des caractéristiques acoustiques du /s/ est conseillée pour ce type d'étude sur les fricatives : l'analyse sur une seule mesure prise en moyenne sur la totalité de la fricative, ou à un seul point temporel, amènerait un degré d'erreur trop important, et ne tiendrait pas compte des variations aérodynamiques naturelles de la production du /s/ (Bendat & Piersol,
2000). De plus, la coarticulation est un phénomène dynamique, et il semble difficile de l'analyser de manière statique sans en lisser les principales caractéristiques.

# 2 Méthode

## 2.1 Corpus

L'étude analyse un corpus de 40 locuteurs, répartis en deux groupes : les personnes âgées, comprenant 11 femmes et 9 hommes, et les jeunes, comprenant 10 hommes et 10 femmes. Les personnes âgées ont entre 72 et 86 ans (moyenne = 78.2), et les jeunes ont entre 23 et 34 ans (moyenne = 26.7). Chaque locuteur a lu trois fois 7 phrases formant une histoire. Dans ces phrases, nous avons sélectionné 8 mots monosyllabiques, ayant pour attaque un /s/ et comme noyau la voyelle /y/ ou la voyelle /i/. Nous avons 4 /sy/ et 4 /si/ pour une répétition des 7 phrases. L'analyse des /si/ nous permet d'établir une base de référence pour les /s/ de chaque locuteur, afin d'évaluer clairement l'effet de la voyelle /y/ sur le /s/ qui la précède. Nous ferons référence à un /s/ suivi d'un /i/ en le notant /si/, et à un /s/ suivi d'un /y/ en le notant /sy/. Nous obtenons donc 12 /si/ et 12 /sy/ par locuteur, soit 960 /s/ analysés au total.

## 2.2 Analyses acoustiques et statistiques

Les [s] ont été segmentés manuellement avec Praat. Suivant la méthode de Koenig et. al. (2013), un script Praat a été utilisé pour relever la durée de chaque [s], et sur la bande de fréquence 500 Hz-15 kHz, 12 spectres ont été calculés à 12 points temporels équidistants, avec des fenêtres de Hanning de 25 ms. Sur chaque spectre, nous avons extrait automatiquement la valeur de FreqM, après avoir procédé à un lissage cepstral avec une largeur de bande de 1000 Hz, suivant les paramètres retenus par Al-Tamimi & Khattab (2015). Le premier et le dernier point temporel ont été exclus, nous amenant à 10 points de mesures analysés. La mesure de FreqM étant la mesure de la fréquence du pic spectral de la résonance principale, dépendante de la taille de la cavité antérieure à la constriction, nous attendons que les FreqM des [si] soient plus hauts que les FreqM des [sy]. Ainsi, notre mesure de la quantité d'anticipation d'arrondissement sera la différence de FreqM entre ces deux contextes, soit l'effet de [y] sur le [s]. Pour comprendre la relation entre débit et degré de coarticulation, nous avons mesuré un débit articulatoire par locuteur sur une des 7 phrases produites. Celle-ci a été segmentée manuellement en pauses et unités inter-pausales (UIP), et le débit articulatoire (ph/sec) correspond aux 29 phonèmes attendus divisés par la somme de la durée des UIP. Une modélisation GAMM a été envisagée sur les mesures dynamiques, mais la nécessité d'inclure une structure aléatoire contenant a minima l'occurrence et le locuteur ne permettait pas aux modèles de converger. Nous avons donc opté pour des modèles linéaires mixtes pour prédire les valeurs de FreqM en fonction de la voyelle suivante ([y] ou [i]), du groupe d'âge et de leur interaction en tant que facteurs fixes, le locuteur et l'occurrence étant des intercepts aléatoires. Afin de ne pas représenter une fricative par un seul point, pour chaque [s], nous avons 10 valeurs de FreqM, prises aux 10 points temporels. La durée a également été incluse en tant que prédicteur continu dans le modèle, afin de tenir compte de la variation attendue de la durée segmentale en fonction de l'âge. L'écart moyen entre les valeurs de FreqM des [si] et de [sy] par locuteur a été calculée avec un modèle linéaire. Nous avons cherché à confirmer l'existence d'une distinction entre les sexes et avons ainsi analysé les données des hommes et des femmes de manière distincte. Pour étudier la variabilité individuelle au sein de chaque groupe, des modèles par locuteur ont également été ajustés, avec la voyelle suivante comme facteur fixe. En revanche, ces modèles ne permettent pas de rendre compte directement du
lien temporel entre points successifs, et donc de la dynamique des trajectoires. En attendant de faire des modélisations dynamiques sur un nombre plus important de locuteurs, nous proposons ici, en complément, une analyse descriptive des données dynamiques, à partir de régressions *loess* des trajectoires de FreqM par locuteur et par syllabe.

# 3 Résultats

Puisque le sexe des locuteurs a un effet significatif sur les valeurs de FreqM ($\chi^2(1) = 14.9, p = 0.02$), avec des valeurs de FreqM des femmes plus aigües que celles des hommes, nous continuons nos analyses sur les groupes hommes et femmes, séparément. Comme attendu, en contexte $[s_i]$, le bruit de la fricative est abaissé par rapport au contexte $[s_i]$, chez les hommes ($\chi^2(1) = 22.24, p < .0001$), comme chez les femmes ($\chi^2(1) = 9.68, p < .001$). Plus intéressant, il y a une interaction entre l'âge et le contexte vocalique ($\chi^2(1) = 46.45, p < .0001$) pour les femmes et $\chi^2(1) = 14.44, p = .0001$ pour les hommes). En effet, comme on le voit sur la figure 1, les personnes âgées anticipent l'arrondissement, mais dans une moindre mesure par rapport aux jeunes : la baisse de FreqM entre les productions de $[s_i]$ et de $[s_y]$ est plus petite chez les personnes âgées. Chez les locutrices âgées, cette différence est même non significative ($z = 1.870, p = .06$). Cette diminution de l'anticipation d'arrondissement chez le groupe âgé est confirmée par l'effet significatif de l'âge sur l'écart moyen de FreqM entre $[s_i]$ et $[s_y]$ (F(3, 36) = 2.21, $p < 0.05$, Figure 1).

<figure><img src="image_142.png" /><figcaption>FIGURE 1 : Relation entre FreqM (axe y, en Hz), les femmes (à gauche) et les hommes (à droite), pour les groupes âgé (à gauche dans les encadrés) et jeune (à droite dans les encadrés), et en fonction de la syllabe ($[s_i]$ en rouge, $[s_y]$ en bleu).</figcaption></figure>

Pour ce qui est de la durée, les personnes âgées produisent des /s/ significativement plus longs que le groupe jeune, chez les hommes comme chez les femmes. Cette différence n'est dépendante de la voyelle suivante que dans le groupe des hommes, pour qui les $[s_i]$ sont significativement plus longs chez les hommes âgés, par rapport aux hommes jeunes ($z = 2.59, p < .01$). On trouve une corrélation positive modérée entre la quantité d'anticipation d'arrondissement et la durée des /s/ chez le groupe jeune ($r = .53$), mais pas chez le groupe âgé ($r = .21$). Les jeunes qui produisent des /s/ courts produisent plus de coarticulation, et inversement, mais cette relation n'est pas retrouvée chez les
locuteurs âgés. Les trajectoires moyennes des FreqM de chaque locuteur sont représentées sur la
Figure 2.

<figure><img src="image_143.png" /><figcaption>FIGURE 2 : Trajectoires moyennes, issues de modélisations *loess*, de la fréquence du pic spectral FreqM pour les locuteurs âgés (colonne de gauche) et jeunes (droite), avec les femmes à gauche et</figcaption></figure>
les hommes à droite dans chaque colonne. L'âge et le débit en phonèmes/seconde est indiqué pour chaque locuteur.

Dans la figure 2, l’âge du locuteur et le débit articulatoire en phonèmes/seconde ont été ajoutés à la suite du code de chaque locuteur. Par ailleurs afin de faciliter l’interprétation du lien potentiel entre débit et anticipation d’arrondissement, dans chaque sous-groupe les locuteurs sont ordonnés en fonction de leur débit, de haut en bas par débit croissant.

Les modèles linéaires mixtes par locuteur ont montré que, sur les 21 femmes de notre corpus, 9 locutrices ne présentent pas de différences significatives entre le FreqM de leurs [sY] et de leurs [si]. 6 de ces 9 locutrices sont âgées, ce qui confirme que la tendance à diminuer la quantité de coarticulation est une tendance majoritairement retrouvée chez les personnes âgées. Les 3 locutrices jeunes qui ne présentent pas de différence significative entre les FreqM de leurs [si] et de leurs [sY] sont SNC_F_BM_003 (27 ans), SNC_F_AB16 (24 ans) et SNC_F_MB5 (23 ans). Chez les hommes, cette variabilité intra-groupe est moindre : seul GE_H_9043, qui est âgé, ne produit pas de différence significative entre ses [sY] et ses [si].

L'observation qualitative de ces trajectoires nous permet d'apprécier la variabilité individuelle dans chacun des groupes : deux locuteurs présentant une différence significative entre leurs valeurs de FreqM pour [si] et [sY] peuvent produire cette différence de multiples manières. Certains locuteurs vont produire l'anticipation d'arrondissement tôt dans la fricative, comme SNC_H_EC7 chez les hommes âgés, tandis que d'autres vont la produire plus tard, comme SCS_F_DH_011 chez les jeunes locutrices. Certains vont différencier leur [sY] et leurs [si] par la hauteur de FreqM, comme SNC_H_MJ12 chez les hommes jeunes, ou SNC_F_EC4 chez les femmes âgées.

# 4 Discussion & Conclusion

Nos résultats montrent que 6 femmes âgées de notre corpus ne produisent pas d'anticipation d'arrondissement dans leurs productions de [sY]. 3 locutrices jeunes ne produisent pas non plus cette anticipation. De manière générale, on constate une grande variabilité inter-individuelle dans les effets de l'anticipation d'arrondissement sur les trajectoires de FreqM dans le groupe des femmes, que l'on retrouve dans une bien moindre mesure chez le groupe des hommes. Cette variabilité peut être due au /s/ lui-même, dont la production est dépendante de l'individu (Kavanagh, 2012), ainsi qu'à la variabilité individuelle que l'on retrouve dans la production de coarticulation (Guitard-Ivent et al., 2023).

La diminution d'anticipation d'arrondissement chez le groupe âgé, par rapport au groupe jeune, est similaire à ce qui a été trouvé par D'Alessandro & Fougeron (2021) : la coarticulation diminue avec l'âge, aussi bien au sein d'une syllabe qu'entre deux syllabes. Cela n'est pas lié au débit articulatoire : la faible corrélation entre la durée des /s/ et la quantité d'anticipation d'arrondissement le montre. Aussi, l'observation des valeurs de débit articulatoire nous permet de constater que, dans les groupes âgés hommes et femmes, certains locuteurs ont des valeurs de débit articulatoire proches, mais des quantités d'anticipation d'arrondissement très différentes (SNC_ND2_F et SNC_SC4_F dans le groupe des femmes âgées par exemple). Les personnes âgées ne produisent donc pas moins d'anticipation d'arrondissement simplement parce qu'ils parlent moins rapidement que les jeunes. La diminution de la coarticulation intra-syllabique que nous trouvons permet de remettre en question une des hypothèses émises par D'Alessandro & Fougeron (2021) : si l'explication de la réduction de coarticulation anticipatoire entre syllabes relevait d'une organisation de la parole sur des unités plus petites, chez les locuteurs âgés par rapport aux plus jeunes, alors on s'attendrait à ne pas trouver
de diminution d'une coarticulation anticipatoire à l'échelle intra-syllabique. Or, nous montrons que cette diminution intra-syllabique est présente. Cela sous-entendrait que l'unité de planification est encore plus petite chez les personnes âgées : ces locuteurs et locutrices planifieraient leur parole segment par segment. Or, une telle interprétation est peu plausible pour des adultes âgés sans pathologie. Une autre explication serait qu'avec l'âge, le contrôle moteur de la parole évolue (D'Alessandro et. al., 2020). Si les locuteurs jeunes peuvent adopter un "mode" de parole où les gestes articulatoires se chevauchent fortement, et où les cibles articulatoires peuvent ne pas être atteinte (hypoarticulées), les locuteurs âgés adoptent un "mode" différent pour leur mouvements articulatoires (entre autres mouvements). La paramétrisation motrice de leurs gestes articulatoires se fait de sorte que les gestes articulatoires se chevauchent moins, et que les cibles successives soient atteintes (hyper- ou non-hypoarticulées). Des recherches supplémentaires sont nécessaires pour savoir quel paramétrage rend compte de ce mode de parole (augmentation de la rigidité (stiffness), décalage des phases, allongement des périodes d'activation, d'initiation/cessation (Hermes et. al., 2018), etc.). Il s'agira aussi de savoir si ce mode répond à une stratégie de compensation face à un déclin fonctionnel pour des gestes globalement plus précautionneux, s'il permet d'augmenter l'intelligibilité de la parole, ou s'il est seulement la conséquence d'un déclin au niveau du contrôle de cette activité motrice complexe qu'est la parole. Il est aussi important de prendre en compte les évolutions physiologiques qui viennent avec l'âge, spécifiquement la rigidification des tissus des lèvres et la détérioration des fibres musculaires, qui peuvent affecter le geste de protrusion des lèvres et ainsi jouer un rôle dans la réduction de coarticulation labiale que nous observons.

À la suite de cette étude, il sera nécessaire d'étendre nos analyses à une plus grande cohorte de locuteurs, de manière à pouvoir prendre en compte l'aspect dynamique dans nos modèles statistiques. Le but sera d'analyser les enregistrements d'une centaine de locuteurs, ayant entre 23 et 86 ans, afin de permettre une analyse de l'évolution des effets du vieillissement sur l'anticipation d'arrondissement, plutôt qu'une comparaison entre groupes d'âge, comme ici. En combinant notre méthodologie et un échantillon plus important, nous pensons pouvoir mieux cerner les effets de l'âge sur l'anticipation d'arrondissement, et ainsi proposer une explication à ces effets, qui nous éclairerait mieux sur le fonctionnement de la parole et son vieillissement.

## Remerciements

Ce travail a été soutenu par le Laboratoire d'Excellence Empirical Foundations of Linguistics (LabEx EFL, ANR-10-LABX-0083). Il contribue à l'IdEx Université de Paris (ANR-18-IDEX-0001).
Références

AL-TAMIMI J. & KHATTAB G. (2015). Acoustic cue weighting in the singleton vs geminate contrast in Lebanese Arabic: The case of fricative consonants. The Journal of the Acoustical Society of America, 138(1), 344-360. DOI: 10.1121/1.4922514.

AMERMAN, J. D. & PARNELL M. M. (1992). Speech timing strategies in elderly adults. *Journal of Phonetics*, 20(1), 65–76. DOI: 10.1016/s0095-4470(19)30254-2.

BENDAT, J. S., & PIERSOL, A. G. (2000). *Random data: Analysis and measurement procedures (3rd ed.)*. New York, NY: Wiley.

BÓNA, J. (2014). Temporal characteristics of speech: The effect of age and speech style. *The Journal of the Acoustical Society of America*, 136, EL116-EL121. DOI: 10.1121/1.4885482

BORTFELD, H., LEON, S. D., BLOOM, J. E., SCHOBER, M. F., and BRENNAN, S. E. (2001). Disfluency rates in conversation: effects of age, relationship, topic, role, and gender. *Lang. Speech* 44(2), 123–147. DOI: 10.1177/00238309010440020101

D’ALESSANDRO, D., & FOUGERON, C. (2021). Changes in Anticipatory VtoV Coarticulation in French during Adulthood. *Languages*, 6(181). DOI: 10.3390/languages6040181

D’ALESSANDRO, D., BOURBON, A., & FOUGERON C. (2020). Effect of age on rate and coarticulation across different speechtasks. Paper present at the *12th International Seminar on Speech Production*, Virtual. December 14–18; New Haven: Haskins Press. ISBN: 978-1-7360794-2-3.

FUCHS, S. & TODA, M. (2010). Do differences in male versus female /s/ reflect biological or sociophonetic factors? In S. FUCHS, M. ZYGIS & M. TODA (Eds.), *Turbulent sounds: An interdisciplinary guide*. Mouton de Gruyter. 281-302. DOI: 10.1515/9783110226584.281

GUITARD-IVENT, F., WOHMANN-BRUZZO, L., AUDIBERT, N., FOUGERON, C. (2023). Speaker-specific anticipatory labial coarticulation in French. In: Radek Skarnitzl & Jan Volín (Eds.), *Proceedings of the 20th International Congress of Phonetic Sciences* (pp. 654–658). Guarant International.

HERMES, A., MERTENS, J., & MÜCKE, D. (2018). Age-related Effects on Sensorimotor Control of Speech Production. *Proc. Interspeech 2018*, 1526-1530. DOI: 10.21437/Interspeech.2018-1233

JONGMAN, A., WAYLAND, R., & WONG, S. (2000). Acoustic characteristics of English fricatives. *J. Acoust. Soc. Am.* 108, 1252–1263. DOI: 10.1121/1.1288413

KAVANAGH, C. M. (2012). New consonantal acoustic parameters for forensic speaker comparison. Doctoral dissertation, University of York.

KOENIG, L. L., SHADLE, C. H., PRESTON, J. L., et MOOSHAMMER, C. R. (2013). Toward improved spectral measures of /s/: Results from adolescents. *J. Speech Lang. Hear. Res.* 56(4), 1175–1189. DOI: 10.1044/1092-4388(2012/12-0038)

LINVILLE, S. E. (1987). Acoustic-perceptual studies of aging voice in women. *Journal of Voice*, 1, 44–48. DOI: 10.1016/S0892-1997(87)80023-1

MARTINS-REIS, V. D. O. & DE ANDRADE, C. R. F. D. (2011). Study of pauses in elderly. *Rev. Soc. Bras. Fonoaud.* 16(3), 344–349. DOI: 10.1044/1092-4388(2012/12-0038)

QUENÉ, H. (2013). Longitudinal trends in speech tempo: The case of queen Beatrix. *The Journal of the Acoustical Society of America*, 133, EL452-EL457. DOI: 10.1121/1.4802892

RAMIG, L. A. (1983). Effects of physiological aging on speaking and reading rates. *Journal of Communication Disorders*, 163. 217–26. DOI: 10.1016/0021-9924(83)90035-7
RODRIGUEZ-ARANDA, C. & JAKOBSEN, M. (2011). Differential contribution of cognitive and psychomotor functions to the age-related slowing of speech production. *J. Int. Neuropsych. Soc.* 17, 1–15. DOI: 10.1017/S1355617711000828

SHADLE, C. H., CHEN, W.-R., KOENIG, L. L., & PRESTON, J. L. (2023). Refining and extending measures for fricative spectra, with special attention to the high-frequency range. *Journal of the Acoustical Society of America*, 154(3), 1932-1944. DOI: 10.1121/10.0021075

STUART-SMITH, J. (2007). Empirical evidence for gendered speech production: /s/ in Glaswegian, in *Laboratory Phonology* 9, edited by J. Cole and J. Hualde (Mouton de Gruyter, Berlin), 65–86. ISBN: 9783110186833

STUART-SMITH, J., TIMMINS, C., & TWEEDIE, F. (2007). Talkin' 'Jocney' ? Variation and change in Glaswegian accent. *Journal of Sociolinguistics*, 11(2), 221-260. DOI: 10.1111/j.1467-9841.2007.00319.

TUCKER, B. V., FORD, C., HEDGES, S. (2021). Speech aging: Perception and Production. *WIREs Cognitive Science*, e1557. DOI: 10.1002/wcs.1557

YAN, J. H., THOMAS, J. R., & STELMACH, G. E. (1998). Aging and rapid arm movement control. *Experimental Aging Research*, 24, 155–168. DOI: 10.1080/036107398244292

YENI-KOMSHIAN, G. H., & SOLI, S. D. (1981). Recognition of vowels from information in fricatives: Perceptual evidence of fricative-vowel coarticulation. *The Journal of the Acoustical Society of America*, 70, 966–975. DOI: 10.1121/1.387031

XUE, S. A., & HAO, G. J. (2003). Changes in the human vocal tract due to aging and the acoustic correlates of speech production: A pilot study. *J. Speech Lang. Hear. Res.* 46, 689–701. DOI: 10.1044/1092-4388(2003/054)
# Effets du shadowing et de l'imitation en tant que méthodes d'entraînement à la prononciation du /qi/ en français

Wenxun Fu¹ Martine Adda-Decker¹, ² Barbara Kühnert¹

(1) Laboratoire de Phonétique et Phonologie : UMR 7018 CNRS / Sorbonne Nouvelle, 75005 Paris, France

(2) Laboratoire Interdisciplinaire des Sciences du Numérique : CNRS, Université Paris-Saclay, Orsay, France
wenxun.fu@sorbonne-nouvelle.fr,

martine.adda-decker@sorbonne-nouvelle.fr, barbara.Kuhnert@sorbonne-nouvelle.fr

## RESUME

Trente étudiantes mandarines apprenant le français ont participé à un entraînement autonome de quatre semaines, utilisant l'imitation tardive et le shadowing (répétition immédiate). Cette étude se concentre sur le résultat de la réalisation du /i/ dans /yi/, souvent réalisé proche du /y/. Les posttests montrent des améliorations dans la perception et la production de /qi/. Pour les apprenants de niveaux intermédiaires ayant pratiqué le shadowing, la distinction entre le troisième formant (F3) et le deuxième formant (F2) du /i/ dans /qi/ est significativement plus élevé après l'entraînement, indiquant une meilleure distinction avec /y/. Le shadowing semble efficace dans l'amélioration de la perception chez les débutants et apprenants intermédiaires, mais uniquement dans la production pour les niveaux intermédiaires. Nous suggérons que le shadowing, en tant que méthode hautement cognitive et active, puisse servir d'alternative à la méthode d'imitation, sous réserve que la compétence linguistique des apprenants leur permette d'accomplir la tâche avec succès.

## ABSTRACT

This paper presents the results of an outside-classroom French pronunciation training program using recorded native speakers' speech. Thirty female Mandarin learners of French participated in a self-directed four-week training program, using either imitation or shadowing. This study focuses on Mandarin learners' tendency to realize /i/ similarly to /y/ in the glide /qi/. Posttests show considerable improvements in both perceiving and producing /qi/ in some conditions. Notably, shadowing proved effective in enhancing perception for both beginner and intermediate levels. However, in production only intermediate or higher-level learners refined their differentiation between /i/ and /y/ (the difference between the third formant F3 and the second formant F2 of /i/ in /qi/ increased significantly post training). We suggest that shadowing, as a highly cognitive and active technique, could be a viable alternative to the more commonly used imitation method, provided the language proficiency of learners permits them to execute the task successfully.

MOTS-CLES : Shadowing, imitation, L2 pronunciation, français, apprenants mandarins

KEYWORDS : Shadowing, imitation, L2 pronunciation, French, Mandarin learners.

<figure><img src="image_144.png" /></figure>
# 1 Introduction

## 1.1 L'entraînement de la prononciation L2

Alors que l'importance de la pratique de la prononciation a été reconnue par un nombre croissant d'enseignants et d'étudiants en langues secondes (L2), en réalité, la précision phonétique est souvent reléguée au second plan en faveur de la fluidité et de la compréhension en classe en raison du temps limité à la langue parlée. En effet, l'entraînement à la prononciation impliquant des répétitions et un guide approprié est généralement chronophage, et les résultats des efforts déployés dans la pratique ne sont pas immédiatement perceptibles. Compte tenu des emplois du temps intensifs de la plupart des classes de L2, il serait idéal de pouvoir intégrer la pratique de la prononciation simultanément à d'autres cours, tels que les cours de communication orale, ou bien de permettre aux étudiants de la pratiquer de manière autonome en dehaor de la classe, en se quidant eux-mêmes. Cette étude se conscentre sur cette dernière option.

En dépit des nombreuses méthodes d'entraînement à la prononciation récemment développée, notamment celles impliquant l'assistance des ordinateurs, l'imitation de la parole des locuteurs natifs, souvent enregistrée, reste l'une des méthodes les plus populaires en raison de sa simplicité d'application et de son efficacité relative, comme l'attestent de nombreuses études. En effet, l'imitation est un comportement naturel dans la parole et existe même entre les locuteurs natifs, se produisant souvent inconsciemment (Nguyen et Delvaux. 2015). Les changements adaptatifs en ligne dans la production, en particulier les effets de la convergence phonétique, sont considérés comme facilitant l'échange conversationnel en favorisant la création d'un terrain commun entre locuteur et interlocuteur (Sato et al. 2013). Dans l'expérience de Sato et al. 2013, des locuteurs natifs français, à qui l'on demandait de produire des voyelles françaises sans instructions spécifiques d'imitation, imitaient automatiquement les caractéristiques acoustiques d'une voix préenregistrée. Cependant, l'effet de la convergence phonétique s'est avéré plus prononcé dans la condition d'imitation volontaire de la même expérience.

Par ailleurs, des recherches antérieures montrent que le degré de convergence phonétique lors de la tâche d'imitation dépend de l'intervalle entre l'entrée extérieure et la production imitée. Par exemple, Goldinger (1998) a démontré que dans une tâche de répétition, les participants natifs de l'anglais qui pratiquaient la répétition immédiate avaient un degré d'imitation plus élevé que ceux qui pratiquaient la répétition tardive, où un délai de 3 à 4 secondes était imposé avant de parler. La répétition immédiate, également appelée shadowing, a été définie par Tamai, l'un des premiers chercheurs l'utiliser dans les contextes japonais d'apprentissage d'anglais langue seconde, comme "un acte ou une tâche d'écoute dans lequel l'apprenant suit le discours entendu et le répète aussi exactement que possible tout en écoutant attentivement les informations entrantes" (cité dans Sumiyoshi, 2019). Lors du shadowing, les étudiants écoutent du matériel en L2 et tentent de le répéter instantanément, ce qui nécessite un traitement et une production rapides de la langue. Par conséquent, cette pratique peut aider les apprenants à développer leurs compétences de traitement ascendant (bottom-up) en renforçant leur capacité à percevoir et à produire les sons individuels et les caractéristiques phonétiques de la langue cible. Bien que le shadowing ait été initialement développé comme une méthode d'entraînement à l'interprétation simultanée, il est devenu une stratégie courante pour améliorer les capacités d'écoute des étudiants de l'anglais langue étrangère (Hamada, 2019; Hu, 2014; Lambert, 1992). En même temps, certains chercheurs notent que le shadowing auditif est une tâche cognitivement très exigeante que certains apprenants peuvent avoir du mal à mettre à éxectuer. Mori et al. (2011) soulignent que l'effet positif du shadowing n'atteindra son maximum que si les
apprenants en langues sont capables de le faire au sens réel. Afin de réduire la charge cognitive, des scripts sont parfois fournis dans les formations utilisant le shadowing. Par exemple, Hamada et Suzuki (2021) ont constaté que, au lieu d'être utilisé seul, le shadowing assisté par des scripts apporte plus d'avantages à l'adaptation perceptive des apprenants.

Les recherches sur l'efficacité du shadowing sur la production en L2 sont moins nombreuses. Cependant, des théories telles que celle de Hintzman (1986) suggèrent le potentiel du shadowing pour une imitation précise par rapport à l'imitation tardive. Selon Hintzman, une réponse en écho, qui est la seule base pour répondre dans la tâche de répétition, est composé d'informations mélangées- celle du stimulus et des épisodes déjà stockés dans la mémoire à long terme. Si la réponse est immédiate, sa similarité au stimulus devrait être considérable, qui entraîne une imitation forte. En revanche, si la réponse est générée lentement, l'écho devrait circuler entre la mémoire de travail et la mémoire à long terme, son contenu devenant moins similaire que le stimulus original. Compte tenu de l'utilité de shadowing actuelle et de la découverte de Goldinger (1998) selon laquelle les locuteurs ont tendance à imiter davantage pendant la pratique du shadowing que pendant l'imitation, il semble raisonnable de considérer le shadowing comme une méthode prometteuse pour l'apprentissage de la prononciation, en plus de l'imitation tardive. Dans l'étude de Hida (2020), les élèves japonais du premier cycle du secondaire ont amélioré leur prononciation des voyelles l'anglais non accentuées après une série d'activités en shadowing. Le présent article vise à explorer les avantages potentiels du shadowing en tant que méthode d'auto-apprentissage de la prononciation par rapport à l'imitation tardive, plus traditionnellement utilisée.

## 1.2 Quelques différences entre les systèmes vocaliques français et mandarins

La présence et la fréquence des voyelles orales arrondies constituent des caractéristiques distinctives du système phonologique français par rapport à celui du mandarin. En français, six des dix voyelles orales (à l'exclusion de la voyelle centrale /ɔ/), /y, oe, ø, u, o, ɔ/ sont arrondies. En revanche, en mandarin, seules deux voyelles arrondies sont confirmées, à savoir /y/ et /u/, tandis que l'arrondie des mi-voyelles est aussi discutable que l'inventaire même de ces mi-voyelles. Il est intéressant de noter que nos recherches précédentes (Fu et al. 2023) ont révélé que les apprenants mandarins ne prononçaient pas mieux les voyelles arrondies présentes dans les deux inventaires ; les voyelles arrondies en français ont tendance à présenter des qualités plus arrondies que celles du mandarin.

Une autre différence notable dans l'inventaire des voyelles entre les deux langues est la richesse des diphtongues en mandarin. Cependant, contrairement à Lee et Zee (2003) qui ont identifié onze diphtongues en mandarin, Duanmu (2007) n'inclut que quatre diphtongues dans l'inventaire phonétique du mandarin, soit /ai/, /au/, /əi/, et /əu/, et considère /uo/, /ie/, /ia/, /ye/, /ua/, /uə/, et /iu/ comme les combinaisons d'une semi-voyelle (ou glide) et d'une voyelle. Parmi les combinaisons de glides et de voyelles en français, notre étude précédente a montré que /qi/ tend à être particulièrement difficile pour les apprenants mandarins du niveau intermédiaire ou avancé. Précisément, comparé à la production des locuteurs natifs français, /i/ dans /qi/ était plus proche de /y/, indiqué par un F3 plus bas (qui est associé à l'arrondissement de voyelles) et une différence plus petite entre F3 et F2 que celle observée chez les locuteurs natifs français qui produisaient /i/ dans /qi/ sans différences significatives dans les trois premiers formants de /i/ non dans /qi/. L'assimilation de /qi/ à /y/ pour les apprenants mandarins peut être attribuée à l'absence de cette combinaison dans la langue maternelle des apprenants et à l'insuffisance des instructions et de l'accent mis sur la transition du mouvement articulatoire de la prononciation de /q/ à /i/.
## 2 Objectifs de l'étude

En premier lieu, notre étude vise à aider les apprenants mandarins du français à améliorer la prononciation de sons préalablement identifiés comme particulièrement problematiques (Fu et al. 2023 ; 2022), sans empiéter sur leur temps d'apprentissage en classe. Dans cet article, nous nous concentrons sur les résultats de /qi/, souvent remplacé par /y/ selon nos recherches antérieures. Un autre objectif est de comparer les différents effets de l'imitation tardive et de la répétition immédiate (simplifiées à "imitation" et "shadowing" dans cette étude). Pour optimiser la facilité d'accès et l'exhaustivité des tâches, notre programme d'entraînement comprend 1) des discours préenregistrés de locuteurs natifs français servant de modèles, 2) des scripts de matériel d'entraînement fournis à tous les participants, 3) des instructions phonétiques explicites avant la pratique de la production. Nous émettons l'hypothèse qu'après le programme d'entraînement, la distinction entre /qi/ et /y/ sera améliorée du point de vue perceptive, et que /i/ dans /qi/ sera mieux prononcé, indiqué par une différence plus grande entre le deuxième et le troisième formant (F2, F3). De plus, nous anticipons que les participants qui ont pratiqué avec succès le shadowing comme méthode principale de formation connaîtront une amélioration plus importante par rapport à ceux qui ont complété la tâche d'imitation tardive.

## 3 Méthodes

Figure 1 montre le déroulement de l'entraînement autonome dont l'efficacité était mesurée par la comparaison d'un prétest et d'un posttest en perception et en production.

<figure><img src="image_145.png" /><figcaption>Figure 1 : Déroulement de l'expérience de l'entraînement à la prononciation</figcaption></figure>

### 3.1 Participants

Trente étudiantes femmes du Département du français de l'Université des Langues et de Cultures de Pékin ont participé à l'ensemble de l'expérience, qui comprenait un questionnaire, deux prétests, quatre semaines d'entraînement à la prononciation et deux posttests. Toutes les étudiantes qui avaient passé les tests de base ont été répartis au hasard entre le groupe de shadowing et le groupe d'imitation. Parmi les 30 étudiantes dont les données ont été analysées dans le cadre de l'étude, 16 étudiantes faisaient partie du groupe de shadowing et 14 du groupe d'imitation. En outre, 17 étudiantes (âgées de 19 à 20 ans) étaient en deuxième année d'étude du français, ce qui correspondait à un niveau intermédiaire dans la présente étude, tandis que 13 étudiantes (âgées de 18 à 19 ans) étaient en première année, n'avaient étudié le français que pendant trois mois et demi, et se trouvaient donc à un niveau débutant au sens propre. Avant le début de l'expérience, les élèves ont été informés que ceux qui iraient jusqu'au bout de l'expérience recevraient 15 euros de compensation.
## 3.2 Tests de perception

Le test de perception est un test ABX créé à l'aide de jsPsycho et JATOS. Les stimuli utilisés dans le test proviennent d'une locutrice française native qui a également servi de modèle pour l'entraînement. Le test est composé de 48 paires minimales (par exemple *vœux, feu*), comprenant 5 paires opposant /qi/ et /y/ (*lui, lu*). Chaque paire minimale a été testée deux fois dans le cadre ABX totalisant ainsi 10 réponses par participant. Par exemple, "pluie" et "plu" ont été trouvés dans les triplets "pluie, plu, pluie" et "pluie, plu, plu. Avant de passer le test proprement dit, les participants ont fait une phase d'adaptation avec quatre triplets qui n'étaient pas analysés dans l'étude.

## 3.3 Tests de production

Le prétest de production comprenait la lecture de mots isolés et de phrases courtes, chacune d'entre elles contenant un mot isolé lu précédemment. Par exemple, la phrase correspondant au mot isolé "lui" était "C'est un texte à lui". Les mots cibles ont été placés en dernière position de la phrase afin d'éviter les influences potentielles de l'accentuation. Tous les mots isolés et toutes les phrases ont été lus deux fois de suite. Deux paires minimales (*lui, lu* ; *pluie, plu*) ont été entraînées au cours des semaines, tandis que deux triplets (*cuir, cure, kir* ; *suei, su, scie*) n'ont pas été entraînés. Cette conception nous a permis d'observer si l'effet de l'entraînement pouvait être généralisé aux nouveaux mots ou, au contraire, si l'effet restait spécifique aux mots entraînés.

Deux posttests, l'un de perception et l'autre de production, ont été complétés dans les deux semaines après le programme d'entraînement. Ces tests comprenaient le même corpus que les prétests, mais dans un ordre aléatoire différent.

## 3.4 Entraînement

Le programme d'entraînement, qui a débuté dans la semaine suivant les prétests, s'est étalé sur quatre semaines et a consisté en 12 séances, dont quatre étaient destinées à entraîner /qi/ et /y/. Les sons contrastés ont été entraînés une fois par semaine, 20 minutes chacun en moyenne, avec un niveau de difficulté progressivement accru.

Les participants ont reçu des textes et des enregistrements comme matériel d'apprentissage pour leur formation. Chaque session est composée d'une illustration phonétique en mandarin, soulignant les différences importantes entre les deux sons contrastés, d'une pratique des sons individuels et d'une pratique de mots isolés ou de phrases contenant les mots cibles. Lorsque les élèves écoutaient l'instruction phonétique, on leur demandait de se référer au script dans lequel ils pouvaient voir les représentations graphiques. Les élèves ont ensuite écouté les démonstrations audios des sons isolés, d'abord les sons prolongés puis les sons réguliers, avant de commencer à s'exercer seuls. Toutes les démonstrations ont été enregistrées par deux professeurs de langue maternelle. Pour les mêmes sons contrastés, chaque professeur a enregistré deux sessions afin de s'assurer que les étudiants avaient les mêmes possibilités d'écouter la parole féminine et la parole masculine. Pour chaque son, mot et phrase cible, les étudiants ont été invités à s'entraîner cinq fois en imitant ou en shadowing, selon le groupe auquel ils appartiennent. Les participants ont soumis leur pratique enregistrée au cours de la semaine avant de recevoir le nouveau matériel d'apprentissage pour la semaine suivante. Bien que la pratique enregistrée n'ait pas été analysée dans l'étude, sa soumission a permis de garantir le temps global de pratique et d'éviter que les participants ne fassent plus d'une session de l'exercice par semaine.
La principale distinction entre les supports des deux groupes réside dans les instructions précisant les méthodes spécifiques à appliquer pendant l'entraînement à la prononciation automatisée. Dans le groupe pratiquant le shadowing, où les participants devaient répéter les éléments dès qu'ils entendaient le son de démonstration, une instruction typique était la suivante : "Maintenant, pratiquons ensemble la prononciation régulière (par opposition à la prononciation prolongée) de /qi/ ; veuillez répéter le son dès que vous entendez le professeur dire /y/". Dans la condition d'imitation, la deuxième phrase de la consigne a été modifiée en "Veuillez imiter /qi/ après le professeur". Afin de souligner davantage la différence entre les deux méthodes et de s'assurer que chaque participante comprenait sa tâche spécifique, un exercice de démonstration a été enregistré et envoyé aux étudiantes avant le programme d'entraînement. Les instructions ont été lues en mandarin et les scripts ont été fournis à la fois en mandarin et en français.

# 4 Résultats

## 4.1 Tests de perception

Dans le test de perception, 10 triplets ABX ont été créés pour tester la perception de /qi/ et /y/. Au total, 300 réponses ont été recueillies dans le prétest et le posttest respectivement. Dans le prétest, un total de 11 réponses incorrectes a été enregistré, représentant 3,7 % du total des réponses, ce qui suggère que les étudiants étaient bien capables de faire la distinction entre /qi/ et /y/ en général. Le nombre de réponses incorrectes a encore diminué pour atteindre 6 (2 %) après la formation. Si l'on examine les performances individuelles, seuls six étudiants ont commis des erreurs dans le contraste après l'entraînement, trois dans chaque condition et deux au niveau intermédiaire.

Au départ, deux participants du groupe de shadowing (Sujet 11 du niveau débutant et Sujet 8 du niveau intermédiaire ont donné trois mauvaises réponses sur dix tests, atteignant un pourcentage de mauvaises réponses de 30 %. Après l'entraînement, les deux participants n'ont plus commis d'erreur dans le posttest de perception. En revanche, le sujet 4 du niveau intermédiaire venait de commettre une erreur. D'autre part, les étudiants qui se sont entraînés avec la méthode de l'imitation au départ semblent avoir obtenu de meilleurs résultats que ceux qui pratiquaient le shadowing avant l'entraînement, avec quatre réponses erronées de la part de trois étudiants. Les sujets 10 et 13, tous deux du niveau intermédiaire, ont corrigé les réponses incorrectes après l'entraînement, tandis que davantage de sujets ont fait une seule erreur dans le posttest, qui serait également dû à une erreur de frappe au clavier. Dans l'ensemble, la distinction n'a pas posé de problèmes de perception graves dès le départ, et les participants qui commettaient initialement plus d'erreurs semblent avoir une amélioration satisfaisante. L'analyse statistique n'était pas mise en place lors du test de perception étant donné le faible nombre d'erreurs avant et après l'entraînement.

## 4.2 Tests de production

Toutes les données des enregistrements ont été traitées à l'aide du système d'alignement forcé du LIMSI (Gauvain et al. 2002) avant une correction manuelle. En tout 483 occurrences de /qi/, 481 occurrences de /y/, et 238 occurrences de /i/ (pas dans /qi/) dans des mots ciblés ont été collectées à partir du prétest et du posttest de la production des mots isolés. Dans la production de phrases courtes, 506 occurrences de /qi/, 481 occurrences de /y/ et 238 occurrences de /i/ produites indépendamment ont été collectées et incluses dans les analyses. Nos analyses ont été spécifiquement porté sur la différence entre F2 et F3 (F3-F2) de /i/ dans /qi/. Pour chaque son, une seule valeur du paramètre a été obtenue en faisant la moyenne des mesures effectuées à 1/3, 1/2 et
2/3 du segment, les valeurs de formants ont été extraites à l'aide d'un script Praat (Boersma et Weenink, 2022). Les analyses statistiques ont été réalisées à l'aide d'un modèle linéaire mixte (lme4 package, Bates et al., 2015) dans l'environnement R (R Core Team 2024). La formule du modèle (F3-F2~Test* Condition* Entraînement du mot * Niveau* Tâche+ (1| Participant)+ (1| Mot)), comprenait cinq facteurs fixes codés par contraste : Test (prétest vs. posttest), Condition (imitation vs. shadowing), Niveau (débutant ou licence 1 vs. intermédiaire ou licence 2), Entraînement du mot (entraîné vs. non-entraîné), Tâche (mots vs. phrases) et toutes leurs interactions, avec deux intercepts aléatoires pour le Participant et le Mot individuel. La significativité de chacun des facteurs fixes contenus dans le modèle a ensuite été évaluée grâce à des ANOVA de type III. Les résultats montrent un effet de Tâche ($\chi^2=4.8042$, df = 1, p < 0.05), l'interaction Test Niveau ($\chi^2=5.377$, df = 1, p < 0.05), l'interaction Test x Condition ($\chi^2=6.8731$, df = 1, p < 0.01), l'interaction Niveau x Tâche ($\chi^2=6.0454$, df = 1, p < 0.05), les interactions Test x Niveau x Condition ($\chi^2=8.8165$, df = 1, p < 0.01), et les interactions Condition x Niveau x Tâche ($\chi^2=7.3762$, df = 1, p < 0.01). Les tests posthoc étaient réalisés grâce à emmeans package (Lenth, 2020)

<figure><img src="image_146.png" /><figcaption>Figure 2 : Diagramme en boîte de la différence F3-F2 en Hz pour /i/ dans /qi/ produit par les apprenants mandarins selon la condition, le niveau et l'entraînement des mots dans la production des mots isolés et des phrases courtes (le carré blanc indique la moyenne)</figcaption></figure>

Selon les tâches, le degré de l'augmentation de la différence F3-F2 est différent. Dans la tâche de lecture de mots isolés, la différence entre le pretest et le posttest est significative (t = 2.002, p < 0.05) : les étudiantes de deux niveaux dans les deux conditions ont augmenté la différence F3-F2 pour les mots entraînés après l'entraînement, bien que cette augmentation soit plus légère pour les étudiantes de niveau intermédiaire en imitation. L'effet positif de l'entraînement n'a pas pu être transmis aux mots non entraînés pour les étudiantes de niveau débutant pratiquant le shadowing et pour celles de niveau intermédiaire pratiquant l'imitation. Dans l'ensemble, l'amélioration n'est pas significative
dans la tâche de lecture de phrases (t=1.027, p>0.1). Toutefois, quand les phrases contiennent les mots entraînés, l'augmentation de la différence F3-F2 pour les étudiantes de niveau débutant dans les deux conditions reste toujours présente, ce qui n'est pas le cas pour les étudiantes de niveau intermédiaire. Pour celles qui ont complété l'entraînement de l'imitation, la différence F3-F2 a diminué dans le posttest. En revanche, pour les étudiants de ce niveau qui ont pratiqué le shadowing la différence F3-F2 a légèrement augmenté. Cette même augmentation a pu être observé pour les mots non entraînés compris dans les phrases.

Globalement, les étudiantes de niveau débutant (t=3.873, p<0.001), qui avaient initialement une prononciation moins précise du /i/ dans /qi/, se sont améliorés de manière plus marquante que les étudiantes de niveau intermédiaire. Pour eux, l'effet de l'imitation semble être plus solide, se manifestant même aux mots jamais entraînés. Cependant, la même méthode semble moins efficace pour les étudiantes ayant appris le français depuis plus d'un an. Malgré cela, les étudiantes de ce niveau ont néanmoins pu bénéficier du shadowing comme méthode de l'entraînement, avec un effet positif observé également dans les mots non entraînés et dans la tâche de lecture de phrase, qui est légèrement plus complexe que la lecture de mots isolés.

# 5 Discussion

Le défi de prononcer /qi/ réside principalement au niveau de la production du bigramme de phones (phonotactique), car la plupart des participants, quelle que soit leur compétence linguistique, étaient capables de percevoir la différence entre /y/ et /qi/ dans le test de perception, et que la voyelle /i/ n'est pas un son inconnu pour les apprenants mandarins. Dans ce contexte, l'acquisition de l'enchaînement parait plus difficile dans la production. Notre étude démontre certains effets positifs de l'utilisation du shadowing comme méthode d'entraînement à la prononciation. En écoutant attentivement et en suivant de près le modèle de parole des locuteurs natifs, les apprenants peuvent intérioriser les mouvements articulatoires nécessaires pour produire des sons difficiles comme /qi/, comblant ainsi le fossé entre la perception et la production. Néanmoins, comparée à l'imitation tardive, une tâche plutôt facile à compléter, la méthode shadowing semble offrir moins d'avantages supplémentaires aux apprenants de niveau débutants. Une des limites de notre étude reste dans les conditions de suivi restreintes ; pour les participantes utilisant des écouteurs pour écouter l'enregistrement modèle, nous n'avons pas pu vérifier avec quelle précision ils suivaient les instructions de shadowing. Certaines participantes, trouvant la tâche difficile, auraient pu inconsciemment la remplacer par l'imitation tardive. Dans l'ensemble, les participantes de niveau intermédiaire avaient une meilleure prononciation avant l'entraînement, mais l'amélioration était aussi moins évidente que les étudiantes de la première l'année. En même temps, elles ont bénéficié davantage de la pratique du shadowing que l'imitation, et les effets positifs se sont également étendus aux mots qui n'avaient pas fait l'objet d'un entraînement spécifique. D'ailleurs, ce groupe de participantes est également le seul qui a réduit la durée des toutes les voyelles entraînées dans la production des mots isolés et la voyelle /y/ dans la production des phrases. Cependant, pour obtenir une amélioration plus significative, notamment dans la lecture de textes, un style d'expression orale considéré comme très difficile pour les apprenants de L2, dans lequel les prononciations de L2 sont notablement différentes de celles de L1 (Fu et al., 2023) - le programme d'entraînement devrait être prolongé au-delà de la durée de notre étude, et le matériel fourni pourrait être simplifié davantage.
Références

BATES D., MACHLER M., BOLKER B., & WALKER S. (2015). Fitting linear mixed-effects models Usinglme4. Journal of Statistical Software, 67(1). DOI: 10.18637/jss.v067.i01

BOERSMA P. & WEENINK D. (2022). Praat: doing phonetics by computer [Computer program]. http://www.praat.org/

DARCY I. & ROCCA B. (2022). Comprehensibility improvements in integrated pronunciation instruction: A comparison of instructional methods and task effects. *Journal of Second Language Pronunciation, 8*(3), 328-362. DOI: 10.1075/jslp.21035.dar

DARCY I., ROCCA B., & HANCOCK Z. (2021). A window into the classroom: How teachers integrate pronunciation instruction. *RELC Journal, 52*(1), 110-127. DOI: 10.1177/0033688220964

DUANMU S. (2007). The phonology of standard Chinese. 2nd edn. New York: Oxford University Press.

FU W., ADDA-DECKER M., & KUHNERT B (2023). Characterization of Mandarin-accented French across three different speaking styles: a corpus-based study. *Proceedings of the 20th International Congress of Phonetic Sciences* (pp.2507-2511). Prague, Czech Republic. https://guarant.cz/icphs2023/341.pdf

FU W., ADDA-DECKER M., & KUHNERT B (2022). The production of oral vowels by Mandarin L2 learners of French: characterization for a training program. *10th International Symposium on the Acquisition of Second Language Speech (New Sounds 2022) University of Barcelona, Spain*. https://shs.hal.science/halshs-03984432

GAUVAIN J L., LAMEL L, & ADDA G (2002). *The Limsi Broadcast News Transcription System, Speech Communication, 37*(1-2):89-108. https://doi.org/10.1016/S0167-6393(01)00061-9

GOLDINGER S. D. (1998). Echoes of echoes? An episodic theory of lexical access. Psychological Review, 105(2), 251-279. https://doi.org/10.1037/0033-295X.105.2.251

HU W., ZHAO K., ZHAO S., ZHI F., XIAO, C., & YANG, J. (2023). The Effect of Non-Native English Accent on Second Language Listening Comprehension. Open Access Library Journal, 10(4), 1-12. DOI: 10.4236/oalib.1110078

HAMADA Y. (2019). Shadowing: What is it? How to use it. Where will it go?. RELC Journal, 50(3), 386-393. DOI: 10.1177/0033688218771380

HAMADA Y. & SUZUKI S. (2021). Listening to Global Englishes: Script-assisted shadowing. *International Journal of Applied Linguistics, 31*(1), 31-47. DOI: 10.1111/ijal.12318

HIDA K. A. Z. U. K. I. (2020). The effectiveness of shadowing in English weak vowels acquisition: A study of Japanese junior high school students. *Dialogue, 18*, 1-20. https://talk-waseda.net/dialogue/no18_2020/dialogue18_k1_hida.pdf

LAMBERT S. (1992). Shadowing. *Meta, 37*(2), 263-273.

Lenth R. (2020). emmeans: Estimated marginal means, aka least-squares means. https://CRAN.R-project.org/package=emmeans

LEE W. S. & ZEE E. (2003). Standard chinese (beijing). *Journal of the International Phonetic Association, 33*(1), 109-112. DOI: 10.1017/S0025100303001208

MORI T., YASUDA T., MAEDA T., MIZUBAYASHI W., LIU Y., SAKAMOTO K. & OTA H. (2011). Tunnel field-effect transistors with extremely low off-current using shadowing effect in drain implantation. *Japanese journal of applied physics, 50*(6S), 06GF14. DOI: 10.1143/JJAP.50.06GF14

NGUYEN N. & DELVEUX V. "Role of imitation in the emergence of phonological systems." *Journal of Phonetics*53 (2015), 46-54. DOI: 10.1016/j.wocn.2015.08.004

SUMIYOSHI H. (2019). The effect of shadowing: exploring the speed variety of model audio and sound recognition ability in the japanese as a foreign language context. *Electronic Journal of Foreign Language Teaching, 16*(1), 5-21. https://e-flt.nus.edu.sg/v16n12019/sumiyoshi.pdf

SATO M., GRABSKI K., GARNIER M., GRANJON L., SCHWARTZ J. L. & NGUYEN, N. (2013).
Converging toward a common speech code: imitative and perceptuo-motor recalibration processes
in speech production. *Frontiers in psychology, 4*, 422. DOI: 10.3389/fpsyg.2013.00422
# Enseignement de l'intonation du français par une synthèse vocale contrôlée par le geste : étude de faisabilité

Xiao Xiao¹ Corinne Bonnet² Haohan Zhang³ Nicolas Audibert³ Barbara Kühnert³ Claire Pillot-Loiseau³

(1) Léonard de Vinci Pôle Universitaire, Research Center, 12, avenue Léonard de Vinci, Paris – La Défense 92400, France

(2) DILTEC Didactique des langues, des textes et des cultures EA 2288, Sorbonne Nouvelle, 4, rue des Irlandais, 75005 Paris, France, et Université Toulouse Paul Sabatier, 118 Rte de Narbonne, 31062 Toulouse, France

(3) Laboratoire de Phonétique et Phonologie UMR 7018, Sorbonne Nouvelle, 4, rue des Irlandais, 75005 Paris, France

xiao.xiao@devinci.fr, {corinne.bonnet, haohan.zhang, nicolas.audibert, barbara.kuhnert, claire.pillot}

@sorbonne-nouvelle.fr

## RESUME

Peut-on enseigner l'intonation française en classe avec une synthèse vocale contrôlée gestuellement sur une tablette ? La fréquence fondamentale et la durée de quatre phrases déclaratives, quatre questions polaires, quatre énoncés exprimant l'incrédulité (1 à 4 syllabes) de deux apprenantes ukrainiennes débutantes en français ont été comparées avant et après quatre entraînements hebdomadaires. Les apprenantes devaient écouter un enregistrement de référence, puis visualiser le modèle sur la tablette, tracer l'intonation manuellement, écouter le résultat synthétisé, et tracer et écouter leur tracé sans guide. Elles produisaient initialement des phrases déclaratives avec une intonation ascendante, et ont différencié les déclarations et les questions polaires après l'entraînement. L'expression de l'incrédulité s'est améliorée pour l'une. L'autre a montré quelques difficultés à maîtriser cette technologie. Cette première étude de cas utilisant la synthèse vocale contrôlée gestuellement est une approche prometteuse permettant plus de pratique de l'intonation en classe.

## ABSTRACT

**Teaching French intonation using gesture-controlled speech synthesis: a feasibility study.**

Is learning French intonation with gesture-controlled speech synthesis on a tablet in the classroom feasible? The fundamental frequency and duration of four declarative sentences, four polar questions, four statements expressing incredulity (1 to 4 syllables) of two Ukrainian beginner learners of French were compared before and after four weekly training sessions. Learners were asked to listen to a reference recording, then look at the intonation guide on the tablet, trace the intonation manually, listen to the synthesized result, and trace and listen to their tracing without a guide. They initially produced declarative sentences with rising intonation and differentiated statements and polar questions after training. The expression of disbelief improved for one of them. The other showed some difficulty in mastering this technology. This first case study using gesture-controlled speech synthesis is a promising approach for more intonation practice in the classroom.

**MOTS-CLES** : synthèse vocale contrôlée par le geste, intonation, français, salle de classe

**KEYWORDS** : gesture-controlled vocal synthesis, intonation, French, classroom setting

<figure><img src="image_147.png" /></figure>
# 1 Introduction

L'acquisition de l'intonation peut s'avérer difficile pour les apprenants non natifs (Mennen, 2015). Plusieurs stratégies d'enseignement ont été proposées et testées, visant à attirer l'attention sur les changements de hauteur pour la perception et la production. L'association entre un son et une représentation visuelle ou gestuelle de son contour de fréquence fondamentale ($f_0$) peut aider un apprenant à percevoir un mouvement $f_0$ non familier et à ancrer l'établissement de nouvelles catégories de mouvements de hauteur (Yuan et al., 2019). Les représentations visuelles des contours $f_0$ peuvent également transmettre les différences entre un modèle et les productions des apprenants, pour les aider à comprendre et à corriger leurs propres erreurs (Taniguchi et Abberton, 1999). Pour la production, les gestes ont été utilisés pour renforcer kinesthésiquement les caractéristiques de l'intonation (entre autres : Baills et al., 2022).

Notre recherche explore comment la synthèse vocale contrôlée en temps réel par des gestes de la main, appelée Synthèse Vocale Performative (PVS, Locqueville et al., 2020 ; Xiao et al., 2023), peut être utilisée par des locuteurs non-natifs pour la pratique de l'intonation d'une langue étrangère. Des études pilotes de PVS avec des apprenants de L2 ont été menées sur des corpus français et anglais, à l'aide de l'interface Gepeto sur tablette mobile. Ces premières études ont permis de valider le potentiel de l'utilisation de PVS pour l'apprentissage de l'intonation (Xiao et al., 2021, 2023). Auparavant, le déploiement de Gepeto était limité à des études à session unique dans des conditions de laboratoire contrôlées. Le présent travail explore la manière dont Gepeto peut être incorporé de manière longitudinale pour compléter l'enseignement des langues étrangères en classe.

Dans cet article, nous présenterons une étude de cas sur l'acquisition du français par des apprenants ukrainiens dont l'une des difficultés de communication réside dans la compréhension et la production de la distinction prosodique entre les énoncés et les questions polaires (questions oui/non) en français. Certaines de ces difficultés pourraient être dues aux différences entre les systèmes prosodiques du français et de l'ukrainien : l'ukrainien est une langue slave avec une accentuation lexicale libre. Les phrases déclaratives et les questions "wh" sont caractérisées par un contour d'intonation descendant, tandis que les questions polaires sont produites avec un contour d'intonation ascendant. Cependant, l'ukrainien possède également des accents de hauteur qui signalent une focalisation large : dans ce cas, ils sont produits avec un accent prénucléaire ascendant (bas-haut) suivi d'un accent nucléaire descendant (haut-bas). Pour ces raisons, certaines phrases déclaratives peuvent présenter des schémas intonatifs ascendants (Pompino-Marschall et al., 2017). Le français est une langue romane avec un accent sur la dernière syllabe d'un groupe de mots (Fougeron et Smith, 1993). En français, sans expression d'une attitude particulière, les phrases déclaratives se terminent par un contour descendant, tandis que les questions polaires se terminent avec un contour ascendant (Di Cristo, 2016).

Cette étude de cas cherche à savoir si l'entraînement à l'utilisation de la PVS permet aux apprenants ukrainiens débutants de français d'améliorer leur production différenciée de phrases déclaratives, de questions polaires et d'un modèle d'intonation attitudinal (incrédulité) dans des énoncés courts.

# 2 Matériel et Méthodes

L'interface Gepeto a été utilisée pour les conditions gestuelles de l'étude. Elle consiste en une interface mobile personnalisée qui contrôle un synthétiseur vocal, Voks, qui permet le contrôle mélodique et rythmique en temps réel d'échantillons préalablement enregistrés ou de synthèse vocale par l'utilisation de gestes de la main (Locqueville et al., 2020). L'interface mobile fonctionne dans le navigateur d'une tablette ou d'un téléphone portable. Cette étude a utilisé les téléphones mobiles
personnels de chaque sujet, contrôlés par des mouvements du bout des doigts. Le tracé d'une courbe dans la zone de contrôle de l'interface du téléphone portable produit une resynthèse en temps réel de la phrase actuelle à partir de Voks. L'axe horizontal détermine la position temporelle de l'échantillon original à resynthétiser, et le moment de la resynthèse est déterminé par le moment du geste de l'utilisateur. L'axe vertical de la région de contrôle module la hauteur de la sortie. Il est régulièrement espacé sur une échelle de demi-tons (ST) avec une gamme de 24ST (2 octaves) calibrée autour du corpus de l'étude. Un panneau de boutons apparaît à gauche de la région de contrôle. Le bouton du haut permet de basculer entre le mode fondu et le mode maintenu pour la trace de l'utilisateur, où la trace disparaît après 1,5 seconde ou reste jusqu'à ce qu'elle soit effacée. En mode maintenu, trois autres boutons sont activés, permettant à l'utilisateur de lire, d'effacer ou d'enregistrer le tracé du geste en cours. Le bouton situé dans le coin inférieur gauche déclenche la lecture de l'enregistrement de référence pour la phrase en cours. L'enseignant dispose d'une interface de commande distincte qui lui permet de sélectionner la phrase en cours et d'activer ou de désactiver le guide visuel montrant la courbe d'intonation de la phrase de référence.

Le profil linguistique des apprenants a été documenté via un questionnaire initial : langue maternelle et autres langues apprises, durée du séjour en France et pratique du français, niveau de français, formation dans leur pays et en France, et utilisation actuelle du français et de la langue maternelle.

## 2.1 Contexte général de l'étude

Une classe d'étudiants ukrainiens adultes de niveau débutant a été sélectionnée pour l'étude. Les sujets ont été recrutés dans le cadre d'un cours d'introduction au français qui s'est déroulé au printemps 2023 à l'Université Paul Sabatier de Toulouse. Le cours d'1,5 heure a eu lieu pendant 14 semaines consécutives et a couvert la grammaire française de base et le vocabulaire lié à la vie quotidienne. La classe suivait un programme standard, dont la partie prononciation ne couvrait que la phonétique segmentale, mais pas l'intonation. Notre intervention s'est déroulée sur 6 séances hebdomadaires, dont 4 séances d'entraînement (20-30 minutes) à l'utilisation de Gepeto. Des enregistrements d'évaluation ont été effectués lors de la première et de la dernière séance. Les sessions de formation ont été supervisées par une formatrice en langues étrangères, qui a guidé les étudiants pendant les différents exercices, les a aidés avec les aspects techniques de l'interface et a pris des notes détaillées sur ses observations et ses échanges avec les apprenants. L'entraînement et les enregistrements d'évaluation ont utilisé un corpus d'énoncés courts (1-4 syllabes) produits avec des intonations différentes selon le contexte de communication (affirmation, question ou incrédulité).

Les interventions se sont déroulées sur 6 sessions de cours dans une salle séparée à côté de la salle de classe. La première et la dernière séance ont été consacrées aux pré-tests et aux post-tests, et les séances intermédiaires ont consisté en des activités destinées à entraîner les schémas d'intonation. Les sujets se rendaient individuellement dans la salle avant ou après le cours et réalisaient les activités prévues avec l'expérimentateur. Les enregistrements d'évaluation avaient pour but d'identifier les points de difficulté et de mesurer les améliorations apportées par l'entraînement.

## 2.2 Sujets

Les étudiants étaient des ressortissants ukrainiens installés en France entre 1,5 et 12 mois avant l'étude. 7 femmes et 3 hommes ont participé au pré-test (19-65 ans, moyenne 29,5 ans). L'ukrainien était leur première langue et l'anglais ou le russe (pour 7 sujets) leur deuxième ou troisième langue. Tous les sujets étaient débutants en français, avec un niveau entre A0 et A2 (Conseil de l'Europe, CECR 2001). Seules deux personnes ont participé à toutes les sessions d'entraînement : UF1 (femme,
37 ans, vivant en France depuis 1 an, niveau de français A1, chercheuse) et UF2 (femme, 65 ans, vivant en France depuis 6 mois, niveau de français A0, chimiste). Leurs deuxième et troisième langues apprises sont respectivement l'anglais et le russe. Les deux apprenantes n'ont aucune pratique musicale et n'ont jamais eu d'entraînement préalable à la mélodie du français parlé.

## 2.3 Corpus

Le corpus se compose de mots et de phrases françaises courtes de 1 à 4 syllabes enregistrées par un locuteur natif masculin avec trois modalités distinctes associées à des schémas d'intonation différents : affirmation (déclaration), question ou incrédulité. Le corpus a été divisé en trois groupes. Les énoncés du groupe A ont été utilisés pendant le pré-test ; ceux du groupe B lors des sessions de formation, et ceux du groupe C lors du post-test. Nous avons choisi des énoncés courts pour éviter les problèmes liés au rythme des phrases plus longues que nous avons rencontrés dans nos études précédentes (Xiao et al., 2021). De plus, les énoncés courts sont plus faciles à reproduire pour les apprenants de français de niveau débutant. Enfin, différents mots ont été enregistrés dans le pré- et le post-test afin de tester la capacité des apprenants à généraliser et à appliquer les modèles d'intonation qu'ils ont appris à d'autres exemples. Les enregistrements ont été réalisés sur un ordinateur portable à l'aide d'un microphone de bureau unidirectionnel à condensateur en utilisant le logiciel Audacity.

## 2.4 Analyse acoustique

La fréquence fondamentale ($f_0$) a été extraite à l'aide de scripts Praat (Boersma et Weenink 2023). Les valeurs minimales et maximales possibles ont été fixées en fonction de la portée observée du locuteur afin de minimiser les erreurs de détection. Les contours $f_0$ obtenus ont été inspectés pour éliminer les erreurs de détection. Après conversion en demi-tons, la position temporelle des points de mesure et les valeurs $f_0$ associées ont été extraites.

<figure><img src="image_148.png" /><figcaption>FIGURE 1 : Courbes de fréquence fondamentale ($f_0$) pour un énoncé monosyllabique, un disyllabique et un trisyllabique produit par le locuteur natif masculin dans chacune des trois modalités et utilisés dans les sessions d'entraînement (groupe B).</figcaption></figure>

En outre, les enregistrements audio ont été segmentés en syllabes et en phones à l'aide de WebMAUS (Kisler et al., 2017). La segmentation obtenue a été corrigée manuellement, puis exportée au format TextGrid de Praat pour être affichée via l'interface Gepeto. La figure 1 montre des exemples de courbes $f_0$ pour chaque modalité du groupe B (énoncés utilisés dans les sessions d'entraînement) produite par le sujet natif, en fonction de la longueur en syllabes de l'énoncé.

L'analyse de $f_0$ de chaque énoncé produit par les apprenants lors du pré-test et du post-test a suivi la même procédure semi-automatique que celle décrite ci-dessus. La durée de chaque production a été extraite de la segmentation. Étant donné le nombre limité de sujets et d'exemples, l'analyse acoustique
se concentre principalement sur l'inspection visuelle de la forme du contour intonatif, considérée
individuellement ou en moyenne sur les sujets, les conditions et les durées d'énonciation.

## 2.5 Prétest et Posttest

Des enregistrements ont été réalisés lorsque les sujets prononçaient les mots et les phrases pendant le pré-test et le post-test à l'aide d'un microphone d'ordinateur portable et du logiciel Audacity. Les instructions concernant les enregistrements étaient affichées sur des diapositives sur un écran d'ordinateur. Par exemple, pour le pré-test, les apprenants devaient produire le mot normalement comme s'il était à la fin d'une phrase ou question, en faisant attention à la ponctuation. Les modèles d'intonation des énoncés et des questions polaires étaient indiqués par des signes de ponctuation en rouge à la fin de chaque mot ou phrase. Les instructions ont été données en anglais, le niveau de français des apprenants débutants n'était pas encore suffisant. Afin de fournir un contexte approprié pour l'intonation associée à l'incrédulité, une phrase d'introduction a été lue par l'expérimentateur pour chaque énoncé avant la production des stimuli par les sujets (exemple pour les stimuli « Lille ?! », « votre ami vous annonce qu'il déménage à Lille, à 900 km de Toulouse, et vous ne le croyez pas »).

## 2.6 Entraînement

Toutes les sessions de formation ont été supervisées par un professeur de langue et guidées par un jeu de diapositives d'instructions. Chaque session de formation utilisait un ensemble différent de 3 à 5 mots ou phrases. Les élèves ont participé aux séances de formation individuellement. Les séances d'entraînement commençaient par la lecture de chaque mot ou phrase avec les trois types d'intonation, suivie d'exercices utilisant l'interface Gepeto. Pour la tâche de lecture, les stimuli étaient présentés un par un sur une diapositive avec différents signes de ponctuation pour indiquer l'intonation appropriée (point pour les affirmations, point d'interrogation pour les questions polaires ou point d'interrogation et d'exclamation pour l'incrédulité). De plus, pour l'incrédulité, la même phrase de mise en contexte a été utilisée que dans les pré et post-tests.

Quatre types d'exercices ont été proposés avec Gepeto, sans limitation du nombre de répétitions, le guide visuel avec la production native de référence étant affiché pour les trois premiers :

1. Écouter l'enregistrement de référence tout en prêtant attention au guide visuel, puis imiter vocalement la référence.

2. Écouter la référence et la reproduire en synthèse vocale en traçant le guide visuel

3. Identique à la tâche 2 mais le geste tracé reste à l'écran et l'élève peut écouter son résultat.

4. Identique à la tâche 3, mais sans guide visuel.

Les participants écoutaient le modèle plusieurs fois avant d'essayer de reproduire les courbes. Seuls les exercices avec guides visuels ont été donnés aux élèves pour les sessions de formation 1 et 2. L'exercice sans guide a été ajouté pour les sessions de formation 3 et 4.

# 3 Résultats

## 3.1 Analyse acoustique des productions au prétest

La figure 2 montre les contours $f_0$ moyennés et normalisés dans le temps des productions des 10 apprenants ukrainiens, pour chacun des énoncés produits pendant le pré-test (groupe A du corpus) et chacune des trois modalités. Les contours $f_0$ correspondant aux productions des locuteurs natifs des
mêmes énoncés sont à droite de la figure. Les apprenants tendent à produire des contours intonatifs finaux ascendants pour les trois conditions dans le prétest, avec peu de distinction entre les modalités, bien que la variabilité entre locuteurs soit plus importante pour l'incrédulité (Figure 2). Inversement, alors que le modèle intonatif principalement produit par le locuteur natif pour exprimer l'incrédulité est proche de celui de la question sauf pour « Lille », ses énoncés déclaratifs sont systématiquement marqués par une chute intonative quel que soit le nombre de syllabes dans l'énoncé. L'incapacité apparente des apprenants ukrainiens débutants à produire la chute intonative caractéristique des énoncés déclaratifs en français peut expliquer les confusions fréquemment observées.

<figure><img src="image_149.png" /><figcaption>FIGURE 2 : Courbes de la production des cinq énoncés du groupe A par les 10 apprenants ukrainiens de la session de pré-test (à gauche, moyenne des apprenants), et par le locuteur natif masculin (à droite pour chaque longueur syllabique), pour chacune des trois modalités. Les enveloppes colorées autour des courbes moyennes des apprenants représentent l'erreur standard.</figcaption></figure>

Une exception est l'énoncé de quatre syllabes « Vous allez bien », pour lequel les apprenants produisent en modalité déclarative des contours intonatifs plus proches de ceux du modèle natif, même s'ils présentent une trajectoire légèrement montante à la fin. Ces contours, produits avec peu de variabilité entre apprenants comme l'indique l'erreur standard modérée, est probablement influencé par les schémas prosodiques ukrainiens sur des énoncés plus longs.

## 3.2 Caractérisation acoustique des progrès des apprenantes

La figure 3 montre une comparaison entre le pré-test (groupe A) et le post-test (groupe C) des contours $f_0$ normalisés en fonction du temps dans les énoncés produits par les deux apprenantes ayant participé à l'ensemble du protocole, UF1 et UF2. Les contours $f_0$ des productions du locuteur natif (groupe A) sont reproduits à gauche. Les énoncés sont regroupés par nombre de syllabes pour la visualisation, qui comprend pour chaque locuteur et chaque condition deux énoncés monosyllabiques pour lesquels la variabilité est également représentée. Comme les énoncés de quatre syllabes n'étaient présents que dans les groupes A et B, seules les productions d'une à trois syllabes sont représentées.

La grande variabilité observée chez le locuteur natif pour les expressions d'incrédulité sur des énoncés monosyllabiques s'explique par les deux modèles intonatifs distincts produits par ce locuteur sur les énoncés « Lille » (Figure 2). Le schéma intonatif secondaire de montée et de descente se retrouve dans certaines productions d'incrédulité du post-test du locuteur UF1, qui semble avoir acquis la capacité de généraliser l'utilisation de ce schéma intonatif à des énoncés de longueur variable.
<figure><img src="image_150.png" /></figure>

FIGURE 3 : Courbes de la production d'énoncés de 1 à 3 syllabes par les apprenants ukrainiens UF1 et UF2 qui ont participé au pré-test (énoncés du groupe A, trait plein) et au post-test (énoncés du groupe C, pointillés), pour chacune des trois modalités. Pour les énoncés monosyllabiques, des courbes moyennes sont présentées pour tenir compte des deux exemplaires inclus dans chaque condition, (enveloppes colorées : erreur standard).

En outre, les apprenants améliorent leur capacité à produire des énoncés déclaratifs et des questions de façon distincte et plus proche du natif, quel que soit le nombre de syllabes, d'où un écart plus important entre l'énoncé et la question dans la partie finale du même énoncé: l'écart moyen entre l'énoncé et la question dans le dernier quart de l'énoncé augmente entre le prétest et le post-test pour les énoncés d'une et de deux syllabes des deux apprenants (augmentation moyenne de cet écart de 9,1 demi-tons). Bien que plus modérée (3,4 demi-tons), cette augmentation de la distinction entre énoncé et question est également observée pour les énoncés de trois syllabes produits par UF1.

Enfin, la légère réduction par UF2 (-2,2 demi-tons) de l'écart entre déclaration et question (énoncés de trois syllabes), est principalement due à la baisse de $f_0$ sur la syllabe médiane lors de la production de questions dans le post-test. De plus, la forme des contours de l'énoncé et de la question produits par UF2 en fin de l'énoncé est beaucoup plus proche du natif dans le post-test que dans le pré-test.

La normalisation temporelle des courbes de $f_0$ pourrait masquer certaines distinctions entre modalités marquées par la durée et pas seulement par les variations intonatives. Si chez le natif, la distinction entre modalités n'est pas marquée par la durée, en pré-test les apprenants adoptent une stratégie de distinction par la durée (énoncés déclaratifs de 2 et 3 syllabes plus longs que les questions). En post-test, ces différences de durée sont réduites et la distinction entre les modalités s'améliore sur le plan mélodique. De plus, pour les trois modalités, quelle que soit la longueur des énoncés, les apprenants augmentent leur débit de parole entre pré- et post-test, pour les déclarations et les questions.

# 4 Discussion et conclusion

Malgré une notable réduction de la population due à des circonstances imprévues et indépendantes de notre volonté, l'étude a été utile et bénéfique pour tester la configuration expérimentale globale et la faisabilité de l'utilisation d'un système de synthèse vocale contrôlé par le geste. Elle a dévoilé plusieurs points inattendus liés à la production de l'intonation du français et à la prise en main de l'outil.
La montée finale observée pour certains des énoncés déclaratifs plurisyllabiques produits par UF2 pourrait s'expliquer par la présence éventuelle d'un accent de hauteur en ukrainien (Pompino-Marschall et al., 2017). L'intonation moyenne du pré-test pour les 10 sujets a montré un $f_0$ ascendant pour les trois types d'intonation en français, la question et l'incrédulité présentant une pente plus raide que pour la déclaration. Cependant, un schéma différent a été trouvé pour les énoncés déclaratifs de 4 syllabes, qui avaient un contour d'intonation plat dans le prétest, se terminant par une légère montée finale. Il existe donc des variations dans les modèles de production intonative en fonction de la longueur de l'énoncé. Par la suite, il serait souhaitable de tester l'outil sur des énoncés plus longs afin d'évaluer son utilité pour améliorer l'intonation de ces énoncés.

Dans le post-test, la principale amélioration s'est produite dans la production d'énoncés déclaratifs, qui ont montré un contour descendant plus fort par rapport au pré-test pour les deux apprenants. Dans l'ensemble, UF1 a réalisé des contours déclaratifs finaux plus proches de ceux du locuteur natif que UF2. UF1 semble également généraliser l'incrédulité mieux que UF2, et ses productions ont augmenté à la fin de la formation. Les différences entre les deux apprenants peuvent être en partie liées à la plus grande satisfaction d'UF1 vis-à-vis de l'expérience. De plus, UF1, plus jeune et ayant un meilleur niveau de français, a vécu plus longtemps en France que le sujet UF2. UF2 a indiqué qu'elle « parle parfois français » : on peut donc supposer que son exposition au français en dehors de la classe est limitée. Le sujet UF2 a également exprimé à plusieurs reprises sa gêne à utiliser la technologie liée à l'interface Gepeto au début des sessions de formation. Elle a été plus hésitante que UF1.

Cette étude est la première à tester une interface de contrôle gestuel dans un cadre autre que les conditions contrôlées d'un laboratoire. Parmi les difficultés rencontrées, citons les problèmes de stabilité de la connexion Internet dans la salle de classe ; la surface du téléphone en silicone, qui a entraîné une gêne pour l'un des participants qui avait les mains humides ; la latence dans l'ouverture du logiciel ; les problèmes de compatibilité entre les différents téléphones et navigateurs ; la qualité de la synthèse vocale, qui s'est parfois révélée peu familière aux participants ; et le fait que les participants n'étaient pas familiarisés avec les paramètres techniques de leur téléphone au début de l'entraînement. Dans les études futures, nous visons donc à fournir les appareils mobiles.

Malgré les différences de performance entre les deux apprenantes, toujours rencontrées en contexte de classe, et malgré le peu de sujets, cette étude exploratoire a montré qu'il est important d'enseigner l'intonation en français langue étrangère dès le début de l'apprentissage. Dans cette expérience, même s'il manque un groupe contrôle bénéficiant d'un enseignement intonatif plus « traditionnel » en comparaison avec notre pédagogie (prévu mais non réalisé en raison du blocage de l'université), l'interface Gepeto a aidé les apprenants à utiliser plus d'un modèle d'intonation en français et, surtout, à différencier les phrases déclaratives des questions polaires, une distinction qui, bien qu'essentielle à des fins de communication en français, n'est pas évidente au début pour les apprenants ukrainiens.

## Remerciements

Cette recherche a été financée par l'ANR "GEPETO" (ANR-19-CE28-0018-01), et le LabEx EFL (ANR-10-LABX-0083) qui contribue à l'IdEx Université de Paris (ANR-18-IDEX-0001). Nous remercions les enseignants et les apprenants qui ont rendu possible cette étude.
Références

BAILLS F., ALAZARD-GUIU C. & PRIETO P. (2022). Embodied prosodic training helps improve accentedness and suprasegmental accuracy. *Applied Linguistics* 43, 776–804.
https://doi.org/10.1093/applin/amac010

BOERSMA P. & WEENINK D. (2023). Praat: doing phonetics by computer. Version 6.3.06, en ligne :
http://www.praat.org/

CONSEIL DE L'EUROPE. (2001). *CECRL (Cadre européen commun de référence pour les langues)*.
Strasbourg : Éditions Didier.

DI CRISTO A. (2016). *Les musiques du français parlé : Essais sur l'accentuation, la métrique, le rythme, le phrasé prosodique et l'intonation du français contemporain*. Berlin, Boston: De Gruyter.
https://doi.org/10.1515/9783110479645

FOUGERON, C. & L. SMITH C.L. (1993). Illustrations of the IPA: French. *Journal of the International Phonetic Association* 23, 73–76.

KISLER T., REICHEL U. & SCHIEL F. (2017). Multilingual Processing of Speech Via Web Services. *Computer Speech and Language* 45, 326–347. https://doi.org/10.1016/j.csl.2017.01.005

LOCQUEVILLE G., D’ALESSANDRO C., DELALEZ S., DOVAL B. & XIAO X. (2020). Voks: Digital Instruments for chironomic control of voice samples. *Speech Communication* 125, 97–113.
https://doi.org/10.1016/j.specom.2020.10.002

MENNEN I. (2015). Beyond segments: towards a L2 intonation learning theory. In: Delais-Roussarie, E., Avanzi, M. & Herment, S. (Eds.). *Prosody and Languages in Contact: L2 acquisition, attrition, languages in multilingual situations*, Springer Verlag, pp. 171–188.

POMPINO-MARSCHALL B., STERIOPOLO E. & ŽYGIS M. (2017). Ukrainian. *Journal of the International Phonetic Association* 47, 349–57. https://doi.org/10.1017/S0025100316000372

TANIGUCHI M. & ABBERTON E. (1999). Effect of interactive visual feedback on the improvement of English intonation of Japanese EFL learners. *Speech, Hearing, and Language: work in progress* 11, 77–89.

XIAO X., AUDIBERT N., LOCQUEVILLE G., D’ALESSANDRO C., KÜHNERT B., & PILLOT-LOISEAU C. (2021). Prosodic Disambiguation Using Chironomic Stylization of Intonation with Native and Non-Native Speakers. In *Proc Interspeech 2021*, pp. 516–520. https://doi.org/10.21437/Interspeech.2021-182

XIAO X., KÜHNERT B., AUDIBERT N., LOCQUEVILLE G., PILLOT-LOISEAU C., ZHANG H. & D’ALESSANDRO C. (2023). Performative Vocal Synthesis for Foreign Language Intonation Practice. In *Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems*, pp.1–9.
https://doi.org/10.1145/3544548.3581210

YUAN C., GONZÁLEZ-FUENTE S., BAILLS F., & PRIETO P. (2019). Observing Pitch Gestures Favors the Learning of Spanish Intonation by Mandarin Speakers. *Studies in Second Language Acquisition* 41, 5–32. https://doi.org/10.1017/S0272263117000316
# Entraînement de la coordination respiration-parole en apprentissage de la lecture assistée par ordinateur

Delphine Charuau¹ Andrea Briglia¹ Erika Godde² Gérard Bailly¹

(1) GIPSA-Lab, Univ. Grenoble-Alpes, 11, rue des Mathématiques 38400 St Martin d'Hères

(2) LEAD, Univ. Bourgogne Franche-Comté, 11, Esplanade Erasme 21000 Dijon
delphinecharuau1@gmail.com, gerard.bailly@gipsa-lab.fr,
erika.godde@u-bourgogne.fr

## RÉSUMÉ

Cette étude vise d'une part, à identifier les indices respiratoires pouvant être considérés comme la signature de l'amélioration de la fluence, et d'autre part, à examiner les effets de l'entraînement de lecture assistée par ordinateur sur la progression de la coordination respiration/parole. 66 élèves (CE2-CM2) ont été répartis en trois groupes selon le mode d'entraînement suivi : contrôle, entraînement avec surlignage par mot et entraînement avec soulignage par groupe de souffle. Tous ont été enregistrés avant (pré-test) et après trois semaines d'entraînement de lecture assistée (post-test) lors de la lecture d'un texte entraîné et d'un autre non-entraîné. Les résultats indiquent que la planification respiratoire et la gestion des pauses est améliorée sur un texte entraîné. Toutefois, il n'y a pas de transfert significatif de ces améliorations sur le texte non-entraîné.

## ABSTRACT

### Breathing-speech coordination training in computer-assisted reading

This study aims, on one hand, to identify respiratory indicators that could be considered as the hallmark of fluency improvement, and on the other hand, to examine the effects of computer-assisted reading training on the progression of respiratory/speech coordination. 66 students (grades 3-5) were divided into three groups according to the training mode they followed : control, training with word highlighting, and training with breath group highlighting. All students were recorded before (pre-test) and after three weeks of computer-assisted reading training (post-test) while reading both a trained and an untrained text. The results of this study indicate that respiratory planning and pause management are improved on a trained text. However, there is no significant transfer of these improvements to the untrained text.

**MOTS-CLÉS** : Pauses, Coordination respiration-parole, Prosodie, Lecture assistée par ordinateur.

**KEYWORDS**: Pauses, Speech breathing coordination, Prosody, Computer-assisted reading.

## 1 Introduction

La fluence en lecture est traditionnellement mesurée comme le nombre de mots correctement lus par minute, faisant de la capacité de décodage et de la vitesse de parole les indicateurs-clés de la compétence en lecture (Breznitz, 2012). Or cette approche de la fluence fait totalement abstraction d'un aspect crucial de la lecture : la prosodie. La prosodie, qui englobe le rythme, le phrasé, les variations d'intonation, joue un rôle significatif dans la compréhension du texte. Des études ont montré que la prosodie en lecture, non seulement facilite la compréhension du texte par l'auditeur,

<figure><img src="image_151.png" /></figure>
mais reflète également la bonne compréhension du texte par le lecteur lui-même, soulignant ainsi l'importance de la manière dont les mots sont lus (Rasinski, 2004; Schwanenflugel et al., 2004).

Dans cette perspective, notre étude se concentre sur le développement de la coordination respiration-parole chez l'enfant, et à son impact sur le phrasé des enfants dans un contexte de lecture assistée par ordinateur basée sur le principe du karaoké. Cette méthode, combinant les bénéfices de la lecture chorale et de la lecture répétée, a déjà démontré son efficacité dans l'apprentissage d'une langue seconde (Luo et al., 2008; Webb & Chang, 2012).

L'objectif de notre travail est double. Il s'agit, d'une part, d'analyser la coordination entre la respiration et la parole dans ce contexte particulier de la lecture assistée par ordinateur, afin d'identifier des indices respiratoires qui pourraient être considérés comme la signature d'une amélioration de la fluence, et d'autre part, d'examiner les effets d'un entraînement spécifique de la coordination respiration/parole par lecture assistée. En examinant la manière dont les enfants respirent pendant la lecture karaoké, et la manière dont cela influence leur phrasé, nous cherchons à comprendre les bénéfices de ce mode de lecture sur le développement des patterns respiratoires et leur contribution à l'amélioration de la compétence en lecture.

## 2 État de l'art

Lors de la lecture à haute voix, le contrôle de la respiration influe fortement sur le rythme et le phrasé.

La délimitation des unités du discours dépend du placement des pauses et de leur durée, au même titre que l'intonation ou l'allongement de certaines syllabes. En lecture, les prises de souffle sont majoritairement réalisées aux frontières des unités syntaxiques (Winkworth et al., 1994). L'organisation des pauses dépend de la structure du texte : les pauses respiratoires sont plutôt réalisées à la fin des paragraphes, puis des phrases, tandis que les pauses non-respiratoires sont plutôt localisées aux frontières des syntagmes (Grosjean & Collins, 1979; Conrad et al., 1983). Les textes fournissent des indices visuels favorisant la planification de la respiration et des pauses, notamment via les espaces et ponctuations. La lecture en ligne fait donc appel à la capacité des lecteurs à anticiper les signes de ponctuation comme indicateur de pauses, et à leur maîtrise de la structure syntaxico-sémantique du texte, pour la réalisation des pauses.

Compte tenu du lien étroit entre la respiration et le phrasé en lecture, il est important de prendre en considération le développement de ces aspects chez les apprenants. L'étude transversale récente menée par Godde et al. (2022) révèle une évolution significative dans la gestion des pauses pendant les premières années d'apprentissage de la lecture. Les résultats indiquent que les enfants de CE1 et CE2 ont un ratio plus élevé de pauses agrammaticales par rapport au nombre total de pauses, en comparaison à ceux des groupes de niveaux scolaires plus avancés (CE1 = 32%; CE2 = 44%; CM1-5ᵉ = 20%). Cette proportion diminue progressivement à partir du CM1 jusqu'à la 5ᵉ, bien qu'elle reste tout de même supérieure à celle observée chez les adultes (6%), suggérant un processus de développement continu. Ainsi, la maîtrise du placement des pauses semble être un aspect dynamique de l'apprentissage de la lecture, évoluant progressivement vers des modèles similaires à ceux des adultes au fil du temps. Ces résultats soulignent que, bien que la majorité des pauses chez l'enfant se situent aux frontières des unités syntaxiques (Lalain et al., 2012), les enfants débutant l'apprentissage de la lecture produisent un nombre significatif de pauses agrammaticales, dues à des erreurs de décodage et à une absence de planification de la respiration et des pauses. Toutefois, avec l'amélioration des compétences en lecture, une diminution de ces pauses agrammaticales devrait être observée, reflétant ainsi une plus grande fluidité dans la lecture au fur et à mesure du développement de ces compétences.
Le placement des pauses est également déterminé par la coordination entre la respiration et la parole. Cette coordination se développe progressivement entre 4 et 10 ans (Hoit et al., 1990; Boliek et al., 2009), marquant une transition significative vers des modèles respiratoires plus matures vers l'âge de 7 à 8 ans (Hoit et al., 1990). Les enfants de 7 ans et moins reprennent leur souffle à des intervalles plus fréquents que les enfants plus âgés, compensant ainsi de plus petites capacités respiratoires (Russell & Stathopoulos, 1988). Ils ont également recours à leur volume expiratoire de réserve pour conclure les groupes de souffle (Boliek et al., 2009; Stathopoulos & Sapienza, 1997), ce qui suggère un manque de maturité de la planification de la respiration pour la parole. De plus, la dépense d'air par syllabe est particulièrement élevée chez les jeunes enfants, ce qui, combinée à un rythme de parole plus lent, conduit à un nombre réduit de syllabes par groupe de souffle. Ces caractéristiques ont un impact sur la fluidité de la lecture, car les interruptions fréquentes dans le flux de parole peuvent compromettre la fluence de la lecture. Toutefois, il a été montré que les enfants exploitent davantage les frontières entre les séquences syntaxiques pour reprendre leur souffle, là où les adultes produiraient une pause silencieuse démarcative (Charau et al., 2022). À mesure que les enfants grandissent, leurs stratégies respiratoires s'affinent progressivement, se rapprochant des modèles observés chez les adultes entre 10 et 14 ans (Hoit et al., 1990). Ce développement de la coordination entre la respiration et la parole se produit en parallèle du développement des compétences en lecture, suggérant que certains paramètres respiratoires pourraient servir de solides indicateurs de la fluence.

<figure><img src="image_152.png" /><figcaption>FIGURE 1 – Illustrations d'un IPD typique de l'enfant primo-lecteur (à gauche), et de celui d'un adulte (à droite).</figcaption></figure>

L'un des indices de la coordination respiration/parole auquel nous portons une attention particulière est l'*inhalation-to-phonation delay* (IPD). Cette mesure, qui représente l'intervalle entre le début du bruit d'inspiration et le début de la phonation, évolue de manière significative au cours de la croissance. La pause respiratoire n'est pas entièrement dédiée à l'inspiration : cette dernière est précédée d'une phase de pré-inspiration, représentant environ 28% de la pause, et parfois suivie d'une phase post-inspiration (Grosjean & Collins, 1979). Chez l'adulte, il n'y a pas de post-inspiration : l'inspiration intervient généralement à la fin de la pause (Fig. 1), *juste à temps* avant de reprendre la phonation sans maintenir une pression sous-glottique élevée trop longtemps. L'IPD moyen d'un adulte est d'environ 400 ms (Godde et al., 2022). À la différence des adultes, les enfants tendent à reprendre leur souffle juste après la fin de phonation, suggérant une respiration *en urgence*, se caractérisant par une pré-inspiration très courte, et une phase post-inspiratoire significativement longue. L'étude de Godde et al. (2022) montre que l'IPD est significativement plus élevé chez les élèves de CE1 (durée moyenne = 529 ms), par rapport aux adultes et aux enfants de CE2 à la 5e. À partir du CE2, l'IPD décroît significativement et progressivement en fonction du niveau scolaire, jusqu'à se rapprocher
<figure><img src="image_153.png" /><figcaption>FIGURE 2 – Illustration de la lecture assistée par ordinateur avec un surlignage par mot (à gauche) et un surlignage par mot et groupes de souffle courant et suivant (à droite).</figcaption></figure>

d'un IPD similaire à celui des adultes. L'un des objectifs de la lecture assistée par ordinateur vise à aider les enfants à planifier leur respiration, et à décaler la prise d'inspiration vers la fin de la pause.

# 3 Évaluation subjective de la fluence dans un contexte de lecture assistée par ordinateur (Godde et al., 2019)

## 3.1 Lecture assistée par ordinateur

L'expérience a été menée à l'aide de l'application de lecture karaoké RAKE (Reading Assistance by KaraokE). Cette application offre un entraînement audio-visuel à la lecture, permettant à l'utilisateur de lire tout en écoutant (Bailly & Barbour, 2011). Équipé d'un casque, le locuteur entend un lecteur expert lire le texte affiché à l'écran, tout en voyant le texte mis simultanément en surbrillance. Deux niveaux de surbrillance sont étudiés ici : le mot seul vs. le mot et les groupes de souffle courant et suivant (Fig. 2). L'entraînement consiste à lire le texte à haute voix tout en se synchronisant avec la voix du lecteur expert.

L'apprenti lecteur bénéficie d'un entraînement visuel et auditif explicite, avec un surlignage progressif du texte pour guider la respiration et le placement des pauses et un modèle prosodique fourni par le lecteur expert. Le surlignage par groupe de souffle vise à aider les apprentis lecteurs à anticiper les prises de souffle et à les placer aux frontières syntaxiques. Le modèle donné par le lecteur expert permet la progression en termes de phrasé, d'expressivité et de vitesse, en imitant une distribution experte des pauses et une intonation appropriée.

Ce type d'entraînement favorise un apprentissage implicite grâce à une lecture chorale (close-shadowing), où l'apprenti suit de près le lecteur expert, avec un délai très court, typiquement une centaine de ms (Bailly, 2001). Ceci vise à un transfert implicite de compétences motrices, notamment en ce qui concerne la respiration. De plus, la lecture répétée et variée favorise l'amélioration de la fluence et l'apprentissage des compétences de lecture telles que la vitesse et la prosodie (Rasinski, 1990).
## 3.2 Protocole expérimental

97 élèves de classes de CE2, CM1 et CM2, provenant de 9 classes réparties dans 2 écoles élémentaires de l'agglomération de Grenoble, ont été sélectionnés pour participer à cette étude. À la suite de pré-tests, 8 élèves de chaque classe ont été sélectionnés selon leur profil de lecture. Ces élèves ont atteint un niveau de décodage satisfaisant et affichent tous une vitesse de lecture comprise entre 90 et 130 mots par minute. Leur prosodie a été évaluée selon l'échelle de fluence multidimensionnelle de Rasinski (2004), adaptée au français par Godde et al. (2021), avec un score de 2 sur 4 en vitesse, et inférieur à 3 en phrasé. Les élèves ayant manqué deux séances d'entraînement ou plus, ainsi que ceux ayant manqué la phase de pré- ou de post-test, ont été exclus de l'étude. Au total, 66 élèves (âge : 9 ans $3\pm17$ mois) ont été inclus dans notre étude.

Ces 66 élèves ont été répartis de manière aléatoire en 3 groupes selon le mode d'entraînement suivi :

- Un groupe contrôle ne suivant pas d'entraînement avec une lecture assistée par ordinateur (C);

- Un groupe utilisant uniquement un surlignage des mots (M);

- Un groupe bénéficiant d'un surlignage par groupe de souffle (S).

Chaque élève des groupes expérimentaux (M et S) participe à 9 séances de 20 minutes sur l'application RAKE en utilisant le type de surlignage correspondant à son groupe. Les séances d'entraînement se déroulent en petits groupes de 8 participants, pendant les heures de classe, sous la supervision d'un chercheur. Au cours de chaque séance, les élèves lisent à haute voix le même texte à 3 reprises. Le programme d'entraînement se déroule sur 3 semaines, avec 3 séances par semaine, et chaque semaine, un nouveau texte (A, B, C) est introduit. En pré-test et post-test, les enfants sont enregistrés sur 4 textes, 3 sur lesquels ils ont été entraînés (A, B, C), et un pour lequel ils ne l'ont pas été (D). Nos analyses portent sur la lecture d'un texte entraîné (A) et le texte non entraîné (D).

## 3.3 Résultats de l'évaluation subjective par l'échelle multidimensionnelle de fluence adaptée au français

L'évaluation subjective de la fluence a été menée par trois évaluateurs, tous chercheurs, qui ont respecté le protocole décrit dans l'article de Godde et al. (2019). L'évaluation a été réalisée durant la première minute d'écoute de la lecture. Quatre critères ont été évalués à l'aide de l'échelle multidimensionnelle de fluence adaptée au français (Godde et al., 2021) : l'expressivité, le phrasé, le décodage et la vitesse.

Pour le texte A, le score total de fluence sur 16 est significativement amélioré entre les pré- et post-tests pour les groupes S et M (pre : M = $2.7\pm0.5$; S = $2.7\pm0.5$; post : M = $3.4\pm0.4$; S = $3.6\pm0.5$; $p < 0.001$), mais pas pour le groupe C, dont le score reste approximativement à 3 dans les deux phases (pre = $3\pm0.6$; post = $3.2\pm0.5$). En entrant dans le détail des dimensions, les résultats révèlent une augmentation significative des scores de phrasé pour les mêmes groupes (pre : M = $10\pm2$; S = $9.7\pm1.5$; post : M = $13.2\pm1.2$; S = $13.7\pm1.6$; $p < 0.001$).

Lors de la lecture du texte D, une progression significative du score de fluence total est observée pour tous les groupes, y compris le groupe contrôle (C : pre = $10.4\pm2.3$; post = $12.1\pm1.8$; $p < 0.05$; M : pre = $9.8\pm2.1$; post = $11.8\pm1.8$; $p < 0.01$; S : pre = $9.4\pm1.9$; post = $12\pm1.3$; $p < 0.001$). Pour ce même texte, le phrasé s'améliore entre les phases pré- et post-test pour les groupes S et M, passant respectivement d'un score de $2.6\pm0.6$ à $3.1\pm0.3$ ($p < 0.01$) et de $2.8\pm0.6$ à $3.1\pm0.5$ ($p < 0.05$). En
revanche, aucun effet n'est observé pour le groupe C, dont le score stagne autour de 3 (pre = 3 ± 0.5; post = 3.2 ± 0.4). Il convient de noter qu'une baisse de la variabilité est observée sur les groupes entraînés durant la lecture post-test. Enfin, la différence de niveau de surbrillance (M et S) ne présente d'effet significatif ni sur le phrasé, ni sur le score de fluence, aussi bien pour le texte entraîné que pour le texte non-entraîné.

Au regard de ces résultats, il apparaît que la lecture karaoké a un effet bénéfique sur la fluence, notamment sur le phrasé, aussi bien pour le texte A que pour le texte D. Ainsi, nous nous attendons à observer également une amélioration de certaines mesures respiratoires prises depuis le signal acoustique de parole entre les phases de pré- et de post-test.

# 4 Analyse des indices respiratoires

## 4.1 Traitement des données

**Extraction des données.** L'analyse objective porte sur les enregistrements pré-tests et post-tests des textes A et D. Pour chaque enregistrement, nous avons calculé le taux de phonation comme suit : durée totale de phonation/durée totale de lecture. Cette mesure rend compte du temps de phonation et de pause par rapport à la durée totale de lecture. Au sein des pauses respiratoires, nous avons procédé à la segmentation manuelle des IPD. Contrairement à l'étude présentée précédemment (Godde et al., 2022), nous n'avons pas fait usage de ceintures respiratoires pour mesurer la variation des mouvements thoraciques et abdominaux. En l'absence de données respiratoires complémentaires, la délimitation des IPD repose exclusivement sur des caractéristiques acoustiques. L'étiquetage syntaxique des pauses a été réalisé de manière automatique, puis vérifié manuellement. Toute pause réalisée aux frontières des unités de rection et des séquences syntaxiques est considérée comme grammaticale (G). Les pauses localisées en dehors de ces frontières sont considérées comme agrammaticales (NG).

**Analyses statistiques.** Une analyse de variance est conduite suivie d'un test de Tukey-Kramer (Multcompare sous Matlab). Les tests significatifs sont indiqués avec les seuils de significativité habituels sur les figures le cas échéant.

<figure><img src="image_154.png" /><figcaption>FIGURE 3 – Variation du taux de phonation entre pré- et post-test pour les textes A et D, selon les groupes de locuteurs. Une variation positive signe une proportion de phonation plus importante.</figcaption></figure>
## 4.2 Résultats

**Taux de phonation.** Lors de la lecture du texte A, le taux de phonation s'améliore significativement chez les enfants du groupe M (Fig. 3). Si le groupe S suit la même tendance, la variation du taux de phonation n'est pas significative. En revanche, aucune évolution notable du taux de phonation n'est constatée lors de la lecture du texte D, quel que soit le groupe de locuteurs. Toutefois, notons la hausse de la variabilité pour le groupe S.

<figure><img src="image_155.png" /><figcaption>FIGURE 4 – Variation du pourcentage du nombre de pauses agrammaticales entre pré- et post-test pour les textes A et D, selon les groupes de locuteurs. Une moyenne négative signe une amélioration.</figcaption></figure>

**Ratio pauses grammaticales vs. non grammaticales.** La figure 4 met en évidence les effets bénéfiques de l'entraînement en lecture karakoké sur le placement syntaxique des pauses. En effet, lors de la lecture du texte A, nous constatons une diminution significative du pourcentage de pauses agrammaticales pour les groupes S et M, par rapport au groupe contrôle C. Bien qu'une légère amélioration du placement des pauses soit observée pour les trois groupes lors de la lecture du texte D, aucune différence significative n'est relevée. Le mode de surbrillance du texte se semble pas non plus avoir d'impact sur la progression du placement des pauses.

<figure><img src="image_156.png" /><figcaption>FIGURE 5 – Variation des IPD moyens entre pré- et post-test pour les textes A et D, selon les groupes de locuteurs. Une valeur négative signe une meilleure coordination respiration/parole.</figcaption></figure>

**IPD.** Au regard des résultats présentés par la figure 5, nous observons, pour le texte A, une diminution des IPD chez les groupes S et M, avec un gain d'environ 100 ms pour le groupe S. Cependant, ces diminutions ne se distinguent pas significativement des valeurs du groupe C. Pour ce même texte, les
groupes S et M montrent une hausse de la variabilité de l'IPD par rapport au groupe C. À l'instar des précédents résultats pour le texte D, aucune amélioration significative de l'IPD n'est observée, quel que soit le groupe de locuteurs. Malgré l'absence d'effet sur l'IPD lors de la lecture du texte D, nous constatons une forte variabilité pour le groupe S, en comparaison avec les autres groupes.

# 5 Discussion

Cette étude portait sur l'identification d'indicateurs respiratoires pouvant témoigner d'une amélioration de la fluence en lecture, ainsi que sur l'observation des effets d'un entraînement spécifique de la coordination respiration/parole par la lecture assistée.

Nous constatons un impact positif de l'entraînement par lecture assistée sur la coordination respiration/parole, bien que cela ne se confirme que tendanciellement pour certains paramètres (IPD et taux de phonation). Alors que l'évaluation subjective effectuée sur le même corpus montrait une progression évidente du phrasé avec l'entraînement par lecture assistée (Godde et al., 2019), nous nous attendions à retrouver davantage de significativité dans nos résultats. Ce décalage peut s'expliquer par la différence de durée d'analyse : l'évaluation subjective ne portait que sur la première minute de lecture, tandis que l'analyse des indices respiratoires couvrait l'ensemble de l'enregistrement. Au début de la lecture, une planification plus aisée est observée, suivie par des difficultés croissantes à planifier à mesure que la fatigue s'installe, ce qui peut nuire à la coordination respiration/parole.

Les résultats obtenus indiquent l'absence de transfert des améliorations de la coordination respiration/parole lors de la lecture du texte D. Cette absence de transfert pourrait être due à la complexité de ce texte, avec peu de ponctuations pour aider à identifier la structure syntaxique des phrases. De plus, la présence de mots rares et difficiles pour les enfants a conduit à un nombre conséquent d'erreurs de lecture et d'hésitations. Pour optimiser ce type d'entraînement, introduire davantage de marques de ponctuation pourrait réduire les difficultés lors de la lecture. À l'instar de ce qui a été observé lors de l'évaluation subjective de la fluence, les différents modes de surlignage ne semblent pas impacter la coordination respiration/parole. Le surlignage par groupe de souffle et mot était censé offrir des repères visuels pour aider à la planification de la respiration, mais la complexité de cette méthode, générant une surcharge cognitive pour les enfants, peut expliquer l'absence de résultats significatifs.

En somme, cette étude offre un aperçu encourageant des effets de l'entraînement par lecture assistée pour la planification de la respiration chez l'enfant, en particulier pour le placement des pauses. Bien que les améliorations de l'IPD et du taux de phonation ne soient pas statistiquement significatives, une forte variabilité a été observée chez les groupes expérimentaux, indiquant une progression chez certains lecteurs, mais pas chez d'autres. Des recherches supplémentaires pourraient aider à comprendre les raisons de ces différences de progression. Il est important de souligner que cette étude se base sur un entraînement de seulement trois semaines. Pour une progression plus significative de la coordination respiration/parole et un transfert efficace de ces compétences à des textes non-entraînés, un entraînement plus long pourrait être nécessaire. Dans le cadre de travaux futurs, cette étude sera étendue à un panel d'élèves plus important (≈ 1000). L'entraînement sera déployé sur une période de 10 semaines et portera sur la lecture de 35 textes plus homogènes.

# Remerciements

Ce travail a bénéficié du soutien de l'ANR TRANS3 (ANR-22-FRAN-0008) et du projet Fluence (e-Fran, PIA2) financé par la CDC. Un grand merci aux élèves et à leurs enseignants.
Références

BAILLY G. (2001). Close shadowing natural vs. synthetic speech. In *4th ISCA Tutorial and Research Workshop (ITRW) on Speech Synthesis*, p. 87–90, Perthshire - Scotland.

BAILLY G. & BARBOUR W.-S. (2011). Synchronous reading : learning french orthography by audiovisual training. In *Interspeech 2011-12th Annual Conference of the International Speech Communication Association*, p. 1153–1156.

BOLIEK C. A., HIXON T. J., WATSON P. J. & JONES P. B. (2009). Refinement of speech breathing in healthy 4- to 6-year-old children. *Journal of Speech, Language, and Hearing Research*, **52**(4), 990–1007. DOI: 10.1044/1092-4388(2009/07-0214).

BREZNITZ Z. (2012). *Fluency in Reading Synchronization of Processes*. Psychology Press, 2nd édition.

CHARUAU D., VAXELAIRE B. & SOCK R. (2022). L'organisation spatio-temporelle de la respiration chez l'enfant. *SHS Web of Conferences*, **138**, 08005. Publisher: EDP Sciences, DOI: 10.1051/shsconf/202213808005.

CONRAD B., THALACKER S. & SCHÖNLE P. (1983). Speech respiration as an indicator of integrative contextual processing. *Folia Phoniatrica*, **35**(5), 220–225. DOI: 10.1159/000265766.

GODDE E., BAILLY G. & BOSSE M.-L. (2019). Un Karaoké pour Entraîner Prosodie et Compréhension en Lecture. In *EIAH 2019 - Environnements Informatiques pour l'Apprentissage Humain*, Paris, France. HAL: hal-02141164.

GODDE E., BAILLY G. & BOSSE M.-L. (2022). Pausing and breathing while reading aloud : Development from 2nd to 7th grade in french speaking children. **35**(1), 1–27. DOI: 10.1007/s11145-021-10168-z.

GODDE E., BOSSE M.-L. & BAILLY G. (2021). Échelle Multi-Dimensionnelle de Fluence : nouvel outil d'évaluation de la fluence en lecture prenant en compte la prosodie, étalonné du CE1 à la 5ème. *L'année Psychologique/Trends in Cognitive Psychology*, **121**(2), 19–43. DOI: 10.3917/anpsy1.212.0019, HAL: hal-02954060.

GROSJEAN F. & COLLINS M. (1979). Breathing, pausing and reading. *Phonetica*, **36**(2), 98–114.

HOIT J. D., HIXON T. J., WATSON P. J. & MORGAN W. J. (1990). Speech breathing in children and adolescents. *Journal of Speech, Language, and Hearing Research*, **33**(1), 51–69. DOI: 10.1044/jshr.3301.51.

LALAIN M., MENDONCA-ALVES L., ESPESSER R., GHIO A., LOOZE C. D. & REIS C. (2012). Lecture et prosodie chez l'enfant dyslexique, le cas des pauses. p. 41–48.

LUO D., MINEMATSU N., YAMAUCHI Y. & HIROSE K. (2008). Automatic assessment of language proficiency through shadowing. *2008 6th International Symposium on Chinese Spoken Language Processing*, p. 1–4.

RASINSKI T. V. (1990). Effects of repeated reading and listening-while-reading on reading fluency. *Journal of Educational Research*, **83**(3), 147–50. ERIC Number: EJ406326.

RASINSKI T. V. (2004). Assessing reading fluency.

RUSSELL N. K. & STATHOPOULOS E. (1988). Lung volume changes in children and adults during speech production. *Journal of Speech and Hearing Research*, **31**(2), 146–155. DOI: 10.1044/jshr.3102.146.

SCHWANENFLUGEL P. J., HAMILTON A. M., WISENBAKER J. M., KUHN M. R. & STAHL S. A. (2004). Becoming a fluent reader : Reading skill and prosodic features in the oral reading of young readers. *Journal of Educational Psychology*, **96**(1), 119–129. DOI: 10.1037/0022-0663.96.1.119.
STATHOPOULOS E. T. & SAPIENZA C. M. (1997). Developmental changes in laryngeal and respiratory function with variations in sound pressure level. *Journal of Speech, Language, and Hearing Research*, **40**(3), 595-614. DOI: 10.1044/jslhr.4003.595.

WEBB S. & CHANG A. C.-S. (2012). Vocabulary learning through assisted and unassisted repeated reading. *The Canadian Modern Language Review / La revue canadienne des langues vivantes*, **68**, 267–290.

WINKWORTH A. L., DAVIS P. J., ELLIS E. & ADAMS R. D. (1994). Variability and consistency in speech breathing during reading. *Journal of Speech, Language, and Hearing Research*, **37**(3), 535–556. DOI: 10.1044/jshr.3703.535.
# Erreurs de prononciation en L2 : comparaison de méthodes
pour la détection et le diagnostic guidés par la didactique

Romain Contrain¹ Julien Pinquier¹ Lionel Fontan² Isabelle Ferrané¹

(1) IRIT, 118 Route de Narbonne, F-31062 Toulouse CEDEX 9, France

(2) Archean Labs, 20 place Prax-Paris, 82000 Montauban, France

romain.contrain@irit.fr, julien.pinquier@irit.fr, lfontan@archean.tech, isabelle.ferrane@irit.fr

## RÉSUMÉ

La détection et diagnostic d'erreurs de prononciation nécessite des systèmes adaptés aux spécificités de la parole non-native. Élaborer de tels systèmes reste difficile à cause de la rareté des corpus dédiés incluant des annotations expertes. Dans cet article, nous proposons et comparons deux approches, l'une basée sur une transcription phonétique et l'autre sur l'alignement de signaux audio, élaborées dans le but de servir dans un programme d'entraînement à la prononciation assisté par ordinateur (EPAO). Nous les évaluons sur un corpus de parole non-native annoté selon des considérations didactiques, et nous trouvons que l'approche basée sur l'alignement a des propriétés préférables pour l'EPAO, dépassant la précision de l'autre approche de 31,1 % et 3,8 % en absolu sur deux erreurs communes des apprenants japonais du français.

## ABSTRACT

### L2 mispronunciations : a comparison of didactics-guided detection and diagnosis methods

Mispronunciation detection and diagnosis requires systems that are adapted to the specificities of non-native speech. Developing such models remains challenging due to the scarcity of non-native speech corpora and expert annotations. In this work, we propose and compare two approaches, one based on phonetic transcription and the other based on audio-to-audio alignment, meant to be used in computer-assisted pronunciation training (CAPT) software. We evaluate them on a corpus of non-native speech that was annotated following didactic considerations, and find that the alignment-based approach has preferable properties for CAPT, surpassing the precision of the other approach by 31.1 % and 3.8 % absolute on two common mispronunciations of Japanese learners of French.

**MOTS-CLÉS** : Entraînement à la Prononciation Assisté par Ordinateur, détection et diagnostic d'erreurs de prononciation, parole non-native, apprentissage profond.

**KEYWORDS:** Computer-Assisted Pronunciation Training, Mispronunciation Detection and Diagnosis, non-native speech, deep learning.

## 1 Introduction

La majorité des apprenants n'ayant pas accès à un professeur particulier pour travailler leur compétence orale, les outils d'entraînement à la prononciation assisté par ordinateur (EPAO) offrent alors un support pédagogique intéressant. Il est nécessaire que ces outils soient capables de détecter et de diagnostiquer les erreurs de prononciation avec suffisamment de fiabilité et de précision pour pouvoir

<figure><img src="image_157.png" /></figure>
fournir à l'apprenant des retours pertinents vis-à-vis des difficultés qu'il rencontre.

Dans ce domaine, nombre de travaux s'appuient sur un alignement forcé du signal de parole avec la prononciation canonique, ce qui permet d'évaluer les sons produits en connaissant les phones canoniques auxquels ils correspondent. Dans cette approche, la méthode la plus utilisée est le GOP (Witt & Young, 2000) employé par exemple par Laborde et al. (2016) qui utilisent des scores issus de la variante F-GOP (combiné à d'autres informations) dans une régression logistique. Des méthodes plus récentes emploient des classificateurs basés sur des réseaux de neurones profonds (DNN) ou des représentations comme wav2vec 2.0 (Baevski et al., 2020). Dans Sancinetti et al. (2022), un DNN utilisé dans un pipeline GOP est fine-tuné pour produire directement des probabilités de mauvaise prononciation. Pour détecter les erreurs de prononciation, Xu et al. (2021) se basent sur des frontières obtenues par un alignement forcé avec l'énoncé cible et sur des représentations issues de wav2vec 2.0 fournies à un réseau convolutionnel (CNN). Ces travaux se limitent cependant à de la détection d'erreur sans fournir de diagnostic.

D'autres méthodes se basent sur une transcription phonétique suivie d'une comparaison avec la prononciation canonique, ce qui permet de fournir un diagnostic d'erreur. La méthode de comparaison peut être un alignement de Needleman-Wunsch (Needleman & Wunsch, 1970), comme dans Leung et al. (2019), mais n'est pas toujours spécifiée. Lin & Wang (2022) entraînent conjointement un modèle sur la détection d'erreurs de prononciation et la reconnaissance de phones (apprentissage multi-tâches) pour produire des transcriptions phonétiques associées à des probabilités de mauvaise prononciation. Bien que les auteurs choisissent de se concentrer sur la détection, une telle approche pourrait servir également au diagnostic. Wu et al. (2021) expérimentent avec deux architectures basées sur des transformers pour effectuer la phase de reconnaissance de phones, une utilisant comme fonction de coût l'entropie croisée et une autre utilisant le coût CTC (Connectionist Temporal Classification).

Les travaux décrits précédemment reposent sur des modèles phonétiques appris sur de la parole non-native, parfois en relativement grande quantité (environ 30 heures pour Wu et al. (2021)). Cependant, les corpus de parole non-native dédiés à la détection et au diagnostic d'erreurs restent rares et peu volumineux par rapport aux corpus de parole native. Ceci est dû à la rareté relative des apprenants de langue et de l'expertise nécessaire pour annoter cette parole au niveau phonétique. Récemment, Korzekwa et al. (2022) propose de palier ce manque de données en générant de nouveaux exemples de mauvaises prononciations à partir d'exemples existants, tandis que Xu et al. (2021) apprend les caractéristiques de la parole non-native de manière auto-supervisée sur des données non annotées avant d'entraîner son modèle de détection d'erreurs sur une quantité plus faible de données annotées.

Les erreurs faites par les non-natifs sont souvent dues à l'influence de leur langue maternelle (L1) sur la langue apprise (L2) (Detey & Racine, 2016). Par conséquent, certains travaux se concentrent sur une paire L1/L2 donnée comme Sancinetti et al. (2022) et Laborde et al. (2016), ce dernier se concentrant sur la paire japonais/français, spécifiquement sur les phonèmes /ʃ/ et /v/, difficiles pour les japonophones (Kamiyama et al., 2016). Certains travaux incorporent même des connaissances sur les erreurs communes pour cette paire, comme Ghosh et al. (2017) ou Harrison et al. (2009) qui utilise un *extended recognition network* qui modélise les schémas d'erreur probables pour la paire cantonnais/anglais.

Dans cet article, nous présentons deux approches de détection et diagnostic d'erreurs de prononciation appliquées à la paire japonais/français. Après avoir décrit le corpus de productions orales d'apprenants japonophones du français à notre disposition, nous présentons les deux approches développées. L'une
se base sur un système de transcription phonétique, tandis que l'autre s'appuie sur une méthode d'alignement entre signaux pour s'affranchir de l'apprentissage de modèles phonétiques. Nous les évaluons sur un sous-ensemble de phonèmes et d'erreurs cibles dont le choix a été guidé par des connaissances didactiques spécifiques à la paire de langues considérée. Enfin, nous comparons et discutons les résultats de chaque approche dans la perspective de leur intégration dans un système d'EPAO proposant une tâche de répétition de stimuli.

## 2 Corpus d'apprenants et catégories didactiques

Dans le cadre du laboratoire commun ALAIA, un corpus regroupant des productions d'étudiants japonais apprenant le français a été constitué (ci-après APPR). Il a été collecté auprès de 67 apprenants dans le cadre de tâches de répétition. Chaque apprenant devait répéter plusieurs stimuli parmi les 199 possibles, les stimuli présentés ayant été prononcés par le même locuteur français natif. Chaque stimulus est composé d'un seul mot ou d'une courte phrase (1 à 6 syllabes) choisis pour faire travailler certains sons de la langue apprise. Ce corpus de français L2 totalise 7112 enregistrements.

Un expert en interphonologie japonais/français a transcrit phonétiquement chaque production et mis en correspondance chaque phone produit avec le phonème attendu. Un second expert a ensuite annoté les mêmes productions et aligné temporellement les transcriptions phonétiques avec le signal audio correspondant. Nous disposons ainsi des segments correspondant à la réalisation de 47541 phonèmes, dont 20 % sont des erreurs de prononciation. Les annotateurs sont d'accord sur 82 % des énoncés et sur 96,7 % des phonèmes. Plusieurs réalisations ont pu être identifiées comme ambiguës (environ 4500 réalisations touchant 3639 enregistrements), parce qu'un annotateur a hésité ou parce que les annotateurs sont en désaccord (par exemple sur un phone qui serait entre [y] et [u]). En retirant ces réalisations ambiguës, il reste environ 43000 réalisations dont 17 % sont des erreurs de prononciation.

Les réalisations ont été regroupées suivant une approche guidée par la didactique. Chaque catégorie didactique, définie du point de vue de la perception d'un locuteur natif, correspond à un type de difficulté rencontrée par les apprenants qui appelle à un type d'exercice de remédiation en particulier. Certaines réalisations sont trop peu nombreuses et trop atypiques pour justifier la création d'une catégorie propre et sont considérées comme « autres ». Le français compte environ une douzaine de phonèmes difficiles pour les japonophones, source d'erreurs fréquentes et importantes pour leur intelligibilité (Kamiyama et al., 2016), et qui sont donc ceux qui nous intéressent pour notre étude. Le travail de définition de ces catégories, mené par un expert de l'enseignement du FLE, a été réalisé pour deux phonèmes d'intérêt : la voyelle /y/ et la consonne /ʒ/. La table 1 présente les catégories définies pour ces deux phonèmes. Le corpus compte respectivement 1182 et 1540 réalisations non-ambiguës de /y/ et /ʒ/. Les catégories sont déséquilibrées en terme d'effectifs, avec par exemple 74 % des réalisations de /y/ qui sont correctes, contre seulement 13 % de « perçu comme [ø;œ] ».

## 3 Systèmes de détection et diagnostic d'erreurs de prononciation

Nous comparons deux approches : l'une repose sur une transcription phonétique de la production de l'apprenant, et l'autre sur un alignement des segments audio correspondant à la prononciation attendue et à sa réalisation. La production de l'apprenant est analysée en connaissant la transcription phonétique du stimulus à répéter (prononciation canonique), et le phone cible, celui sur lequel nous
<table><caption>TABLE 1 – Classement des réalisations en catégories didactiques</caption><thead><tr><td>Catégorie</td><td>Exemples de réalisations</td><td>Effectif</td></tr></thead><tbody><tr><td>/y/ correct</td><td>[y], [yh]</td><td>869</td></tr><tr><td>/y/ perçu comme [ø;œ]</td><td>[ø], [œ], [w], [ə], [əh]</td><td>151</td></tr><tr><td>/y/ perçu comme [j+Voyelle]</td><td>[jy], [jw], [ju], [jə], [je], [jø]</td><td>87</td></tr><tr><td>autre réalisation de /y/</td><td>[u], [a], [o], [ɔ], [i], délétion</td><td>75</td></tr><tr><td>/ʒ/ correct</td><td>[ʒ]</td><td>647</td></tr><tr><td>/ʒ/ perçu comme [dʒ]</td><td>[dʒ], [tʃ]</td><td>862</td></tr><tr><td>/ʒ/ perçu comme [ʃ]</td><td>[ʃ]</td><td>19</td></tr><tr><td>autre réalisation de /ʒ/</td><td>[d], [t]</td><td>12</td></tr></tbody></table>

cherchons une erreur de prononciation. Le système prédit la catégorie didactique de la réalisation, qui peut être « correct » ou une des catégories d’erreurs spécifiques au phonème (voir table 1).

## 3.1 Approche basée transcription

Dans l'approche basée sur la transcription phonétique, un modèle de reconnaissance de phones fournit une transcription phonétique de la production de l'apprenant. Ensuite, un alignement de Needleman-Wunsch avec la prononciation canonique permet d'identifier la partie de la transcription qui correspond au phone cible. Enfin, nous recherchons quelle catégorie didactique concorde le plus avec ce qui a été transcrit. Pour cela, nous calculons une mesure de similarité entre le(s) phone(s) transcrit(s) et des réalisations typiques de chaque catégorie. Les deux dernières étapes utilisent une matrice de similarité entre les phones basée sur la matrice de distances proposée par Ghio et al. (2018). La figure 1 donne un exemple du fonctionnement de ce système dans le cas d'une répétition de « je chante » où nous nous intéressons au phonème /ʒ/.

<figure><img src="image_158.png" /><figcaption>FIGURE 1 – Fonctionnement de l'approche basée sur la transcription phonétique</figcaption></figure>

Le modèle de reconnaissance de phones employé se base sur *Allosaurus*<fnref n="1" />, un modèle multilingue présenté par Li et al. (2020). Ce modèle utilise des unités BLSTM et une *loss* CTC. Il est conçu pour fonctionner avec n'importe quelle langue grâce à une étape de reconnaissance phonétique indépendante de la langue suivie d'une interprétation phonologique des phones transcrits. Cela permet de choisir n'importe quel jeu de phones pour la transcription. Pour l'inférence nous exploitons notre connaissance de l'énoncé à répéter pour restreindre le jeu de phones à ceux présents dans le mot et aux

<footnote n="1">1. https://github.com/xinjli/allosaurus v1.0</footnote>
erreurs communes sur les phonèmes d'intérêt (s'ils sont présents). Par exemple, si la prononciation attendue est [ʒəfãt], le jeu de phones sera restreint à [ʒ], [dʒ], [ʃ], [ə], [ã], [t].

Bien qu'il soit présenté comme universel, le modèle Allosaurus de base n'a jamais été entraîné sur du français et fonctionne mal sur cette langue : sur le corpus APPR il obtient un taux d'erreur phone (PER) d'environ 60 % (contre 25,0 % en moyenne sur ses langues d'entraînement) et il est notamment incapable de transcrire les voyelles nasales correctement. Nous avons donc dû pré-entraîner le modèle sur une quantité plus grande de parole native avant de l'adapter sur la petite quantité de parole non-native à notre disposition (voir section 2). Nous avons débuté avec un modèle monolingue pré-entraîné sur 150h de français natif issu du corpus Common Voice (ci-après Al-fr), puis nous avons expérimenté avec un modèle hybride pré-entraîné sur 150h de français et 65h de japonais natif issus du même corpus (ci-après Al-frjp). En effet, les apprenants ont tendance à produire des phones issus du système phonologique de leur L1 même s'ils sont absents de celui de la L2, et un modèle monolingue pourrait mal les gérer. Lors de l'adaptation à la parole non-native, chacun des modèles précédents a été entraîné sur le sous-ensemble des réalisations (issues d'APPR) correspondant aux phones qu'ils supportent (ces sous-ensembles sont nommés APPR-fr et APPR-frjp dans la section 4).

Common Voice (Ardila et al., 2020) est un corpus multilingue de phrases lues, enregistrées par les contributeurs d'une plate-forme en ligne ouverte 2. Pour le français, nous avons repris le sous-ensemble de 148,9 heures employé par Gelin et al. (2021) pour l'entraînement, et utilisé les 9,6 heures mises de côté par les auteurs comme ensemble de validation. Pour le japonais, 68,7 heures étaient exploitables dans la version 13.0. L'ensemble de validation a été construit pour représenter 6% du total en maximisant le nombre de locuteurs différents et en ayant le même ratio homme/femme que dans l'ensemble d'entraînement, aboutissant à 64,4 heures pour l'entraînement et 4,3 heures pour la validation. Les textes français ont été phonétisés à l'aide d'un dictionnaire de prononciation, et les japonais à l'aide de l'outil pykakasi 3 et de règles de prononciation.

## 3.2 Approche basée alignement

Un alignement temporel est réalisé entre le stimulus à répéter et de la production de l'apprenant au moyen de l'algorithme fastDTW (Salvador & Chan, 2007) et de représentations issues de wav2vec 2.0. Cela permet de faire correspondre la réalisation du phonème cible dans le stimulus, dont les frontières sont connues, avec sa réalisation dans la production. Ensuite, le segment correspondant est isolé, représenté avec un nouveau jeu de paramètres et des modèles de classification spécifiques au phonème cible déterminent la catégorie didactique de la réalisation. La figure 2 illustre ce principe de fonctionnement avec l'exemple d'une répétition de « le bus » où nous nous intéressons au phonème cible /y/.

Les deux étapes utilisent les mêmes représentations (wav2vec 2.0 4), mais la classification y ajoute des paramètres plus classiques, notamment 20 MFCC avec leurs dérivées premières et secondes, le Zero Crossing Rate et divers paramètres spectraux. Étant donné que la classification a besoin de données de dimension fixe, c'est la moyenne et l'écart-type sur le segment de chaque caractéristique qui sont fournis en entrée, ce qui donne une représentation à 252 dimensions.

La classification est réalisée par des *Random Forest* (Breiman, 2001) organisés en une architecture

<footnote n="2">2. https://commonvoice.mozilla.org</footnote>

<footnote n="3">3. https://codeberg.org/miurahr/pykakasi</footnote>

<footnote n="4">4. modèle pré-entraîné wav2vec2-base-960h</footnote>
<figure><img src="image_159.png" /><figcaption>FIGURE 2 – Fonctionnement de l’approche basée alignement</figcaption></figure>

hiérarchique binaire. Chacun est spécialisé dans l'appartenance à une catégorie didactique précise. Si le segment à classer n'appartient pas à la classe modélisée par le premier classifieur, alors nous regardons s'il appartient à la classe du deuxième, etc. jusqu'à atteindre le dernier niveau qui discrimine entre la dernière classe d'erreur et une classe « autre » utilisée comme une classe de rejet.

Les classifieurs pour chaque phonème d'intérêt ont été entraînés sur les réalisations de ce phonème dans le corpus APPR. Pour compenser le déséquilibre des classes, nous employons la technique de sur-échantillonnage SVM SMOTE (Tang et al., 2008). À l'inférence, nous appliquons un seuil supplémentaire sur la probabilité renvoyée par les classifieurs (un seuil par classifieur), ce qui nous fournit un contrôle supplémentaire sur le compromis entre précision et rappel. Les seuils que nous utilisons ont été réglés par échantillonnage aléatoire pour maximiser la précision tout en maintenant le nombre d'exemples rejetés inférieur à 70%.

## 4 Méthode d'évaluation

Au vu de la petite taille des sous-ensembles utilisables pour l'entraînement, nous avons choisi de mettre en œuvre une validation croisée, en suivant un schéma *leave-one-speaker-out* pour mesurer l'adaptabilité des systèmes à de nouveaux locuteurs.

Comme les modèles de reconnaissance de phones utilisés dans l'approche transcription sont limités au jeu de phones qui a servi à leur pré-entraînement, nous les avons entraînés sur des sous-ensembles issus de notre corpus APPR : celui des énoncés ne comportant que des phones du français (APPR-fr) et celui des énoncés ne comportant que des phones du français ou du japonais (APPR-frjp). La table 2 donne des informations sur ces ensembles. Le nombre d'énoncés de APPR-frjp paraît petit par rapport aux 7100 énoncés du corpus, mais c'est parce que les 3600 énoncés contenant des réalisations ambiguës ne sont pas utilisables pour entraîner la reconnaissance de phones.

<table><caption>TABLE 2 – Taille des données d'entraînement pour l'approche transcription</caption><thead><tr><td>Sous-ensemble</td><td>Durée (h)</td><td>#énoncés</td><td>#phones</td></tr></thead><tbody><tr><td>APPR-fr</td><td>1,22</td><td>2500</td><td>17000</td></tr><tr><td>APPR-frjp</td><td>1,51</td><td>3200</td><td>21000</td></tr></tbody></table>

Les classifieurs utilisés dans l'approche alignement sont entraînés sur les réalisations de /y/ ou de /ʒ/ selon le classifieur. Les seuils des modèles hiérarchiques sont réglés après la validation croisée, à partir des probabilités prédites par les classifieurs pendant la phase de validation.
Nous analysons les résultats de nos systèmes en terme de performances sur la tâche de prédiction de la catégorie didactique. Comme nous sommes limités à deux phonèmes d'intérêt, /y/ et /ʒ/, nous pouvons regarder les performances classe par classe, que nous présentons en terme de précision et de rappel. Pour les systèmes d'EPAO, il est plus dommageable de marquer comme erronée une prononciation correcte que de manquer une prononciation incorrecte (Witt, 2012). Par rapport à nos métriques, cela veut dire que la précision sur les erreurs a plus d'importance que le rappel. Nous nous fixons un objectif de 85 % de précision pour dire si un système a des performances suffisantes pour une catégorie donnée. Par ailleurs, nous considérons qu'avoir des performances insuffisantes sur certaines catégories ayant peu de représentants n'est pas forcément dommageable. Nous ne nous intéressons plus aux catégories « autre » car elles n'ont pas d'intérêt didactique.

# 5 Résultats

Après avoir évalué les deux modèles de reconnaissance de phones au sein du système basé transcription, et le système basé alignement, nous avons obtenu les résultats consignés dans la table 3. Ils nous informent tout d'abord que l'approche alignement atteint des scores de précision en général plus élevés que l'approche transcription (par exemple 92,7% contre 83,3% sur « /ʒ/ correct »), mais des rappels plus faibles (23,5 % sur cette même classe).

<table><caption>TABLE 3 – Résultats des deux approches sur les différentes catégories didactiques</caption><thead><tr><th>Métrique →</th><th colspan="3">Précision (%)</th><th colspan="3">Rappel (%)</th></tr><tr><th>Approche →</th><th colspan="2">Transcription</th><th rowspan="2">Alignement</th><th colspan="2">Transcription</th><th rowspan="2">Alignement</th></tr><tr><th>Modèle →</th><th>Al-fr</th><th>Al-frjp</th><th>Al-fr</th><th>Al-frjp</th></tr></thead><tbody><tr><td>/y/ correct</td><td>88,5</td><td>87,9</td><td><strong>95,0</strong></td><td><strong>74,1</strong></td><td>73,5</td><td>32,5</td></tr><tr><td>/y/ perçu comme [ø;œ]</td><td>27,3</td><td>30,2</td><td><strong>61,3</strong></td><td>39,7</td><td><strong>49,0</strong></td><td>12,6</td></tr><tr><td>/y/ perçu comme [j+V]</td><td>59,6</td><td>52,4</td><td><strong>84,6</strong></td><td><strong>32,2</strong></td><td>25,3</td><td>12,8</td></tr><tr><td>/ʒ/ correct</td><td>61,1</td><td>83,3</td><td><strong>92,7</strong></td><td><strong>81,5</strong></td><td>75,7</td><td>23,5</td></tr><tr><td>/ʒ/ perçu comme [dʒ]</td><td>83,3</td><td>84,4</td><td><strong>88,2</strong></td><td>60,6</td><td><strong>87,6</strong></td><td>31,2</td></tr><tr><td>/ʒ/ perçu comme [ʃ]</td><td><strong>25,0</strong></td><td>21,6</td><td>0,0</td><td><strong>47,4</strong></td><td>42,1</td><td>0,0</td></tr></tbody></table>

Pour l'approche transcription, les différences entre les deux modèles sont notables. Sur le phonème /ʒ/, l'apprentissage hybride fait diminuer le nombre de confusions de [dʒ] pour [ʒ], ce qui se traduit par des gains absolus de 22,2% de précision sur « /ʒ/ correct » et de 27,0% de rappel sur « /ʒ/ perçu comme [dʒ] ». Sur le phonème /y/, « /y/ perçu comme [ø;œ] » gagne en précision et en rappel (+2,9% et +9,3%) tandis que « /y/ perçu comme [j+Voyelle] » perd en performances (-7,2% et -6,9%), de même que « /y/ correct » dans une moindre mesure, du fait d'une tendance à plus prédire « /y/ perçu comme [ø;œ] ».

L'approche alignement a, sur une majorité de classes, une précision plus élevée et un rappel plus faible que l'approche transcription. Pour les classes où c'est le cas, l'écart absolu de précision va de +3,8% sur « /ʒ/ perçu comme [dʒ] » à +31,1% sur « /y/ perçu comme [ø;œ] », tandis que l'écart de rappel va de -19,4% sur « /y/ perçu comme [j+Voyelle] » à -58,0% sur « /ʒ/ correct ».

Le nombre de représentants a un certain impact sur les résultats : toutes les approches testées ont de meilleurs résultats sur les catégories majoritaires (/y/ et /ʒ/ bien prononcés, « /ʒ/ perçu comme [dʒ] ») que sur les catégories avec moins d'exemples (« /y/ perçu comme [ø;œ] » par exemple).