# 2 Méthodologie

## 2.1 Échantillon

Pour examiner ces phénomènes d'influence interlinguistique nous avons opté pour un design inter-individuel, multi-groupes et croisé. Nous avons donc recruté un total de 60 participants, avec deux groupes d'apprenants L2 et deux groupes de locuteurs natifs : locuteurs italophones apprenants de français L2 (FRL2), locuteurs francophones apprenants l'italien L2 (ITL2), locuteurs natifs français sans compétences en italien (FRL1) et locuteurs natifs italiens sans compétence en français (ITL1). Les groupes L2 sont composés d'adultes vivant dans le pays étranger cible et ne suivant aucun cours de langue étrangère<fnref n="1" />. L'échantillon est équilibré en termes de genre, et la tranche d'âge (19-40 ans) est homogène dans les quatre groupes. Une attention particulière a été portée à la circonscription des zones d'origine des locuteurs, minimisant l'impact de la variation diatopique. Nos points d'investigation sont la région de Turin (Piémont) pour les groupes ITL1 et ITL2, et Paris et 'Île-de-France pour les groupes FRL1 et FRL2. Les niveaux de compétence en L2 ont été évalués au moyen de trois tests complémentaires : auto-évaluation, test lacunaire écrit (Tremblay & Garrison, 2010; Vedder, 2008), évaluation des productions orales par des enseignants L2 conformément au CECR (de l'Europe, 2020)<fnref n="2" />. Le tableau 1 donne un aperçu de l'échantillon.

<table><caption>TABLE 1 – Échantillon de l'étude.</caption><thead><tr><td>Groupe</td><td>L1/L2</td><td>N. participants</td><td>Age (moyenne)</td><td>Sexe</td></tr></thead><tbody><tr><td>ITL1</td><td>Italien/ -</td><td>N=15</td><td>25,6</td><td>M=3</td></tr><tr><td>FRL1</td><td>Français/-</td><td>N=15</td><td>27,5</td><td>M=4</td></tr><tr><td>ITL2</td><td>Français/Italien</td><td>N=15</td><td>27,4</td><td>M=7</td></tr><tr><td>FRL2</td><td>Italien/ Français</td><td>N=15</td><td>32,5</td><td>M=8</td></tr></tbody></table>

## 2.2 Protocole de collecte des données

Les études expérimentales analysant les marques de focus font face à des demandes contradictoires : le besoin de matériel de parole ayant une valeur conversationnelle entre en conflit avec les exigences de l'analyse phonétique, qui exige des unités hautement contrôlées et comparables. Pour tenter de concilier ces besoins, nous avons opté pour une tâche de récit d'images, inspirée par (Gabriel, 2010) et (Gabriel & Grünke, 2018) et adaptée et traduite pour répondre à nos besoins, utilisant des réponses semi-spontanées. Les groupes ITL1 et ITL2 ont réalisé la tâche dans la version italienne, et les groupes FRL1 et FRL2 dans la version française. La tâche se déroule comme suit : d'abord, le participant voit une diapositive PowerPoint contenant une courte histoire, accompagnée d'une légende, servant de

<footnote n="1">1. Les niveaux de compétence des locuteurs en langue étrangère ont été évalués à travers des tests écrits et oraux. Cependant, nous n'allons pas pas largement les discuter dans cette étude. De manière qualitative, en tout cas, il semble que le niveau de compétence ne soit pas un facteur prédominant pour les analyses conduite dans le contexte de cette étude.</footnote>

<footnote n="2">2. Le corpus ayant été constitué pour une étude sur les phénomènes acquisitionnels, nous avons pris soin d'évaluer le niveau de compétence des locuteurs, c'est pourquoi nous le signalons dans la description de l'échantillon. Les considérations sur ce facteur restent cependant hors de portée du présent article, dans lequel nous voulons nous concentrer sur l'observation d'un phénomène circonscit, et non sur sa relation avec les niveaux de compétence des locuteurs. En tout état de cause, le niveau de compétence ne semble pas être un paramètre dominant pour les analyses présentées ici. Ppour une étude approfondie dans ce sens, nous renvoyons à (De Paolis, 2024).</footnote>
phrase de référence. Ensuite, on passe aux diapositives suivantes, qui contiennent les mêmes images, accompagnées de différentes questions écrites. Des exemples de la version italienne sont illustrés à la page suivante, dans la Figure 1.

<figure><img src="image_115.png" /><figcaption>FIGURE 1 – Stimuli de la version italienne de la tâche.</figcaption></figure>

Les participants avancent sont instruits de répondre à chaque question à voix haute, la seule directive étant de ne pas donner des réponses d'un seul mot. Les questions sont conçues pour susciter trois types d'énoncés : focus large (bf), focus étroit d'identification (id), focus étroit de correction (cr). De plus, les questions ciblent divers types de constituants syntaxiques : sujets, verbes, objets, adverbiaux. Pour cette étude, nous nous concentrons sur les énoncés ciblant un type spécifique de constituant syntaxique, à savoir les sujets, dans toutes les conditions possibles : focus large, étroit identificatif, étroit correctif, background (énoncés dans lesquels le constituant focalisé est l'objet). Les sujets ciblés sont les mots "Marie" en français et "Maria" en italien, deux noms propres équivalents dans les deux langues, composés de matériel segmental similaire. Des exemples de questions et de réponses attendues sont fournis ci-dessous (les constituants de focalisation sont soulignés).

— q. Qu'est-ce qu'il se passe ici ?

a. Marie achète le journal au kiosque. **bf**

— q. Qui achète le journal au kiosque ?

a. Marie achète le journal au kiosque. **id**

— q. Julie achète le journal au kiosque, n'est-ce pas ?

a. Non, c'est Marie qui achète le journal au kiosque. **cr**

— q. Qu'est-ce que Marie achète au kiosque ?

a. Marie achète un journal au kiosque. **bg**

Les enregistrements ont été réalisés dans un environnement insonorisé. Les fichiers audio ont été enregistrés au format .wav, avec une fréquence d'échantillonnage de 44100 Hz.

## 2.3 Preparation des données et statistiques

La transcription orthographique a été réalisée manuellement ; la segmentation a été effectuée à l'aide de WebMaus (Kisler *et al.*, 2017) et ajustée manuellement sur Praat (Boersma & Weenink, 2023). La durée moyenne et l'écart type des voyelles ont ensuite été calculés pour chaque locuteur à l'aide du script Polytonia (Mertens, 2014). Chaque participant a produit 30 énoncés ; pour l'analyse, nous n'avons pris en compte que 8 énoncés par locuteur, ceux présentant les sujets cibles dans les quatre conditions de focus : 2 pour le background (bg), 2 pour le focus large (bf), 2 pour l'identification (id) et 2 pour la correction. Nous avons exclu les énoncés dans lesquels le constituant cible était affecté par des hésitations. Dans le cas de l'italien, les voyelles cibles sont [i], le noyau de la syllabe tonique dans "Maria"; dans le cas du français, la voyelle cible est également [i], située à la frontière droite du constituant focalisé "Marie". Notre ensemble de données comprend 8 observations x 15 locuteurs
x 4 groupes, totalisant 480 unités. Pour l'analyse, la durée des voyelles a été normalisée en scores Z; les statistiques ont été effectuées sur R (R Core Team, 2022). La normalité de la distribution a été évaluée à l'aide du test de Shapiro-Wilk (Shapiro & Wilk, 1965) et de l'inspection visuelle des graphiques des résidus. Nous avons appliqué un modèle linéaire mixte, estimé en utilisant la méthode REML et l'optimiseur nloptwrap, pour prédire la durée de la voyelle cible en fonction du contexte informationnel (formule : zDur ~ context). Les paramètres normalisés ont été obtenus en ajustant le modèle sur une version normalisée de l'ensemble de données. Les intervalles de confiance à 95% (IC) et les valeurs p ont été calculés en utilisant une approximation de la distribution t de Wald. Le modèle incluait le locuteur en tant qu'effet aléatoire (formule : 1|speaker).

# 3 Résultats

## 3.1 Italien et français L1

Le graphique 2 montre les diagrammes en boîte des durées de la voyelle [i] des mots "Marie" et "Maria" dans les quatres conditions : background, focus large, identification, correction ; à gauche, on voit les résultats du groupe ITL1, et à droite, on voit les résultats du groupe FRL1.

<figure><img src="image_116.png" /><figcaption>FIGURE 2 – Diagrammes en boîte des durées de la voyelle cible dans les deux groupes L1.</figcaption></figure>

Le graphique 2a montre les résultats des locuteurs italophones natifs. On observe une augmentation de la durée des voyelles accentuées tout au long des quatre conditions, en particulier lors de la transition de background à focus large et de focus large à identification. Dans le cas de l'identification et de la correction, il semble n'y avoir aucune variation significative de la durée. Le modèle statistique confirme ces tendances : en considérant le contexte [bg] comme le niveau de référence, l'effet de [bf] est statistiquement significatif et positif (beta = 0,36, *p* < .001). Les effets de [id] et [cr] sont également significatifs et positifs par rapport à la référence (beta = 0,70, *p* < .001 pour l'identification, beta = 0,75 et *p* < .001 pour la correction), et ils sont également significatifs et positifs par rapport aux conditions [bf]. Cependant, ils ne sont pas séparables l'un un de l'autre.

La Figure 2b montre les résultats des locuteurs francophones. Le schéma observé pour ce groupe diffère partiellement de celui observé chez les locuteurs italiens natifs. Notamment, dans les contextes de focalisation large et d'identification, la durée de la voyelle cible est significativement plus élevée
par rapport au background. Contrairement aux locuteurs italiens, cependant, l'effet du contexte [bf] est plus prononcé que celui de [id]. Plus précisément, le contexte de focalisation large présente un score beta positif (beta = 0,42, *p* < .001), qui est plus élevé que celui de la focalisation identificative (beta = 0,23, *p* = 0,038). Cette tendance à réduire la durée des contextes de focalisation large à focalisation étroite devient encore plus évidente dans le cas de [cr], où l'effet est négatif par rapport à la référence, bien que statistiquement non significatif (beta = -0,04, *p* = 0,762).

## 3.2 Comparaison inter-groupes

La comparaison de ces résultats suggère une utilisation différente de l'indice de durée par les deux groupes. Alors que les locuteurs français et italiens marquent la distinction entre background et la focalisation large par un allongement significatif des voyelles, ce mécanisme ne s'applique pas de manière uniforme à la focalisation étroite (id et cr) dans les deux langues. Comme prévu, en italien, la présence d'une focalisation étroite (id ou cr) entraîne des voyelles toniques plus longues pour les constituants focalisés. En français, la tendance semble être inverse : cela pourrait s'expliquer en postulant une relation de *trade-off* de la durée avec d'autres strategies de focalisation, comme par exemple le marquage syntaxique. Nous tenterons d'intégrer et de prendre en compte ce facteur dans le paragraphe de discussion. L'absence d'allongement de la voyelle tonique en contexte contrastif en français L1 pourrait également s'expliquer par le déplacement de la proéminence prosodique de la frontière droite vers la frontière gauche du constituant de focalisation, réalisé sous la forme d'accent initial (German & D'Imperio, 2016).

## 3.3 Italien et français L2

<figure><img src="image_117.png" /><figcaption>FIGURE 3 – Diagrammes en boîte des durées de la voyelle cible dans les deux groupes L2.</figcaption></figure>

La Figure 3a représente les résultats des apprenants français en italien L2. Les données montrent une bonne approximation globale vers la langue cible. L'analyse des productions des apprenants francophones suggère que toutes les conditions de focalisation se différencient du niveau de référence (background) par un allongement des voyelles, même si ce n'est pas toujours avec une haute signification statistique. Plus précisément, l'effet du contexte [bf] est positif mais modérément significatif (beta = 0,19, *p* = 0,016); l'effet du contexte [id] est statistiquement significatif et positif (beta = 0,22,
p = 0,006), et l'effet du contexte [cr] est à nouveau positif et statistiquement significatif (beta = 0,44, p = 0,002).

La figure 3b montre les résultats des apprenants italophones de français L2. Dans ce cas, la seule condition de focalisation avec un allongement significatif de la voyelle par rapport au niveau de référence (bg) est la focalisation large (bf). L'effet du contexte [bf], en fait, est statistiquement significatif et positif (beta = 0,53, *p* < .001). L'effet du contexte [id] est positif mais statistiquement non significatif (beta = 0,20, *p* = 0,138), et l'effet du contexte [cr] est très similaire à celui de [id], positif mais statistiquement non significatif (beta = 0,21, *p* = 0,240). En comparant ces résultats à ceux des deux groupes L1, nous observons que le comportement des locuteurs italophones en français L2 s'écarte à la fois de la langue cible et de la langue source. Dans l'ensemble, les conditions de focalisation étroite ne présentent pas de différenciation claire par rapport aux deux autres conditions, background et focus large, que ce soit par une durée plus longue (comme chez les locuteurs italiens natifs) ou une durée plus courte (comme observé chez les locuteurs français natifs).

## 3.4 Comparaison inter-groupes en L2

Les résultats des études sur les groupes L2 mettent en lumière à la fois des différences et des similitudes entre eux ainsi qu'avec les locuteurs des langues sources et cibles. D'un côté, on observe une caractéristique partagée par les locuteurs non natifs des deux groupes : tant chez les apprenants français en L2 que chez les apprenants italiens en L2, la durée des voyelles ne semble pas être utilisée de manière systématique pour distinguer les conditions de focus. Cependant, une différence notable émerge : les apprenants d'italien L2 parviennent à distinguer une condition des trois autres, notamment celle de focalisation corrective, par un allongement significatif des voyelles toniques. De manière intéressante, cette observation contraste avec le groupe FRL1, où l'effet était inverse, montrant un allongement négatif pour la condition [cr].

# 4 Discussion

## 4.1 Prosodie et syntaxe : stratégies additives ou alternatives ?

Les résultats tant des locuteurs français natifs que des locuteurs français L2 indiquent un moindre allongement des voyelles dans la condition la plus contrastive, c'est-à-dire le focus correctif. Ce résultat peut être inattendu et ne peut être expliqué qu'avec le recours à l'analyse d'autres niveaux linguistiques, comme celui de la syntaxe. Cela souligne, à notre avis, l'importance d'avoir gardé un protocole flexible pour la collecte de données : cette flexibilité nous a permis de recueillir des informations sur des stratégies de marquage autres que la prosodie. En nous basant sur les résultats de l'analyse syntaxique (De Paolis et al., 2022, in press), en fait, nous savons que le marquage à travers les phrases clivées est particulièrement fréquent dans ces groupes. Cette observation pourrait suggérer une relation alternative et non additive entre la durée et les clivées, ces derniers étant privilégiés dans des contextes plus contrastifs.
## 4.2 Effets pour l'acquisition en L2

Nos données révèlent que certaines caractéristiques spécifiques des deux langues sources se manifestent dans la production des locuteurs en L2, bien que de manière non uniforme sur tous les aspects. En termes introduits par (Mennen, 2015), nous affirmons que le transfert de la L1 influence principalement le niveau sémantique, plutôt que le niveau de la réalisation phonétique. Les locuteurs en L2 ont tendance à différencier les mêmes conditions que dans leurs langues natives ; cependant, cette différenciation est moins prononcée par rapport à leurs homologues en L1, indiquant une utilisation globalement moindre des indices prosodiques pour marquer la structure de l'information. Nous pensons que l'intégration des résultats de l'analyse syntaxique est cruciale pour expliquer ce phénomène. Plus précisément, nous postulons que le marquage prosodique de la focalisation pose plus de défis aux locuteurs en L2 que le marquage syntaxique, en raison de la similarité syntaxique perçue entre le français et l'italien, qui est majeure par rapport à leur ressemblance au niveau phonologique et phonétique. Par conséquent, les locuteurs français et italiens penchent davantage vers une stratégie reconnue comme similaire à la cible, telle que les phrases clivées ; cette tendance est en fait démontrée par nos données (De Paolis et al., in press). L'utilisation fréquente de phrases clivées en focalisation étroite semble inhiber l'allongement des voyelles, comme si l'indice de durée devenait redondant en présence d'un marquage syntaxique déjà significatif. De plus, la prédominance du marquage syntaxique en L2 concorde avec les résultats d'études sur d'autres combinaisons de langues (au-delà de la similarité perçue). Il a été observé que le marquage prosodique de la focalisation est plus difficile à acquérir que le marquage syntaxique (Zerbian, 2015), et le marquage de la focalisation à travers les clivées s'est avéré plus facile à traiter pour les locuteurs en L2 par rapport à l'encodage prosodique (Yan & Calhoun, 2022).

## 5 Conclusions et perspectives

L'étude a produit des résultats intrigants, en particulier lorsqu'elle est intégrée aux conclusions de recherches antérieures sur le même matériau. Cependant, nous reconnaissions avoir rencontré certaines difficultés qui pourraient être résolues pour assurer des améliorations dans les travaux futurs. Une difficulté notable est survenue lors de l'analyse de la parole en L2, en raison de la présence de dysfluences, ce qui rendait parfois difficile la distinction entre les hésitations et l'allongement intentionnel des voyelles. L'impact des hésitations dans la planification de la parole a également pu influencer les mesures de durée, telles que la moyenne de la durée des noyaux et l'écart type. Une autre considération importante est que, malgré l'importance reconnue de la validité écologique dans la possibilité d'intégrer la syntaxe dans les études sur la focalisation, l'utilisation de parole sémi-spontanée a entraîné une variation considérable dans les réponses des locuteurs. Nous envisageons donc de collecter des données à partir d'un protocole plus contrôlé, pour améliorer l'intégration de ces résultats.
Références

ARVANITI A. (2020). The phonetics of prosody. In M. ARONOFF, Éd., *Oxford Research Encyclopedia of Linguistics*. Oxford Research Encyclopedias.

AVESANI C., BOCCI G., VAYRA M. & ZAPPOLI A. (2015). Prosody and information status in Italian and German L2 intonation. In M. CHINI, Éd., *Il parlato in italiano L2: aspetti pragmatici e prosodici*, p. 93–116. Milano: Franco Angeli.

AVESANI C. & VAYRA M. (2003). Broad, narrow and contrastive focus in florentine Italian. In *ICPhS-15*, p. 1803–1806. ISCA.

BOERSMA P. & WEENINK D. (2023). Praat: doing phonetics by computer [computer program].

DE JONG K. (2004). Stress, lexical focus, and segmental focus in English: patterns of variation in vowel duration. *Journal of Phonetics, 32, 4*, 493–516.

DE JONG K. & ZAWAYDEH B. (2002). Comparing stress, lexical focus, and segmental focus : Patterns of variation in Arabic vowel duration. *Journal of Phonetics, 30*, 53–75.

DE L'EUROPE C. (2020). *Common European Framework of Reference for Languages: Learning, Teaching, Assessment—Companion Volume*. Council of Europe Publishing.

DE PAOLIS B. M. (2024). *Focus induced variations in prosody and word order in native and non-native Italian and French*. Thèse de doctorat, Università di Torino, Université Paris 8.

DE PAOLIS B. M., ROMANO A. & ANDORNO C. (in press). Prosodic and syntactic markers of narrow focus in Italian L1 and L2 (French L1): an experimental study. In *Il parlato in ambito medico: analisi linguistica, applicazioni tecnologiche e strumenti clinici. Atti del XIX convegno annuale AISV, Lecce 2023*. Officinaventuno.

DE PAOLIS B. M., SANTIAGO F. & ANDORNO C. (2022). Syntaxe ou prosodie? Une étude préliminaire sur l'expression de la focalisation étroite par les apprenants italophones de français L2. In *Proc. XXXIVe Journées d'Études sur la Parole*, p. 851–860: ISCA Archives.

D'IMPERIO M. (2002). Italian intonation: An overview and some questions. *Probus*, **14**(1), 37–69.

FARNETANI E. & ZMARICH C. (1997). Prominence patterns in Italian: an analysis of F0 and duration. In A. BOTINIS, G. KOUROUPETROGLOU & G. CARAYANNIS, Éds., *Intonation: Theory, Models and Applications. Proceedings of ESCA Workshop, Athens, September 18 - 20 september 1997*, p. 115–118.

GABRIEL C. (2010). On Focus, Prosody, and Word Order in Argentinian Spanish. A Minimalist OT Account. *In Revista Virtual de Estudos da Linguagem*, **Special issue 4**, 183–222.

GABRIEL C. & GRÜNKE J. (2018). Focus, prosody, and subject positions in L3 Spanish: analyzing data from German learners with Italian and Portuguese as heritage languages. In M. G. GARCÍA & M. UTH, Éds., *Focus realization in Romance and beyond*, p. 358–386. Amsterdam: John Benjamins.

GABRIEL C. & KIREVA E. (2014). Prosodic transfer in learner and contact variety: Speech Rhythm and Intonation of Buenos Aires Spanish and L2 Castilian Spanish Produced by Italian Native Speakers. *Studies in Second Language Acquisition*, **36**(2), 257–281. DOI: 10.1017/S0272263113000740.

GERMAN J. S. & D'IMPERIO M. (2016). The Status of the Initial Rise as a Marker of Focus in French. *Language and Speech*, **59**(2), 165–195.

KISLER T., REICHEL U. D. & SCHIEL F. (2017). Multilingual processing of speech via web services. *Computer Speech and Language*, **45**, 326–347.

MAEKAWA K. (1997). Effects of focus on duration and vowel formant frequency in japanese. In Y. SAGISAKA & N. CAMPBELL, N. AND HIGUCHI, Éds., *Computing Prosody*, p. 129–153. Springer, New York.
MENNEN I. (2015). *Beyond Segments : Towards a L2 Intonation Learning Theory*. In E. DELAIS-ROUSSARIE, M. AVANZI & S. HERMENT, Éds., *Prosody and Language in Contact. Prosody, Phonology and Phonetics.*, p. 171–188. Springer, Berlin, Heidelberg.

MERTENS P. (2014). *Polytonia : a system for the automatic transcription of tonal aspects in speech corpora*. *Journal of Speech Sciences*, **4**(2), 17–57.

MICHELAS A. & GERMAN J. (2020). *Focus marking and prosodic boundary strength in French*. *Phonetica*, **77**, 244–267.

R CORE TEAM (2022). *R : A Language and Environment for Statistical Computing*. R Foundation for Statistical Computing, Vienna, Austria.

SHAPIRO S. S. & WILK M. B. (1965). An analysis of variance test for normality (complete samples). *Biometrika*, p. 591–611.

TREMBLAY A. & GARRISON M. (2010). Cloze tests : A tool for proficiency assessment in research on l2 french. In M. T. PRIOR, Éd., *Selected Proceedings of the 2008 Second Language Research Forum*, p. 73–88. MA : Cascadilla Proceedings Project.

VANDER KLOK J., GOAD H. & WAGNER M. (2018). Prosodic focus in English vs. French : A scope account. *Glossa : a journal of general linguistics*, **3** (1): **71**.

VEDDER I. (2008). Competenza pragmatica e complessità sintattica in italiano l2 : l’uso dei modificatori nelle richieste. *Linguistica e Filologia*, **25**(1), 99–123.

YAN M. & CALHOUN S. (2022). Prosodic prominence and clefting in L2 focus interpretation. In *Proc. Speech Prosody*, p. 901–905.

ZERBIAN S. (2015). Markedness considerations in L2 prosodic focus and givenness marking. In E. DELAIS-ROUSSARIE, M. AVANZI & S. HERMENT, Éds., *Prosody and Language in Contact*. *Prosody, Phonology and Phonetics*, p. 7–27. Berlin, Heidelberg : Springer.
# Analyse Factorielle de signaux sonores : développement d'une méthode automatique de détermination des frontières optimales entre canaux de fréquence.

Agnieszka Duniec¹ Elisabeth Delais-Roussarie¹ Olivier Crouzet¹

(1) Laboratoire de Linguistique de Nantes, LLING - UMR6310, Université de Nantes / CNRS chemin de la Censive du Tertre, 44312 Nantes Cedex, France

agnieszka.duniec@etu.univ-nantes.fr, olivier.crouzet@univ-nantes.fr

## RÉSUMÉ

Des études récentes supportent l'hypothèse d'une relation entre les propriétés statistiques des signaux de parole et les mécanismes perceptifs : les gammes de fréquence présentant une corrélation dans leurs modulations d'amplitude pourraient être associées à des frontières spectrales relativement stables envisagées comme optimales sur le plan perceptif. Cependant, des limites afférentes à ces études antérieures ressortent : (1) elles se fondent pour la plupart sur des critères subjectifs à travers l'observation visuelle des courbes de résultats statistiques, et (2) elles n'envisagent pas que les résultats puissent varier en fonction des échantillons de données sélectionnés, de la nature des signaux utilisés, ou de la taille des échantillons. Même si cette position peut être argumentée en lien avec l'approche du codage efficace, cet aspect afférent au degré de variation potentiel nécessite d'être évalué. Nous avons mis en place une méthode de détermination automatique des frontières qui permet de répliquer les travaux antérieurs en introduisant une évaluation expérimentale de ces limites et discutons de quelques résultats préliminaires en comparaison avec les études précédentes.

## ABSTRACT

**Factor Analysis of acoustic signals : development of an automatic method for the determination of optimal frequency boundaries.**

Recent studies have led to support the hypothesis of a relationship between statistical properties of spectro-temporal modulations in speech and mechanisms of perceptual analysis : frequency channels exhibiting co-modulated amplitude would be associated with frequency boundaries considered as optimal in perceptual terms. However, limits pertaining to some of these studies have to be taken into account : (1) previous results associated with frequency boundary determination were for some part based on visual inspection of statistical curves, (2) studies have generally assumed that these results would hold for any sample of speech signals, and for any sample size. Even though such assumption may hold in relation to the efficient coding hypothesis, the degree of variation relating to the observed results requires to be investigated. A method for the automatic determination of frequency boundaries associated with these approaches has been developed and applied on a speech database. This method provides a way to replicate previous data while experimentally investigating variation. Some preliminary results are discussed and compared with previous studies.

**MOTS-CLÉS** : perception, statistiques des signaux naturels, hypothèse du codage efficace, implants cochléaires.

**KEYWORDS:** perception, natural signal statistics, efficient coding hypothesis, cochlear implants.

<figure><img src="image_118.png" /></figure>
# 1 Introduction

L'hypothèse du codage efficace pour la perception sonore (Smith & Lewicki, 2006) tire ses origines des travaux sur les statistiques des signaux naturels (Simoncelli & Olshausen, 2001; McDermott & Simoncelli, 2011). Du point de vue de cette approche, les signaux acoustiques de communication sont caractérisés par des propriétés statistiques régulières, lesquelles seraient au fondement des mécanismes d'analyse perceptive malgré la diversité apparente des réalisations sonores. Si certaines de ces études (Ming & Holt, 2009; Kluender et al., 2013) se fondent sur une modélisation des signaux à travers des trains d'impulsions (spike trains) en lien avec la théorie de l'information et les approches contemporaines du codage neuronal (Smith & Lewicki, 2005), d'autres ont adopté une approche statistique plus traditionnelle fondée sur l'Analyse Factorielle des modulations d'amplitude (Ueda & Nakajima, 2017; Grange & Culling, 2018).

Plusieurs de ces études se sont penchées sur cette hypothèse dans le but d'identifier des propriétés statistiques des signaux de parole dans différentes langues (Ueda & Nakajima, 2017) ainsi qu'en lien avec le codage de la parole dans des implants cochléaires (Grange & Culling, 2018; Ming & Holt, 2009).

## 1.1 Hypothèse du codage efficace et implant cochléaire

Ming & Holt (2009) ont mesuré les performances de reconnaissance de parole vocodée, souvent décrite comme simulant les informations diffusées par les implants cochléaires, chez des auditeurs normo-entendants. Ils ont montré que, sans changer le nombre de canaux spectraux (6 en l'occurrence) les changements de localisation des frontières spectrales en parole vocodée ont des effets sur les taux de reconnaissance de mots et de segments phonétiques. Les performances sont meilleures si les localisations de ces frontières concordent avec des positions spectrales dérivées de modélisations issues de la théorie de l'information et correspondent donc à une « perspective efficace ». Ces frontières seraient en outre nettement plus basses que celles qui découlent d'une organisation tonotopique, lesquelles sont généralement la référence pour la décomposition spectrale dans les implants cochléaires.

Dans une toute autre perspective, Ueda & Nakajima (2017), ont développé une méthode d'analyse inspirée des travaux de Plomp et al. (1967) sur les voyelles : ils étendent cette approche à l'étude d'un corpus de phrases et procèdent, sur la base de signaux acoustiques de parole codés sur environ 20 canaux de représentation spectrale à des Analyses en Composantes Principales (ACP) portant sur les enveloppes d'énergie de ces canaux. Il font varier le nombre de facteurs associés à la sortie de l'ACP (2, 3, 4, 5, 6). Leur travail aboutit à la conclusion que 4 facteurs suffiraient à représenter optimalement des signaux de parole, et ce pour chacune des 8 langues de leur échantillon. Ils constatent par ailleurs que les 3 frontières fréquentielles découlant de chacune des ACP à 4 facteurs réalisées sur ces 8 langues seraient parfaitement appariées (env. 540, 1720, 3300 Hz), ce qui les amène à conclure que les langues seraient de manière générale fondées sur des indices qui seraient parfaitement adaptés à un traitement perceptif « parcimonieux » (ou efficace) de la parole.

Grange & Culling (2018) ont répliqué l'étude de Ueda & Nakajima (2017) en modifiant légèrement l'algorithme d'analyse statistique (accroissement du nombre de canaux spectraux entrés dans l'ACP à environ 100 canaux notamment, estimation de la contribution de chacune des 20 premières Composantes Principales issues de l'ACP à travers les valeurs propres eigenvalues). Ils ont ensuite évalué ces données à la lueur des performances observées en perception de parole vocodée (simulations
d'implants cochléaires) et ont abouti à des conclusions assez similaires aux travaux précédents. Leurs résultats suggèrent néanmoins que, pour rendre compte de manière appropriée des propriétés acoustiques de la parole vocodée, il faudrait 6 à 7 canaux spectraux pour représenter optimalement ces signaux. Cette limite correspond, dans le graphique des valeurs propres (scree plot) qu'ils présentent, à un point d'inflexion au-delà duquel les valeurs propres semblent augmenter plus lentement. Cette limite est aussi associée dans les courbes de performance en fonction du nombre de canaux vocodés, à une amélioration moins marquée des performances observées à partir de 8 canaux spectraux. Ces deux mesures (l'une statistique issue de signaux naturels, l'autre comportementale issue de signaux vocodés) seraient donc cohérentes et suggèreraient que cette limite de 7/8 canaux pourrait refléter une version optimale de la représentation perceptive des signaux de parole appropriée à la tâche expérimentale utilisée (reconnaissance de mots dans des phrases simples présentées dans le silence).

## 1.2 Limites des études antérieures

Toutes les études évoquées ont dérivé, de l'analyse acoustique et statistique d'un corpus de parole, des estimations de localisation de frontières entre canaux de fréquence qui sont considérées comme optimales : elles différencieraient des canaux de fréquence maximalement comodulés entre eux et ces frontières sépareraient les canaux qui sont les moins corrélés et qui, par conséquent, seraient maximalement informatifs. Il ressort de ces approches qu'aucun des travaux précédents n'a évalué le degré de variation des estimations réalisées en fonction de la composition du corpus, de sa taille (environ 1h de parole dans les études précécentes) ni de la durée acoustique des items concaténés pour la constitution du corpus. Or il semble essentiel, avant d'envisager un caractère stable de ces frontières optimales, de pouvoir évaluer leur variabilité potentielle.

Une limite forte à l'étude de cette variation est liée au fait que dans les études précédentes, les valeurs de ces fréquences optimales séparant les canaux de fréquence ont été estimées par le biais d'inspections purement visuelles des graphiques de résultats. Il va de soi que pour être en mesure d'évaluer le degré de variation d'une telle mesure, il convient de mettre en place une méthode de détermination automatique qui ouvrirait la voie au calcul d'un grand nombre d'estimations différentes en étudiant aussi bien les effets liés à la taille globale du corpus que ceux afférents à la dispersion des résultats lorsqu'on sélectionne aléatoirement des sous-ensembles distincts du corpus d'origine. Nous présentons dans cet article la méthode que nous avons développée dans cette perspective et donnons une illustration préliminaire des résultats à partir de la comparaison avec les études antérieures (Ueda & Nakajima, 2017; Grange & Culling, 2018; Ming & Holt, 2009).

# 2 Méthode

Les analyses acoustiques et statistiques ont été réalisées dans l'environnement Matlab. Les scripts d'analyse sont disponibles sur un dépôt OSF<fnref n="1" />.

<footnote n="1">1. Lien vers le dépôt OSF en lecture : https://page.hn/9ij6kk</footnote>
## 2.1 Corpus

La base de données utilisée est la Clarity Speech Database (Graetzer et al., 2021) qui contient des enregistrements de parole en anglais en accès libre (échantillonnés à 44.1 kHz sur 32 bits au format WAV). La base de données complète est composée d'environ 10000 phrases issues du British National Corpus (BNC), lues par 40 locuteurs et locutrices de l'anglais Britannique. Dans le cadre de l'étude présentée ici, un échantillon aléatoire de 1600 phrases en a été extrait dans le but de cibler une durée totale équivalente à celle utilisée dans les précédentes études (environ 1 h de parole).

## 2.2 Paramétrage acoustique des signaux

Préalablement à l'analyse statistique des signaux, nous procédons à une paramétrisation acoustique comparable à celles qui ont été utilisées dans les travaux précédents (Ueda & Nakajima, 2017; Grange & Culling, 2018). Les signaux extraits de chaque fichier sont concaténés les uns aux autres. Le signal concaténé est soumis à un filtrage passe-bas (fréquence de coupure 8 kHz) et sous-échantillonné à 16 kHz. Les enveloppes de modulation temporelle des signaux sont extraites à partir d'un banc de filtres dont la largeur croît de manière logarithmique avec la fréquence centrale (canaux de largeur $1/4$ d'ERB, Moore & Glasberg, 1983, ce qui correspond à 116 canaux spectraux allant jusqu'à la fréquence supérieure maximale de 8 kHz). Ces enveloppes subissent une rectification demi-onde puis un filtrage passe-bas avec une fréquence de coupure de 50 Hz (fréquence d'échantillonnage 100 Hz). Les signaux d'enveloppe résultants sont ensuite élevés au carré et convertis en notes centrées réduites ($z-scores$). Cette chaîne de paramétrage permet de procéder à une analyse des co-modulations d'énergie entre les bandes de fréquence (corrélation entre les enveloppes d'énergie des canaux).

La matrice de données résultante, composée de 116 canaux de fréquence, correspond aux modulations temporelles de l'enveloppe de chaque canal spectral au cours du temps. Elle est transférée vers un outil statistique d'Analyse en Composantes Principales afin de procéder à une Analyse Factorielle.

<figure><img src="image_119.png" /><figcaption>FIGURE 1 – Graphes des valeurs propres (% de variance expliquée) issu de l'Analyse Factorielle (en bleu : % associés à chaque CP individuelle — en rouge : % cumulés). La CP pour laquelle on atteint un cumul égal à 95% est indiquée, ainsi que le % de variance cumulée expliquée pour resp. 4 et 8 Composantes Principales.</figcaption></figure>

## 2.3 Analyse Factorielle

L'Analyse Factorielle est une méthode descriptive d'analyse de données qui repose sur la technique d'Analyse en Composantes Principales (ACP). Elle permet une étude simultanée de plus de 2 dimensions (analyse multivariée). L'objectif est de représenter l'essentiel de l'information contenue dans un tableau de données quantitatif en réduisant le nombre de facteurs explicatifs. Le principe
est de transformer des variables liées (statistiquement corrélées entre elles) en nouvelles variables synthétiques. Les Composantes Principales (CP) sont donc regroupées en facteurs abstraits.

Concrètement, les variables initiales sont représentées dans un nouvel espace de facteurs définis par les vecteurs propres de la matrice de corrélations. L'hypothèse sous-jacente à l'application de cette méthode sur des signaux sonores est que certains canaux spectraux contiennent des informations redondantes et qu'il serait alors économique de restreindre l'analyse perceptive à une séparation en zones de fréquences étant maximalement informatives (donc minimalement redondantes). En celà, l'Analyse Factorielle permettrait d'identifier les canaux de fréquence optimaux pour différencier de manière parcimonieuse les propriétés sonores distinctives d'un corpus. Une description plus précise de la procédure d'ACP mise en oeuvre est disponible dans Duniec et al. (2022). Pour information, le graphe des valeurs propres indiquant le pourcentage cumulé de variance expliquée en fonction du nombre de CP est représenté dans la Fig. 1.

Tout comme dans les travaux antérieurs (Ueda & Nakajima, 2017; Grange & Culling, 2018; Duniec et al., 2022), ces valeurs sont représentées sous forme de courbes de coefficients de saturation dont la valeur absolue fait ressortir quelles sont les gammes de fréquences qui sont maximalement corrélées entre elles (cf. Duniec et al., 2022, pour une illustration). Ce regroupement indique quelles fréquences sont associées / co-modulées. Les gammes de fréquences correspondantes sont, dans le cadre de l'Analyse Factorielle, associées à un facteur synthétique / une Composante Principale. C'est sur la base de ces ensembles de courbes de coefficients de saturation que nous procédons ensuite à une estimation automatique de ces frontières pour chaque condition associée au nombre de Composantes Principales retenues.

Les intervalles des courbes de coefficients de saturation pour lesquels la valeur absolue est relativement élevée sont interprétées comme représentant des zones spectrales co-modulées en amplitude, lesquelles sont considérées dans cette perspective comme ne fournissant que peu d'in-

FIGURE 2 – Illustration de la procédure de détermination des intersections entre les courbes adjacentes de coefficients de saturation par prédiction linéaire.

<figure><img src="image_120.png" /><figcaption>(a) 1ère frontière</figcaption></figure>

<figure><img src="image_121.png" /><figcaption>(b) 2e frontière</figcaption></figure>

<figure><img src="image_122.png" /><figcaption>(c) 3e frontière</figcaption></figure>
formations perceptives distinctes. Déterminer la localisation de leurs frontières fournirait donc une information sur la zone optimale de découpage spectral qui pourrait par exemple être utilisée dans un implant cochléaire dans le but de dissocier de manière optimale les gammes de fréquence maximale-ment porteuses d'information pour un nombre de canaux déterminé.

## 2.4 Estimation des frontières entre canaux

La procédure de détermination des frontières entre chaque paire de courbes de coefficients de saturation adjacentes est ensuite appliquée.

On procède d'abord à une première phase de traitements préparatoires. Une interpolation linéaire des courbes de coefficients de saturation dans un rapport de $\frac{10}{1}$ vise à accroître le nombre de points de mesure sur l'échelle des fréquences. On estime ensuite la localisation en fréquence du pic de la courbe de coefficients de saturation associée à chaque Composante Principale. Pour chacune de ces courbes, on repère approximativement deux frontières (respectivement inférieure et supérieure au pic) à partir d'un critère de valeur du coefficient qui descend à 25% de la valeur maximale observée au pic en se déplaçant du pic vers chacun des bords de la courbe. On classe enfin les vecteurs associés aux courbes de coefficient de saturation par valeur croissante de fréquence associée au pic, ce qui permet de déterminer quelles sont les courbes adjacentes en termes de canaux de fréquence.

On procède enfin, pour chaque paire de courbes adjacentes, à la détermination des coordonnées de leur point d'intersection par modélisation linéaire<fnref n="2" /> limitée à la zone probable du croisement. La Fig. 2 illustre cette dernière partie de la procédure pour une Analyse Factorielle retenant 4 Composantes Principales (3 frontières). Ceci repose sur la modélisation par une fonction linéaire de chacune des deux portions de courbes. Pour terminer, on estime les coordonnées de leur point d'intersection dans un espace *Valeur du coefficient de saturation en dB ~ Fréquence en Hz* (après échelonnement ERB).

# 3 Résultats préliminaires

Nous proposons ici une première comparaison avec les données de la littérature. Il est important de noter que les divergences constatées pourraient trouver leur source dans différents paramètres. Le contenu du corpus de parole utilisé peut impacter les résultats. Ainsi, ces études reposent sur des corpus de parole comparables en termes de type de contenu (phrases, multi-locuteurs, langue anglaise) et de conditions de collecte mais qui sont néanmoins différents. Par ailleurs, des aspects précis de la méthode appliquée pour procéder à la paramétrisation acoustique puis à la mise en œuvre de l'Analyse Factorielle peuvent également jouer (par ex. Ueda & Nakajima, 2017 procédent à une décomposition spectrale initiale en seulement 20 canaux alors que nous adoptons, conformément à Grange & Culling, 2018, une décomposition spectrale en plus de 100 canaux). Enfin, le recours à une procédure automatisée vs. visuelle pourrait affecter la précision des estimations. Concernant ce dernier point cependant, les algorithmes que nous avons implémentés semblent produire des résultats conformes aux estimations visuelles.

Notre objectif principal dans cet article est de chercher à mettre en évidence deux points importants : (1) la méthode automatique mise en œuvre fournit des résultats cohérents en termes d'estimation de la

<footnote n="2">2. Des tests ont également été effectués avec des modélisations polynomiales d'ordre 2 et 3 mais les résultats de la modélisation linéaire étaient généralement plus conformes aux observations visuelles que les fonctions d'ordre supérieur.</footnote>
fréquence à laquelle le croisement des courbes adjacentes se fait et (2) les données recueillies varient parfois fortement entre les études considérées, ce qui justifie pleinement la nécessité de procéder à une exploration de la variation associée à ces mesures.

Nous procédons à une comparaison de nos résultats avec les données de la littérature qui sont disponibles et qui ont eu recours à la même méthode de traitement (Analyse Factorielle), donc respectivement pour 4 et 8 canaux. Les données de Ming & Holt (2009) portent sur un découpage en 6 canaux mais sont fondées sur une méthode de traitement profondément différente, nous ne les considérons pas directement dans cet article pour des raisons d'espace disponible.

## 3.1 Résultats pour 4 canaux de fréquence

Les résultats pour 4 canaux de fréquence sont disponibles dans les principales études auxquelles nous nous sommes référés (Ueda & Nakajima, 2017; Grange & Culling, 2018), lesquelles sont toutes les deux fondées sur des ACP réalisées sur les enveloppes d'énergie malgré des choix différents en termes de nombre de canaux initiaux pour la décomposition spectrale (20 pour Ueda & Nakajima, 2017 vs. plus de 100 pour l'étude de Grange & Culling, 2018). Les valeurs numériques de localisation des frontières pour chacun des articles ont été déterminées en utilisant un logiciel d'extraction de données quantitatives à partir de graphes (g3data<fnref n="3" />) sur la base des figures publiées. Nous avons utilisé cet outil pour estimer / extraire les coordonnées de fréquence des points d'intersection des courbes adjacentes. Les données de comparaison sont présentées dans la Table 1. On peut constater que les résultats sont cohérents les uns par rapport aux autres mais que des divergences émergent et peuvent pour certaines atteindre 1 à 2 demi-tons d'écart.

Ces degrés de divergence peuvent paraître parfaitement acceptables et pourraient ne relever que de variations attendues dans tout travail quantitatif même s'il conviendra de documenter cette variation. La comparaison avec les résultats publiés pour 8 canaux (cf. infra. et Table 2) fait par contre ressortir des différences nettement plus marquées.

<table><caption>TABLE 1 – Estimations (en Hertz) de la localisation des frontières optimales entre canaux de fréquence et écarts mesurés par rapport aux données des travaux antérieurs (en demi-tons) pour 4 Composantes Principales (respectivement : Données de Ueda & Nakajima (2017); Données de Grange & Culling (2018); Notre estimation par modélisation linéaire; Différences mesurées entre les estimations issues de la littérature et nos données).</caption><thead><tr><th></th><th>1/2</th><th>2/3</th><th>3/4</th></tr></thead><tbody><tr><td>Ueda & Nakajima (2017)</td><td>540</td><td>1720</td><td>3300</td></tr><tr><td>Grange & Culling (2018)</td><td>573</td><td>1570</td><td>3827</td></tr><tr><td>Nos observations</td><td>587</td><td>1735</td><td>3745</td></tr><tr><td>Écart / Ueda & Nakajima (2017, demi-tons)</td><td>1.44</td><td>0.15</td><td>2.19</td></tr><tr><td>Écart / Grange & Culling (2018, demi-tons)</td><td>0.41</td><td>1.73</td><td>-0.38</td></tr></tbody></table>

## 3.2 Résultats pour 8 canaux de fréquence

Les résultats pour 8 canaux de fréquence (cf. Table 2) ne sont disponibles que pour l'étude de Grange & Culling (2018). Ils ont été déterminés en utilisant le même logiciel d'extraction de

<footnote n="3">3. https://github.com/pn2200/g3data/</footnote>
données quantitatives à partir de graphes (g3data). On peut constater que certaines estimations sont considérablement plus divergentes, notamment dans les basses et moyennes fréquences (avec des écarts de l'ordre de 10 à 15 demi-tons –autour d'une octave–, ainsi que dans les hautes fréquences –3 à 4 demi-tons), ce qui laisse entrevoir des potentialités de variation considérables de ces propriétés statistiques. Il est notable que la procédure de traitement acoustique et statistique mise en œuvre dans notre approche est en tous points comparable à celle implémentée par Grange & Culling (2018), ce qui laisse supposer un potentiel de variation considérable qu'il conviendra d'explorer.

<table><caption>TABLE 2 – Estimation de la localisation des frontières optimales entre canaux de fréquence pour 8 CP (en Hz). Comparaison avec les observations de Grange & Culling (2018).</caption><thead><tr><th></th><th>1/2</th><th>2/3</th><th>3/4</th><th>4/5</th><th>5/6</th><th>6/7</th><th>7/8</th></tr></thead><tbody><tr><td>Données de Grange & Culling (2018)</td><td>442</td><td>652</td><td>1159</td><td>1518</td><td>1916</td><td>2749</td><td>4104</td></tr><tr><td>Nos estimations</td><td>197</td><td>332</td><td>678</td><td>1474</td><td>2099</td><td>3377</td><td>5085</td></tr><tr><td>Écart (demi-tons)</td><td>-14.00</td><td>-11.69</td><td>-9.29</td><td>-0.51</td><td>1.58</td><td>3.56</td><td>3.71</td></tr></tbody></table>

# 4 Discussion

Nos observations contrastent assez nettement avec les résultats antérieurs en termes de correspondance des frontières de fréquences telles qu'elles peuvent être déduites de l'Analyse Factorielle de signaux de parole. Si les résultats pour 4 canaux semblent acceptables en termes de dispersion naturelle des mesures empiriques, les résultats obtenus avec 8 canaux mettent en évidence un degré de variation qui peut atteindre plus d'une octave dans certaines gammes de fréquence, ce qui aurait de toute évidence des conséquences perceptives notables.

En outre, l'hypothèse de Ueda & Nakajima (2017) concernant la stabilité de ces mesures pour 8 langues distinctes semble assez spéculative si l'on considère le degré de variation que nous avons commencé à documenter ici. En effet, cette comparaison montre que, pour des données reposant sur une méthode d'analyse acoustique et statistique équivalente, l'utilisation d'une base de données différente dans la même langue et pour un corpus de phrases multi-locuteurs comparable en taille, débouche sur des divergences de valeurs des frontières dont l'empan est considérable.

À tout le moins, même si toute variation est prévisible et attendue dans le cadre de la mesure empirique de phénomènes naturels, ces données mettent en évidence un potentiel de variation important que nous pourrons explorer de manière systématique avec la procédure présentée dans cet article.

# Remerciements

Ce travail a reçu le soutien du programme Recherche – Formation – Innovation « Ouest Industries Créatives » (RFI-OIC, Région Pays de la Loire) par une allocation doctorale attribuée à AD.
Références

DUNIEC A., CROUZET O. & DELAIS-ROUSSARIE E. (2022). Analyse factorielle de signaux musicaux : comparaison avec les données de parole dans la perspective de l'hypothèse du codage efficace et de l'application aux implants cochléaires. In O. CROUZET, E. DELAIS-ROUSSARIE, A. DUNIEC, L. LEPRIEUR, P. L. ROHRER, M. TAHON, J. WOTTAWA, M. BRABANT, H. RIGUIDEL, N. BARBOT, S. GIBET, D. LOLIVE & A. SINI, Éds., *Actes des 34e Journées d'Études sur la Parole – JEP2022*, Île de Noirmoutier, France : Nantes Université / Le Mans Université / IRISA / CNRS International Speech Communication Association - ISCA archive.

GRAETZER S., AKEROYD M. A., BARKER J., COX T. J., CULLING J. F., NAYLOR G., PORTER E. & MUÑOZ R. V. (2021). Dataset of british english speech recordings for psychoacoustics and speech processing research : The clarity speech corpus. *Data in Brief*, p. 107951.

GRANGE J. & CULLING J. (2018). The factor analysis of speech : Limitations and opportunities for cochlear implants. *Acta Acustica united with Acustica*, **104**, 835–838. DOI: 10.3813/AAA.919253.

KLUENDER K. R., STILP C. E. & KIEFTE M. (2013). Perception of Vowel Sounds Within a Biologically Realistic Model of Efficient Coding. In G. S. MORRISON & P. F. ASSMANN, Éds., *Vowel Inherent Spectral Change*, Modern Acoustics and Signal Processing, p. 117–151. Berlin, Heidelberg : Springer. DOI: 10.1007/978-3-642-14209-3_6.

MCDERMOTT J. H. & SIMONCELLI E. P. (2011). Sound Texture Perception via Statistics of the Auditory Periphery : Evidence from Sound Synthesis. *Neuron*, **71**(5), 926–940. DOI: 10.1016/j.neuron.2011.06.032.

MING V. L. & HOLT L. L. (2009). Efficient coding in human auditory perception. *The Journal of the Acoustical Society of America*, **126**(3), 1312–1320. DOI: 10.1121/1.3158939.

MOORE B. C. J. & GLASBERG B. R. (1983). Suggested formulae for calculating auditory-filter bandwidths and excitation patterns. *The Journal of the Acoustical Society of America*, **74**, 750–753.

PLOMP R., POLS L. C. W. & VAN DE GEER J. P. (1967). Dimensional Analysis of Vowel Spectra. *The Journal of the Acoustical Society of America*, **41**(3), 707–712. DOI: 10.1121/1.1910398.

SIMONCELLI E. P. & OLSHAUSEN B. A. (2001). Natural Image Statistics and Neural Representa-
tion. *Annual Review of Neuroscience*, **24**(1), 1193–1216. DOI: 10.1146/annurev.neuro.24.1.1193.

SMITH E. & LEWICKI M. S. (2005). Efficient Coding of Time-Relative Structure Using Spikes.
*Neural Computation*, **17**(1), 19–45. DOI: 10.1162/0899766052530839.

SMITH E. C. & LEWICKI M. S. (2006). Efficient auditory coding. *Nature*, **439**(7079), 978–982.
DOI: 10.1038/nature04485.

UEDA K. & NAKAJIMA Y. (2017). An acoustic key to eight languages/dialects : Factor analyses of critical-band-filtered speech. *Scientific Reports*, **7**, 42468. DOI: 10.1038/srep42468.
# Apprentissage profond pour l'analyse de la parole pathologique : étude comparative entre modèles CNN et à base de transformers

Malo Maisonneuve¹ Corinne Fredouille¹ Muriel Lalain² Alain Ghio²
Virginie Woisard³

(1) LIA, Avignon University, France

(2) Aix-Marseille University, CNRS, LPL, Aix-en-Provence, France

(3) LNPL, Toulouse University and Toulouse Hospital, Toulouse, France

prénom.nom@[univ-avignon ; univ-amu].fr

## RÉSUMÉ

Les cancers des voies aérodigestives supérieures (VADS) ont un impact significatif sur la capacité des patients à s'exprimer, ce qui affecte leur qualité de vie. Les évaluations actuelles de la parole pathologique sont subjectives, justifiant le besoin de méthodes automatiques et objectives. Un modèle auto-supervisé basé sur Wav2Vec2 est proposé pour la classification de phonèmes chez les patients atteints de cancer des VADS, visant une amélioration des taux de bonne classification et une meilleure discrimination des caractéristiques phonétiques. Les impacts des paramètres d'affinage, des données de pré-entraînement, de la taille du modèle et des données d'affinage sont explorés. Nos résultats montrent que l'architecture Wav2Vec2 surpasse une approche basée sur un CNN, et montre une corrélation significative avec les mesures perceptives. Ce travail ouvre la voie à une meilleure compréhension de la parole pathologique, via une représentation auto-apprise de la parole, très pertinente pour des approches d'interprétation à destination des cliniciens.

## ABSTRACT

**Deep learning for speech pathology : a comparative analysis of CNN and transformer-based models**

Head and neck cancers significantly impact patients' ability to speak, affecting their quality of life. Commonly used metrics for assessing pathological speech are subjective, prompting the need for automated and unbiased evaluation methods. This study proposes a self-supervised Wav2Vec2-based model for phone classification in HNC patients, aiming to enhance accuracy and improve the discrimination of phonetic features. The impact of fine-tuning parameters, pre-training datasets, model size, and fine-tuning datasets will be explored. Evaluation on diverse corpora reveals the effectiveness of the Wav2Vec2 architecture, outperforming a CNN-based approach, used in previous work. Correlation with perceptual measures also affirms the model's relevance for clinical speech analysis. This work paves the way for a better understanding of pathological speech, by leveraging a complex self-learned speech representation, relevant for interpretability approaches for clinicians.

**MOTS-CLÉS** : troubles de la parole, cancer de la tête et du cou, apprentissage profond, classification de phonèmes, intelligibilité, interprétabilité.

**KEYWORDS:** speech disorders, Head and Neck Cancer, deep learning, phone classification, intelligibility, interpretability.

<figure><img src="image_123.png" /></figure>

<footnote>Traduction de l'article accepté à Interspeech 2024 : "Towards objective and interpretable speech disorder assessment: a comparative analysis of CNN and transformer-based models"</footnote>
# 1 Introduction

Les cancers des voies aérodigestives supérieures (VADS) affectent les voies respiratoires et digestives supérieures, notamment la cavité buccale, le pharynx, le larynx, la cavité nasale et les glandes salivaires. Le traitement de ce cancer, que ce soit par radiothérapie, chimiothérapie et/ou chirurgie, peut impacter significativement la parole des patientes et patients qui en souffrent. La difficulté à communiquer avec les autres a ainsi un impact négatif sur leur qualité de vie. Évaluer correctement la parole qu'ils ou elles produisent, en identifiant le niveau d'altération et ce qui la rend atypique est essentiel pour les aider au mieux lors de séances de rééducation. Malheureusement, les métriques couramment utilisées telles que la sévérité ou le niveau d'intelligibilité sont subjectives et susceptibles d'être mal évaluées, même par des experts (Astésano et al., 2018). Par ailleurs, ces métriques n'apportent aucune information, outre un score, sur la nature des dégradations mesurées. Proposer une manière automatique d'évaluer la parole pathologique est essentiel pour pouvoir baser les stratégies de rééducation sur des évaluations objectives et non biaisées.

Récemment, des modèles auto-supervisés ont montré leur succès dans la capture de concepts phonétiques et de diverses caractéristiques de la parole. Dans (tom Dieck et al., 2022), les auteurs ont montré que les modèles Wav2Vec2 sont capables d'apprendre certains concepts phonétiques et qu'ils modélisent correctement le lieu et le mode d'articulation. Certaines recherches se sont concentrées sur l'utilisation de ces modèles pour évaluer automatiquement le niveau de sévérité de la parole (Hernandez et al., 2022; Favaro et al., 2023; Yeo et al., 2023a; Javanmardi et al., 2024). Bien que la détection d'une maladie et son évaluation quantitative soit importante, nous pensons qu'il est tout aussi important d'expliquer les résultats de ces modèles. En effet, leur explicabilité permet de cibler leurs faiblesses, et ainsi d'accroître la confiance que les cliniciens peuvent avoir en ces systèmes. Jusqu'à présent, un nombre limité d'études se sont concentrées sur l'interprétabilité de ces modèles. Dans (Tu et al., 2017), un modèle prédictif de la sévérité de la parole dysarthrique a été entraîné, en incorporant une couche bottleneck dans un réseau neuronal à couches entièrement connectées pour améliorer l'interprétabilité. En effet, un apprentissage par transfert a été utilisé pour apprendre des étiquettes interprétables cliniquement issues de la classification de Darley (Darley et al., 1969). Leurs résultats montrent une amélioration de la précision de l'évaluation de la dysarthrie, avec des justifications basées sur des caractéristiques interprétables. Une extension de ce travail (Xu et al., 2023) a évité les étiquettes perceptives (nécessitant une annotation experte et coûteuse en temps des enregistrements utilisés pour l'entraînement et les tests des modèles) en formant la couche interprétable autour de quatre caractéristiques acoustiques liées à la dysarthrie et extraites automatiquement. L'utilisation de SHAP (SHapley Additive exPlanations (Lundberg & Lee, 2017)) a permis d'analyser la contribution de chaque caractéristique acoustique à la prédiction finale. Des avancées récentes ont aussi démontré l'efficacité de l'utilisation de la métrique Goodness of Pronunciation, en utilisant la partie d'extraction de caractéristiques – figée – du modèle Wav2Vec2, suivi d'un classifieur de phonèmes (Yeo et al., 2023b). Leur approche montre l'impact relatif de chaque phonème sur le score prédit de sévérité. Une autre méthodologie a été utilisée dans (Abderrazek et al., 2023) en utilisant un réseau neuronal convolutif (CNN) pour la classification de phonèmes. La méthode NCD (Neuro-Concept Detector) liée à la métrique ANPS (Artificial Neuron-based Phonological Similarity) permettent une interprétation des scores de sévérité et d'intelligibilité prédits, en terme d'altérations de la parole produite par des patients, via l'association des neurones du classifieur aux traits phonétiques qu'ils détectent.

Notre travail vise à étendre cette interprétation en remplaçant le CNN par un modèle auto-supervisé
basé sur l'architecture complète de Wav2Vec2. Cette modification a pour objectif de fournir de
meilleurs taux de bonne classification, mais aussi d'apporter ultérieurement une description plus nuancée et plus riche des caractéristiques phonétiques de la parole pathologique. En plus du changement d'architecture du modèle, ce travail examinera l'impact du choix des corpus de pré-entraînement des modèles Wav2Vec2 disponibles à la communauté, de la taille de ces modèles, de l'étape d'affinage et des corpus utilisés lors de celle-ci sur le choix d'un modèle auto-supervisé pour la tâche visée de classification de phonèmes. Cette exploration est cruciale pour optimiser les performances du modèle sur des corpus variés, contribuant à la robustesse et à la capacité de généralisation de notre approche. Ainsi, une analyse détaillée des confusions entre phonèmes sera menée pour valider la capacité de généralisation de nos modèles sur d'autres ensembles de données. Ensuite, nous analyserons la corrélation entre les taux de bonne classification de phonèmes et les mesures perceptives obtenues auprès d'experts sur la parole de patients ayant bénéficié de soins suite à un cancer des VADS. Cette approche d'évaluation multidimensionnelle fournira une évaluation complète du modèle auto-supervisé proposé, démontrant son potentiel pour une analyse précise et cliniquement pertinente de la parole pathologique.

## 2 Corpus

Pour entraîner et évaluer nos modèles pendant l'entraînement, nous nous sommes appuyés sur un sous-ensemble de BREF (Lamel et al., 1991) et de Common Phone (Klumpp et al., 2022). Pour tester nos modèles une fois affinés, nous nous sommes basés sur BREF-Int et C2SI (Astésano et al., 2018). Le corpus **BREF** est un corpus de 120 locuteurs français lisant des extraits du journal *Le Monde*. Les enregistrements ont eu lieu dans les années 90, avec des personnes recrutées dans la région parisienne. Un sous-ensemble équilibré en termes de phonèmes de ce corpus a été créé pour garantir que les modèles affinés ne présentent pas de biais envers un phonème spécifique. Il est composé de plus de trois millions de trames de 127 ms, chacune centrée sur un phonème français ou un silence. Nous utilisons également l'ensemble de données **BREF-Int**, un sous-ensemble également équilibré en termes de phonèmes que nous utiliserons en phase de test. Ces ensembles sont identiques à ceux utilisés dans (Abderrazek et al., 2023).

Le corpus **Common Phone** est un corpus équilibré en termes de genre, multilingue et aligné phonétiquement, dérivé du projet Common Voice de Mozilla. Seuls les enregistrements en français ont été utilisés dans ce travail. Nous avons également équilibré cet ensemble de données en termes de phonèmes et de genre pour assurer l'impartialité de nos modèles affinés du point de vue de ces derniers.

Le corpus C2SI comprend 87 patients traités pour un cancer buccal ou oropharyngé, ainsi que 41 contrôles sains (HC). Les patients et les HC ont été enregistrés à l'IUCT Oncopole, à Toulouse, France. Les patients ont été confrontés à plusieurs tâches : /a/ tenu, lecture de phrases, lecture de passages de texte (LEC), production de pseudo-mots (DAP) ainsi que diverses autres tâches prosodiques. À l'aide des enregistrements de certaines de ces tâches, des experts ont évalué la sévérité (degré d'altération du signal de parole) et l'intelligibilité de la production de parole des patients sur une échelle de 0 - forte altération - à 10 - discours parfait ; l'intelligibilité étant définie ici comme "la capacité d'un auditeur à reconnaître les mots et/ou les sons de la parole produite par le locuteur" (Astésano et al., 2018). Les enregistrements des tâches LEC et DAP sont utilisés pour tester nos modèles. Ils seront désignés ici par C2SI-LEC et C2SI-DAP. Pour correspondre à la sélection effectuée dans un travail précédent, nous testerons nos modèles sur 24 HC (parmi les locuteurs à disposition, tous n'ayant pas
réalisé les deux tâches C2SI-LEC et C2SI-DAP), tous enregistrés dans les mêmes conditions. Nous confronterons nos résultats aux évaluations perceptives incluant 82 patients parmi les 87 – 5 patients n'ont pas été évalués par les experts.

Le tableau 1 détaille le nombre de trames alignées sur les phonèmes utilisés pour chaque corpus, ainsi que le nombre d'heures qu'elles représentent. Étant donné que certaines trames se chevauchent, ce nombre d'heures est supérieur à la somme des durées des enregistrements. Cependant, cette valeur reflète ce que le modèle voit en entrée. Tous les corpus mentionnés ci-dessus sont alignés phonétiquement avec 31 phonèmes et un silence. Ces 31 phonèmes comprennent quatre archi-phonèmes : /Ê/ = {e, ɛ}, /Û/ = {œ, ø}, /Ô/ = {o, ɔ}, et /µ/ = {œ̃, ɛ̃}. L'utilisation de ces archi-phonèmes permet de neutraliser les oppositions de voyelles moyennes.

<table><caption>TABLE 1 – Usage, nombre de trames et durée totale des données audios pour chaque corpus utilisé.</caption><thead><tr><td>Corpus</td><td>Usage</td><td>#trames</td><td>#heures</td></tr></thead><tbody><tr><td>BREF</td><td>entraînement, validation</td><td>3,118k</td><td>110h</td></tr><tr><td>Common Phone</td><td>entraînement, validation</td><td>236k</td><td>8.3h</td></tr><tr><td>BREF-Int</td><td>test</td><td>85k</td><td>3h</td></tr><tr><td>C2SI-LEC (HC)</td><td>test</td><td>43k</td><td>1.5h</td></tr><tr><td>C2SI-DAP (HC)</td><td>test</td><td>73k</td><td>2.5h</td></tr></tbody></table>

## 3 Modèles

Le modèle de réseau neuronal convolutif choisi a été précédemment entraîné dans (Abderrazek et al., 2023) sur le corpus BREF décrit dans la section 2. Il est composé de deux couches de convolution combinées avec des couches de pooling maximales. L'entrée du modèle correspond à une fenêtre glissante de 11 trames acoustiques de 20ms espacées de 10ms, où chaque trame correspond à un vecteur Mel-Filterbanks extrait du signal audio, ainsi qu'à ses dérivées première et seconde. Le modèle a ainsi une fenêtre de 120ms centrée sur le phonème à prédire. Une fois le CNN appliqué, la sortie est ensuite aplatie avant d'être donnée en entrée de trois couches denses, détaillées ci-dessous. La sortie de ce modèle est notre *baseline*.

Concernant la partie Wav2Vec2, les modèles de LeBenchmark2.0 (Parcollet et al., 2023) sont utilisés. Comme nous allons appliquer ces modèles sur de la parole pathologique de locuteurs francophones dans la suite de nos travaux, nous avons ciblé les modèles Wav2Vec2 pré-entraînés exclusivement sur du français. En effet, combiner les phonèmes de plusieurs langues pourrait compliquer l'analyse entre les phonèmes sains et pathologiques. Les modèles LeBenchmark existent avec différentes architectures (6, 12, 24 ou 48 couches cachées) ainsi que des tailles de corpus de pré-entraînement différentes. Dans ce travail, nous comparerons les résultats obtenus avec des modèles contenant 6, 12 ou 24 couches cachées, respectivement appelés *light*, *base* et *large*, ainsi que pré-entraînés sur 3k ou 14k heures de parole française. Wav2Vec2 fonctionne avec des fenêtres de 25ms, espacées approximativement toutes les 20ms, ce qui implique un recouvrement de 5ms environ. Afin d'émuler la fenêtre de 120ms du CNN, nous donnons à Wav2Vec2 des fichiers audio correspondant à six fenêtres superposées de 25ms. Une telle architecture nous donne une fenêtre de 127ms environ, qui est très proche de la durée du contexte utilisé pour le CNN.

La sortie des modèles CNN ou Wav2Vec2, une fois aplatie, passe au travers de trois couches denses de dimension 1024, dédiées à la tâche de classification en phonèmes. La taille de la couche d'aplatissement dépend de la taille de la sortie de l'encodeur utilisé (CNN ou Wav2Vec2, et la taille
du modèle Wav2Vec2 choisi). Le phonème de sortie est ensuite sélectionné en appliquant un softmax sur les 32 valeurs de sortie.

Les corpus utilisés pour la phase d'entraînement ont été répartis de manière aléatoire en deux sous-ensembles équilibrés en termes de phonèmes : entraînement (90% des données) et validation (10% restants). Tous nos modèles Wav2Vec2 ont été affinés en utilisant l'outil SpeechBrain durant 15 époques (choix empirique). Le modèle présentant le meilleur taux d'erreur phonétique sur le jeu de validation a été choisi pour l'inférence sur les ensembles de données de test. Le classifieur utilise un optimiseur Adadelta avec un taux d'apprentissage initial de 0.9, pour améliorer une cross-entropy loss appliquée sur la classification de phonèmes. L'architecture de Wav2Vec2 - lorsqu'elle est affinée - utilise un optimiseur Adam avec un taux d'apprentissage initial de $1.10^{-4}$. Les recettes SpeechBrain sont disponibles publiquement sur un répertoire GitHub<fnref n="1" />.

# 4 Résultats expérimentaux

## 4.1 Comparaison des modèles Wav2Vec2

Des expériences ont été menées pour étudier l'impact des facteurs suivants : (1) l'affinage de Wav2Vec2, (2) les données de pré-entraînement, (3) la taille du modèle, et (4) les données d'affinage. Le tableau 2 résume les taux de bonne classification obtenus pour chaque modèle entraîné. Etant donné que la distribution des phonèmes n'est pas équilibrée dans les jeux C2SI, les taux ci-dessous sont équilibrés par phonème. Mathématiquement, il s'agit de la moyenne des taux de bonne classification obtenus pour chaque phonème. Ainsi, même lorsque ce n'est pas précisé, les taux de bonne classification sont systématiquement équilibrés.

Pour analyser l'impact de l'affinage de Wav2Vec2 (1), deux modèles 14k-large ont été utilisés, seulement l'un des deux ayant été affiné. En comparant ainsi les modèles 14k-large Frozen et 14k-large, nous pouvons observer que l'affinage améliore les taux de bonne classification sur les trois jeux de test, de manière significative (les intervalles de confiance ne se recouvrent pas). Ainsi, affiner un modèle Wav2Vec2 sur des données du même type est bénéfique au niveau de cette métrique.

Ensuite, l'impact des données de pré-entraînement (2) a été mesuré en utilisant des modèles LeBenchmark ayant différents corpus de pré-entraînement. Nous nous sommes appuyés sur les familles de modèles 3k et 14k, qui sont entraînés respectivement sur 3 000 et 14 000 heures de parole française. Ils incluent de la parole française lue, jouée, spontanée et professionnelle, avec du français neutre ou comportant un accent. Ces deux ensembles de données varient fortement au niveau de la variété d'accents présents. En effet, l'ensemble de pré-entraînement 3k contient principalement des livres audio et des émissions de radios françaises, avec moins de 1% de parole comportant un accent africain dont nous avons connaissance - les livres audio ne fournissent pas d'informations sur les accents de leurs locuteurs. Malheureusement, nous ne pouvons pas être certains que les locuteurs des radios françaises soient des locuteurs francophones. Cependant, l'ensemble de pré-entraînement 14k contient environ 4700 heures de parole issue du Parlement Européen, qui présentent au minimum trois accents supplémentaires - belge, suisse et italien d'Aoste, ainsi que des quantités plus négligeables de radios africaines, qui incluent des accents maliens et nigériens. D'après nos résultats, nous pouvons observer que l'ajout d'une variabilité linguistique au travers de différents accents français, n'apporte pas d'amélioration significative des taux de bonne classification.

<footnote n="1">1. github.com/MaloMn/wav2vec2-phone-classification</footnote>
<table><caption>TABLE 2 – Taux de bonne classification équilibrés (en %) obtenus sur chaque jeu de test. Les intervalles de confiances sont calculés avec une approche Bootstrap (Ferrer & Riera, 2024). Les taux obtenus pour le CNN ont été repris des travaux de (Abderrazek et al., 2023), et ne présentaient pas d'intervalle de confiance.</caption><thead><tr><th>Modèle</th><th>Jeu(x) d'affinage</th><th>BREF-Int ↑</th><th>C2SI-LEC ↑<br>(locuteurs HC)</th><th>C2SI-DAP ↑<br>(locuteurs HC)</th></tr></thead><tbody><tr><td>CNN, <i>Baseline</i></td><td>BREF</td><td>81.4</td><td>72.2</td><td>69.2</td></tr><tr><td>14k-large Frozen</td><td>BREF</td><td>83.5±0.2</td><td>66.9±0.6</td><td>66.9±0.4</td></tr><tr><td>14k-large</td><td>BREF</td><td>87.6±0.2</td><td>70.2±0.6</td><td>70.6±0.4</td></tr><tr><td>14k-light</td><td>BREF</td><td>81.8±0.2</td><td>57.0±0.6</td><td>57.3±0.4</td></tr><tr><td>3k-large</td><td>BREF</td><td><b>88.3±0.2</b></td><td>70.6±0.6</td><td>71.3±0.4</td></tr><tr><td>3k-base</td><td>BREF</td><td>84.9±0.2</td><td>48.1±0.6</td><td>50.1±0.4</td></tr><tr><td>14k-large</td><td>BREF, CP</td><td>87.4±0.2</td><td>72.1±0.5</td><td>73.3±0.4</td></tr><tr><td>14k-light</td><td>BREF, CP</td><td>82.9±0.3</td><td>64.1±0.6</td><td>63.7±0.4</td></tr><tr><td>3k-large</td><td>BREF, CP</td><td><b>88.3±0.2</b></td><td><b>72.6±0.6</b></td><td><b>73.9±0.4</b></td></tr><tr><td>3k-base</td><td>BREF, CP</td><td>84.9±0.2</td><td>61.4±0.6</td><td>62.5±0.4</td></tr></tbody></table>

En ce qui concerne la taille du modèle, plusieurs tailles de modèles LeBenchmark (3) ont été testées : *light*, *base* et *large*, avec respectivement 6, 12 et 24 couches cachées. Nos résultats montrent qu'utiliser un modèle *large* (avec 24 couches cachées) offre de meilleurs taux de bonne classification que des modèles plus petits (6 et 12 couches cachées), et ce de manière significative. Malheureusement, comme LeBenchmark ne propose ni de modèles 14k-base et 3k-light, nous ne pouvons pas comparer les performances des modèles 3k-base et 14k-light. Néanmoins, nos résultats semblent montrer que les modèles plus petits ont un pouvoir de généralisation plus faible que les plus gros modèles sur nos jeux de données C2SI non vus des modèles.

Enfin, pour analyser l'impact des jeux d'affinage (4), nous ajoutons un jeu d'entraînement supplémentaire. Le travail antérieur utilisait exclusivement l'ensemble de données BREF pour entraîner l'architecture CNN. Tous les modèles mentionnés ci-dessus ont donc été ré-entraînés en combinant les corpus BREF et Common Phone. D'après les résultats obtenus, l'ajout de discours lu provenant d'autres corpus dans le processus d'affinage améliore la généralisation aux deux ensembles de données C2SI sur tous les modèles que nous avons affinés de manière significative. Les taux de bonne classification sont également similaires sur l'ensemble de données BREF-Int : les intervalles de confiance se chevauchent tous, sauf pour le modèle *14k-light*, qui est significativement meilleur une fois affiné sur la combinaison de BREF et Common Phone. Ainsi, il semble intéressant d'inclure d'autres ensembles de données à l'étape d'affinage, même s'ils ne représentent pas un pourcentage important des données d'entraînement.

## 4.2 Wav2Vec2 et CNN

Le meilleur modèle Wav2Vec, par rapport aux résultats évoqués ci-dessus, nous permet d'améliorer de 6.9% les taux de bonne classification sur BREF-Int par rapport au CNN. Sur C2SI-LEC, la différence n'est pas significative. En revanche, on observe une différence significative sur C2SI-DAP, avec une amélioration de 4.7%. En comparant le nombre de paramètres des modèles que nous manipulons, il est intéressant de noter que le meilleur modèle Wav2Vec2 compte 330 millions de paramètres, contre 10 millions pour le CNN. Aussi, les modèles Wav2Vec2 plus petits *base* et *light* – ayant
<figure><img src="image_124.png" /><figcaption>FIGURE 1 – Matrices de confusion obtenues sur les jeux BREF-Int – figures 1a et 1c – et C2SI-LEC – figures 1b et 1d – (locuteurs HC uniquement).</figcaption></figure>

<figure><img src="image_125.png" /><figcaption>FIGURE 2 – Nuages de points des patients et HC C2SI suivant les niveaux associés aux évaluations perceptives des experts et les taux de bonne classification équilibrés obtenus.</figcaption></figure>

respectivement 90 et 26 millions de paramètres – ne parviennent pas à généraliser aussi bien que le CNN sur les jeux C2SI. Cet écart est important, mais ces deux types de modèles ne présentent pas non plus la même architecture, et une comparaison basée uniquement sur le nombre de paramètres serait biaisée. Néanmoins, cette différence de taille implique que l'empreinte carbone de nos inférences sera nécessairement plus élevée lors de l'utilisation de modèles Wav2Vec2. A propos des jeux de données utilisés, le meilleur modèle a été entraîné sur davantage de données que le CNN. Nos résultats montrent aussi qu'utiliser uniquement BREF lors de l'affinage ne permet pas de généraliser aussi bien que le CNN sur les jeux C2SI.

Pour nous assurer que nos modèles ne sur-ajustent pas certains phonèmes, et que les confusions restent explicables, des matrices de confusion ont été générées sur BREF-Int et C2SI-LEC, en utilisant le modèle *3k-large* affiné sur BREF et Common Phone. Les figures 1a à 1d présentent des parties spécifiques de ces matrices, dédiées aux phonèmes obstruants et vocaliques. Le choix de restreindre notre analyse à ces phonèmes nous permet de réaliser une comparaison directe avec l'analyse effectuée dans (Abderrazek et al., 2023). La comparaison entre les résultats obtenus et ceux obtenus précédemment montre que Wav2Vec2 diminue dans la plupart des cas les confusions observées. Sur les phonèmes obstruants, /s/ était confondu avec /f/ dans 9% des cas sur BREF-Int sur le précédent travail, contre 4.6% maintenant. La confusion entre ces deux phonèmes est donc toujours présente, mais elle survient dans la moitié des cas par rapport à précédemment. Cette diminution se retrouve aussi sur le jeu C2SI : alors que /p/ était précédemment confondu avec /t/ dans 9.3% des cas, ce n'est le cas que 2.2% du temps avec notre architecture. Nous retrouvons également ici
les mêmes causes pour les confusions importantes : soit la perte du lieu d'articulation (caractère aigu - /f/ → /s/, caractère compact - /ʃ/ → /s/), soit la confusion du voisement - /t/ → /d/. Sur les phonèmes vocaliques, nous retrouvons également de fortes confusions liées aux voyelles orales et aux consonnes nasales sur le jeu C2SI-LEC. Là où /ã/ et /a/ étaient confondus dans 11.5% des cas, ils le sont toujours dans 10.1% des cas. /ã/ est aussi davantage confondu maintenant avec /n/ (13.1%, contre 8.4% précédemment), et est moins confondu avec /m/ (2.5%, contre 6.2% précédemment). Ces confusions, expliquées précédemment par le changement d'accents des locuteurs (Parisien.ne.s pour BREF-Int, et Toulousain.e.s pour C2SI) se retrouvent ici, avec l'utilisation d'un autre modèle. Nos résultats viennent donc appuyer les résultats précédemment obtenus, et montrent que les données utilisées pour l'affinage et les différences de domaine entre jeux de données restent une problématique non négligeable pour ce type d'architecture. Sur BREF-Int, nous retrouvons également une confusion forte entre /ã/ et /ç/, avec une confusion mutuelle de 16.4%, mais moins intense qu'en utilisant un CNN - 20.6%. Ces résultats sont importants car ils montrent que notre modèle est aussi sensible aux prononciations atypiques (ici, un accent régional), ce qui est souhaitable lors de l'analyse de la parole pathologique.

## 4.3 Application à la parole pathologique

La robustesse de notre modèle, ainsi que sa capacité à généraliser à d'autres jeux de données ayant été montrées, nous allons observer si les taux de bonne classification peuvent corréler positivement avec les évaluations des 6 experts de C2SI. Les jugements des experts, en termes de scores de sévérité et d'intelligibilité sur la tâche de description d'image (DES) ont été moyennés, puis comparés aux taux de bonne classification. Les figures 2a et 2b comparent sous la forme de nuages de points les scores perceptifs et les taux de bonne classification associés aux enregistrements de parole des patients et HC du corpus C2SI. Les courbes de régression linéaire ont également été tracées. Les coefficients de corrélation de Pearson élevés - 0.90 avec la sévérité et 0.80 avec l'intelligibilité - confirment que les mesures perceptives peuvent être estimées à l'aide des taux de bonne classification équilibrée des phonèmes de notre modèle *3k-large* affiné sur BREF et Common Phone. Ces valeurs sont semblables à celles obtenues précédemment avec le CNN (Abderrazek et al., 2023) dont les taux de bonne classification en phonèmes corrélaient à 0.91 et 0.81 avec la sévérité et l'intelligibilité respectivement. Ces derniers résultats confirment qu'une représentation de la parole basée sur un modèle de type Wav2Vec2 convient bien à une analyse phonétique de la parole pathologique.

# 5 Conclusion

Dans ce travail, nous avons montré qu'un modèle basé sur Wav2Vec2 surpasse un CNN dans la classification des phonèmes, tout en préservant certaines spécificités linguistiques, telles qu'un accent régional. Nos résultats valident non seulement l'efficacité de l'approche basée sur Wav2Vec2, mais soulignent également l'importance de prendre en compte l'architecture du modèle et la diversité des données d'entraînement pour des performances optimales. Les travaux futurs incluent l'application du concept de NCD développé dans (Abderrazek et al., 2023) pour analyser les couches cachées de notre architecture affinée, et analyser comment ce nouveau modèle influence la détection des traits phonétiques, qui sont cruciaux pour expliquer les phonèmes prédits. À son tour, cette interprétabilité est nécessaire pour avoir une analyse objective de la parole d'un patient, ce qui améliorerait les techniques de rééducation mises en place par les cliniciens.
Références

ABDERRAZEK S., FREDOUILLE C., GHIO A., LALAIN M., MEUNIER C. & WOISARD V. (2023).
Interpreting deep representations of phonetic features via neuro-based concept detector : Application
to speech disorders due to head and neck cancer. *IEEE/ACM Transactions on Audio, Speech, and
Language Processing, **31*, 200–214. doi : 10.1109/TASLP.2022.3221039.

ASTÉSANO C., BALAGUER M., FARINAS J., FREDOUILLE C., GAILLARD P., GHIO A., LAARIDH I., LALAIN M., LEPAGE B., MAUCLAIR J., NOCAUDIE O., PINQUIER J., PONT O., POUCHOULIN G., PUECH M., ROBERT D., SICARD E. & WOISARD V. (2018). Carcinologic speech severity index project : A database of speech disorder productions to assess quality of life related to speech after cancer. In N. CALZOLARI, K. CHOUKRI, C. CIERI, T. DECLERCK, S. GOGGI, K. HASIDA, H. ISAHARA, B. MAEGAARD, J. MARIANI, H. MAZO, A. MORENO, J. ODIJK, S. PIPERIDIS & T. TOKUNAGA, Éds., *Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018)*, Miyazaki, Japan : European Language Resources Association (ELRA).

DARLEY F. L., ARONSON A. E. & BROWN J. R. (1969). Clusters of deviant speech dimensions in the dysarthrias. *Journal of Speech and Hearing Research, **12*(3), 462–496. DOI: 10.1044/jshr.1203.462.

FAVARO A., TSAI Y.-T., BUTALA A., THEBAUD T., VILLALBA J., DEHAK N. & MORO-
VELÁZQUEZ L. (2023). Interpretable speech features vs. dnn embeddings : What to use in the
automatic assessment of parkinson's disease in multi-lingual scenarios. *Computers in Biology and
Medicine, **166***, 107559. DOI : https://doi.org/10.1016/j.compbiomed.2023.107559.

FERRER L. & RIERA P. (2024). Confidence Intervals for evaluation in machine learning.

HERNANDEZ A., PÉREZ-TORO P. A., NOETH E., OROZCO-ARROYAVE J. R., MAIER A. & YANG S. H. (2022). Cross-lingual Self-Supervised Speech Representations for Improved Dysarthric Speech Recognition. In *Proc. Interspeech 2022*, p. 51–55. DOI: 10.21437/Interspeech.2022-10674.

JAVANMARDI F., KADIRI S. R. & ALKU P. (2024). Pre-trained models for detection and se-
verity level classification of dysarthria from speech. *Speech Communication*, p. 103047. DOI : https://doi.org/10.1016/j.specom.2024.103047.

KLUMPP P., ARIAS T., PÉREZ-TORO P. A., NOETH E. & OROZCO-ARROYAVE J. (2022). Common phone : A multilingual dataset for robust acoustic modelling. In N. CALZOLARI, F. BÉCHET, P. BLACHE, K. CHOUKRI, C. CIERI, T. DECLERCK, S. GOGGI, H. ISAHARA, B. MAEGAARD, J. MARIANI, H. MAZO, J. ODIJK & S. PIPERIDIS, Éds., *Proceedings of the Thirteenth Language Resources and Evaluation Conference*, p. 763–768, Marseille, France : European Language Resources Association.

LAMEL L. F., GAUVAIN J.-L., ESKÉNAZI M. et al. (1991). Bref, a large vocabulary spoken corpus for french. *Eurospeech'91, Italy*, **22**(28), 50.

LUNDBERG S. M. & LEE S.-I. (2017). A unified approach to interpreting model predictions.
In I. GUYON, U. V. LUXBURG, S. BENGIO, H. WALLACH, R. FERGUS, S. VISHWANATHAN
& R. GARNETT, Éds., *Advances in Neural Information Processing Systems*, volume 30 : Curran
Associates, Inc.

PARCOLLET T., NGUYEN H., EVAIN S., BOITO M. Z., PUPIER A., MDHAFFAR S., LE H., ALISAMIR S., TOMASHENKO N., DINARELLI M., ZHANG S., ALLAUZEN A., COAVOUX M., ESTEVE Y., ROUVIER M., GOULIAN J., LECOUTEUX B., PORTET F., ROSSATO S., RINGEVAL F., SCHWAB D. & BESACIER L. (2023). LifeBenchmark 2.0 : a standardized, replicable and enhanced framework for self-supervised representations of french speech.
TOM DIECK T., PÉREZ-TORO P. A., ARIAS T., NOETH E. & KLUMPP P. (2022). Wav2vec behind the Scenes: How end2end Models learn Phonetics. In *Proc. Interspeech 2022*, p. 5130–5134. DOI: 10.21437/Interspeech.2022-10865.

TU M., BERISHA V. & LISS J. (2017). Interpretable Objective Assessment of Dysarthric Speech Based on Deep Neural Networks. In *Proc. Interspeech 2017*, p. 1849–1853. DOI: 10.21437/Interspeech.2017-1222.

XU L., LISS J. & BERISHA V. (2023). Dysarthria detection based on a deep learning model with a clinically-interpretable layer. *JASA Express Letters*, 3(1), 015201. DOI: 10.1121/10.0016833.

YEO E. J., CHOI K., KIM S. & CHUNG M. (2023a). Automatic severity classification of dysarthric speech by using self-supervised model with multi-task learning. In *ICASSP 2023 - 2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*, p. 1–5. DOI: 10.1109/ICASSP49357.2023.10094605.

YEO E. J., CHOI K., KIM S. & CHUNG M. (2023b). Speech intelligibility assessment of dysarthric speech by using goodness of pronunciation with uncertainty quantification. In *Proc. INTERSPEECH 2023*, p. 166–170. DOI: 10.21437/Interspeech.2023-173.
# Audiocite.net: Un grand corpus d'enregistrements vocaux de lecture en Français

Soline Felice* Solène Evain Solange Rossato François Portet

Univ. Grenoble Alpes, CNRS, Grenoble INP, LIG, 38000 Grenoble, France
solene.evain, solange.rossato, francois.portet@univ-grenoble-alpes.fr,
soline.felice@univ-tlse2.fr

## RÉSUMÉ

L'arrivée de l'apprentissage auto-supervisé dans le domaine du traitement automatique de la parole a permis l'utilisation de grands corpus non étiquetés pour obtenir des modèles pré-appris utilisés comme encodeurs des signaux de parole pour de nombreuses tâches. Toutefois, l'application de ces méthodes de SSL sur des langues telles que le français s'est montrée difficile due à la quantité limitée de corpus de parole du français publiquement accessible. C'est dans cet objectif que nous présentons le corpus Audiocite.net comprenant 6 682 heures d'enregistrements de lecture par 130 locuteurs et locutrices. Ce corpus est construit à partir de livres audio provenant du site *audiocite.net*. En plus de décrire le processus de création et les statistiques obtenues, nous montrons également l'impact de ce corpus sur les modèles du projet LeBenchmark dans leurs versions 14k pour des tâches de traitement automatique de la parole.

## ABSTRACT

Audiocite.net : A Large Spoken Read Dataset in French

The advent of self-supervised learning (SSL) in speech processing has allowed the use of large unlabeled datasets to learn pre-trained models, serving as powerful encoders for various downstream tasks. However, the application of these SSL methods to languages such as French has proved difficult due to the scarcity of large French speech datasets. To advance the emergence of pre-trained models for French speech, we present the Audiocite.net corpus composed of 6 682 hours of recordings from 130 readers. This corpus is built from audiobooks from the *audiocite.net* website. In addition to describing the creation process and final statistics, we also show how this dataset impacted the models of LeBenchmark project in its 14k version for speech processing downstream tasks.

**MOTS-CLÉS** : Ensembles de données vocales, apprentissage auto-supervisé, traitement automatique de la parole.

**KEYWORDS:** Spoken Datasets, French Speech, Self Supervised Learning, Automatic Speech Processing.

## 1 Introduction

L'arrivée de l'apprentissage auto-supervisé (*Self-Supervised Learning* – SSL) dans le domaine du traitement automatique de la parole a permis l'utilisation de grands corpus non étiquetés pour obtenir

<figure><img src="image_126.png" /></figure>

<footnote>* maintenant à l'IRIT, Univ. Toulouse 2 Jean Jaurès.</footnote>
des modèles pré-appris.

De nombreux modèles profonds pré-appris modélisant le signal acoustique de la parole ont émergé
utilisant l’apprentissage auto-supervisé génératif (PASE+ (Ravanelli et al., 2020), Mockingjay (Liu
et al., 2020)); une fonction de coût contrastive (CPC (Oord et al., 2019), Speech SimCLR (Jiang et al.,
2021), Wav2Vec 2.0 (Baevski et al., 2020)); ou prédictive (HuBERT (Hsu et al., 2021), wavLM
(Chen et al., 2022), data2vec (Baevski et al., 2022)) (Abdel-Rahman et al., 2022). Ces modèles ont
fait avancer les performances du traitement de la parole en les adaptant et utilisant comme encodeurs
pour les tâches de traitement automatique de la parole (downstream tasks). Par exemple, Wav2Vec 2.0
a pu atteindre des résultats à l’état de l’art avec un modèle pré-appris puis ajusté avec un minimum
de données étiquetées pour une tâche de reconnaissance automatique de la parole (RAP) dans un
contexte de lecture en anglais.

Les modèles pré-appris par SSL dépendent fortement de la disponibilité d'une grande quantité
de données d'apprentissage. Bien que plusieurs grands ensembles de données pour l'anglais et
multilingues ont été publiés, des ensembles de données aussi volumineux pour le français sont rares.
Jusqu'à récemment, il était difficile de trouver de grands ensembles de données de parole française
disponibles publiquement (à l'exception des 1,700 heures de parole transcrites automatiquement
d'EPAC par (Estève et al., 2010)). Récemment, de grands corpus multilingues incluant le français
ont été rendus disponibles, tels que MLS (1,096 h) (Pratap et al., 2020), ou VoxPopuli (non transcrit
+4,500 h) (Wang et al., 2021). Cependant, ces ensembles de données représentent toujours une quantité
bien inférieure à ce qui est disponible pour l'anglais. Le multilinguisme a été souligné comme un
moyen de traiter les langues sous-dotées, mais l'étude menée dans le projet LeBenchmark (Parcollet
et al., 2024) visant à créer des modèles de parole pré-appris pour le français a montré que les modèles
entraînés sur des données cibles monolingues sont bien plus efficaces que ceux multilingues.

Dans cet article, nous présentons Audiocite.net, un corpus non transcrit d'environ 6 600 heures d'enregistrements de parole lue en français, disponible librement pour la communauté. Nous décrivons la sélection et l'acquisition des données (voir sec. 2) ainsi que les principales caractéristiques de la publication du jeu de données (sec. 3). Nous montrons également comment ce jeu de données a impacté le modèle de 14k du projet LeBenchmark 2.0 (Parcollet et al., 2024) pour certaines tâches de traitement de la parole, notamment la reconnaissance automatique de la parole lue (sec. 4).

Cet article est l'adaptation vers le français d'un article publié à LREC/COLING 2024 (Felice et al., 2024).

2 Sélection et acquisition des données

Les grands corpus de parole proviennent souvent de l'extraction de contenus libres sur le web, comme Librispeech, extrait du projet LibriVox (Panayotov et al., 2015). Cependant, les oeuvres publiées en France ne deviennent disponibles dans le domaine public que 70 ans après le décès de leurs auteurs et autrices, rendant les livres plus modernes publiés après 1953 inaccessibles. Pour surmonter cette limitation, l'initiative Common Voice (Ardila et al., 2020) a été mise en place par la fondation Mozilla pour capturer la parole lue en utilisant des phrases collectées sur le web. En quatre ans, environ 1,100 heures de segments de phrases ont été collectées en Français. Pour rassembler un plus grand volume de parole lue continue, allant de la littérature classique à la moderne et librement accessible, nous avons décidé de nous concentrer sur le site audiocite.net.
<table><caption>TABLE 1 – Statistiques (durées et nombre de fichiers) par catégorie de livres avec les détails des partitions (all, train / dev / test)</caption><thead><tr><th rowspan="2">Catégorie</th><th colspan="4"># Fichiers</th><th colspan="4">Durée (hh:mm:ss)</th></tr><tr><th>All</th><th>Train</th><th>Dev</th><th>Test</th><th>All</th><th>Train</th><th>Dev</th><th>Test</th></tr></thead><tbody><tr><td>animaux</td><td><strong>160</strong></td><td>108</td><td>31</td><td>21</td><td><strong>26:49:04</strong></td><td>16:12:46</td><td>05:33:54</td><td>05:02:23</td></tr><tr><td> juniors</td><td><strong>35</strong></td><td>18</td><td>7</td><td>10</td><td><strong>04:56:39</strong></td><td>01:45:14</td><td>00:41:59</td><td>02:29:24</td></tr><tr><td>charme</td><td><strong>166</strong></td><td>166</td><td>0</td><td>0</td><td><strong>33:02:05</strong></td><td>33:02:05</td><td>00:00:00</td><td>00:00:00</td></tr><tr><td> contes</td><td><strong>2430</strong></td><td>1711</td><td>415</td><td>304</td><td><strong>490:40:12</strong></td><td>325:44:09</td><td>94:56:54</td><td>69:59:08</td></tr><tr><td> cuisine</td><td><strong>39</strong></td><td>35</td><td>3</td><td>1</td><td><strong>02:44:47</strong></td><td>02:19:18</td><td>00:13:37</td><td>00:11:51</td></tr><tr><td> documents</td><td><strong>1494</strong></td><td>1191</td><td>181</td><td>122</td><td><strong>367:17:28</strong></td><td>265:35:35</td><td>58:22:12</td><td>43:19:41</td></tr><tr><td> histoire</td><td><strong>1341</strong></td><td>1167</td><td>99</td><td>75</td><td><strong>397:33:01</strong></td><td>333:51:58</td><td>33:19:12</td><td>30:21:50</td></tr><tr><td> nouvelles</td><td><strong>2772</strong></td><td>1721</td><td>534</td><td>517</td><td><strong>721:09:55</strong></td><td>375:11:21</td><td>167:15:11</td><td>178:43:21</td></tr><tr><td> philosophies</td><td><strong>1052</strong></td><td>773</td><td>53</td><td>226</td><td><strong>181:04:51</strong></td><td>117:50:07</td><td>17:02:07</td><td>46:12:36</td></tr><tr><td> planete-actuelle</td><td><strong>145</strong></td><td>145</td><td>0</td><td>0</td><td><strong>18:27:20</strong></td><td>18:27:20</td><td>00:00:00</td><td>00:00:00</td></tr><tr><td> poesies</td><td><strong>2274</strong></td><td>1956</td><td>160</td><td>158</td><td><strong>116:09:42</strong></td><td>84:37:27</td><td>14:41:07</td><td>16:51:07</td></tr><tr><td> religions</td><td><strong>777</strong></td><td>777</td><td>0</td><td>0</td><td><strong>213:21:47</strong></td><td>213:21:47</td><td>00:00:00</td><td>00:00:00</td></tr><tr><td> romans</td><td><strong>14664</strong></td><td>13088</td><td>713</td><td>863</td><td><strong>3943:54:09</strong></td><td>3377:46:53</td><td>267:58:14</td><td>298:09:01</td></tr><tr><td> science-fiction</td><td><strong>478</strong></td><td>349</td><td>117</td><td>12</td><td><strong>122:03:39</strong></td><td>87:48:10</td><td>28:16:00</td><td>05:59:28</td></tr><tr><td> theatre</td><td><strong>658</strong></td><td>603</td><td>19</td><td>36</td><td><strong>42:45:29</strong></td><td>36:58:06</td><td>02:35:49</td><td>03:11:34</td></tr><tr><td>Tout</td><td><strong>28485</strong></td><td>23808</td><td>2332</td><td>2345</td><td><strong>6682:00:18</strong></td><td>5290:32:24</td><td>690:56:22</td><td>700:31:31</td></tr></tbody></table>

Audiocité est une association à but non lucratif qui met à disposition une plate-forme où les bénévoles peuvent partager leurs lectures. Avant leur première contribution, les bénévoles doivent passer un test de lecture afin d'évaluer leur prononciation, leur rythme de lecture, les conditions d'enregistrement et le format final du fichier audio. Des conseils de post-traitement sont fournis selon les besoins (par exemple, pour réduire les bruits de respiration). Les enregistrements comprennent environ 5 000 livres audio d'œuvres littéraires classiques issues du domaine public en français (Balzac, Hugo, Maupassant, Molière...) et environ 700 livres audio d'auteurs et autrices de l'époque contemporaine qui ont choisi de partager librement leurs oeuvres (Brussolo, Huchon, Del, Martin, Fée ...).

## 2.1 Critères de sélection des livres audio

Pour qu'un corpus soit utile et serve la recherche reproductible, il devrait idéalement être à la fois accessible et gratuit. Sur le site web, tous les livres audio sont distribués sous une licence Creative Commons, car, avant de déposer leur enregistrement, les personnes doivent prendre en compte les droits d'auteur qui confèrent à l'auteur ou autrice du livre les droits exclusifs d'utiliser, de copier, de licencier, d'exécuter et de modifier l'œuvre. Ainsi, les lecteurs et lectrices sont autorisés à lire des livres du domaine public (c'est-à-dire sans droits d'auteur) ou des livres contemporains dont les auteurs et autrices ont donné l'autorisation d'enregistrer leur texte et de le distribuer sur audiocite.net sous une licence spécifique.
## 2.2 Processus de téléchargement

Les données ont été collectées en deux étapes en novembre 2021. L'administrateur du site web a aimablement donné son aval. Dans un premier temps, tout le catalogue du site a été extrait afin de collecter toutes les métadonnées concernant chaque livre audio (œuvre originale, sujet, auteurs/autrices, lecteurs/lectrices, licence...). Dans un second temps, tous les fichiers audio ont été téléchargés ce qui a pris environ une semaine. Les fichiers téléchargés étaient soit au format MP3, soit dans des archives zip. Par la suite, les enregistrements audio qui ne répondaient pas aux critères d'une durée supérieure à 5 secondes ou qui étaient fournis sans licence permettant leur utilisation ont été retirés. Quelques livres audio avec des URL défectueuses ont également été exclus.

## 2.3 Données recueillies

Au total, 6,682 heures de livres audio lus par 130 locuteurs et locutrices, dont 70 hommes (62%), 51 femmes (34%) et 9 personnes dont le genre n'a pu être identifié (4%) ont été collectées. Cela correspond à une taille totale de 340 Go de fichiers audio et de métadonnées. Le tableau 1 indique le nombre de fichiers et la durée des fichiers audio pour chaque catégorie de livre.

**Fichiers audio** : Il convient de mentionner que sur les 4,378 livres audio, 388 étaient directement hébergés par *audiocite.net*, tandis que les 3,990 restants étaient hébergés sur des instances de *archive.org*. Contrairement aux lignes directrices données, les enregistrements peuvent être mono ou stéréo, et des variations dans les débits binaires ou les taux d'échantillonnage peuvent également être constatés. Certains enregistrements peuvent contenir une succession de plusieurs locuteurs et locutrices et des bruits de fond ou de la musique. En outre, tous les enregistrements n'impliquent pas nécessairement la lecture de livres publiés ; certains sont des articles ou des podcasts.

**Métadonnées** : Parallèlement aux fichiers audio, des métadonnées ont été téléchargées, telles que la durée de chaque fichier audio, l'identifiant du locuteur ou de la locutrice, le titre du livre lu, l'auteur ou l'autrice du livre, la catégorie du livre et la licence liée à l'audio. Ces informations ont été fournies par les locuteurs et locutrices eux-mêmes sur la page web de chaque livre audio de *audiocite.net*.

# 3 Organisation du corpus Audiocite.net

Bien que l'un des principaux usages envisagés pour ce jeu de données soit l'apprentissage auto-supervisé, nous anticipons également d'autres utilisations. En effet, même s'il n'est pas transcrit, le jeu de données pourrait être utilisé pour la modélisation thématique, la reconstruction de signaux ou la synthèse vocale. C'est pourquoi nous l'avons publié avec des partitions officielles et des fichiers de métadonnées faciles à interroger.

## 3.1 Estimation du genre des locuteurs et locutrices

Pour minimiser les biais dans les partitions, nous avons déduit le genre des locuteurs et locutrices en fonction de leurs identifiants ou en écoutant leurs voix. Cette information a été ajoutée aux métadonnées. Cependant, nous ne garantissons pas que l'information soit fiable ni que la méthode
utilisée soit viable pour déduire le genre d'une personne puisqu'elle n'est pas basée sur l'auto-identification de celle-ci. Les métadonnées concernant le genre doivent être traitées avec prudence.

## 3.2 Partitions des données

Le jeu de données a été divisé en trois partitions : une partition d'apprentissage (train) comprenant 80% des enregistrements, une partition de développement (dev) en comprenant 10%, et une partition de test (test) comprenant les 10% restants. Le tableau 2 fournit les statistiques de durée par genre pour chaque sous-ensemble.

<table><caption>TABLE 2 – Statistiques du corpus Audiocite.net - Nombre de fichiers, de personnes (locuteurs/locutrices) et durée par genre (tous, femme, homme et inconnu) par partitions</caption><thead><tr><th># Personnes</th><th>Durée Totale</th><th>Durée Moyenne</th><th># Fichiers</th></tr></thead><tbody><tr><td colspan="4" style="text-align: center; font-weight: bold;">TRAIN</td></tr><tr><td>74 T</td><td>5290 :32 :24</td><td>00 :13 :19</td><td>23808</td></tr><tr><td>35 F</td><td>1577 :23 :53</td><td>00 :16 :54</td><td>5600</td></tr><tr><td>30 H</td><td>3431 :01 :21</td><td>00 :11 :52</td><td>17329</td></tr><tr><td>9 I</td><td>282 :07 :09</td><td>00 :19 :15</td><td>879</td></tr><tr><td colspan="4" style="text-align: center; font-weight: bold;">DEV</td></tr><tr><td>78 T</td><td>690 :56 :22</td><td>00 :17 :46</td><td>2332</td></tr><tr><td>44 F</td><td>344 :14 :51</td><td>00 :15 :40</td><td>1317</td></tr><tr><td>34 H</td><td>346 :41 :31</td><td>00 :20 :29</td><td>1015</td></tr><tr><td colspan="4" style="text-align: center; font-weight: bold;">TEST</td></tr><tr><td>61 T</td><td>700 :31 :31</td><td>00 :17 :55</td><td>2345</td></tr><tr><td>38 F</td><td>350 :39 :38</td><td>00 :15 :39</td><td>1344</td></tr><tr><td>23 H</td><td>349 :51 :53</td><td>00 :20 :58</td><td>1001</td></tr><tr><td colspan="4" style="text-align: center; font-weight: bold;">ALL</td></tr><tr><td>130 T</td><td>6682 :00 :18</td><td>00 :14 :04</td><td>28485</td></tr><tr><td>70 F</td><td>2272 :18 :23</td><td>00 :16 :30</td><td>8261</td></tr><tr><td>51 H</td><td>4127 :34 :45</td><td>00 :12 :48</td><td>19345</td></tr><tr><td>9 I</td><td>282 :07 :09</td><td>00 :19 :15</td><td>879</td></tr></tbody></table>

Les partitions de développement et de test ont été conçues pour ne pas inclure de contenu potentiellement sensible, spécifiquement ceux relevant des catégories *charmes* (érotique), *planete-actuelle* (géopolitique) et *religion*. De plus, pour ces partitions, une représentation égale de la parole masculine et féminine a été assurée et les fichiers dont le genre de la personne était inconnu n'ont pas été inclus. Le tableau 1 indique le nombre de fichiers et la durée pour chaque catégorie de livre pour les partitions d'apprentissage, de développement et de test.

## 3.3 Organisation de l'ensemble de données

Le jeu de données est organisé comme suit : nous partageons un fichier README et une fiche technique (inspirée par *Datasheet for datasets*, (Gebru et al., 2021)) où l'on peut trouver des statistiques détaillées, ainsi que des précisions sur la composition, l'utilisation et la distribution du corpus, et trois dossiers (`wavs/`, `scripts/` et `metadata/`). Dans le dossier `wavs/`, les fichiers de livres audio sont rangés dans des dossiers selon le titre du livre lu, triés par ordre alphabétique. Nous fournissons également un dossier `scripts/` avec des scripts pour générer des statistiques sur le corpus et les fichiers json fournis. Concernant le dossier `metadata/`, deux types de fichiers de métadonnées sont partagés avec le jeu de données : `.csv` et `.json`.
**Fichier download.csv** : Chaque livre audio possède une entrée dans le fichier csv. Nous fournissons également des informations tels que l'identifiant du locuteur ou de la locutrice, le titre du livre lu, l'auteur ou l'autrice du livre, le genre du livre, la licence de l'enregistrement, l'adresse URL du livre audio sur audiocite.net et le chemin vers le fichier audio dans le dossier wav.s.

**Fichiers json** : Nous fournissons quatre fichiers json : *train.json*, *dev.json*, *test.json* et *all.json*, ce dernier étant une concatenation des trois précédents. Dans ces fichiers, une entrée correspond à un fichier audio (un livre audio peut contenir plusieurs fichiers audio). Ces fichiers contiennent l'identifiant du locuteur ou de la locutrice, la durée du fichier audio en secondes, le chemin d'accès vers le fichier dans le dossier wav.s et le genre du locuteur ou de la locutrice (F/M/U). Une entrée json prend la forme suivante :

```json
"Raiponce.mp3": {
  "path": "../wavs/Raiponce/Raiponce.mp3",
  "trans": "",
  "duration": 471.552,
  "spk_id": "Demelza",
  "spk gender": "F"
},
```

# 4 Impact de Audiocite.net sur les tâches de traitement automatique de la parole

Le jeu de données collecté a été partagé avec l'équipe LeBenchmark pour entraîner leurs modèles 14k (Parcollet et al., 2024). Dans cette section, nous avons comparé la performance du modèle 14k à celle du modèle 7k, qui n'a pas été entraîné sur le corpus. Nous rapportons les taux d'erreur de mots (WER) pour les systèmes de reconnaissance automatique de la parole (RAP) sur un jeu de données du même type de parole et de situation (livre audio), mais aussi les résultats de reconnaissance automatique de la parole et de vérification de locuteur issus de Parcollet et al. (2024).

## 4.1 Modèles LeBenchmark

**Modèle 7k-large** : Ce modèle a été entraîné sur 7,000 h de parole, incluant 1,626 h de radio, 1,115 h de parole lue, 127 h de parole spontanée, 38 h de dialogue téléphonique joué et 29 h de parole émotionnelle jouée.

**Modèle 14k-large** : Ce modèle a été entraîné sur 14,000 h de parole contenant les données utilisées pour le modèle 7k plus l'intégralité des données de Audiocite.net (toutes les partitions), ainsi que 111 h de parole issues de diffusions radiophoniques.

## 4.2 Expérimentations de Reconnaissance Automatique de la Parole (RAP)

En utilisant la recette CTC (Connectionist Temporal Classification) de SpeechBrain pour Common Voice<fnref n="1" />, nous avons composé un système de RAP avec LeBenchmark (Wav2Vec2) en encodeur suivi d'une couche de BiLSTM et d'une dernière couche de DNN. Nous avons utilisé les partitions

<footnote n="1">1. https://github.com/speechbrain/speechbrain/tree/develop/recipes/CommonVoice/ASR/CTC</footnote>
officielles de la partie française du corpus *Multilingual Librispeech* (MLS), allouant 1,076.58 h pour l'apprentissage, 10.07 h pour le développement et 10.07 h pour les tests. Deux scénarios ont été utilisés dans l'expérience : (1) avec l'encodeur LeBenchmark figé (c'est-à-dire sans ajustement) ou (2) avec ajustement de l'encodeur (c'est-à-dire avec ajusté en même temps que le modèle de RAP). Pour l'apprentissage de la RAP, les taux d'apprentissage ont été initialisés à 0,001 pour le modèle Wav2Vec2 et à 0,1 pour la partie BiLSTM+DNN, et un recuit a été utilisé avec des facteurs de 0,9 et 0,8 respectivement. Dans le cas de l'ajustement complet, le gradient n'est propagé dans l'encodeur LeBenchmark qu'après 500 étapes. La taille du lot d'apprentissage était de 8 et la dimension de la couche de sortie était de 43 (nombre de caractères dans l'ensemble d'apprentissage).

<table><caption>TABLE 3 – Résultats de RAP (WER %) sur l'ensemble de test de la partie française du corpus MLS pour les systèmes de RAP avec encodeur LeBenchmark figé ou ajusté</caption><thead><tr><th rowspan="2">Encodeur</th><th colspan="2">WER (%) ↓</th></tr><tr><th>Figé</th><th>Ajusté</th></tr></thead><tbody><tr><td>7K-large</td><td>31.71</td><td>9.56</td></tr><tr><td>14K-large</td><td>9.96</td><td>9.98</td></tr></tbody></table>

Le tableau 3 résume les résultats de l'expérience. L'ajustement de la partie encodeur conduit très rapidement à des performances similaires pour les modèles 14k et 7k, indiquant que Audiocite.net n'a pas beaucoup d'impact lorsque l'encodeur est ajusté. Cependant, pour l'expérience avec l'encodeur figé, il y a une nette supériorité du modèle 14k indiquant que Audiocite.net a joué un rôle important dans la modélisation de la parole lue.

## 4.3 Expérimentations LeBenchmark

Parmi les différentes expériences réalisées par l'équipe LeBenchmark, nous rapportons dans les tableaux 4 et 5 les résultats des tâches de reconnaissance automatique de la parole (RAP) et de vérification du locuteur issues de (Parcollet et al., 2024).

Comme on peut le voir dans les expériences de reconnaissance automatique de la parole (RAP) avec Common Voice et ETAPE, Audiocite.net (14K-large) n'apporte aucune amélioration par rapport au modèle 7K. Il est même dégradé sur ETAPE qui est composé de discours radiophoniques, un type de parole très différent de Audiocite.net. Cependant, dans une tâche de vérification de locuteur sur le corpus Fabiole (Ajili et al., 2016) constitué de discours d'émissions de radio et de télévision, Audiocite.net (14K-large) apporte une nette amélioration par rapport au modèle 7K. Il semble que l'ajout de locuteurs et de locutrices dans le 14K ait amélioré ce type de modélisation.

<table><caption>TABLE 4 – Résultats de RAP (WER %) de Parcollet et al. (2024) sur les partitions de test de Common Voice 6.1 et ETAPE, avec des modèles Wav2Vec2.0 ajustés sur des données de RAP étiquetées</caption><thead><tr><th rowspan="2">Encodeur</th><th colspan="2">WER (%) ↓</th></tr><tr><th>Common Voice</th><th>ETAPE</th></tr></thead><tbody><tr><td>7K-large</td><td><strong>9.39</strong></td><td><strong>23.46</strong></td></tr><tr><td>14K-large</td><td>9.83</td><td>26.03</td></tr></tbody></table>
<table><caption>TABLE 5 – Résultats de la tâche de vérification du locuteur de Parcollet et al. (2024) sur le corpus Fabiole. EER : Equal Error Rate, minDCF : Minimum of Detection Cost Function</caption><thead><tr><th>Encodeur</th><th>EER</th><th>minDCF<sup>-10</sup> ↓</th><th>minDCF<sup>-100</sup> ↓</th></tr></thead><tbody><tr><td>7K-large</td><td>5.228</td><td>0.3833</td><td>0.5754</td></tr><tr><td>14K-large</td><td><b>3.535</b></td><td><b>0.2965</b></td><td><b>0.4801</b></td></tr></tbody></table>

# 5 Conclusion

Dans cet article, nous présentons le corpus Audiocite.net composé de plus de 6,600 heures d'enregistrements provenant de 130 locuteurs et locutrices, disponible sur OpenSLR (www.openslr.org/139/) avec la même licence que les livres audio (c'est-à-dire Creative Commons). Tous les enregistrements sont distribués dans leur format brut tels que nous les avons téléchargés depuis audiocite.net (avec des musiques de fond, des bruits, des participations inattendues, au format MP3, en mono ou stéréo). Aucun prétraitement n'a été appliqué aux fichiers, ni aucune transcription automatique effectuée sur ceux-ci. Cependant, nous avons ajouté des informations sur le genre en l'inférant à partir du nom et en vérifiant la voix en cas d'incertitude. Le corpus Audiocite.net a servi à l'apprentissage des modèles de 14k du projet LeBenchmark, révélant à la fois des performances élevées et certaines limites dans plusieurs tâches de traitement de la parole.

# 6 Remerciements

Ce travail a été soutenu en partie par MIAI@Grenoble-Alpes (ANR-19-P3IA-0003), le projet E-SSL (ANR-22-CE23-0013) et la Banque Publique d'Investissement (BPI) dans le cadre de la convention de subvention THERADIA. Les auteurs tiennent à remercier chaleureusement William Havard pour l'idée originale, Marcely Zanon Boito et Fabien Ringeval pour leur aide lors de la première ébauche de ce travail.

# 7 Considérations éthiques

Les livres sélectionnés par les lecteurs et lectrices sont soit exclusivement sous licence Creative Commons (CC), soit obtenus par des accords de distribution écrits avec les auteurs ou autrices. Une fois la lecture terminée, les locuteurs et locutrices choisissent une seconde licence Creative Commons pour l'audio avant de publier leur enregistrement sur le site audiocite.net. Cette seconde licence comporte des restrictions égales ou supérieures à celles assignées au livre original. En publiant leurs enregistrements sur la plateforme, les lecteurs et lectrices étaient au courant que leur matériel pourrait être utilisé à diverses fins au-delà de l'intention originale, dans les limites de la licence attribuée. L'administrateur du site audiocite.net nous a explicitement donné l'autorisation d'utiliser et de distribuer les audios conformément à leurs conditions d'utilisation.

Concernant le contenu des audios, toutes sortes d'affirmations peuvent y être trouvées et nous ne souhaitons encourager personne à développer une position quelconque. Nous nous engageons à supprimer l'enregistrement, ses métadonnées et à mettre à jour le corpus à la demande de toute personne contributrice désirant retirer ses données du corpus sans raison explicite.
Références

ABDEL-RAHMAN M., HUNG-YI L., LASSE B., JAKOB D. H., JOAKIM E., CHRISTIAN I., KATRIN K., SHANG-WEN L., KAREN L., LARS M., TARA N. S. & SHINJI W. (2022). Self-supervised speech representation learning: A review. *IEEE JSTSP Special Issue on Self-Supervised Learning for Speech and Audio Processing*.

AJILI M., BONASTRE J.-F., KAHN J., ROSSATO S. & BERNARD G. (2016). Fabiole, a speech database for forensic speaker comparison. In *Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC’16)*, p. 726–733.

ARDILA R., BRANSON M., DAVIS K., KOHLER M., MEYER J., HENRETTY M., MORAIS R., SAUNDERS L., TYERS F. & WEBER G. (2020). Common Voice: A Massively-Multilingual Speech Corpus. In *Proceedings of the Twelfth Language Resources and Evaluation Conference*, Marseille, France.

BAEVSKI A., HSU W.-N., XU Q., BABU A., GU J. & AULI M. (2022). data2vec: A General Framework for Self-supervised Learning in Speech, Vision and Language. In *Proceedings of the 39 th International Conference on MachineLearning*, Baltimore, Maryland, USA.

BAEVSKI A., ZHOU H., MOHAMED A. & AULI M. (2020). wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations. In *proceedings of NeurIPS*, Vancouver, Canada.

CHEN S., WANG C., CHEN Z., WU Y., LIU S., CHEN Z., LI J., KANDA N., YOSHIOKA T., XIAO X., WU J., ZHOU L., REN S., QIAN Y., QIAN Y., ZENG M., YU X. & WEI F. (2022). WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing. *IEEE Journal of Selected Topics in Signal Processing, 16*, 1–14.

ESTÈVE Y., BAZILLON T., ANTOINE J.-Y., BÉCHET F. & FARINAS J. (2010). The EPAC Corpus: Manual and Automatic Annotations of Conversational Speech in French Broadcast News. In *Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC’10)*, Valletta, Malta: European Language Resources Association (ELRA).

FELICE S., EVAIN S., ROSSATO S. & PORTET F. (2024). Audiocite.net: A large spoken read dataset in french. In *The 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024)*.

GEBRU T., MORGENSTERN J., VECCHIONE B., VAUGHAN J. W., WALLACH H., III H. D. & CRAWFORD K. (2021). Datasheets for datasets. *Commun. ACM*, **64**(12), 86–92. DOI: 10.1145/3458723.

HSU W.-N., BOLTE B., TSAI Y.-H. H., LAKHOTIA K., SALAKHUTDINOV R. & MOHAMED A. (2021). HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units. *IEEE/ACM Transactions on Audio, Speech and Language Processing*, **29**, 3451–3460.

JIANG D., LI W., CAO M., ZOU W. & LI X. (2021). Speech SimCLR: Combining Contrastive and Reconstruction Objective for Self-Supervised Speech Representation Learning. In *proceedings of Interspeech*.

LIU A., YANG S.-W., CHI P.-H., HSU P.-C. & LEE H.-Y. (2020). Mockingjay: Unsupervised Speech Representation Learning with Deep Bidirectional Transformer Encoders. In *proceedings of ICASSP*.

OORD A. V. D., LI Y. & VINYALS O. (2019). Representation Learning with Contrastive Predictive Coding. arXiv:1807.03748.
PANAYOTOV V., CHEN G., POVEY D. & KHUDANPUR S. (2015). Librispeech: An asr corpus based on public domain audio books. In *2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*. DOI: 10.1109/ICASSP.2015.7178964.

PARCOLLET T., NGUYEN H., EVAIN S., ZANON BOITO M., PUPIER A., MDHAFFAR S., LE H., ALISAMIR S., TOMASHENKO N., DINARELLI M., ZHANG S., ALLAUZEN A., COAVOUX M., ESTÈVE Y., ROUVIER M., GOULIAN J., LECOUTEUX B., PORTET F., ROSSATO S., RINGEVAL F., SCHWAB D. & BESACIER L. (2024). Benchmark 2.0: A standardized, replicable and enhanced framework for self-supervised representations of french speech. *Computer Speech & Language*, **86**, 101622. DOI: https://doi.org/10.1016/j.csl.2024.101622.

PRATAP V., XU Q., SRIRAM A., SYNNAEVE G. & COLLOBERT R. (2020). MLS: A large-scale multilingual dataset for speech research. In *INTERSPEECH*, Shanghai, China.

RAVANELLI M., ZHONG J., PASCUAL S., SWIETOJANSKI P., MONTEIRO FILHO J., TRMAL J. & BENGIO Y. (2020). Multi-Task Self-Supervised Learning for Robust Speech Recognition. In *proceedings of ICASSP*.

WANG C., RIVIERE M., LEE A., WU A., TALNIKAR C., HAZIZA D., WILLIAMSON M., PINO J. & DUPOUX E. (2021). VoxPopuli: A large-scale multilingual speech corpus for representation learning, semi-supervised learning and interpretation. In *Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)*, Online.
# Comparaison de mesures pour la détection automatique de déviance dans la dysarthrie ataxique

Natacha Miniconi¹ Cédric Gendrot¹ Angélina Bourbon¹ Leonardo Lancia²
Cécile Fougeron¹

(1) Laboratoire de phonétique et phonologie, UMR 7018 / Université Sorbonne Nouvelle
prenom.nom@sorbonne-nouvelle.fr

(2) Laboratoire Parole et Langage/ (CNRS AMU)
lancia.leonardo@univ-amu.fr

## RÉSUMÉ

Cette étude explore l'utilisation d'un Réseau de Neurones Convolutifs (CNN) pour distinguer la parole de patients dysarthriques ataxiques de celle de locuteurs neurotypiques, en utilisant diverses entrées. L'objectif est d'extraire automatiquement des informations pertinentes sur les troubles de la parole. Le CNN est utilisé pour exploiter les caractéristiques temporelles et spectrales des signaux de parole via des spectrogrammes, des trajectoires de formants et des courbes de modulation cepstrale. Comparé à un Multi-Layer Perceptron (MLP) alimenté par des mesures acoustico-phonétiques ciblées sur la modulation cepstrale, le CNN présente de meilleurs scores de classification dans la distinction entre dysarthrie et non dysarthrie, en particulier avec la modulation cepstrale. La population CTRL obtient de meilleurs taux de classification que la population SCA avec un MLP, alors qu'on observe l'inverse avec un CNN.

## ABSTRACT

### Comparison of measures for automatic detection of deviance in ataxic dysarthria.

This study explores the use of a Convolutional Neural Network (CNN) to distinguish the speech of ataxic dysarthric patients from that of neurotypical speakers, using various inputs. The aim is to automatically extract relevant information about speech disorders. The CNN is used to exploit the temporal and spectral characteristics of speech signals via spectrograms, formant trajectories and cepstral modulation curves. Compared with a Multi-Layer Perceptron (MLP) fed with targeted acoustic-phonetic measurements on cepstral modulation, the CNN shows better classification scores in the distinction between dysarthria and non-dysarthria, particularly with cepstral modulation. The CTRL population obtained better classification rates than the SCA population with an MLP, while the opposite was observed with a CNN.

**MOTS-CLÉS** : dysarthrie, deep learning, detection de déviance, acoustique.

**KEYWORDS:** dysarthria, deep learning, deviance detection, acoustic.

# 1 Introduction

L'analyse et la compréhension des signaux de parole permettent d'extraire de multiples informations sur le locuteur. Cela rejoint l'un des principaux buts de la phonétique clinique qui est d'affiner la caractérisation de la parole des patients en identifiant avec précision les aspects déviants. Les troubles de l'articulation, par exemple, sont prépondérants et peuvent être caractérisés par des difficultés à

<figure><img src="image_127.png" /></figure>
atteindre les cibles articulatoires dans le temps et l'espace.

Dans cette étude, nous nous intéresserons à une parole pathologique particulière, celle des patients atteints d'ataxies spinocérébelleuses (SCA), un groupe hétérogène de maladies neurodégénératives dûes à une atteinte du cervelet et pouvant présenter des symptômes sur l'ensemble de la sphère motrice. Parmi ces symptômes, nous pouvons retrouver une dysarthrie qualifiée d'ataxique (Darley et al., 1969). Elle se caractérise, entre autres, par des altérations de l'articulation des consonnes et voyelles et des allongements des durées segmentales (Shalling et al., 2007; Brendel et al., 2015; Schmitz-Hübsch et al., 2011).

Généralement, l'évaluation clinique des troubles de la parole est faite à l'oreille et quantifiée à l'aide de scores basés sur des relevés d'erreurs de prononciation (Laganaro et al., 2020). Cette caractérisation peut aussi être réalisée par des mesures acoustiques temporelles ou spectrales quan- tifiables, comme le débit de parole ou des mesures de formants sur les voyelles (Brendel et al., 2015; Audibert & Fougeron, 2012). Ces dernières mesures nécessitent souvent une segmentation et/ou une intervention manuelle sur le signal de parole qui requiert une expertise approfondie et un investissement temporel conséquent. À ce titre, il est possible d'appliquer des mesures plus globales sur des séquences de parole non segmentées en phonèmes ou syllabes ; cette approche est déjà adoptée par plusieurs études sur la parole pathologique avec l'utilisation de modulation cepstrale (Slis et al., 2021) ou de paramètres opensmile (Kodrasi et al., 2021), de mesures acoustico-phonétiques ciblées prises sur les formants (Wang et al., 2016) afin de discriminer la parole pathologique. D'autres études ont utilisé des segmentations à l'aide d'aligneur automatiques permettant de distinguer dysarthrique et non dysarthrique au niveau phonémique (Laaridh et al., 2016). En contraste de ces mesures inter- prétables, des mesures non interprétables sont également utilisées pour capturer l'articulation comme X-vector (Favaro et al., 2023).

L'utilisation des CNN pour les recherches phonétiques a introduit d'autres types d'informations pertinentes en appliquant des mesures non interprétables pour la caractérisation de l'articulation en y introduisant en entrée des images de spectrogrammes (Faragó et al., 2022; Kim & Gendrot, 2022), mais aussi, des caractéristiques d'énergie de la banque de filtres Mel affectée en entrée au CNN (Abderrazek et al., 2020). La présente étude cherche à évaluer la pertinence de ces différentes informations extraites d'un enregistrement audio avec un minimum d'intervention manuelle pour caractériser les troubles articulatoires dans la dysarthrie.

Ainsi, la question de recherche centrale se formule comme suit : quelles informations spécifiques s'avèrent pertinentes pour distinguer la parole de patients dysarthriques de celle de locuteurs non dysarthriques ?

Pour répondre à cette interrogation, nous proposons d'utiliser un Réseau de Neurones Convolutifs (CNN) ayant comme tâche une classification binaire : dysarthrique ou non-dysarthrique avec plusieurs types d'entrées tels que :

- Images de spectrogrammes

- Images capturant des trajectoires des formants

- Images capturant la modulation cepstrale des productions

Afin d'évaluer la pertinence des classifications produites par le CNN, nous confrontons ses résultats à une classification basée sur des mesures issues d'une expertise phonétique. Pour ce faire, nous utiliserons un perceptron multicouche (MLP) configuré pour utiliser des mesures ciblées sur certains événements de la modulation cepstrale (par exemple les maxima). Ce type de modèle MLP a déjà été utilisé sur d'autres types de dysarthrie en l'alimentant de mesures phonétiques (Alshammri
## 2 Méthodologie des entrées du CNN et du MLP

Les enregistrements utilisés pour cette étude proviennent des projets SpeechN'Co (n° ID-RCB : 2019-A02553-54) et ChaSpeePro (CRSII5_202228). Ils incluent 30 locuteurs, 16 hommes et 14 femmes (moy. = 53.4, 23<72 ans), tous porteurs d'ataxies spinocérébelleuses. Ils présentent tous une dysarthrie, avec une sévérité variable évaluée à l'aide du score perceptif de la batterie d'évaluation BECD (Bourbon et al., 2023). Nous avons comparé ces enregistrements des locuteurs dysarthriques à ceux de deux groupes contrôles, chacun constitués de 30 locuteurs qui ont été tirés aléatoirement à partir des deux bases de données, comprenant des locuteurs neurotypiques âgés de 24 à 90 ans. Le groupe CTRL1 comprend 14 hommes et 16 femmes (moy. = 60.38 ans, 24<90 ans) et le groupe CTRL2 comprend 11 hommes et 19 femmes (moy. = 57.7 ans, 25<82 ans). Le matériel linguistique enregistré est extrait du protocole MonPaGe-MoSpeeDi et consiste en trois séquences glides-voyelles ayant un sens en français. Ces séquences comportent chacune trois syllabes : 'aille-aille-aille' /ajajaj/, 'ouille-ouille-ouille' /ujujuj/ et 'oui-oui-oui-' /wiwiwi/. Chaque locuteur avait pour consigne de produire ces séquences de façon continue, sans pause entre les syllabes, à un débit et une intensité confortable. Ce matériel a été construit pour évaluer des modulations articulatoires sur la suite de trois syllabes via des modulations acoustiques continues sur le signal acoustique produit (Lévêque et al., 2022). La Table 1 présente le nombre d'enregistrements utilisés dans l'étude.

<table><caption>TABLE 1 – Répartition du nombre de fichiers audios pour les groupes de locuteurs avec parole dysarthrique (SCA) et sans parole dysarthrique (CTRL1, 2) correspondant chacun à une séquence que le locuteur doit produire.</caption><thead><tr><th>Logatomes</th><th>SCA</th><th>CTRL1</th><th>CTRL2</th></tr></thead><tbody><tr><td>ajajaj</td><td>117</td><td>119</td><td>120</td></tr><tr><td>ujujuj</td><td>112</td><td>119</td><td>119</td></tr><tr><td>wiwiwi</td><td>112</td><td>119</td><td>120</td></tr><tr><td>Total</td><td>341</td><td>357</td><td>359</td></tr></tbody></table>

### 2.1 Types d'informations acoustiques extraites du signal

<figure><img src="image_128.png" /><figcaption>FIGURE 1 – Représentation des différents types de mesures utilisées dans le CNN pour le locuteur : SCA_F_AB03. La modulation cepstrale notée (a) devient (b) pour l'entrée du CNN. Les trajectoires formantiques subissent la même transformation. Les spectrogrammes ont été extraits sur la séquence entière (c) en tant qu'entrée pour le réseau.</figcaption></figure>
<table><caption>TABLE 2 – Descriptions des différents types d'informations acoustiques extraites du signal</caption><thead><tr><td>Noms entrées</td><td>Types d'informations acoustiques extraites du signal</td></tr></thead><tbody><tr><td>Mod_Cepstr</td><td>La modulation cepstrale permet de quantifier le degré de changement global des caractéristiques spectrales (Goldstein, 2019). Elle est ici sous la forme d'une courbe où les pics indiquent des changements d'état avec une forte différence d'énergie spectrale, tandis que les creux reflètent des périodes de stabilité avec une faible différence. Afin d'obtenir les modulations cepstrales, suivant la procédure élaborée par Leonardo Lancia (Slis et al., 2021), les coefficients cepstraux en Mel (MFCC) ont été calculés grâce à la bibliothèque Librosa entre 300Hz et 8KHz, avec la possibilité de personnaliser des paramètres tels que la longueur de la fenêtre d'analyse (définie à 25 ms), le pas temporel (fixé à 5 ms) et le nombre de MFCC à extraire (choisi à 13). Suite à l'extraction des MFCCs, à chaque pas de l'analyse, la valeur absolue de la différence entre les valeurs successives de chaque coefficient a été calculée. Ensuite, chaque série chronologique obtenue a été soumise à un filtre passe-bas avec une fréquence de coupure fixée à 12 Hz. Afin de pouvoir utiliser les informations des modulations cepstrales, celles-ci ont par la suite subi une transformation visuelle en représentant chaque courbe sous la forme d'une bande de pixels. Dans cette représentation, l'intensité de la courbe est reflétée par la teinte des pixels, où une teinte plus foncée correspond à une intensité plus élevée de la courbe. L'échelle a été normalisée sur la totalité du corpus. Sa représentation est visible sur la Figure 1b.</td></tr><tr><td>Spectro</td><td>Les spectrogrammes, capturant les déformations potentielles des voyelles et des consonnes induites par la maladie (Shalling et al., 2007). Les fréquences en Hz retenues pour les spectrogrammes se situent dans la plage de 0 à 8 000 Hz.</td></tr><tr><td>F1, F2, F3</td><td>Les spectrogrammes sont susceptibles de comporter beaucoup de bruit. De ce fait, nous allons également extraire les trajectoires des formants F1, F2, F3 sur la durée totale de la séquence produite grâce à la fonction To Formant (burg) de Praat qui extrait la valeur de chaque formant toutes les 5ms. Après un lissage sur python, pour chaque formant, la trajectoire a été transformée en une bande de pixels, suivant le même processus appliqué à la courbe de modulation cepstrale. Les bandes de formant ont été empilées, cela permettant d'avoir une image comportant les trois bandes de formants (F1+F2+F3), comme le spectrogramme illustré figure 1c.</td></tr><tr><td>Mean pics</td><td>Moyennes des pics sur la courbe de modulation cepstrale correspondant au moment dans la production avec le plus de changement cepstraux (=aux transitions entre les phonèmes). Voir Figure 2.</td></tr><tr><td>Meanch</td><td>Moyenne de toutes les valeurs de la courbe de modulation cepstrale sur la production. Voir Figure 2.</td></tr><tr><td>SD Meanch</td><td>Ecart-type de toutes les valeurs de la courbe de modulation cepstrale sur la production.</td></tr><tr><td>EventDUR</td><td>La moyenne des durées entre deux minimums consécutifs. Voir Figure 2.</td></tr><tr><td>SD EventDUR</td><td>Ecart-type des durées entre les pics qui reflète la régularité des durées entre les segments.</td></tr></tbody></table>

Les mesures ciblées (Mean pics, Meanch, SD Meanch, EventDUR, SD EventDUR) réalisées sur la modulation cepstrale développées dans des études ultérieures (Slis et al., 2021; Lévêque et al., 2022) sont basées sur une quantification de la modulation cepstrale durant la séquence produite, de façon à approximer les changements dans le temps du conduit vocal lors de la production. Les mesures ont permis de mettre en évidence des différences dans les schémas articulatoires des personnes atteintes de dysarthrie. Le même type de méthode a déjà été réalisé dans des études antérieures où ont été utilisées comme indice articulatoire les transitions : consonnes, voyelles (Mathad et al., 2022; Xu et al., 2022). Ci-dessous la figure 2 représentant la prise des mesures ciblées.

<figure><img src="image_129.png" /><figcaption>FIGURE 2 – Modulation cepstrale d'un ajajaj du locuteur SCA_F_AB03. La valeur moyenne des 5 pics maximums représente la mesure Mean pics. EventDUR représente la durée moyenne de chaque intervalle de temps entre deux points de minimum consécutifs dans la modulation cepstrale. Une de ces durées est représentée entre le point 1.1 et 1.2 surlignée en orange. Meanch représente la valeur moyenne de toutes les valeurs sur la durée entre 1.0 et 1.3 surlignée en vert.</figcaption></figure>

## 2.2 Élaboration du CNN et du MLP

Les CNN prennent comme entrées : Spectro, Mod_Cepstr et les Trajectoires F1, F2, F3 sous forme d'image. Le MLP quant à lui reçoit comme entrée des données structurées sous forme numérique,
comprenant des mesures spécifiques affectées sur la modulation cepstrale décrite dans la Table 2 (Mean pics, Meanch, SD Meanch, EventDUR, SD EventDUR). Ces mesures, préalablement calculées et organisées dans un tableau, ont servi d'entrée pour l'entraînement et pour le test du MLP.

Pour les deux modèles, la tâche de classification est identique : il s'agit de déterminer si les enregistrements vocaux proviennent d'un locuteur avec une parole dysarthrique ou non. Pour y parvenir, nous avons utilisé un corpus de 30 locuteurs ayant une parole dysarthrique (SCA) et de 30 locuteurs n'ayant pas de parole dysarthrique (CTRL1) constituant le premier essai appelé test1. Ensuite, pour valider notre méthode, nous avons effectué la même tâche de classification en utilisant cette fois les 30 locuteurs ayant une parole dysarthrique et 30 autres locuteurs n'ayant pas de parole dysarthrique issus groupe CTRL2. Cette classification constitue notre deuxième essai appelé test2. Ce test2 permet d'évaluer la stabilité des modèles en regardant si les résultats sont les mêmes avec un autre groupe CTRL.

Lors de la réalisation des deux modèles, la procédure "Leave One Out" (LOO) a été employée. Le modèle a été exécuté sur 60 itérations pour les corpus comprenant SCA et CTRL1 et CTRL2, en utilisant chaque locuteur comme locuteur de test une fois, tout en utilisant toutes les données des autres locuteurs pour l'entraînement. Cela nous permet d'éviter du biais ainsi que des bonnes performances dues au hasard ou bien à un choix particulier sur le corpus test (Berrar, 2019).

Pour chaque sortie de ces modèles, nous obtenons plusieurs scores de performance : l'accuracy de chaque locuteur, le F-score et le rappel. Ces deux derniers scores n'étant pas pertinents pour cette étude, ils ne seront pas mentionnés. L'accuracy correspond au nombre d'enregistrements correctement prédits sur l'ensemble d'enregistrement du locuteur.

L'architecture du CNN débute par une couche de convolution avec 64 filtres de taille 3×3 et un padding de type valid qui produit une sortie de taille réduite par rapport à l'entrée, suivi d'une normalisation par lots. Elle incorpore ensuite un ZeroPadding2D pour gérer la variation de la longueur des enregistrements audios. Chaque locuteur a fourni des enregistrements audios de durées différentes, ce qui a conduit à des variations dans la taille des images correspondantes aux différentes mesures. La couche de ZeroPadding2D a été employée pour pallier ce problème. Son rôle est d'ajuster la taille des images spectrogrammes plus courtes en ajoutant des "pixels de remplissage" autour d'elles. Ensuite, un MaxPooling2D a été ajouté avec un pool de taille 2×2, et une autre normalisation par lots. La seconde couche de convolution utilise 16 filtres de 3×3 avec padding de type valid, suivi d'une nouvelle normalisation. Après avoir aplati les données, le modèle applique un Dropout de 0.5, puis trois couches denses avec respectivement 16 et 8 unités avec activation ReLU, et enfin une unité avec activation sigmoïdale.

Quant au MLP, il a été utilisé la bibliothèque `sklearn`. La fonction d'activation des couches cachées est ReLU. La taille des couches cachée est de 100 neurones, nous avons choisi le même nombre de couches cachées que pour le CNN. D'autres paramètres, tels que le taux d'apprentissage constant, le nombre maximal d'itérations, l'optimiseur "adam" sont fixés aux valeurs par défaut. Une analyse en composantes principales (ACP) a été faite sur les mesures numériques données au MLP et a révélé que la première composante principale explique 50% de la variance, tandis que la deuxième en explique 30%. Ensemble, ces deux composantes couvrent donc 80% de la variance totale. Pour atteindre le seuil souhaité de 95% de la variance expliquée, nous nous retrouvons dans une situation où le nombre de composantes nécessaires dépasse celui des mesures originales, rendant l'approche peu avantageuse. L'apprentissage du modèle a donc été effectué sans réduction de dimension.
# 3 Résultats

<table><caption>TABLE 3 – Performances du CNN et MLP lors du test 1 en fonction des différentes entrées et des groupes (SCA et CTRL1). Les performances sont estimées à partir du pourcentage de fichiers bien classés (*accuracy*), de la variabilité des *accuracy* entre les locuteurs en termes d'écart-type, minimum et maximum d'*accuracy* (SD/min/max *accuracy*).</caption><thead><tr><th rowspan="2">Entrées CNN</th><th colspan="2">SCA</th><th colspan="2">CTRL1</th></tr><tr><th>Accuracy</th><th>SD Accuracy/min/max</th><th>Accuracy</th><th>SD Accuracy/min/max</th></tr></thead><tbody><tr><td>Mod_Cepstr</td><td><strong>84%</strong></td><td>17% / 50% / 100%</td><td><strong>72%</strong></td><td>23% / 1% / 100%</td></tr><tr><td>Spectro</td><td>74%</td><td>30% / 1% / 100%</td><td>47%</td><td>37% / 0% / 100%</td></tr><tr><td>F1 + F2 + F3</td><td>72%</td><td>26% / 1% / 100%</td><td>42%</td><td>30% / 0% / 92%</td></tr><tr><td>F1</td><td>73%</td><td>22% / 16% / 100%</td><td>38%</td><td>22% / 0% / 90%</td></tr><tr><td>F2</td><td>71%</td><td>23% / 17% / 100%</td><td>42%</td><td>20% / 1% / 83%</td></tr><tr><td>F3</td><td>72%</td><td>17% / 36% / 100%</td><td>30%</td><td>18% / 0% / 83%</td></tr><tr><th colspan="5">Entrées MLP</th></tr><tr><td>Mean pics + Meanch + SD Meanch + EventDUR + SD EventDUR</td><td>73%</td><td>30% / 1% / 100%</td><td>76%</td><td>30% / 30% / 100%</td></tr><tr><td>Mean pics</td><td>65%</td><td>31% / 1% / 100%</td><td>78%</td><td>20% / 33% / 100%</td></tr><tr><td>Meanch + SD Meanch</td><td><strong>74%</strong></td><td>27% / 0% / 100%</td><td><strong>81%</strong></td><td>26% / 1% / 100%</td></tr><tr><td>EventDUR + SD EventDUR</td><td>70%</td><td>27% / 0% / 100%</td><td>71%</td><td>30% / 1% / 100%</td></tr></tbody></table>

## 3.1 Effet du type d'entrée sur les performances de classification (CNN et MLP)

La Table 3 présente la moyenne des résultats de l'évaluation des performances du CNN et MLP avec chacune des entrées pour le groupe SCA et le groupe CTRL1 lors du test1. Les entrées provenant d'informations sur la modulation cepstrale montrent une meilleure performance face à celles provenant d'un spectrogramme. Les résultats montrent que la meilleure entrée du CNN est Mod_Cepstr avec 84% des enregistrements bien classés pour les locuteurs SCA et 72% pour les CTRL1. Lors du test2, avec la classification sur les mêmes locuteurs du groupe SCA et un groupe d'autres locuteurs contrôles (CTRL2), les résultats sont similaires. L'entrée Mod_Cepstr classifie correctement 80% des productions des locuteurs SCA et 71% des productions des locuteurs du groupe CTRL2. Les entrées du MLP extraites de la modulation cepstrale montrent également de bonnes performances en comparaison de celles issues d'un spectrogramme (Spectro, F1, F2, F3). La meilleure entrée du MLP est celle composée de Meanch et SD Meanch avec une *accuracy* moyenne de 74% pour les locuteurs SCA et 81% pour les locuteurs CTRL1. Pour la comparaison avec les locuteurs CTRL2, nous avons à nouveau peu de différences : une *accuracy* de 72% pour les locuteurs SCA et 77% pour les locuteurs CTRL2. Ce faible écart entre les groupes CTRL1 et CTRL2 s'observe par ailleurs sur la totalité des entrées. L'*accuracy* de l'entrée Spectro avec 74% pour les locuteurs SCA et 47% pour les locuteurs CTRL1 est légèrement inférieure à celle de l'entrée Mod_Cepstr pour les locuteurs SCA mais pour les locuteurs CTRL1, une chute des performances est observée où un enregistrement sur deux est mal classé. Quant aux entrées F1, F2, F3, elles sont inférieures ou égales à l'entrée Spectro, nous observons cette même chute de performances pour les groupes CTRL1 et 2, en particulier avec F3.

## 3.2 Performance de classification en fonction des locuteurs (CNN et MLP)

Un calcul du coefficient de corrélation de Spearman est réalisé afin de savoir si la sévérité des SCA est corrélée au taux d'*accuracy* pour les différentes entrées. Nous pouvons voir que les performances ne sont pas similaires en fonction de la sévérité des troubles de la parole : sans surprise, les locuteurs les plus sévères sont les mieux reconnus comme étant dysarthriques, à hauteur de 100% des enregistrements pour les locuteurs les plus sévères sur la base de l'entrée Mod_Cepstr. Pour les locuteurs les moins sévères, une baisse de performance à hauteur de 18% est observée. Une corrélation positive modérée significative est constatée entre l'*accuracy* et la sévérité pour l'entrée Mod_Cepstr ($\rho$ = 0.42, $p$ < 0.05), mettant en exergue l'influence de la sévérité. En revanche,
pour toutes autres entrées du CNN, la corrélation est quasi-nulle avec une p-value non significative ($\rho$ = -0.2, $p$ > 0.05). Le taux d'*accuracy* des performances de classification avec les entrées : Spectro, F1, F2, F3 n'est pas sensible à la sévérité de la dysarthrie. Sur la Figure 3 nous pouvons remarquer que Mod_Cepstr classe beaucoup mieux les plus sévères avec un faible creux dans les sévérités intermédiaires, à contrario de l'entrée Spectro qui n'est effectivement pas affecté par la sévérité.

<figure><img src="image_130.png" /><figcaption>FIGURE 3 – Graphique de l'accuracy des 5 groupes SCA dans l'ordre croissant de sévérité en fonction de l'accuracy. Les sévérités des locuteurs de chaque groupe sont indiquées dans le tableau à droite.</figcaption></figure>

Nous retrouvons cette corrélation positive et significative entre les performances de classification du MLP et la sévérité de locuteurs SCA. Pour l'entrée détenant l'intégralité des mesures, le coefficient de corrélation indique une forte corrélation positive entre le taux d'*accuracy* et la sévérité ($\rho$ = 0.72, $p$ < 0.001). Enfin, l'entrée incluant EventDUR et SD EventDUR présente une corrélation positive et légèrement moins élevée que celle de l'entrée détenant l'intégralité des mesures ($\rho$ = 0.65, $p$ < 0.001). Nous obtenons les mêmes valeurs pour Mean pics. L'entrée Meanch + SD Meanch montre une corrélation positive légèrement moins élevée ($\rho$ = 0.58, $p$ < 0.001). L'apport du CNN par rapport au MLP est notable sur la classification des locuteurs peu sévères, ce qui est observable avec l'entrée Mod_Cepstr du CNN apportant une *accuracy* de 18% pour les locuteurs les moins sévères en comparaison à la meilleure entrée du MLP (Meanch + SD Meanch).

Nous avons observé une importante différence d'*accuracy* minimum entre les entrées : pour la mesure Mod_Cepstr le locuteur le moins bien classé est à hauteur de 50% dans le groupe SCA, alors que, pour les entrées du MLP le minimum est entre 0 et 1% indiquant une très mauvaise classification pour au moins un des locuteurs SCA. Au sujet des CTRL, les entrées du CNN rencontrent davantage de difficultés par rapport à celles du MLP pour classifier correctement les locuteurs des groupes CTRL1 et CTRL2 sur l'ensemble des données soumises. Sa meilleure performance se trouve avec l'entrée Mod_Cepstr. Les entrées du MLP quant à elles classent mieux les CTRL que cela soit pour le test1 avec les CTRL1 ou le test2 (CTRL2). A contrario des entrées du CNN, deux entrées du MLP ont un minimum d'*accuracy* nettement plus élevé à 30%, 33% (toutes les entrées en entraînement et Mean pics) par rapport aux performances du minimum d'*accuracy* pour le CNN qui tournent autour de 0% pour l'intégralité de ses entrées. L'intégralité des entrées du MLP ont au moins un locuteur CTRL qui est classé à 100% pour le CNN; nous avons ce taux uniquement pour deux entrées : Mod_Cepstr et Spectro montrant une fois de plus les difficultés du modèle sur cette population.

Au regard de l'écart-type de l'*accuracy* pour chaque entrée présent dans la Table 3, la mesure Mod_Cepstr a un écart-type parmi les plus bas, ce qui suggère une faible variation dans la classification des locuteurs SCA et une stabilité dans les performances. Pour la totalité des mesures données au MLP, nous observons de plus grands écarts-types indiquant une variabilité des classifications entre locuteurs, aussi bien pour le groupe SCA que les groupes CTRL1 et CTRL2.
# 4 Conclusion et Discussion

Nous avons observé des performances différentes des modèles CNN et MLP en fonction des types d'entrée. L'entrée Mod\_Cepstr pour le groupe SCA s'est avérée meilleure face aux autres types d'entrées du CNN ciblées sur les informations de spectrogramme (Spectro, F1, 2, 3). Ces résultats s'observent pour les deux groupes CTRL. Ces performances peuvent s'expliquer par les multiples informations que porte la modulation cepstrale (Slis et al., 2021; Lévêque et al., 2022).

Le CNN avec des mesures non interprétables s'est montré plus performant pour la population SCA que le MLP avec des mesures issues d'une expertise phonétique (interprétables). Le MLP classe beaucoup mieux les patients très sévères que les patients peu sévères avec un écart-type qui montre une plus grande variation dans sa classification. L'efficacité de mesures non interprétables effectuées par un modèle de traitement automatique a également déjà été observée dans une étude antérieure où les mesures non interprétables ont surpassé celles étant interprétables (Favaro et al., 2023). Nous avons observé que les mesures numériques sur la modulation cepstrale assimilées par le MLP sont plus performantes pour la population CTRL. Les difficultés du CNN sur la population CTRL pourraient s'expliquer par une variabilité moins prononcée ou différente au sein des locuteurs dans les groupes CTRL1 et CTRL2 par rapport aux SCA. Malgré les tests de plusieurs architectures de modèles et l'augmentation du volume de données pour cette catégorie durant l'entraînement, aucune amélioration des résultats n'a été observée. La quantité relativement faible de données disponibles dans cette étude pourrait également contribuer à ce problème. Il a été noté dans l'étude précédemment citée (Favaro et al., 2023) que pour les corpus détenant plus de données, des mesures non interprétables (les traits provenant du modèle TRILLsson) étaient plus performantes et avaient un plus gros écart de performances en comparaison des mesures interprétables (des traits prosodiques).

Les difficultés du MLP à classer les locuteurs SCA avec une faible dysarthrie peuvent être dues à des mesures similaires entre CTRL et SCA dues à la précocité de la maladie (Slis et al., 2021), ce qui peut causer des difficultés pour le MLP à apprendre un motif particulier pour cette population et à les discriminer convenablement. À contrario, l'aisance du MLP dans la classification de la population CTRL peut résider dans le fait d'avoir des mesures plus stables dans la population CTRL avec très peu de variations, ce qui peut l'aider à apprendre un pattern. La performance observée de l'entrée Meanch et SD Meanch démontre son importance (Slis et al., 2021). Ces mesures peuvent refléter des troubles articulatoires comme des difficultés à atteindre des cibles articulatoires lors de transition d'un phonème à l'autre, ce qui est observable chez la population SCA (Shalling et al., 2007). En effet, le modèle arrive à apprendre un pattern pour chaque classe, ce qui permet cette bonne classification. Globalement, avec la totalité des mesures condensées, il est observé un score inférieur de 8% du MLP par rapport au CNN avec l'entrée Mod\_Cepstr pour la population SCA. L'entrée Mod\_Cepstr dans le CNN peut capturer des motifs spatiaux et des relations locales dans les données qui ne sont pas évidentes ou directement accessibles via les mesures brutes de la modulation cepstrale utilisées dans le MLP. Cela peut inclure des nuances subtiles et des motifs complexes qui sont importants pour la classification.

Ces résultats laissent plusieurs ouvertures pour la suite : les mesures prises par le CNN sur la modulation cepstrale ont un avantage pour la population SCA, ce qui montre une possibilité d'affiner les mesures numériques ciblées par la suite pour pouvoir capter des caractéristiques clefs permettant de différencier un locuteur peu atteint d'un témoin. Des tests prometteurs pour la même tâche ont été réalisés à l'aide de grands modèles de langues pré-entrainés (w2v2) et cette piste est en cours d'exploration.
Références

ABDERRAZEK S., FREDQUILLE C., GHIO A., LALAIN M., MEUNIER C. & WOISARD V. (2020).
Towards interpreting deep learning models to understand loss of speech intelligibility in speech
disorders - step 1 : Cnn model-based phone classification. *Interspeech 2020, 27*, 522–2526, DOI :
[hal-03017394](https:// HAL.Gouv . Eu . de . Cn . 2020 . 03017394) .

ALSHAMMRI R., ALHARBI G., ALHARBI E. & ALMUBARK I. (2023). Machine learning approaches to identify parkinson's disease using voice signal features. *Sec. Medicine and Public Health, **6***. DOI: 10.3389/frai.2023.1084001.

AUDIBERT N. & FOUGERON C. (2012). Distorsions de l'espace vocalique : quelles mesures ? application à la dysarthrie. *JEP TALN, **27*, 217-224. DOI : [hal-02436294](https://HAL.Gouv.de/2012.02436294) .

BERRAR D. (2019). Cross-validation. *Encyclopedia of Bioinformatics and Computational Biology*, p. 542–545. DOI: 10.1016/B978-0-12-809633-8.20349-X.

BOURBON A., FOUGERON C. & CREVIER_BUCHMAN L. (2023). *Effects of instruction and content on repetition performances of ataxic dysarthric and healthy speakers*. Thèse de doctorat, 8th International Conference on Speech Motor Control Groeningen.

BRENDEL B., SYNOFZIK M., ACKERMANN H., LINDIG T., SCHÖLDERLE T., SCHÖLS L. & ZIEGLER W. (2015). Comparing speech characteristics in spinocerebellar ataxias type 3 and type 6 with friedreich ataxia. *J Neurol, **262***, 21–26. DOI: 10.1007/s00415-014-7511-8.

DARLEY F., ARONSON A. & BROWN J. (1969). Differential diagnostic patterns of dysarthria.
*Journal of Speech and Hearing Research*, p. 246–269.

FARAGÓ P., ŠTEFÁNIGÁ S.-A., CORDOȘ C.-G., MIHĂILĂ L.-I. & HINTEA S. (2022). Cnn-based
identification of parkinson's disease from continuous speech in noisy environments. *JSLHR*, **5**,
1767–1783. DOI: 10.3390/bioengineering10050531.

FAVARO A., TSAI Y.-T., BUTALA A., THEBAUD T., VILLALBA J., DEHAK N. & MORO-
VELÁZQUEZ L. (2023). Interpretable speech features vs. dnn embeddings : What to use in the
automatic assessment of parkinson's disease in multi-lingual scenarios. *Computers in Biology and
Medicine*, **166**, 107559. DOI: 10.1016/j.compbiomed.2023.107559.

GOLDSTEIN L. (2019). The role of temporal modulation in sensorimotor interaction. *Front. Psychol*, **10**, 2068.

KIM L. & GENDROT C. (2022). Classification automatique de voyelles nasales pour une caractérisation de la qualité de voix des locuteurs par des réseaux de neurones convolutifs. *JEP*, p. 13–17.

KODRASI I., PERNON M., LAGANARO M. & BOURLARD H. (2021). Automatic and perceptual discrimination between dysarthria, apraxia of speech, and neurotypical speech. *ICASSP*.

LAARIDH I., FREDQUILLE C. & MEUNIER C. (2016). Détection automatique d'anomalies sur
deux styles de parole dysarthrique : parole lue vs spontanée. *JEP*.

LAGANARO M., FOUGERON C., PERNON M., LEVÊQUE N., BOREL S., CHIUVÉ M. F. S. C., URSULA LOPEZ R. T., MÉNARD L., BURKHARD P. R., ASSAL F. & DELVAUX V. (2020). Sensitivity and specificity of an acoustic- and perceptual-based tool for assessing motor speech disorders in french : the monpage-screening protocol. *Clinical Linguistics & Phonetics*, **35**, 1060–1075. DOI: 10.1080/02699206.2020.1865460.

LÉVÊQUE N., SLIS A., LANCIA L., BRUNETEAU G. & FOUGERON C. (2022). Acoustic change over time in spastic and/or flaccid dysarthria in motor neuron diseases. *JSLHR, 5*, 1767–1783. DOI : 10.1044/2022_JSLHR-21-00434.
MATHAD V. C., LISS J. M., CHAPMAN K., SCHERER N. & BERISHA V. (2022). Consonant-vowel transition models based on deep learning for objective evaluation of articulation. *IEEE, 31*, 86–95. DOI: 10.1109/TASLP.2022.3209937.

SCHMITZ-HÜBSCH T., ECKERT O., SCHLEGEL U., KLOCKGETHER T. & SKODDA S. (2011). Instability of syllable repetition in patients with spinocerebellar ataxia and parkinson's disease. *Mov disord, 27*, 316–319. DOI: 10.1002/mds.24030.

SHALLING E., HAMMARBERG B. & HARTELIUS L. (2007). Perceptual and acoustic analysis of speech in individuals with spinocerebellar ataxia (sca). *Logopedics Phoniatrics Vocology, 32*, 31–46. DOI: 10.1080/14015430600789203.

SLIS A., FOUGERON C., LÉVÊQUE N., PERNON M., ASSAL F. & LANCIA L. (2021). Analysing spectral changes over time to identify articulatory impairments in dysarthria. DOI: 10.1121/10.0003332.

WANG J., KOTHALKAR P. V., CAO B. & HEITZMAN D. (2016). Towards automatic detection of amyotrophic lateral sclerosis from speech acoustic and articulatory samples. *Interspeech2016*. DOI: 10.21437/Interspeech.2016-1542.

XU L., LISS J. & BERISHA V. (2022). Dysarthria detection based on a deep learning model with a clinically-interpretable layer. *JASA, 3*, 015201. DOI: 10.1121/10.0016833.
# Création d'un corpus parallèle de styles de parole en mandarin via l'auto-transcription et l'alignement forcé

Jingyi Sun¹ Yaru Wu¹, ², ³ Nicolas Audibert¹ Martine Adda-Decker¹, ³

## RÉSUMÉ

La technologie ASR excelle dans la transcription précise des discours lus préparés, mais elle rencontre encore des défis lorsqu'il s'agit de conversations spontanées. Cela est en partie dû au fait que ces dernières relèvent d'un registre de langage non préparé et informel, avec disfluences et réductions de parole. Afin de mieux comprendre les différences de production en fonction des styles de parole, nous présentons la création d'un corpus de parole conversationnelle, dont des extraits sont ensuite lus par leurs auteurs. Le corpus comprend 36 heures de parole en chinois mandarin avec leur transcription, réparties entre conversations spontanées et lecture. Nous avons utilisé WHISPER pour la transcription automatique de la parole et le *Montreal Forced Aligner* pour l'alignement forcé, résultant dans un corpus de parole transcrit avec annotations multi-niveaux incluant phonèmes, caractères/syllabes et mots. De telles productions de parole parallèles (en modes spontané et lu) seront particulièrement intéressantes pour l'étude des réduction temporelle.

## ABSTRACT

### Creating a Speaking Styles Parallel Corpus in Mandarin through Auto-transcription and Forced Alignment

ASR technology excels in accurately transcribing prepared read speech, but it still encounters challenges when dealing with spontaneous conversations. This is partly because the latter is an unprepared, casual language register with lots of disfluencies and speech reductions. In order to improve our knowledge about speech variations, we designed an oral corpus of 36 hours of Mandarin Chinese. Spontaneous conversations are automatically transcribed and selected excerpts of these are then read by their authors. We employed WHISPER for automatic speech transcription and the *Montreal Forced Aligner* for forced alignment, which represents an effective procedure from speech to text, then to multi-tier annotation within phones, characters/syllables, and words, particularly suitable for large-scale speech corpus construction. This enabled us to collect different speaking styles with partly overlapped content produced by the same speaker. Such parallel corpus are particularly helpful to investigate temporal speech reduction phenomena in spontaneous speech.

**MOTS-CLÉS** : corpus parallèle, style de parole, auto-transcription, alignement forcé.

**KEYWORDS**: parallel corpus, speaking style, auto-transcribe, forced alignment.

<figure><img src="image_131.png" /></figure>

<footnote>(1) Laboratoire de Phonétique et Phonologie (CNRS & Sorbonne Nouvelle), 4 Rue des Irlandais, 75005 Paris, France</footnote>

<footnote>(2) CRISCO/UR4255 (Université de Caen Normandie), Esp. de la Paix, 14000 Caen, France</footnote>

<footnote>(3) LISN (Univ. Paris-Saclay), Rue du Belvédère, 91405 Orsay, France
{jingyi.sun, nicolas.audibert, martine.adda-decker}@sorbonne-nouvelle.fr,
yaru.wu@unicaen.fr</footnote>
# 1 Introduction

Malgré les progrès considérables réalisés en ASR au cours des dernières décennies, la parole spontanée et, en particulier, informelle reste difficile. Différents facteurs, tels qu'une possible diminution de la qualité du canal, le bruit de fond et les chevauchements de parole, pourraient être mentionnés comme des explications possibles de la performance plus faible de l'ASR (Benzeghiba et al., 2007; O'Shaughnessy, 2008). Au-delà des facteurs non linguistiques mentionnés ci-dessus, il semble que les changements dans le contenu linguistique lui-même pourraient également expliquer partiellement certains aspects de la diminution de la précision de l'ASR : les disfluences, l'hypoarticulation et la réduction temporelle de la parole, qui peuvent entraîner des variantes de prononciation inattendues ou moins documentées (Adda-Decker & Lamel, 2018). Ces caractéristiques de la parole sont particulièrement remarquables dans des styles de parole moins contrôlés.

Deux styles de parole typiques sont prédominants dans les ensembles de données d'entraînement couvrant plusieurs langues : la lecture attentive et soignée et la conversation informelle non préparée. Ces styles de parole représentatifs couvrent deux extrémités d'un continuum (Gabler et al., 2023). La lecture attentive préserve les formes de prononciation relativement intactes des phonèmes et la coarticulation nécessaire (Farnetani & Recasens, 1997). Dans les dialogues spontanés, le débit de parole et l'accentuation sont très flexibles et parfois incorrects sur le plan grammatical. Les unités linguistiques non accentuées, prévisibles et de haute fréquence tendent à être prononcées rapidement et même avec une réduction extrême. De plus, cette parole contient de nombreuses pauses remplies, des bégaiements, des répétitions, des autocorrections, des hésitations et des marqueurs de discours, ainsi que des rires et des toux, tous difficiles à éviter tout en maintenant la naturalité de la parole. Ces caractéristiques sont également essentielles pour mesurer la spontanéité et l'informalité de la parole (Dufour et al., 2009).

Le corpus parallèle mandarin que nous sommes en train de créer est une étape importante vers l'extraction des paramètres phonétiques entre le registre informel et formel. Il est cependant important de noter que le terme « parallèle » utilisé ici diffère à la fois de la définition de Baker (Baker, 1995), qui fait référence à des corpus contenant des textes et des traductions dans deux langues ou plus, et du concept de Johansson (Johansson et al., 1998), qui fait référence à des corpus contenant des textes dans deux langues avec des relations universelles et comparables. En utilisant le style de parole comme seule variable de comparaison, nous avons créé un corpus parallèle mandarin avec la même langue, le même locuteur, aucun dialecte régional et un contenu linguistique égal, mais seulement dans des styles de parole différents.

# 2 Travaux Connexes

Le développement de bases de données de parole de conversation spontanée a connu une croissance rapide au cours des dernières décennies, avec des bases de données disponibles dans différentes langues, notamment l'anglais, le français, l'espagnol, l'allemand, l'italien et le mandarin taïwanais (Du Bois et al., 2000; Torreira & Ernestus, 2010; Kohler, 1996; Mereu & Vietti, 2021; Tseng, 2019). Cependant, dans les corpus de parole disponibles publiquement et axés sur le chinois mandarin, le style prédominant reste la lecture scriptée. Des bases de données à grande échelle de mandarin provenant de différentes régions et groupes d'âge comprennent, par exemple, Chinese Mandarin (South/North) database (ELRA), Chinese Digital Speech Data by Mobile Phone (ELRA), AISHELL
*Speech databases* (Bu *et al.*, 2017) et 1997 *Mandarin Broadcast News Speech* (Graff, 2002). Il y a également eu des progrès significatifs dans le développement de jeux de données de parole spontanée en mandarin. Des exemples notables incluent les données de conversation en mandarin du *Mandarin Conversational Speech Data du Primewords Chinese Corpus Set 1* (Primewords Information Technology Co., 2018) et le *Magic Data Chinese Mandarin Conversational Speech* (Yang *et al.*, 2022).

Les corpus interlinguistiques couvrant simultanément deux styles de parole différents sont néanmoins rares, et la plupart d'entre eux n'exigent pas un contenu linguistique identique. La création de corpus parallèles contenant des informations stylistiquement distinctes mais sémantiquement comparables, avec un alignement automatique sur plusieurs niveaux de texte pour permettre un lien direct avec le signal de parole, n'a été explorée que dans une quantité limitée de recherches (Barras *et al.*, 2004). La majorité des institutions de recherche ou des entreprises optent soit pour la diffusion de corpus ne comprenant qu'un style de parole, soit utilisent différentes méthodes pour recueillir les deux styles. La méthode la plus courante consiste à recueillir des discours spontanés de participants en réponse à des entretiens, puis à leur demander d'effectuer une tâche de parole spécifique, telle que donner des indications basées sur une carte (Thompson *et al.*, 1993; Ibrahim *et al.*, 2020) ou collaborer pour décorer un arbre de Noël (Ito & Speer, 2006). Enfin, les participants sont tenus de lire un texte standardisé. Cette stratégie de collecte de données avec des tâches indépendantes est largement utilisée, mais elle présente plusieurs inconvénients, notamment la possibilité que les réponses de différents individus à la même tâche soient très similaires ou excessivement simplistes.

L'amélioration de la précision et de la robustesse de la technologie de transcription automatique permet la construction de corpus parallèles relatifs à différents styles de parole. Nous utilisons le système de reconnaissance vocale multilingue *Whisper* (Radford *et al.*, 2023) pour obtenir rapidement la transcription de la conversation décontractée des locuteurs, qui est ensuite fournie aux locuteurs pour lecture après adaptation manuelle. Cela peut favoriser des variations de prononciation plus riches pour la modélisation des caractéristiques acoustiques et évaluer les performances de l'ASR tout en conservant un contenu linguistique cohérent.

La procédure peut également fournir des données linguistiques naturelles étendues pour soutenir l'étude des phénomènes phonétiques en mandarin, tels que la coarticulation, le sandhi tonal et la synérèse, en produisant un corpus mandarin couvrant à la fois la parole spontanée et la lecture. Ces informations permettent une évaluation minutieuse pour déterminer si des variations phonétiques spécifiques sont aléatoires ou résultent de processus phonologiques (Shih, 2005), éclairant les similitudes et les différences entre la coarticulation, la réduction de la parole et autres phénomènes propres à la parole connectée (Farnetani & Recasens, 1997). Une approche de recherche basée sur le corpus implique l'obtention de limites temporelles pour les voyelles et les consonnes individuelles par alignement forcé et annotation automatique, en se concentrant sur les correspondances erronées entre les instances dans le modèle acoustique et les phonèmes alignés, un phénomène particulièrement prévalent dans la parole spontanée. Ensuite, les distributions, les durées, les fréquences à l'intérieur et entre les catégories de sons sont comptabilisées séparément, et leurs distances acoustiques mesurées (Audibert *et al.*, 2015). De telles études servent de référence pour comprendre les causes et les tendances de la réduction phonétique. De plus, comme le ton porte une charge phonémique significative en chinois, les variations de ton possèdent une valeur théorique cruciale (Surendran *et al.*, 2006).
# 3 Protocole de Construction du Corpus

## 3.1 Locuteurs

Le corpus actuel comprend 40 locuteurs, répartis de manière équilibrée selon le genre (F :H=1 :1). Ils proviennent de 19 provinces de Chine, notamment Zhejiang, Henan, Shandong, Hunan, Anhui, Jiangsu, Yunnan, etc. Les locuteurs, âgés de 20 à 32 ans, sont parfaitement à l'aise en mandarin standard sans accent régional, et tous sont des étudiants universitaires en bonne santé ne présentant ni troubles du langage ou mentaux, ni pathologies des organes articulatoires.

Étant donné l'exigence de capturer une parole conversationnelle spontanée, les participants appariés doivent être familiers les uns avec les autres. Cela réduit les sentiments négatifs potentiels tels que l'anxiété et le malaise pendant les sessions d'enregistrement. Avant de commencer l'enregistrement, les participants ont reçu une description complète de la procédure de collecte de données. Nous leur avons présenté environ 20 sujets quotidiens portant sur l'hébergement, les études, la nourriture, les voyages, les loisirs, etc., tout en expliquant les précautions à prendre lors du processus d'enregistrement, les droits qu'ils ont de suspendre/retirer à tout moment et la sécurité des données de transcription de *Whisper*. Ensuite, ils ont été invités à signer le formulaire de consentement éclairé après avoir confirmé qu'ils n'avaient aucune préoccupation ou question. Chaque locuteur a reçu 15€ en espèces à la fin de la session d'enregistrement.

## 3.2 Paramètres d'Enregistrement

Nous avons utilisé un enregistreur de terrain Roland R-26 et deux microphones casques AKG C520. Le taux d'échantillonnage est de 48 kHz, tandis que la quantification est réglée sur 16 bits. De plus, nous avons mis en œuvre le système de transcription automatique de la parole open-source *Python*-basé, *Whisper*, sur un ordinateur exécutant un système Windows 11 équipé d'une carte graphique discrète NVIDIA.

Basé sur *Python* et *PyTorch*, *Whisper* est un modèle multitâche réalisé grâce à une supervision faible à grande échelle pour la reconnaissance de la parole, la traduction et l'identification de la langue. La précision et la vitesse de transcription varient en fonction de la langue (l'anglais, l'espagnol, le néerlandais et le coréen donnent les meilleurs résultats) et de la taille du modèle (avec cinq options : *tiny*, *base*, *small*, *medium*, *large*). Pour le chinois mandarin, le modèle de taille moyenne au minimum est recommandé pour la précision, les modèles plus grands atteignant une précision plus élevée mais des vitesses de reconnaissance plus lentes.

## 3.3 Processus d'enregistrement et d'alignement forcé

Le processus d'enregistrement et d'alignement forcé comprend cinq phases principales.

### 1. Conversation Spontanée

Tout d'abord, nous demandons aux participants de s'engager dans des discussions ouvertes aussi longtemps que possible. Un groupe de locuteurs peut souvent discuter en continu pendant 40 à 70 minutes. Avant l'expérience, nous fournissons aux participants une variété de sujets
de référence portant sur de nombreux aspects de la vie quotidienne. L’audio des conversations spontanées de deux participants est enregistré en stéréo. Nous considérons que les données de conversation spontanée vraiment naturelles commencent environ cinq minutes après le début de la conversation. Une fois que les participants commencent à parler, notre enregistrement commence en même temps.

## 2. Transcription et Modification de Texte

Après que le locuteur a fini de parler, nous commençons la transcription avec *Whisper*. Selon nos tests, transcrire une conversation d'une heure en utilisant le modèle *large* prend environ 18 minutes. Étant donné que *Whisper* ne différencie pas entre les locuteurs et qu'il y a quelques erreurs de reconnaissance de la parole dans le texte transcrit, causées soit par des homophones soit par une segmentation incorrecte des mots, la vérification et la correction manuelle des transcriptions sont nécessaires. Ensuite, ces transcriptions corrigées font l'objet d'un processus de révision et de correction par les locuteurs pour obtenir la version finale écrite pour la relecture par les locuteurs.

Il convient cependant de noter que la structure grammaticale et sémantique de l'improvisation orale est informelle, avec de nombreuses hésitations telles que des répétitions ou des auto-corrections. Par conséquent, nous visons à maintenir ces hésitations et ces non-conformités grammaticales dans les traductions anglaises correspondantes de chaque phrase et à les effacer lors de l'adaptation au texte lu au style écrit. La parole de conversation spontanée comprend également de nombreuses phrases courtes, telles que des réponses brèves ou des déclarations interrompues. Dans ce cas, nous ne couvrons pas de manière exhaustive toutes les informations de la conversation spontanée. Au lieu de cela, nous sélectionnons des segments plus longs et relativement complets pour la réécriture. De plus, l'alternance rapide des tours de conversation peut entraîner des transcriptions modifiées incohérentes ou difficiles à comprendre lorsqu'elles sont extraites séparément. Pour éviter cela, nous pouvons, si nécessaire, incorporer des parties d'informations linguistiques du locuteur 1 dans le texte lu du locuteur 2, et vice versa.

Comme le montre la Figure 1, nous avons apporté les ajustements suivants pour organiser le texte au style écrit :

- Segmentation du discours non ponctué en phrases fluides à lire pour les locuteurs et qui ne semblent pas linguistiquement artificielles. Par exemple, nous transformons la phrase a. en deux phrases A., en utilisant la ponctuation pour séparer deux propositions indépendantes.

- Réorganisation des phrases fragmentées et incorporation des informations linguistiques de l'autre personne pour compléter l'énoncé. Par exemple, la phrase i. répond à la question de l'autre, nous combinons donc la phrase h. et la recréons en tant que phrase grammatica-lement et sémantiquement bien formée H.+I.. En général, les énoncés appropriés pour la supplémentation et la fusion devraient inclure au moins deux des éléments suivants : sujet, prédicat et objet. Cela permet de sélectionner les parties manquantes à partir des informa-tions linguistiques fournies par l'interlocuteur et de compléter l'énoncé. Cependant, si les deux parties ont fourni des informations importantes pour les phrases modifiées, alors les deux locuteurs seront invités à lire la phrase.

- Élimination des interjections et des particules modales de la transcription. Par exemple, nous retirons « 啊(ah) » dans la phrase e., une interjection, et « 嗯(um) » dans la phrase i., une particule modale.

- Réorganisation des phrases inversées incorrectes. Par exemple, dans la phrase F., nous avons déplacé l'adverbe « 先(d'abord) » devant le VP « 预约一下(prendre rendez-vous) ».
— Élimination des phrases répétées ou des auto-corrections. Par exemple, le sujet de la phrase c. a fait l'objet d'une auto-correction, de «我(je)» à «我男朋友(mon petit ami)», nous ne conservons donc que cette dernière lors de la réorganisation de la phrase C.

<figure><img src="image_132.png" /><figcaption>FIGURE 1 – Transcription du dialogue *Whisper* (II) au centre, la traduction anglaise correspondante (I) à gauche, et le texte adapté au style écrit (III) à droite</figcaption></figure>

En nous basant sur notre expérience actuelle en matière d'édition de texte, le problème le plus difficile est de rectifier les inexactitudes dans la transcription, souvent dues aux homophones ou aux hésitations de la parole. Dans de tels cas, nous nous appuyons sur l'interprétation par le locuteur du contenu de l'interaction afin de finaliser le manuscrit du discours, car ils se souviennent généralement de ce qu'ils viennent de dire. La révision des textes des lectures des deux intervenants prend généralement environ 30 minutes au total.

## 3. Lecture de Texte

Après avoir obtenu la transcription textuelle modifiée, nous demandons aux participants de la lire deux fois de manière émotionnellement neutre tout en enregistrant leur discours. Cela est destiné à obtenir autant de fluidité que possible dans la lecture de la parole typique, car la première lecture peut donner lieu à des hésitations en raison de la méconnaissance du matériel. Le discours lu est enregistré en mono, cette phase prenant généralement 10 à 15 minutes par locuteur.

## 4. Prétraitement de l'entrée pour l'alignement forcé

Nous avons utilisé *Montreal Forced Aligner 3.0.6* (McAuliffe et al., 2017) pour l'alignement automatique au niveau des phonèmes des mots, ce qui nécessite la préparation préalable de textes de transcription correctement formatés et d'audio sous-échantillonné. Le traitement des textes de transcription chinois nécessite une attention particulière, car ils sont écrits en chaînes continues, ce qui implique qu'il n'y a pas de repères de segmentation en dehors de la ponctuation. Ainsi, le package *spacy-pkuseg* est utilisé pour aider à la tokenisation automatique du texte chinois. L'alignement forcé est effectué en utilisant un lexique de prononciation chinois mandarin pré-entraîné et des modèles acoustiques dans MFA pour l'alignement forcé. Chaque heure de données audio nécessite environ 3 à 4 minutes de traitement pour l'alignement forcé.

## 5. Vérification manuelle et Réalignement

La performance de Whisper utilisant le modèle large-v3 en mandarin a été évaluée par ses auteurs sur deux ensembles de données. Dans l'ensemble de données *Common Voice 15*, le
<figure><img src="image_133.png" /><figcaption>FIGURE 2 – Annotation à trois niveaux des Phones, des Caractères/Syllabes et des Mots</figcaption></figure>

taux d'erreur de caractères (CER) était de 12,8%, tandis que dans l'ensemble de données *Fleurs*, le CER était de 7,7%. Cela indique que sa performance de reconnaissance varie en fonction de l'ensemble de données utilisé. Nous avons ensuite évalué *Whisper* sur la base de ce corpus parallèle de styles de parole et avons constaté que le CER pour la parole lue est de 4,18%, tandis que pour la parole de conversation spontanée, il est de 8,37%. Ces erreurs se reflètent également dans les résultats d'alignement forcé de la transcription provenant de *Whisper* et de l'audio. Par conséquent, après le premier alignement forcé, nous devons corriger les erreurs de transcription dans *Praat* (Boersma & Van Heuven, 2001) et ajouter du texte avec leurs limites pour correspondre à la parole pertinente dans les sections non reconnues. Contrairement à la correction précédente visant à faciliter la relecture par les locuteurs, cette correction de la transcription est effectuée en tenant compte autant que possible des hésitations et des autres disfluences. Cette démarche permettra d'obtenir une saisie de texte de transcription plus précise pour le réalignement.

Après vérification manuelle, un réalignement est nécessaire pour obtenir un nouveau fichier *textgrid* avec les frontières temporelles correctes pour chaque mot. De plus, étant donné que les mots ne sont pas l'unité la plus petite dans le système d'écriture chinois, nous pouvons également utiliser *Python* pour segmenter automatiquement le texte de transcription en caractères/syllabes chinois pour l'alignement. Les résultats alignés peuvent être superposés aux annotations obtenues au niveau des mots pour former des annotations à trois niveaux : phones, caractères/syllabes chinois et mots, comme illustré dans la Figure 2.

Cette approche permet la construction rapide de corpus de langage parlé spontané à grande échelle avec des données annotées. Le corpus comprend une durée totale de 36 :01 :53, comprenant 28 :59 :00 de parole de conversation spontanée et 7 :02 :53 de parole lue. Les statistiques préliminaires indiquent que la parole spontanée contient 586 554 caractères/syllabes chinois et 1 184 186 phonèmes, tandis que la parole lue contient 116 345 caractères/syllabes chinois et 245 605 phonèmes. Il est à noter que le nombre de phones dépend également du
modèle acoustique utilisé, dans ce cas, en utilisant le modèle pré-entraîné "mandarin_mfa",
qui comprend 142 phones. Dans nos données de parole lue, les 28% des phones les plus
représentés (40) représentent 72,11% de tous les phones. Les consonnes les plus fréquentes
comprennent deux nasales, /n/ (7,75%) et /ŋ/ (4,60%), ainsi que des occlusives, des fricatives
et des affriquées /t/ (4,35%), /ʃ/ (3,37%), /tʃ/ (2,24%), /z/ (2,60%) et /x/ (1,61%). Les voyelles
les plus fréquentes comprennent /o/ (7,16%), /a/ (6,46%), /i/ (4,88%) et /ɔ/ (3,46%). De plus,
deux approximants, /w/ (4,32%) et /j/ (3,20%), sont également très fréquents. Un affinement
supplémentaire du corpus permettra d'obtenir plus de différences statistiques entre la parole
spontanée et lue en chinois mandarin, inspirant ainsi une exploration plus poussée des motifs
de variation allophonique.

4 Conclusion et Travaux Futurs

Cette étude propose une méthode systématique pour créer un corpus vocal parallèle concernant différents styles de parole avec le même locuteur et les mêmes informations linguistiques, avec l'aide de *Whisper* et de *Montreal Forced Aligner*. Le modèle large de *Whisper* permet une récupération rapide et précise du texte de transcription hors ligne, qui est ensuite adapté pour être utilisé comme matériel au style écrit pour la tâche de lecture. Dans les cas où les mots et les phrases se chevauchent fortement, ce corpus peut être utilisé non seulement pour comparer les performances de reconnaissance vocale de différents styles de parole et localiser rapidement les différences, mais il peut également fournir des variantes de prononciation riches pour l'étude des mécanismes de réduction de la parole en chinois mandarin, de la coarticulation et du sandhi tonal. En particulier, l'étude des affriquées et de l'aspiration en chinois mandarin peuvent permettre de mieux documenter les phénomènes de réduction, tandis que l'interaction entre les tons et l'intonation, la focalisation et d'autres paramètres prosodiques dans la parole spontanée extensive peut également être étudiée, éclairant des caractéristiques multidimensionnelles dans la parole informelle et formelle (Chen & Yuan, 2007). Nos prochaines étapes impliquent l'annotation automatisée, la vérification manuelle du corpus et l'analyse des fréquences d'occurrence sur les syllabes, les phonèmes, les tons et d'autres aspects pertinents pour la caractérisation de la réduction en mandarin.

Remerciements

Ce travail a bénéficié du soutien financier du Laboratoire d'Excellence Empirical Foundations of Linguistics (LabEx EFL, ANR-10-LABX-0083), contribuant ainsi à l'IdEx Université de Paris (ANR-18-IDEX-0001), ainsi que du projet ANR-21-CE38-0019 DIPVAR. Jingyi Sun a été soutenue par une bourse du China Scholarship Council (Grant No. 202208410095).

Références

ADDA-DECKER M. & LAMEL L. (2018). Discovering speech reductions across speaking styles and languages. *Rethinking reduction : Interdisciplinary perspectives on conditions, mechanisms, and domains for phonetic variation, 25*, 101. DOI: 10.1515/9783110524178-004.
AUDIBERT N., FOUGERON C., GENDROT C. & ADDA-DECKER M. (2015). Duration-vs. style-dependent vowel variation: A multiparametric investigation. In *18th International Congress of Phonetic Sciences (ICPhS'15)*.

BAKER M. (1995). Corpora in translation studies: An overview and some suggestions for future research. *Target. International Journal of Translation Studies, 7*, 223–243. DOI: 10.1075/tar-get.7.2.03bak.

BARRAS C., ADDA G., ADDA-DECKER M., HABERT B., DE MAREÜIL P. B. & PAROUBEK P. (2004). Automatic Audio and Manual Transcripts Alignment, Time-code Transfer and Selection of Exact Transcripts. In M. T. LINO, M. F. XAVIER, F. FERREIRA, R. COSTA & R. SILVA, Éds., *Proceedings of the Fourth International Conference on Language Resources and Evaluation (LREC'04)*, p. 877–880: European Language Resources Association (ELRA).

BENZEGHIBA M., DE MORI R., DEROO O., DUPONT S., ERBES T., JOUVET D., FISSORE L., LAFACE P., MERTINS A., RIS C. *et al*. (2007). Automatic speech recognition and speech variability: A review. *Speech communication, 49*, 763–786. DOI: 10.1016/j.specom.2007.02.006.

BOERSMA P. & VAN HEUVEN V. (2001). Speak and unspeak with praat. *Glot International, 5*(9/10), 341–347.

BU H., DU J., NA X., WU B. & ZHENG H. (2017). Aishell-1: An open-source mandarin speech corpus and a speech recognition baseline. http://www.aishelltech.com/kysjcp.

CHEN Y. & YUAN J. (2007). A corpus study of the 3rd tone sandhi in standard chinese. In *Interspeech*, p. 2749–2752: Citeseer.

DU BOIS J. W., CHAFE W. L., MEYER C., THOMPSON S. A. & MARTEY N. (2000). Santa barbara corpus of spoken american english. *CD-ROM. Philadelphia : Linguistic Data Consortium*. DOI: 10.35111/s2q7-gq73.

DUFOUR R., JOUSSE V., ESTÈVE Y., BÉCHET F. & LINARÈS G. (2009). Spontaneous speech characterization and detection in large audio database. *SPECOM, St. Petersburg, 7*, 41–46.

FARNETANI E. & RECASENS D. (1997). Coarticulation and connected speech processes. *The handbook of phonetic sciences, 371*, 404.

GABLER P., GEIGER B. C., SCHUPPLER B. & KERN R. (2023). Reconsidering read and spontaneous speech: Causal perspectives on the generation of training data for automatic speech recognition. *Information, 14*, 137. DOI: 10.3390/info14020137.

GRAFF D. (2002). An overview of broadcast news corpora. *Speech Communication, 37*, 15–26. DOI: 10.1016/S0167-6393(01)00057-7.

IBRAHIM O., ASADI H., KASSEM E. & DELLWO V. (2020). Arabic speech rhythm corpus: Read and spontaneous speaking styles. In *Proceedings of the Twelfth Language Resources and Evaluation Conference*, p. 5337–5342, Marseille, France: European Language Resources Association.

ITO K. & SPEER S. R. (2006). Using interactive tasks to elicit natural dialogue. *Methods in empirical prosody research*, p. 229–257.

JOHANSSON S., EBELING S. O. & OKSEFJELL S., Éds. (1998). *Corpora and cross-linguistic research : Theory, method and case studies*. Rodopi.

KOHLER K. J. (1996). Labelled data bank of spoken standard german: the kiel corpus of read/spontaneous speech. In *Proceeding of Fourth International Conference on Spoken Language Processing. ICSLP'96*, p. 1938–1941: IEEE.

MCAULIFFE M., SOCOLOF M., MIHUC S., WAGNER M. & SONDEREGGER M. (2017). Montreal forced aligner: Trainable text-speech alignment using kaldi. In *Interspeech*, volume 2017, p. 498–502.
MEREU D. & VIETTI A. (2021). Dialogic italian : the creation of a corpus of italian spontaneous speech. *Speech Communication*, **130**, 1–14. DOI: 10.1016/j.specom.2021.03.002.

O’SHAUGHNESSY D. (2008). Automatic speech recognition : History, methods and challenges. *Pattern Recognition*, **41**, 2965–2979. DOI: 10.1016/j.patcog.2008.05.008.

PRIMEWORDS INFORMATION TECHNOLOGY Co. L. (2018). Primewords chinese corpus set 1. https://www.primewords.cn.

RADFORD A., KIM J. W., XU T., BROCKMAN G., MCLEAVEY C. & SUTSKEVER I. (2023). Robust speech recognition via large-scale weak supervision. In *International Conference on Machine Learning*, p. 28492–28518.

SHIH C. (2005). Understanding phonology by phonetic implementation. In *Ninth European Conference on Speech Communication and Technology*.

SURENDRAN D., NIYOGI P. et al. (2006). Quantifying the functional load of phonemic oppositions, distinctive features, and suprasegmentals. *Amsterdam studies in the theory and history of linguistic science series 4*.

THOMPSON H. S., ANDERSON A. H., BARD E. G., DOHERTY-SNEDDON G., NEWLANDS A. & SOTILLO C. (1993). The hcrc map task corpus : Natural dialogue for speech recognition. In *Human Language Technology : Proceedings of a Workshop Held at Plainsboro, New Jersey*.

TORREIRA F. & ERNESTUS M. (2010). The nijmegen corpus of casual spanish. In *Seventh conference on International Language Resources and Evaluation (LREC’10)*, p. 2981–2985.

TSENG S.-C. (2019). Ilas chinese spoken language resources. *Proceedings of LPSS 2019*, p. 13–20.

YANG Z., CHEN Y., LUO L., YANG R., YE L., CHENG G., XU J., JIN Y., ZHANG Q., ZHANG P. et al. (2022). Open source magicdata-ramc : A rich annotated mandarin conversational (ramc) speech dataset. *arXiv preprint arXiv:2203.16844*. DOI: 10.48550/arXiv.2203.16844.
# Déplacement vertical du larynx dans la production des plosives en thaï

Paula Alejandra Cano Córdoba¹, Thi-Thuy-Hien Tran¹, Nathalie Vallée¹, Christophe Savariaux¹, Silvain Gerber¹, Nicha Yamlamai², Yu Chen¹

(1) Univ. Grenoble Alpes, CNRS, Grenoble INP, GIPSA-lab, 38000 Grenoble, France

(2) Faculté de Lettres, Univ. Silpakorn, Bangkok, Thaïlande
prénom.nom@gipsa-lab.fr, yamlamai_n@su.ac.th,
yu.chen1@etu.univ-grenoble-alpes.fr

## RESUME

Les plosives, généralement accompagnées d'un *burst* (relâchement audible) après la phase d'occlusion, sont néanmoins produites sans *burst* dans certaines langues d'Asie comme le thaï. Cette absence de bruit est attribuée au non-relâchement brusque des articulateurs et est observée exclusivement lorsque les plosives sont en finale de syllabe, jamais en initiale. Nous formulons l'hypothèse qu'un mouvement d'abaissement du larynx pourrait provoquer une diminution de la pression intraorale pendant la tenue de l'occlusion induisant le non-relâchement articulatoire. Nous avons examiné le mouvement vertical du larynx chez deux locutrices natives lors de la production des plosives /p, t, k/ dans une tâche de lecture d'une liste de pseudo-mots de structure CVC. Les résultats montrent une grande variabilité dans le mouvement d'abaissement du larynx en fonction des segments consonantiques, vocaliques et du contexte tonal, suggérant que plusieurs facteurs pourraient être impliqués dans l'explication de la diminution de la pression intraorale.

## ABSTRACT

### Larynx vertical movement in the production of Thai plosives

Plosives are generally produced with a burst (i.e. an audible release) which follows the occlusion phase. However, this is not the case in some Asian languages like Thai. The lack of burst comes from non-abrupt release of articulators and is observed exclusively when plosives are syllable-final, never initial. We suggest that a lowering movement of the larynx could cause a decrease in intra-oral pressure during the closure phase, inducing articulatory non-release. We examined the vertical movement of the larynx in two native speakers during the production of the plosives /p, t, k/ in a reading task of a CVC pseudo-word list. The results reveal a great variability in laryngeal lowering movement as a function of consonant, vowel and tonal contexts, suggesting several factors that may be involved in explaining decrease in intra-oral pressure.

**MOTS-CLÉS** : Plosives non relâchées, EGG, suivi du larynx, pression intraorale

**KEYWORDS:** Unreleased stops, EGG, larynx tracking, intraoral pressure

## 1 Introduction

Les consonnes plosives, présentes dans toutes les langues du monde (Maddieson, 1984 ; Vallée et al., 2002), sont généralement produites avec un blocage de l'air provenant des poumons au niveau

<figure><img src="image_134.png" /></figure>
supraglottique, entraînant une augmentation de la pression derrière l'obstruction, ce qui provoque un écartement soudain des articulateurs (Ladefoged & Maddieson, 1996 ; Stevens, 2000). Sur le plan acoustique, ces consonnes se caractérisent par un silence, correspondant à l'occlusion, suivi d'un bruit de plosion court et audible, également appelé *burst*, résultant de la séparation brusque des articulateurs (Ladefoged & Maddieson, 1996 ; Stevens, 2000). Le son de relâchement varie en fonction du point d'articulation de la consonne, reflétant la forme de la cavité de résonance située après le blocage sur le parcours du flux d'air (Stevens, 1997). Néanmoins, dans certaines langues, les plosives sont dépourvues de relâchement audible, spécifiquement en position finale (coda) de syllabe. C'est le cas, par exemple, en vietnamien, en cantonais, en karitiana ou en thaï (Iwata et al., 1990 ; Tingsabadh & Abramson, 1993 ; Storto & Demolin, 2002 ; Tsukada, 2004 ; Tran, 2011 ; Yamlamai & Tran, 2018). La position de coda est propice à des phénomènes d'affaiblissement acoustique et articulatoire, ou de lénition (Kingston, 2008). Ces processus conduisent à la restriction des inventaires consonantiques dans les langues, où les différentes configurations trouvées en position initiale (attaque) sont neutralisées en position de coda (Kingston, 2008). Par exemple, en coréen, trois configurations laryngales sont observées en attaque (fortis /p, t, k/, lenis /p*, t*, k*/ et aspirée /pʰ, tʰ, kʰ/) tandis qu'une seule réalisation allophonique non voisée et non relâchée [p', t', k'] est attestée en coda (Cho et al., 2002). Ce processus de neutralisation des plosives en attaque aboutissant à des allophones non relâchés en coda est également observé dans d'autres langues telles que le cantonais, le thaï et le vietnamien (Iwata et al., 1990 ; Tran, 2011). En cantonais, par exemple, les plosives initiales non voisées, qu'elles soient aspirées ou non (ex. /p, pʰ/) sont toutes réalisées comme non relâchées en coda de syllabe ([p'] (Iwata et al., 1990).

Malgré le fait que cette tendance soit bien décrite sur le plan phonologique, l'explication du processus de non relâchement n'est pas encore très claire, parfois sujette à controverse. D'une part, dans certaines langues comme le thaï ou le hakka, il existe un processus de renforcement glottique avec adduction des plis vocaux qui arrête le flux d'air empêchant l'accumulation de pression dans les cavités supraglottiques et conduisant à la suppression du burst (Iwata et al., 1990 ; Edmondson et al., 2010, 2011). En l'absence de glottalisation comme dans le cas des plosives finales du vietnamien (Michaud, 2004), ce type de production non relâchée pourrait nécessiter un contrôle particulier du relâchement de l'occlusion, soulevant ainsi des interrogations sur la complexité de la réalisation allophonique en position lénifiante. Ladefoged & Maddieson (1996), par exemple, suggèrent que ce phénomène résulterait d'une fuite d'air dans les fosses nasales pendant l'occlusion, entraînant ainsi une diminution de la pression intraorale (PIO). Ils notent que « (...) nasal release occurs in some of the languages which are usually described as having unreleased final stops. A good example is Vietnamese. In this language, word-final stops are usually released, but the release is by lowering the velum while the oral closure is maintained, so that a short voiceless nasal is produced » (Ladefoged & Maddieson, 1996 : 129). La même tendance a été observée chez des locuteurs du karitiana, langue amérindienne parlée au Brésil, où une augmentation systématique du débit d'air nasal pendant la phase de maintien de l'occlusion des plosives a été remarquée par Storto & Demolin (2002). Cette étude a également révélé une durée plus longue de la phase d'occlusion pour les consonnes non relâchées. Cependant, les fuites nasales n'ont pas été systématiquement observées lors de la production des plosives non relâchées dans des études plus récentes portant sur les données aérodynamiques et glottographiques du coréen, du vietnamien et du thaï (Tran et al., 2020 ; Cano Córdoba et al., 2022). En revanche, ces travaux ont mis en évidence un abaissement plus important du larynx pour les plosives non relâchées en finale de syllabe par rapport à celles relâchées en position initiale, ce qui pourrait expliquer une diminution de la pression intraorale et ainsi remplir les conditions aérodynamiques favorables au non relâchement.

Bien que les recherches sur les actions laryngées aient été abondantes, recourant à diverses méthodes instrumentales à la fois invasives et non invasives ainsi qu'à des techniques de
modélisation computationnelle (voir Esling et al., 2019 pour une revue), peu d'études ont mesuré le mouvement vertical du larynx. Ceci est principalement dû aux défis technologiques inhérents à cette mesure et à l'absence, jusqu'à présent, d'une méthodologie de mesure standard établie (Kleiner et al., 2023). Il semble y avoir un consensus sur des découvertes telles que la corrélation positive entre hauteur du larynx et f₀, c'est-à-dire l'abaissement du larynx en tant que corrélat de l'abaissement de la f₀ (Ohala, 1978 ; Sagart et al., 1986 ; Hallé, 1994 ; Moisik et al., 2014) explicable par la contraction des muscles infra-hyoïdiens qui provoque une descente globale du larynx et une diminution du pitch. En revanche, la contraction des fibres des muscles supra-hyoïdiens provoque une élévation du larynx et une augmentation de f₀ (Trigo, 1991 ; Honda et al., 1999). En outre, la hauteur du larynx est activement impliquée dans la production des tons comme en mandarin, dans la mesure où elle pourrait compenser l'absence d'implication de la musculature principale responsable de la régulation de la hauteur (Moisik et al., 2014).

Par ailleurs, des régularités concernant le lien entre la position verticale du larynx et la production des voyelles ont été établies dans des travaux antérieurs. Les trois voyelles cardinales /i, a, u/ ont respectivement une position moyenne haute, intermédiaire et basse du larynx (Ewan & Krones, 1974). Il est également reconnu que les voyelles postérieures telles que /u, o/ ont une position laryngée plus basse que les voyelles antérieures telles que /i, e/ selon les travaux de Hoole & Kroos (1998). Leur étude révèle également une corrélation entre la position du larynx et la labialité des voyelles antérieures en allemand : le larynx est plus bas pour les voyelles arrondies /y, ø/ que pour les non arrondies /i, e/. Ces résultats confirment les travaux antérieurs de Riordan (1977) et de Petersen (1983) respectivement sur le français et le néerlandais, indiquant que le larynx est en position plus haute pour /i/ que pour /u/. Néanmoins, Hoole (2006) affirme que même si la voyelle postérieure /u/ a clairement tendance à avoir une position plus basse du larynx, la position laryngée relative de /i/ et /a/ n'est pas aussi nette.

## 2 Objectifs et hypothèses

La présente étude consiste à explorer des pistes permettant de mieux comprendre les mécanismes sous-jacents au non relâchement des plosives en position finale en thaï, parmi lesquelles le mouvement du larynx lors de la production de ces consonnes.

Le lexique du thaï est majoritairement mono- et dissyllabique avec respectivement 41,37 % et 40,35 % des lemmes (Rousset, 2004) et présente une structure syllabique prédominante CVC (64,41 % des syllabes). De manière plus générale, les syllabes fermées sont favorisées (69 % des syllabes relevées dans le lexique. Rousset, 2004). En thaï, huit plosives sont autorisées en initiale /p, pʰ, b, t, tʰ, d, k, kʰ/ (Abramson & Tingsabadh, 1999) présentant trois modes phonatoires différents (Lisker & Abramson, 1964). La distinction phonologique observée en initiale de syllabe se voit neutralisée en position de coda où seulement trois allophones plosifs sont permis (Iwata et al., 1990), réalisés comme non voisés et non relâchées [p', t', k'] (Tingsabadh & Abramson, 1993).

Une descente plus importante du larynx aurait pour effet de diminuer ce qui, selon Stevens (1997), est nécessaire pour produire un burst audible : la montée de la pression intraorale derrière le lieu d'articulation de la consonne. En considération des résultats de Shipp et collègues (1987) qui ont mis en évidence une descente systématique du larynx lors de la production de segments non voisés par rapport à des segments voisés, il est attendu que l'abaissement du larynx soit plus marqué pour une plosive sourde en finale si elle est suivie d'un segment non voisé que pour une plosive sourde en initiale devant voyelle. Il a été observé que la position de la consonne dans la syllabe a une influence sur le degré d'abaissement du larynx en vietnamien, coréen et thaï. En effet, en l'absence de fuite nasale ou d'adduction des plis vocaux, le larynx descend davantage en C₂ où se trouvent
les plosives non relâchées (Tran et al., 2020 ; Cano Córdoba et al., 2022). De plus, une corrélation a été établie entre le lieu d'articulation de la plosive et le déplacement vertical du larynx : plus la consonne est postérieure, plus le larynx descend (Cano Córdoba et al., 2022).

L'hypothèse générale proposée dans cette étude suggère que l'absence de relâchement audible des plosives finales pourrait résulter d'un mouvement d'abaissement du larynx pendant la phase de maintien de l'occlusion (Cano Córdoba et al., 2022), une caractéristique également observée en vietnamien et en coréen (Tran et al., 2020). En outre, étant donné que la position verticale du larynx est proposée directement corrélée à la hauteur de la f₀ et à l'articulation des voyelles (voir les études antérieures citées plus haut), nous cherchons à savoir si le mécanisme laryngé dans les productions non relâchées peut être impacté par le registre tonal porté par la syllabe, ainsi que par le contexte vocalique.

# 3 Méthodologie

## 3.1 Matériel

Les données glottographiques analysées ont été recueillies avec un électroglottographe multicanal (EGG réf. EG2-PCX2 de Glottal Enterprises Inc.)(Rothenberg, 1992). Deux électrodes fixées par un dispositif autoagrippant à un collier, ont été placées de part et d'autre du larynx des participants pour détecter à la fois les oscillations des plis vocaux (mouvements d'ouverture et de fermeture de la glotte) et le déplacement vertical du larynx lors de la production de parole. Le signal acoustique de la parole a été enregistré à l'aide d'un micro AKG C1000S et d'un enregistreur Marantz PMD 670, à une fréquence d'échantillonnage de 44.1 kHz. Les données acoustiques ont également été enregistrées en synchronisation avec les données EGG en utilisant le système d'acquisition Biopac MP150 via le logiciel Acqnowlegdge à une fréquence d'échantillonnage de 25 kHz. Aucun filtrage n'a été réalisé sur les données avant analyse. Le corpus a été enregistré dans la chambre anéchoïque de l'Université Silpakorn, à Nakhon Pathom, en Thaïlande, durant l'été 2023.

## 3.2 Corpus et locuteurs

Pour cette étude, nous avons sélectionné une liste de pseudo-mots de type C₁VC₂. Nous avons inclus dans notre étude toutes les combinaisons possibles où C₁ et C₂ correspondent aux plosives non voisées et non aspirées /p, t, k/, ainsi que tous les contextes vocaliques possibles en thaï /aɛeɪ ɔoʊrʊ/. Pour observer toute différence éventuelle selon le registre tonal, deux tons, bas descendant T2 /a²¹/ et haut montant T4 /a⁴⁵/ (Ladefoged & Maddieson, 1996), ont été sélectionnés pour la syllabe cible. Les pseudo-mots ainsi obtenus ont été insérés dans la phrase porteuse ฟุคว่า __ ดีๆ [phʰû:t⁵¹ wâ:⁵¹ __ di:³² di:³²] “Dis __ attentivement”. Le corpus est constitué de deux répétitions de la liste de phrases, où les pseudo-mots cibles de chaque répétition ont été mis en ordre aléatoire différent, mais identique, pour tous les participants. La consigne a été donnée de lire à voix haute, à un débit normal et fluide les phrases qui s'affichaient une par une sur l'écran (dont la taille était de 15”).

Nous présentons ci-dessous les premières analyses effectuées auprès de deux locutrices natives (au total 20 locuteurs ont été enregistrés pour ce projet). Originaires de la région de Bangkok, elles parlent la même variété dialectale du centre de la Thaïlande. L'une d'entre elles (âgée de 49 ans)