<figure><img src="image_65.png" /><figcaption>FIGURE 3 – Scores ABX pour les comparaisons entre les différents genres (T=texte, S=chanson). Des chansons dans trois styles différents sont interprétées par une chanteuse professionnelle Naxi. Taille des extraits : 10 s.</figcaption></figure>

<figure><img src="image_66.png" /><figcaption>FIGURE 4 – Scores ABX pour les comparaisons entre les éléments de la série phonétique. La locutrice AS a trois enregistrements (AS₁, AS₂, AS<sub>Lex</sub>), RS en a deux (RS₁, RS₂) et TLT en a un. Taille des extraits : 1 s.</figcaption></figure>

linguistique est différent, ce qui suggère que le style de la chanson peut être détecté.

Ces résultats suggèrent que les propriétés de la voix sont présentes dans les représentations, puisque nous pouvons distinguer entre une narration et différents styles de chansons pour un même locuteur, et même regrouper par style de chanson. Ces résultats fournissent des pistes pour de futures études visant à utiliser des modèles neuronaux pour réaliser des études prosodiques.

## 3.3 Étude d'un corpus de phonétique

S'il est raisonnable de penser que deux phrases au contenu linguistique différent dans des conditions parfaitement contrôlées apparaîtront comme différentes lorsqu'elles seront soumises à un test ABX, la réponse n'est pas immédiate lorsqu'il s'agit d'un enregistrement entier. Il n'est pas non plus évident que deux phrases différentes prononcées par deux locuteurs·rices différent·e·s soient distinguées uniquement en raison d'une différence de contenu linguistique : l'identité du locuteur ou de la locutrice agit comme un facteur de confusion.

L'objectif de cette expérience est de comparer des données présentant des différences d'ordre « phonétique », mais où le paramètre de l'identité de la locutrice varie. Pour ce faire, nous nous appuyons sur un corpus phonétique enregistré de manière contrôlée, où chaque locutrice a reçu les mêmes instructions. Ces enregistrements ont le même contenu (AS<sub>1,2</sub>, RS<sub>1,2</sub>, TLT). Un enregistrement a un contenu différent (AS<sub>lex</sub>). Les scores sont calculés à partir de triplets composés de deux extraits de 1 s issus du même enregistrement et d'un extrait issu d'un enregistrement différent. <fnref n="7" />

La figure 4 montre qu'avec une longueur de 1 s, il est difficile de distinguer les différents enregistrements des mêmes phrases (c.-à-d. issus du même corpus, mais prononcé par des locutrices différentes, ou simplement différentes répétitions d'un même enregistrement), et ce même lorsque les locutrices

<footnote n="7">7. Les résultats obtenus pour d'autres tailles d'extraits sont présentés en annexe (voir https://hal.science/hal-04583516).</footnote>
diffèrent. l’écart à locutrice fixe varie de 0,0 à 0,02, tandis que, tandis que l’écart « cross-locutrices » varie de 0,02 à 0,06. Cela suggère que même avec des extraits d’1 s, l’identité de la locutrice est toujours reflétée, mais d’une manière difficilement repérable pour cette taille d’extrait. En revanche, l’information locuteur-rice ressort extrêmement clairement pour une taille d’extrait de 10 s (voir https://hal.science/hal-04583516), ce qui suggère que les représentations neuronales, pour de petits extraits, « centrifugent » mieux les informations extra-linguistiques. Cette observation n’est pas surprenante étant donné la façon dont les modèles sont pré-entraînés (Baevski et al., 2020), et elle constitue une amorce intéressante pour la deuxième partie de l’analyse, qui consiste à comparer ces enregistrements de phrases identiques à un autre enregistrement avec des phrases différentes.

Les résultats de la première ligne de la Figure 4, par les différences observées relativement aux autres lignes de la figure, suggèrent que les tests ABX révèlent des différences lorsque le contenu linguistique diffère. Ces différences viennent vraisemblablement s’additionner à des différences d’identité de locuteur-rice, mais celles-ci sont suffisamment réduites pour laisser apparaître les différences au niveau du contenu.

Dans cette étude, les scores ABX sont calculés en moyenne sur l’ensemble d’un enregistrement. Pour les différences phonétiques, il serait intéressant de pouvoir effectuer des comparaisons par phrase, mais cela reviendrait à s’écarter d’une approche entièrement non supervisée.

# 4 Discussions et conclusions

Entreprendre de comparer des représentations vectorielles de parole, en mode non-supervisé, s’appa-rente à une gageure tant la parole est multi-factorielle et sujette à variation. Nous avons adopté une méthode expérimentale pour soumettre un modèle donné à différentes expériences avec des variables de test, en contrôlant par ailleurs un certain nombre de paramètres. Il faut tout d’abord mentionner que la connaissance des données étudiées et de leurs métadonnées a été déterminante car elle nous a permis d’obtenir des résultats dans un contexte où les corpus sont de facto de petite taille puisqu’ils concernent des langues peu documentées, et donc difficilement exploitables en TAL. Cette étude nous a permis dans un premier temps de mieux comprendre le degré d’abstraction des représentations de la parole issues de grands modèles de langage.

Ainsi, nous avons montré que le contenu des représentations n’était pas exclusivement centré sur le contenu linguistique dans la mesure où, en particulier lorsque les représentations encodent plusieurs secondes d’audio, il nous a été possible de corréler les résultats des tests ABX avec des informations relatives à l’acoustique de la pièce, le type de microphone, et le type de discours. Nous voyons donc que la méthode employée pourrait servir pour distinguer des enregistrements en fonction d’un grand nombre de critères extra-linguistiques.

Enfin, lors de l’étude de représentations d’extraits audio de petite taille, nous avons constaté que le poids des facteurs extra-linguistiques diminuait dans les tests ABX, et que des critères phoné-tiques/segmentaux prenaient au contraire en importance, ce qui est encourageant dans la perspective de comparaison typologiques de langues voisines entre elles, à l’aide d’approches non-supervisées.

L’utilisation de méthodes non-supervisées, notamment faisant intervenir des mesures telles que la distance cosinus, trouvent des applications pour l’amélioration des méthodes de reconnaissance automatique pour les langues rares (San et al., 2024). Notre communication permet de mieux comprendre le lien entre l’audio et ses représentations vectorielles.
Références

BABU A., WANG C., TJANDRA A., LAKHOTIA K., XU Q., GOYAL N., SINGH K., VON PLATEN P., SARAF Y., PINO J. et al. (2021). XLS-R : Self-supervised cross-lingual speech representation learning at scale. *arXiv preprint arXiv:2111.09296*.

BAEVSKI A., ZHOU Y., MOHAMED A. & AULI M. (2020). wav2vec 2.0 : A framework for self-supervised learning of speech representations. *Advances in neural information processing systems*, **33**, 12449–12460.

BELINKOV Y. & GLASS J. (2019). Analysis methods in neural language processing : A survey. *Transactions of the Association for Computational Linguistics*, **7**, 49–72.

CARLIN M. A., THOMAS S., JANSEN A. & HERMANSKY H. (2011). Rapid evaluation of speech representations for spoken term discovery. In *Twelfth Annual Conference of the International Speech Communication Association*.

CASTELLENGO M. (2016). *Ecoute musicale et acoustique*. Paris : Eyrolles.

CONNEAU A., BAEVSKI A., COLLOBERT R., MOHAMED A. & AULI M. (2020). Unsupervised cross-lingual representation learning for speech recognition. *CoRR*, **abs/2006.13979**.

FOULKES P. (2010). Exploring social-indexical knowledge : A long past but a short history. *Laboratory Phonology*, **1**(1), 5–39.

LI Y., BELL P. & LAI C. (2022). Fusing ASR outputs in joint training for speech emotion recognition. In *ICASSP 2022-2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*, p. 7362–7366 : IEEE.

LI Y., MOHAMIED Y., BELL P. & LAI C. (2023). Exploration of a self-supervised speech model : A study on emotional corpora. In *2022 IEEE Spoken Language Technology Workshop (SLT)*, p. 868–875 : IEEE.

MACAIRE C., WISNIEWSKI G., GUILLAUME S., GALLIOT B., JACQUES G., MICHAUD A., ROSSATO S., NGUYÊN M.-C. & FILY M. (2021). Spécialisation de modèles neuronaux pour la transcription phonémique : premiers pas vers la reconnaissance de mots pour les langues rares. In *Journées scientifiques du Groupement de recherche "Linguistique informatique, formelle et de terrain" (GDR LIFT)*, Journées GDR LIFT 2021, Grenoble, France. HAL : halshs-03475443.

MICHAUD A. (2017). *Tone in Yongning Na : lexical tones and morphotonology*. Volume 13 de Studies in Diversity Linguistics. Berlin : Language Science Press. 10.5281/zenodo.439004.

MICHAUD A., JACQUES G. & RANKIN R. L. (2012). Historical transfer of nasality between consonantal onset and vowel : from c to v or from v to c? *Diachronica*, **29**(2), 201–230.

MICHAUD A. & LATAMI D. (2011). A description of endangered phonemic oppositions in Mosuo (Yongning Na). In T. DE GRAAF, X. SHIXUAN & C. BRASSETT, Éds., *Issues of language endangerment*, p. 55–71. Beijing : Intellectual Property Publishing House.

PASAD A., CHOU J.-C. & LIVESCU K. (2021). Layer-wise analysis of a self-supervised speech representation model. In *2021 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)*, p. 914–921 : IEEE.

PASAD A., SHI B. & LIVESCU K. (2023). Comparative layer-wise analysis of self-supervised speech models.

PIAZZA G., MARTIN C. D. & KALASHNIKOVA M. (2022). The acoustic features and didactic function of foreigner-directed speech : A scoping review. *Journal of Speech, Language, and Hearing Research*, **65**(8), 2896–2918.
SAN N., PARASKEVOPOULOS G., ARORA A., HE X., KAUR P., ADAMS O. & JURAFSKY D. (2024). Predicting positive transfer for improved low-resource speech recognition using acoustic pseudo-tokens.

SCHATZ T., PEDDINTI V., BACH F., JANSEN A., HERMANSKY H. & DUPOUX E. (2013). Evaluating speech features with the minimal-pair ABX task: Analysis of the classical MFC/PLP pipeline. In *INTERSPEECH 2013 : 14th Annual Conference of the International Speech Communication Association*, p. 1–5.

SHANNON C. E. (1948). A mathematical theory of communication. *The Bell System Technical Journal*, **27**(3), 379–423. DOI: 10.1002/j.1538-7305.1948.tb01338.x.

ZHAO S. (2022). *Looking for a disappearing voice : place making, place-belongingness, and Naxi language vitality in Lijiang Ancient Town*. Thèse de doctorat, Massey University, Wellington, New Zealand.
# Perception et production des clusters en position initiale par des sinophones : le rôle du Principe de Sonorité Séquentielle

Xuejing Chen¹ Pierre Hallé¹ Rachid Ridouane¹

(1) Laboratoire de Phonétique et Phonologie (CNRS & Sorbonne Nouvelle), 4 Rue des Irlandais, 75005 Paris, France

xuejing.chen@sorbonne-nouvelle.fr, pierre.halle@sorbonne-nouvelle.fr, ridouane.rachid@sorbonne-nouvelle.fr

## RESUME

Dans deux expériences avec des sujets sinophones, nous avons examiné le rôle du Principe de Sonorité Séquentielle (PSS) dans la perception et la production des clusters en position initiale. Dans la première expérience, nous avons évalué la discrimination de contrastes C1C2-C1əC2 avec 3 types de profil de sonorité C1C2 : montant, plateau, descendant. Nos résultats montrent que les C1C2 moins marqués selon le PSS induisent une meilleure discrimination, attribuable à une réparation perceptive moindre pour ce type de séquences. Ces résultats sont en accord avec les résultats de l'expérience d'imitation où la production d'éléments vocaliques est moins fréquente pour les C1C2 moins marqués. L'effet induit par le PSS est plus important en production qu'en perception, suggérant un effet indépendant du PSS en production. Par ailleurs, les propriétés acoustiques des éléments vocaliques produits suggèrent qu'ils sont d'autant plus ciblés que les clusters à imiter sont marqués.

## ABSTRACT

**Perception and production of word-initial clusters by Chinese speakers: The role of the Sonority Sequencing Principle.**

In two experiments with Chinese speakers, we examined the role of the Sonority Sequencing Principle (SSP) in the perception and production of clusters in word-initial position. In the first experiment, we assessed discrimination of C1C2-C1əC2 contrasts with 3 types of sonority profiles for C1C2: rising, plateau, and falling. Our results show that less marked C1C2 sequences in terms of SSP induce better discrimination, attributable to less perceptual repair for this type of sequence. These results are congruent with those of the imitation experiment in which we observed that, for less marked C1C2 sequences, production of vocalic elements is less frequent. The effect induced by SSP was greater in production than in perception, suggesting an independent effect of SSP in production. In addition, the acoustic properties of the inserted vocalic elements suggest that they are all the more targeted that the clusters to be imitated are marked.

**MOTS-CLES** : Principe de Sonorité Séquentielle, production et perception des clusters, locuteurs sinophones

**KEYWORDS** : Sonority Sequencing Principle, cluster production and perception, Chinese speakers

<figure><img src="image_67.png" /></figure>
# 1 Introduction

Le Principe de Sonorité Séquentielle (PSS), énoncé entre autres par Clements (1990), propose que les syllabes bien-formées ont un profil de sonorité en cloche (“arch-shaped”). Plus précisément, le profil idéal d’une syllabe a un profil de sonorité séquentiel croissant de façon maximum jusqu’au sommet et décroissant de façon minimum jusqu’à la fin de la syllabe. En ce qui concerne les séquences de type #C1C2V, ceci signifie que la séquence la mieux formée a un profil de sonorité montant de C1 à C2 ; tandis que la séquence la moins bien formée a un profil descendant. Ainsi, il existe une hiérarchie d’acceptabilité des profils de sonorité en début de mot : montant > plateau > descendant. Cette hiérarchie est basée sur une échelle de sonorité des segments, la plus courante étant : voyelle > glide > liquide > nasale > obstruante (Clements, 1990). La hiérarchie d’acceptabilité des profils est largement observée dans les langues du monde (Greenberg, 1978). Cependant, il convient de noter que de nombreuses langues admettent des profils qui ne respectent pas le PSS, comme le russe qui admet des profils descendants comme /lp/, ou l’hébreu qui admet des profils “plateau” comme /kp/, etc. (Yin et al., 2023). Ces configurations marquées ont fourni le champ d’investigation qui a permis de démontrer le rôle du PSS en perception.

Les clusters phonotactiquement illégaux ne sont pas perçus fidèlement. Comme de nombreuses études l’ont démontré, ces clusters ont tendance à être “réparés” perceptivement. La réparation la plus courante d’un CC illégal est l’insertion d’une voyelle : CC > CvC (e.g., Dupoux et al., 1999 : ebzo > ebuzo). Autrement dit, les sujets entendent une voyelle épenthétique à l’intérieur des clusters. Des travaux antérieurs, notamment ceux de Berent et ses collègues, ont montré que la réparation par épenthèse vocalique était modulée par le PSS : la réparation #CC > #CɔC est d’autant plus fréquente que CC est mal formé du point de vue du PSS. Par exemple l’incidence de l’épenthèse perceptive, chez les auditeurs anglophones, augmente pour les items suivants : *bnif* > *bdif* > *lbif* (Berent et al., 2007), bien qu’ils soient tous également illégaux en anglais. Cette modulation par le PSS semble être universelle (Berent et al. 2007, 2008, 2012, 2016 ; Maïonchi-Pino et al., 2015) et opère dès la naissance (Gomez et al., 2014). Elle est également observée chez les rats (Santolin et al., 2023) : les auteurs postulent l’existence d’un mécanisme biologique universel, un biais attentionnel pour les productions sonores présentant un profil d’intensité “arch-shaped”, fréquentes dans l’environnement naturel, qui serait à l’origine des effets PSS trouvés dans la perception humaine.

Une autre hypothèse suggère que les séquences de consonnes mal formées selon le PSS sont plus difficiles à produire (Redford, 2008). Cependant, les données sur les effets PSS en production de parole sont limitées. Le PSS joue un rôle dans l’acquisition des clusters, tant chez les adultes (Redford, 2008 ; Broselow & Finer, 1991) que chez les enfants (Sprenger-Charolles & Siegel, 1997) : les séquences CC qui ont un profil de sonorité bien formé (i.e., moins marqué) seraient plus faciles à acquérir. Cependant, Davidson (2000) n’a pas trouvé d’effet PSS dans une tâche de production de clusters non natifs chez des sujets anglophones. Cette incohérence dans les résultats sur le rôle du PSS en production est une des motivations de notre étude. Nous proposons d’examiner les possibles effets du PSS dans une tâche d’imitation de séquences #CCV, toutes non-natives, avec des profils de sonorité montant, plateau, et descendant. Les séquences CC seront-elles d’autant plus “réparées” qu’elles sont plus marquées pour le PSS ? Crucialement, la tâche d’imitation implique d’abord la perception des modèles à imiter. Nous nous attendons donc à une première réparation *perceptive*. Si des effets PSS propres à la production existent, ils devraient s’additionner à ceux propres à la perception. D’où la nécessité de réaliser d’abord une expérience de perception pour estimer les taux de réparation perceptive des séquences en fonction de leur profil de sonorité. Ces données de perception seront nécessaires pour interpréter les données d’imitation, et éventuellement conclure à des effets PSS propres à la production.
L'effet du PSS en perception a été observé chez les locuteurs natifs du mandarin, une langue qui bannit tout cluster en début de mot (Zhao & Berent, 2016; Chen et al., 2022). Ces sujets réparent #CC en #CɔC (ibid.). Les réparations que nous examinerons seront donc ici les insertions vocaliques (probablement une majorité de schwas). Nous avons choisi comme langue des stimuli le tachlhit car cette langue permet des séquences #CC avec des profils montant, plateau, ou descendant. Nous prédisons que les réparations par épenthèse vocalique en perception, mesurées par un test de discrimination AX (cf. Zhao & Berent, 2016) seront conformes au PSS. Si la production induit des effets PSS indépendamment de la perception, le test d'imitation devrait montrer des effets PSS plus importants que ceux observés dans le test de discrimination. En outre, nous examinerons la qualité acoustique des voyelles épenthétiques produites lors des imitations, ce qui pourrait éclairer sur leur caractère intentionnel (épenthèse) ou non (transitionnel).

# 2 Expérience 1 : discrimination AX

## 2.1 Méthode

Vingt sinophones natifs ont participé à un test de discrimination AX en ligne, implémenté sur PsyToolkit (Stoet, 2010, 2017). Les contrastes à discriminer comprenaient 6 paires de non-mots C1C2a-C1ɔC2a, comme indiqué dans le Tableau 1, et les sujets étaient chargés de déterminer si ces stimuli étaient 'identiques' ou 'différents'. Les attaques C1C2 présentaient des profils de sonorité montant, plateau ou descendant (désignés k- ou t-pivot pour les attaques avec /k/ ou /t/ en position C1 pour les profils montant et plateau, ou en position C2 pour les profils descendants). Les items C1ɔC2a et C1C2a différaient uniquement par la présence ou l'absence d'un schwa entre C1 et C2. Chaque item a été enregistré huit fois par le troisième auteur, phonéticien et locuteur natif du tachlhit. Trois répétitions de chaque item ont été soigneusement sélectionnées comme stimuli utilisés dans l'expérience, garantissant l'homogénéité des durées de [ə] (x̄=58.7 ms, σ=16.9), des durées du [a] final (x̄=290.6 ms, σ=49.2) et de sa f0 moyenne (x̄=168.5 Hz, σ=4.8), tant au niveau inter-contraste qu'intra-contraste.

<table><caption>TABLE 1 : Les items C1C2 et C1ɔC2 utilisés dans l'expérience AX</caption><thead><tr><th rowspan="2"></th><th colspan="2">Montant</th><th colspan="2">Plateau</th><th colspan="2">Descendant</th></tr><tr><th>k-pivot</th><th>t-pivot</th><th>k-pivot</th><th>t-pivot</th><th>k-pivot</th><th>t-pivot</th></tr></thead><tbody><tr><th>C1C2</th><td>kla</td><td>tla</td><td>kpa</td><td>tka</td><td>lka</td><td>lta</td></tr><tr><th>C1ɔC2</th><td>kɔla</td><td>tɔla</td><td>kɔpa</td><td>tɔka</td><td>lɔka</td><td>lɔta</td></tr></tbody></table>

L'expérience a été divisée en 2 parties, où les stimuli étaient présentés dans 4 ordres différents : AA, AB, BB, BA (A = C1ɔC2a, B = C1C2a), totalisant ainsi 48 essais de discrimination (6 contrastes × 4 ordres × 2 parties). Les deux parties se distinguaient par les stimuli utilisés pour chacune des 4 combinaisons : A1A2, A2B3, B1B2, B2A3 pour la première partie et A2A3, A1B2, B2B3, B1A2 pour la deuxième partie (les indices font référence aux numéros de répétition choisis pour un même item). Les sujets ont été invités à répondre aussi rapidement et correctement que possible. Ils disposaient de 2 secondes pour répondre, et le temps de réponse a été mesuré à partir de l'onset du deuxième stimulus.
## 2.2 Résultats

Les résultats concernant les discriminations correctes et les temps de réponse sont présentés dans la Figure 1. Nous avons analysé ces données avec des modèles linéaires mixtes (régression logistique pour les proportions de réponses correctes). Pour les discriminations correctes, le meilleur modèle inclut les effets fixes Partie (Partie 1, Partie 2), Profil (montant, plateau, descendant) × Pattern (identique : AA, BB, différent : AB, BA), Profil × Pivot (t-pivot, k-pivot), et les effets aléatoires intercepts et pentes sur le Pattern (par sujets). L'interaction Profil × Pattern est significative ($\chi^2(2)=27.91, p<.001$). Pour le Pattern 'identique' (i.e., AA ou BB), les réponses correctes ne varient pas en fonction des profils (montant-plateau : $z=-0.78, p=0.74$, plateau-descendant : $z=0.45, p=0.74$ ; montant-descendant : $z=-0.34, p=0.74$). Elles varient en revanche significativement pour le Pattern 'différent', indiquant des performances décroissantes du profil montant au plateau ($z=2.91, p<.001$) et du profil plateau au descendant ($z=5.52, p<.001$). L'interaction Profil × Pivot est également significative ($\chi^2(2)=9.24, p<.01$). En détail, pour le pivot t, le profil montant et plateau induisent une meilleure performance que le profil descendant (montant-descendant : $z=5.18, p<.001$ ; plateau-descendant : $z=4.27, p<.001$). Il n'y a pas de différence significative motivée par le profil de sonorité pour le pivot k.

<figure><img src="image_68.png" /><figcaption>FIGURE 1 : Proportion de réponses correctes (à gauche) et temps de réponse (à droite) selon le profil de sonorité du cluster</figcaption></figure>

Nous avons analysé les temps de réponses correctes (TRs) avec des modèles linéaires mixtes. Le meilleur modèle inclut les facteurs fixes Profil, Pattern, et les effets aléatoires intercepts et pentes sur Pattern (par sujets). Profil est significatif ($F(2, 972.95)=7.11, p<.001$). Les sujets sont plus lents à répondre pour descendant comparés à montant ($t(975)=3.65, p<.001$) et plateau ($t(976)=2.82, p<.01$). Pattern est significatif ($F(1, 17.72)=9.28, p<.001$), avec des TRs plus longs pour les patterns AB/BA que pour les AA/BB ($t(19.1)=3.04, p<.01$). Pour le Pattern 'différent', les TRs sont plus longs pour descendant que montant ($t(980)=-3.71, p<.001$) et plateau ($t(980)=-2.84, p<.01$). Quant au Pattern 'identique', il n'y a pas de variation significative.

Pour déterminer si les clusters plus marqués sont plus sujets à la réparation phonologique, il convient de n'examiner que les essais où les C1C2 et C1əC2 sont effectivement contrastés (i.e., avec le Pattern 'différent' : AB ou BA). Les résultats pour le Pattern 'différent' indiquent en effet qu'il y a d'autant plus de réparations perceptives que le profil de sonorité est moins acceptable du point de vue du PSS. A la lumière de ces résultats qui montrent un effet clair du PSS en perception, nous nous posons la question suivante : un effet PSS se manifeste-t-il également en production ? Pour répondre à cette question, nous avons conduit une expérience d'imitation utilisant les mêmes stimuli que de l'expérience 1, dans le but de déterminer si les sinophones produisent des éléments vocaliques entre C1 et C2 et si cela est modulé par le profil de sonorité de C1C2.
# 3 Expérience 2 : imitation

## 3.1 Méthode

Les vingt locuteurs natifs du mandarin de l'expérience 1 ont pris part à une expérience d'imitation, où ils étaient invités à reproduire fidèlement les stimuli de l'expérience 1, que nous appellerons “modèles”, sans contrainte de temps de réponse. Les participants ont ainsi reçu les mêmes non-mots C1C2a, ou C1ɔC2a que ceux utilisés dans l'expérience 1, caractérisés donc par un profil de sonorité montant, plateau ou descendant (voir Tableau 1). Deux modèles à imiter ont été sélectionnés pour chaque item à partir des enregistrements effectués par le troisième auteur, comme décrit dans la section 2.1. Les modèles pour les séquences C1C2a et C1ɔC2a différaient uniquement par la présence d'un schwa d'une durée allant de 42 à 100 ms (x̄=71 ms, σ=18.4) dans les séquences C1ɔC2a. Chaque modèle a été présenté deux fois dans chacune des deux parties constituant l'expérience, totalisant ainsi 96 essais (12 items × 2 modèles × 2 essais × 2 parties). L'ordre de présentation des items a été randomisé de manière différente pour chaque participant.

<figure><img src="image_69.png" /><figcaption>FIGURE 2 : Spectrogrammes et signal de parole de trois imitations d'un modèle /kla/ pour lesquelles la classification est claire (présence de schwa : a ; absence de schwa : b) ou ambiguë (c)</figcaption></figure>

L'expérience a été menée sur la plate-forme SpeechRecorder (Draxler & Jänsch, 2004) dans une chambre calme avec une carte son externe (Komplete Audio 6 MK2) et un micro-casque (AKG Pro Audio C544 L). À chaque essai, les participants, assis devant un ordinateur, recevaient un stimulus modèle une seule fois via le casque et devaient imiter le modèle entendu sans pression de temps. Aucune information orthographique n'était affichée sur l'écran de l'ordinateur pendant les sessions. Les données d'imitation ont été étiquetées et annotées à l'aide de Praat (Boersma & Weenink, 2023). Pour décider de la présence ou de l'absence des schwas entre C1 et C2, nous avons suivi la méthodologie utilisée par Ridouane et Fougeron (2011). Trois critères devaient être remplis pour qu'un schwa soit étiqueté entre le relâchement de C1 et l'onset de C2 : (i) présence d'une période de voisement, (ii) augmentation de l'intensité du signal au relâchement de C1, et (iii) présence d'une structure formantique ou concentration d'énergie dans les régions F2/F3. Nous avons cherché à appliquer cette classification de manière rigoureuse, même si ces critères stricts risquaient d'éliminer à tort certains schwas dans des situations ambiguës (notamment au contact de /l/). La Figure 2 présente des exemples d'imitations de /kla/ réalisées par trois participants, illustrant des cas où l'étiquetage d'un schwa est non-problématique versus douteux.

## 3.2 Résultats

Pour examiner l'effet du PSS, nous avons calculé la fréquence des éléments vocaliques insérés dans les différents types de clusters. Les résultats sont présentés dans la Figure 3 (à gauche), et ont
été analysés avec des modèles linéaires mixtes de régression logistique. Le meilleur modèle inclut les facteurs fixes Profil (montant, plateau, descendant), Condition (C1C2a, C1əC2a), Partie (partie 1, partie 2) et leurs interactions, et les effets aléatoires intercepts et pentes sur Profil et Condition (par sujets). Comme attendu, les modèles C1əC2a induisent plus d'éléments vocaliques que les C1C2a ($z=-6.14, p<.001$). Profil est significatif pour les C1C2a ($\chi^2(2)=102.97, p<.001$) et C1əC2a ($\chi^2(2)=29.23, p<.001$) : pour les deux types de modèle, les insertions vocaliques sont plus fréquentes pour descente que plateau ($z=3.91$ ou $3.96, ps<.001$), elles-mêmes plus fréquentes que pour le profil montant ($z=2.98$ ou $2.76, ps<.01$). L'interaction Profil × Condition est significative ($\chi^2(2)=14.25, p<.001$), indiquant un effet PSS plus fort pour les C1C2a que les C1əC2a.

<figure><img src="image_70.png" /><figcaption>FIGURE 3 : Taux d'insertion de schwas (à gauche) et durée relative des schwas (à droite) en fonction du profil de sonorité pour les items C1C2a et C1əC2a</figcaption></figure>

Les éléments vocaliques produits dans les clusters C1C2a pourraient correspondre à des voyelles intentionnellement insérées par les sujets, reflétant la réparation perceptive pour les clusters mal formés, comme cela a été observé dans l'expérience 1. Une autre possibilité est liée à la difficulté de produire ces séquences, ce qui pourrait se traduire par l'émergence de schwas transitionnels. Selon la Phonologie Articulatoire (Browman & Goldstein, 1992), ces vocoïdes transitionnels résulteraient d'un moindre overlap gestuel entre les consonnes C1 et C2 en raison de certaines contraintes articulatoires. Malgré un petit nombre d'insertions de [i, u], la tendance majoritaire est la production d'un schwa entre C1 et C2 (Figure 4). Afin de mieux comprendre la nature de ces schwas, nous avons mesuré leur durée relative (Figure 3 à droite), définie comme la proportion de leur durée absolue par rapport à celle de la voyelle finale [a], ainsi que les valeurs de F1 et F2 au point médian des schwas pour les modèles C1C2a et C1əC2a (Figure 5).

La durée relative des schwas est plus longue dans les imitations de C1əC2a que de C1C2a ($t(1206)=-4.04, p <.001$). En détail, pour les profils montant ou plateau, les schwas pour les C1əC2a sont significativement plus longs que pour les C1C2a (montée : $t(305)=-3.11, p<.01$, plateau : $t(362)=-4.84, p<.001$). Cette différence s'avère non significative pour le profil descendant ($t(535)=-1.96, p=.05$). Pour les formes C1C2a, les schwas dans les clusters descendants sont plus longs que dans les montants ($t(340)=-4.53, p<.001$), qui ont une durée relative supérieure à celle des plateaux ($t(218)=2.72, p<.01$). La même variation de durée relative des schwas a été observée pour les modèles C1əC2a : ləka/ləta > kəla/təla > kəpa/təka (ləka/ləta - kəla/təla : $t(500)=-2.33, p<.05$; kəla/təla - kəpa/təka : $t(449)=3.95, p<.001$). Concernant les formants, le F1 des schwas dans les formes C1C2a est significativement inférieur à celui des schwas dans les formes C1əC2a, tant pour le profil montant ($t(304)=-3.55, p <.001$) que le profil plateau ($t(362)=-3.46, p <.001$). En revanche, aucune différence significative n'est observée pour le profil descendant ($t(535)=-0.15, p=.88$). En termes de F2, les valeurs sont significativement plus élevées
pour les schwas dans les séquences C1C2a comparées aux formes C1əC2a pour le profil
descendant (t(535)=3.46, p<.001). Cet effet n'est cependant pas observé pour les deux autres types
de clusters (montant : t(304)=-1,55, p=.12 ; plateau : t(362)=1.37, p=.17).

<figure><img src="image_71.png" /><figcaption>FIGURE 4 : Insertion vocalique dans les imitations pour les items C1C2a et C1əC2a (à gauche) et effets additifs entre la perception et l'imitation (à droite)</figcaption></figure>

<figure><img src="image_72.png" /><figcaption>FIGURE 5 : Valeurs de F1 (à gauche) et F2 (à droite) au point médian des schwas en fonction du profil de sonorité pour les items C1C2a et C1əC2a</figcaption></figure>

4 Discussion et conclusion

Dans le cadre de cette étude, nous avons examiné l'influence du PSS sur la perception et la
production de clusters consonantiques non natifs en position initiale par des locuteurs sinophones.
Les résultats de discrimination entre C1C2a et C1əC2a révèlent un effet notable du PSS sur la
perception des clusters, avec une discrimination plus difficile pour les profils les plus marqués,
suggérant une augmentation des réparations perceptives par épenthese vocalique. Les résultats de
l'expérience d'imitation montrent que ces effets PSS augmentent nettement en imitation par
rapport à la perception pour les profils plateau et plus encore pour les profils descendants. Ceci
suggère une additivité des effets PSS, et l'existence d'un effet PSS propre à la production, du
moins pour les profils marqués plateau et descendant.

La tâche d'imitation, de par sa nature, englobe des éléments de perception et de production. Dans l'éventualité où aucun effet PSS n'était détecté en production, il serait logique de ne pas observer davantage d'épenthese en imitation qu'en perception. Néanmoins, si un effet spécifique au PSS est
manifeste en production, nous devrions alors constater une quantité d'épenthèse en imitation supérieure à celle en perception (i.e., taux d'erreurs pour le Pattern 'différent' dans la discrimination AX). C'est exactement ce que nos observations confirment, illustrant ainsi le phénomène d'additivité des effets. De plus, cette additivité semble croître en fonction de la marque des profils de sonorité. Alors que nous ne constatons qu'une faible différence des schwas produits par rapport aux schwas perçus pour les clusters à profil montant (~4%), cette différence augmente substantiellement pour les clusters à profil plateau (16%) et plus encore les profils descendants (25%). Ces résultats suggèrent l'existence d'un effet spécifique au PSS en production, indépendamment de la perception.

Les résultats soulèvent également la question du statut de l'élément vocalique inséré dans les clusters C1C2a : s'agit-il d'un schwa épenthétique (i.e. inséré intentionnellement) ou d'un simple élément transitionnel ? En supposant que cet élément vocalique n'a pas de cible articulaire propre, on peut émettre l'hypothèse qu'un certain nombre de caractéristiques acoustiques différeront entre ce vocoïde et le schwa canonique produit dans les formes C1əC2a. Autrement dit, si l'élément vocalique dans les formes C1C2a est le simple résultat d'un chevauchement gestuel réduit entre les deux consonnes, il devrait avoir une durée plus courte et des valeurs de F1 et F2 différentes du schwa des C1əC2 (Davidson, 2006 ; Gick & Wilson, 2006 ; Ridouane & Fougeron, 2011). En excluant l'insertion des voyelles [i, u] dans certains clusters, dont la présence suggère des épenthèses plutôt que des éléments purement transitionnels, nous observons la présence d'autres vocoïdes (semblables à des schwas) dans les séquences C1C2a, manifestant des différences significatives selon le profil de sonorité des clusters. Examinons d'abord le profil le plus marqué. Le nombre de vocoïdes produits dans les séquences /lk/ et /lt/ est pratiquement équivalent au nombre de schwas produits dans les séquences /lək/ et /lət/. De manière significative, la durée des deux schwas est quasiment identique, de même que leurs valeurs F1. Pour ces clusters très marqués, il serait donc légitime de conclure que l'élément vocalique présent entre C1 et C2 est bien un schwa épenthétique et non un simple élément transitionnel. Concernant le profil plateau, environ 60% des séquences /kp/ et /tk/ présentent des éléments vocaliques. La durée relative de ces éléments est significativement plus courte comparée au schwa canonique dans les formes correspondantes /kəp/ et /tək/. Le F1 de cet élément vocalique est significativement plus bas mais aucune différence en termes de F2 n'est observée. Les mêmes caractéristiques sont aussi observées pour le vocoïde présent entre C1 et C2 pour le profil montant, même si sa fréquence d'occurrence est moindre (environ 30%). Ces observations suggèrent que cet élément vocalique entre C1 et C2 est un schwa transitionnel. En effet, une durée plus courte et un F1 plus bas peuvent être les conséquences d'une brève période d'ouverture d'un conduit vocal plus fermé entre deux constrictions (Flemming, 2004).

Pour conclure, il est important de souligner que l'analyse du statut de l'élément vocalique dans la production des sujets sinophones est encore préliminaire et nécessite une étude plus approfondie, en particulier avec des données plus variées. Par exemple, il serait intéressant d'étudier comment le lieu d'articulation des consonnes adjacentes affecte le F2, ce qui pourrait potentiellement expliquer pourquoi il est plus élevé pour le profil descendant alors qu'il ne varie pas pour les autres profils. De même, une autre explication des données relatives à la durée pourrait être que les sujets chinois sont sensibles à la différence de durée dans la perception entre schwas illusoire et schwas réels, et qu'ils réussissent à imiter cette différence. En attendant de réaliser ces analyses plus approfondies, le point crucial à retenir est que le PSS affecte non seulement la perception des séquences consonantiques en mandarin, mais également leur production, et que cet effet se manifeste dans la fréquence, la durée et la qualité des schwas produits au sein de ces séquences.
Références

BERENT I., LENNERTZ T. & ROSSELLI M. (2012). Universal phonological restrictions and language specific repairs: Evidence from Spanish. *The Mental Lexicon*, 13, 275–305. DOI: 10.1177/0023830911417804.

BERENT I., LENNERTZ T., JUN J., MORENO M. & SMOLENSKY P. (2008). Language universals in human brains. *Proceedings of the National Academy of Sciences* 105(14), 5321–5325. DOI: 10.1073/pnas.0801469105.

BERENT I., STERIADE D., LENNERTZ T. & VAKNIN V. (2007). What we know about what we have never heard: Evidence from perceptual illusions. *Cognition*, 104(3), 591–630. DOI: 10.1016/j.cognition.2006.05.015.

BOERSMA P. & WEENINK D. (2023). Praat: doing phonetics by computer [Computer program]. Version 6.4.01, http://www.praat.org.

BROSELOW, E. & FINER, D. (1991). Parameter setting in second language phonology and syntax. *Second Language Research*, 7, 35–59.

BROWMAN C. P. & GOLDSTEIN L. (1992). Articulatory phonology: An overview. *Phonetica*, 49(3-4), 155-180. DOI: 10.1159/000261913.

CHEN X., RIDOUANE R. & HALLE P. (2022). Perception des clusters selon leur profil de sonorité : le cas des auditeurs du mandarin confrontés à des clusters russes. Proc. XXXIVe Journées d'Études sur la Parole -- JEP 2022, 183-192. DOI: 10.21437/JEP.2022-20.

CLEMENTS G. (1990). The role of the sonority cycle in core syllabification. In J. Kingston & M. Beckman (Éds.), *Papers in Laboratory Phonology*, p. 283-333. Cambridge: Cambridge University Press.

DAVIDSON L. (2000). Experimentally uncovering hidden strata in English phonology. In L. Gleitman & A.Joshi, Éds., *Proceedings of the 22nd annual conference of the Cognitive Science Society*. Mahwah, NJ: Lawrence Erlbaum Associates.

DAVIDSON L. (2006). Phonology, phonetics, or frequency: Influences on the production of non-native sequences. *Journal of Phonetics*, 34(1), 104-137. DOI: 1016/j.wocn.2005.03.004.

DRAXLER C., & JANSCH, K. (2004). SpeechRecorder - a Universal Platform Independent Multi-Channel Audio Recording Software. *International Conference on Language Resources and Evaluation*.

DUPOUX E., KAKEHI K., HIROSE Y., PALLIER C. & MEHLER J. (1999). Epenthetic vowels in Japanese: A perceptual illusion? *Journal of Experimental Psychology: Human Perception and Performance*, 25(6), 1568–1578. DOI: 10.1037/0096-1523.25.6.1568.

FLEMMING, E. (2004). Contrast and perceptual distinctiveness. In B. HAYES, R. KIRCHNER, & D. STERIADE, Éds., *Phonetically-Based Phonology*. Cambridge: Cambridge University Press.

GICK B. & WILSON I. (2006). Excrescent schwa and vowel laxing: Cross-linguistic: responses to conflicting articulatory targets. In L. GOLDSTEIN, D. WHOLEN & C. BEST, Éds., *Laboratory Phonology*, p. 635-660. Berlin, New York: De Gruyter Mouton. DOI: 10.1515/9783110197211.3.635.

GÓMEZ D., BERENT I., BENAVIDES-VARELA S., BION R., CATTAROSSI L., NESPOR M. & MEHLER J. (2014). Language universals at birth. *Proceedings of the National Academy of Sciences*, 111, 5837-5841. DOI: 10.1073/pnas.1318261111.

GREENBERG J. (1978). Some Generalizations Concerning Initial and Final Consonant Clusters. In E. Moravcsik (Éds.), *Universals of Human Language*, v. 2, p. 243-279. Stanford, CA: Stanford
MAÏONCHI-PINO N., TAKI Y., MAGNAN A., YOKOYAMA S., ÉCALLE J., TAKAHASHI K., HASHIZUME H. & KAWASHIMA R. (2015). Sonority-related markedness drives the misperception of unattested
onset clusters in French listeners. *L'Année psychologique*, 115, 197-222. DOI: 10.4074/S0003503314000086.

REDFORF M. A. (2008). Production constraints on learning novel onset phonotactics. *Cognition*, 107(3). DOI: 785-816. 10.1016/j.cognition.2007.11.014.

RIDOUANE R. & FOUGERON, C. (2011). Schwa elements in Tashlhiyt word-initial clusters. *Laboratory Phonology*, 2(2), 275-30. DOI: 10.1515/labphon.2011.010.

SANTOLIN C., CRESPO-BOJORQUE P., SEBASTIAN-GALLES N., & Toro, J. M. (2023). Sensitivity to the sonority sequencing principle in rats (Rattus norvegicus). *Scientific reports*, 13(1), 17036. DOI: 17036. 10.1038/s41598-023-44081-y.

SPRENGER-CHAROLLES L. & SIEGEL L. (1997). A longitudinal study of the effects of syllabic structure on the development of reading and spelling skills in French. *Applied Psycholinguistics*, 18, 485-505. DOI: 10.1017/S014271640001095X.

STOET G. (2010). PsyToolkit - A software package for programming psychological experiments using Linux. *Behavior Research Methods*, 42(4), 1096-1104.

STOET G. (2017). PsyToolkit: A novel web-based method for running online questionnaires and reaction-time experiments. *Teaching of Psychology*, 44(1), 24-31.

YIN R., VAN DE WEIJER J. & ROUND E. (2023). Frequent violation of the sonority sequencing principle in hundreds of languages: how often and by which sequences ?. *Linguistic Typology*, 27(2), 381-403.

ZHAO X. & BERENT I. (2016). Universal restrictions on syllable structure: Evidence from mandarin chinese. *Journal of psycholinguistic research*, 45(4), 795-811. DOI: 10.1007/s10936-015-9375-1.
# Pertinence des pseudo-mots dans l'évaluation de l'intelligibilité :
Effet du nombre ou du caractère non lexical ?

Marie Rebourg¹, Muriel Lalain¹, Alain Ghio¹, Corinne Fredouille², Nicolas Fakhry¹, ³,
Virginie Woisard⁴

(1) Aix-Marseille Univ, CNRS, LPL, UMR 7309, Aix-en-Provence, France

(2) Avignon Université, Laboratoire Informatique d'Avignon, France

(3) Service ORL, APHM, La Conception, Marseille, France

(4) Service ORL, CHU Larrey, UT2J Laboratoire de NeuroPsychoLinguistique, Toulouse,
France

marie.rebourg@univ-amu.fr, muriel.lalain@univ-amu.fr, alain.ghio@univ-amu.fr, corinne.fredouille@univ-avignon.fr, nicolas.fakhry@ap-hm.fr, woisard.v@chu-toulouse.fr

## RESUME

La perte d'intelligibilité constitue une plainte récurrente des patients traités pour un cancer de la cavité buccale ou de l'oropharynx. La notion d'intelligibilité par son aspect factorielle est complexe à définir, mais aussi, par extension, à évaluer avec précision. Les différents matériaux utilisés dans ces évaluations sont connus pour montrer des effets d'apprentissages imputables aux listes d'items courtes et fermées, présentes dans les batteries de tests classiques. Dans cette étude, nous évaluons l'effet d'apprentissage du matériel linguistique en comparant l'évolution des scores d'intelligibilité calculés à partir de la transcription de mots et de pseudo-mots, présentés en proportion équivalente, soit la répétition de 50 mots vs de 52 pseudo-mots. Nos résultats montrent un effet d'apprentissage des pseudo-mots lorsqu'ils sont répétés, dans les mêmes proportions que celui observé sur les mots. Ainsi, c'est la quantité de pseudo-mots qui permet de neutraliser l'effet d'apprentissage du matériel linguistique dans une évaluation de l'intelligibilité.

## ABSTRACT

### Relevance of pseudowords in the assessment of intelligibility: Effect of number or non-lexical character ?

Loss of intelligibility is a recurring complaint among patients treated for cancer of the oral cavity or oropharynx. The notion of intelligibility due to its multifactorial aspect is complex to define, but also, by extension, to evaluate with precision. The different materials used in these evaluations are known to show learning effects attributable to the short and closed lists of items, present in traditional test batteries. In this study, we evaluate the learning effect of linguistic material by comparing the evolution of intelligibility scores calculated from the transcription of words and pseudo-words, presented in equivalent proportion, i.e. the repetition of 50 words vs. 52 pseudowords. Our results show a learning effect on pseudowords when they are repeated, in the same proportions as that observed on words. Thus, it is the quantity of pseudo-words which makes it possible to neutralize the learning effect of linguistic material in an evaluation of intelligibility.

**MOTS-CLÉS** : Phonétique Clinique, Intelligibilité, Trouble de la Production de la Parole, Cancer VADS

**KEYWORDS** : Clinical phonetic, Intelligibility, Speech disorders, Head and Neck cancer

<figure><img src="image_73.png" /></figure>
# 1 L'intelligibilité

Les traitements dont bénéficient les patients dans le cadre de la prise en charge des cancers de la cavité buccale et de l'oropharynx sont connus pour porter atteinte aux fonctionnements anatomiques de l'appareil phonatoire. Il en résulte une perte d'intelligibilité, qui constitue une plainte récurrente chez ces patients, en perte d'autonomie communicationnelle. L'évaluation de cette composante linguistique multidimensionnelle est essentielle dans le parcours de soin du patient, puisqu'elle permet de mesurer le handicap à la communication en évaluant les composantes dégradées/préservées et de mesurer l'effet du traitement préalablement établi.

L'intelligibilité, par sa dimension multiple et factorielle, représente une notion complexe à définir et à circonscrire. Plusieurs définitions et approches ont été proposées, telles que « le degré de précision avec lequel un message est compris par un auditeur » (Yorkston, Dowden et Beukelman, 1992). Toutefois, ces définitions intègrent la notion de compréhension, entrainant une confusion entre les différents niveaux d'informations linguistiques qui doivent être ciblés par la notion d'intelligibilité. Le concept de compréhension réfère à l'intégration de l'ensemble des informations pertinentes indépendantes et dépendantes du signal permettant de comprendre, de saisir le sens d'un énoncé oral en situation de communication (Lindblom, 1990). Cette acception soutient ainsi l'idée selon laquelle les processus de bas niveaux supportent des informations « dépendantes du signal » alors que les informations « indépendantes du signal » sont liées aux processus de haut niveau (Hustad, Jones et Dailey, 2003). Ainsi, la définition de l'intelligibilité doit être circonscrite au bas niveau, comme proposé par Hustad (2008) selon laquelle l'intelligibilité fait référence à « la façon dont le signal acoustique d'un locuteur peut être récupéré avec précision par un auditeur ». Cette approche permet d'évacuer la dimension de compréhensibilité (haut + bas niveaux) tout en recentrant le concept d'intelligibilité autour des informations acoustico-phonétiques, dépendantes du signal acoustique (bas niveau).

L'évaluation, la mesure, de l'intelligibilité doit donc être rigoureusement contrôlée de façon à déterminer quel matériel linguistique permet d'évaluer l'intelligibilité de quel niveau linguistique. En d'autres termes, la sélection du matériel linguistique utilisé pour évaluer l'intelligibilité doit être conditionnée par la définition précise du niveau linguistique visé par la mesure.

## 1.1 Mesurer l'intelligibilité – études et contexte clinique

Les études récentes concernant la mesure d'intelligibilité portent tant sur le matériel linguistique que sur la méthode d'évaluation, mais aussi sur la méthode de calcul choisie. Elles s'accordent sur la nécessité de mesurer précisément quelle composante linguistique est évaluée en fonction des différents matériaux linguistiques. Dans la lignée de Ganzeboom et al. (2016), Xue et al. (2021) suggèrent que différentes constructions de l'intelligibilité sont nécessairement reflétées par les mesures d'intelligibilité selon qu'elles emploient des échelles analogiques ou des évaluations par transcriptions, mais aussi selon le matériel linguistique employé dans cette évaluation, distinguant les phrases, les mots et les pseudo-mots. Cette proposition ancre par conséquent l'aspect multidimensionnel de l'intelligibilité.

Ainsi, les études considérant des ensembles de phrases, questionnant la pertinence de ce matériel linguistique pour évaluer l'intelligibilité, ont montré que l'intégration du contexte menait davantage à une évaluation de la compréhension, puisque celles-ci intègrent les informations de haut et bas niveaux (Yorkston, Strand et Kennedy, 1996; Ganzeboom et al., 2016; Xue, R. Hout, et al., 2021). Cela représente donc une évaluation perceptive du déficit global. De plus, en comparaison avec les phrases, les listes de mots se montrent comme de meilleurs candidats (Xue et al., 2023). Néanmoins, les listes de mots disponibles dans les batteries d'évaluation clinique
(BECD (Auzou et Rolland-Monnoury, 2006), FDA2 (Blanc et al., 2014)) se montrent facilement mémorisables de par leur caractère court et fermé. La répétition de la tâche par le clinicien et un nombre d’items restreints favorisent les effets d’apprentissages et de restauration lexicale. Ceux-ci sont donc inhérents aux matériaux linguistiques de nature lexicale. De plus, ces listes se montrent peu contrôlables au regard de l’occurrence et de la position des phonèmes au sein des items. Restent donc les pseudo-mots, items non lexicaux, n’étant pas porteurs de sens et suivant les règles phonotactiques de la langue, qui se positionnent comme item candidat idéal et pertinent. Ils permettent de s’affranchir de l’intégration des informations de haut niveau, au profit des unités de bas niveau, forçant ainsi le décodage acoustico-phonétique des sons de parole. Ils peuvent être générés de façon automatique, selon un ensemble de contraintes administrant l’occurrence et la position des phonèmes. Ainsi, le seul effet de restauration qui pourrait être attendu avec ce type de matériel linguistique concernerait le niveau du phonème, soit une reconstruction basée sur les connaissances phonologiques d’organisation des unités phonémiques de la langue par l’auditeur.

Concernant les différentes méthodes d'attribution et de calcul des scores, elles peuvent reposer sur
des échelles de mesure graduée (Lickert), des échelles analogiques visuelles, ou des transcriptions.
Les études les plus récentes montrent que les scores les plus fiables sont obtenus par transcriptions
orthographiques (Xue et al., 2023). Les différentes échelles prennent en compte des paramètres
subjectifs, qui, mêmes s'ils sont précisés, restent empreints d'une grande variabilité, dépendant de
l'auditeur-évaluateur. De plus, ces scores perceptifs globaux se montrent peu pertinents dans
l'identification des composantes dégradées/préservées et des niveaux linguistiques touchés par ces
altérations. Ainsi, les scores calculés de façon automatique, selon une méthodologie précise, sont
perçus comme plus fiables et plus objectifs.

En ce sens, une tâche de Décodage acoustico-phonétique (ci-après DAP) permettant de collecter
des transcriptions orthographiques, basée sur la perception de pseudo-mots produits, doublée d'une
méthode de calcul innovante, basée sur la théorie des traits distinctifs, a été développée dans le
cadre du projet de recherche C2SI (Carcinologic Speech Severity Index, Institut National pour le
Cancer n°2014-135) (Astésano et al., 2018; Lalain et al., 2020; Woisard et al., 2021). Celle-ci
permet le calcul d'un score analytique en termes de distance à la cible, en nombre de traits moyens
altérés par phonème (Ghio, Lalain, Giusti, et al., 2020). La mise à l'épreuve de cette tâche a
montré sa pertinence pour distinguer deux groupes de locuteurs – patient vs contrôle (Ghio et al.,
2018). Elle a également montré que le recours aux pseudo-mots permet d'attribuer des scores
stables au cours du temps, contrairement à l'utilisation de mots ; ceci suggérant que les effets
d'apprentissage du matériel linguistique, rencontrés dans les batteries de tests classiques, peuvent
être neutralisés par une grande diversité au sein des listes de stimuli (Rebourg et al., 2019; Lalain
et al., 2022). De plus, l'évaluation de la pertinence de cette tâche a également montré que l'effet
d'expertise auditive des cliniciens était préservé. En moyenne, les scores calculés à partir des
transcriptions de ces auditeurs sont plus bas que ceux des auditeurs naïfs, suggérant qu'ils sont de
meilleurs décodeurs (Rebourg et al., 2020). La méthode de calcul employée a également montré sa
pertinence pour proposer une mesure fine et fiable représentative du déficit articulatoire et par
extension, du handicap communicationnel relatif à la qualité de vie du patient.

Enfin, les études les plus récentes, au regard des différentes mesures proposées pour évaluer
l'intelligibilité en contexte clinique, montrent que les mesures portant au niveau du phonème sont
pertinentes pour détecter les erreurs articulatoires, dans le cadre des dysarthries (Xue et al., 2023).
Et donc, par extension, probablement pour apprécier finement les séquelles articulatoires, et leur
 évolution, dans le cadre de la prise en charge clinique et orthophonique de patients après un cancer
de la cavité buccale ou de l'oropharynx.

Dans la présente étude, nous interrogeons les résultats précédemment obtenus (Rebourg et al.,
2020) qui montrent que l'utilisation d'un très grand nombre de pseudo-mots permet de neutraliser
les effets d'apprentissage du matériel linguistique couramment utilisé pour évaluer l'intelligibilité. La présente étude questionne l'origine de cet effet : est-il davantage lié au nombre d'items, en termes de quantité, ou aux pseudo-mots en tant qu'unité linguistique non lexicale, soit sa qualité ?

# 2 Méthodologie

Afin de satisfaire à ces différentes questions de recherche nous avons constitué deux corpus, basés sur la production de mots (M) et de pseudo-mots (PM) isolés. Ces corpus ont été utilisés dans des tests de jugement perceptif de l'intelligibilité, visant à obtenir les transcriptions orthographiques des stimuli perçus. Celles-ci, après phonétisation, permettent le calcul des scores de Déviation Phonologique Perçue (DPP) reflétant le nombre de traits (Jakobson, Fant et Halle, 1952) moyens altérés par phonème (Ghio, Lalain, Giusti, et al., 2020).

## 2.1 Corpus

Pour mener à bien ces travaux de recherche, deux corpus ont été constitués. (i) Un premier corpus de production de mots isolés. Il comprend les enregistrements de 20 locuteurs : 10 patients traités pour un cancer de la cavité buccale ou de l'oropharynx (Toulouse (Balaguer, 2021)) et 10 sujets contrôles (Aix-en-Provence (Rebourg, 2022)), appariés en âge et en sexe. Ils ont été enregistrés lors de la production de la liste de 50 mots de la BECD (Auzou et Rolland-Monnoury, 2006) couramment utilisée pour évaluer l'intelligibilité en contexte clinique. (ii) Un second corpus, comprenant des productions de pseudo-mots isolés, a été constitué auprès d'un autre groupe de 20 locuteurs. Également, 10 patients traités pour un cancer de la cavité buccale ou de l'oropharynx (Toulouse (Balaguer, 2021)), 10 sujets contrôles (Aix-en-Provence (Rebourg, 2022)), appareillés en âge et en sexe. Ils ont tous été enregistrés pendant la production d'une **seule et unique liste de 52 pseudo-mots**, extraite du matériel linguistique développé dans le cadre du projet C2SI, spécifiquement élaboré pour une tâche perceptive de décodage acoustico-phonétique. Ces enregistrements, traités et préparés pour satisfaire les conditions expérimentales, comptabilisent 1000 stimuli dans le corpus de Mots et 1040 stimuli pour le corpus de Pseudo-mots.

Ces travaux de recherche emploient un protocole expérimental déjà éprouvé (Ghio et al., 2018; Rebourg, 2018, 2022; Rebourg et al., 2019, 2020; Ghio, Lalain, Rebourg, et al., 2020; Lalain et al., 2022). Afin de limiter le nombre de stimuli présentés et transcrits par chaque auditeur, dans le test de perception, les groupes de locuteurs constitutifs des corpus sus-présentés ont été divisés en deux sous-groupes (A et B). Chacun de ces sous-groupes comprend 5 locuteurs patients et 5 contrôles. Ainsi, chacun des corpus (Mots et Pseudo-mots) a été divisé en 2 sous-corpus selon les groupes de locuteurs A et B. Ils comprennent respectivement 500 stimuli Mots liste BECD) et 520 stimuli Pseudo-mots (tâche de DAP, projet C2SI).

Les 2 x 500 stimuli du corpus de mots et les 2 x 520 stimuli du corpus de pseudo-mots ont respectivement été divisés en 2 x 3 listes. Chaque liste de mots (BECD) est constituée de 167 productions et chaque liste de pseudo-mots (DAP) est constituée 174 productions. Soit un total de 6 listes pour chaque corpus et 3 listes pour chaque sous-corpus (groupes de locuteurs A et B). Les listes 1 à 3 de chacun des corpus (Mots et Pseudo-mots) sont produites par le groupe de locuteurs A et les listes 4 à 6 par le groupe de locuteurs B.

## 2.2 Design expérimental

Dans ce test de perception, les auditeurs écoutent les stimuli produits dans un casque et transcrivent orthographiquement sur un clavier d'ordinateur ce qu'ils entendent. Chaque auditeur écoute et transcrit 3 listes BECD et 3 listes DAP, produites par un groupe de locuteurs (A ou B). Chaque liste est transcrite par 3 auditeurs différents. L'ordre de présentation de chaque liste a été contrôlé de sorte que chaque liste occupe chaque position possible. Nous obtenons donc 3
transcriptions de 3 auditeurs différents dans chacun des 3 ordres de présentation, soit 9 transcriptions par liste.

<table><caption>TABLE 1 : Extrait récapitulatif du design expérimental du test de jugement perceptif par DAP, chaque chiffre des colonnes T1 à T3 correspond aux identifiants des différentes listes.</caption><thead><tr><th></th><th></th><th></th><th>T1</th><th>T2</th><th>T3</th></tr></thead><tbody><tr><td rowspan="4">Groupes de locuteurs A</td><td rowspan="2">3 auditeurs ≠</td><td>Mots BECD</td><td>1</td><td>2</td><td>3</td></tr><tr><td>Pseudo-mots</td><td>1</td><td>2</td><td>3</td></tr><tr><td rowspan="2">3 auditeurs ≠</td><td>Mots BECD</td><td>2</td><td>3</td><td>1</td></tr><tr><td>Pseudo-mots</td><td>2</td><td>3</td><td>1</td></tr><tr><td rowspan="2"></td><td rowspan="2">3 auditeurs ≠</td><td>Mots BECD</td><td>3</td><td>1</td><td>2</td></tr><tr><td>Pseudo-mots</td><td>3</td><td>1</td><td>2</td></tr></tbody></table>

Ce protocole expérimental a permis de mesurer l'évolution des scores PPD au cours de la répétition de 50 mots et de 52 pseudo-mots; scores calculés à partir des transcriptions des auditeurs dans un test de jugement perceptif de l'intelligibilité par décodage acoustico-phonétique (DAP).

## 2.3 Test de perception

A travers la base de données de volontaires participant aux expériences scientifiques du Centre d'Expérimentation sur la Parole (CEP) du LPL, nous avons recruté 18 auditeurs naïfs. Tous natifs de langue française, sans problème de vue ou d'audition non corrigés et ayant un bon niveau en orthographe. Chaque participant a débuté la tâche par la transcription des productions de mots isolés, puis l'a poursuivie avec la transcription des productions de pseudo-mots. Un auditeur évalue donc 10 locuteurs (5 patients et 5 contrôles), soit un total de 1020 stimuli (500 mots et 520 pseudo-mots). Les auditeurs ont été dédommagés en ticket Kadeos.

Ils ont reçu la consigne de toujours proposer une transcription, qui soit au plus près de ce qu'ils ont perçu et identifié, en respectant les règles orthographiques du français. Ce test de jugement perceptif de l'intelligibilité a été conduit au CEP (http://cep.lpl-aix.fr/), à l'aide de la station de perception PercEval (André et al., 2003). Ce design expérimental a été élaboré pour évaluer l'évolution des scores de Déviation Phonologique Perçue au cours du temps de la tâche en fonction du matériel linguistique utilisé (Mots – Pseudo-mots) à parts égales.

## 2.4 Traitement des données

Afin de pouvoir analyser statistiquement ces données, collectées lors des tests de jugement perceptif de l'intelligibilité par DAP, plusieurs traitements sont nécessaires. Les données brutes, telles que présentées par le logiciel d'expérimentation PercEval (André et al., 2003), sont des transcriptions orthographiques. Différentes opérations de pré-traitement sont effectuées afin que le format des données soit compatible avec les outils de calcul des scores DPP. Ces transcriptions orthographiques sont phonétisées en deux étapes (LIA-Phon, (Béchet, 2001) et Lexique.org) et sont ainsi compatibles avec la matrice de confusion utilisée pour calculer les scores de Déviation Phonologique Perçue (DPP).

Cette matrice de confusion repose sur l'attribution d'un coût, en termes de distance, basé sur la théorie des traits distinctifs (Jakobson, Fant et Halle, 1952). Elle a été développée par A. Ghio dans le cadre de l'analyse des données DAP (Ghio et al., 2018; Ghio, Lalain, Giusti, et al., 2020) du projet de recherche C2SI (Astésano et al., 2018; Ghio, Lalain, Giusti, et al., 2020). Elle permet le calcul de distance d'édition entre deux chaînes de caractères phonétiques par l'algorithme de Wagner Fischer. Celui-ci intègre la distance de Levenshtein, qui considère trois opérations
d'éditions élémentaires : la suppression, l'insertion ou la substitution d'un caractère. Ceci permet de considérer les altérations sur les deux axes syntagmatique et paradigmatique. En d'autres termes, cette méthode permet d'attribuer un score de distance entre les transcriptions phonétiques des cibles qui devaient être prononcées par les locuteurs et les transcriptions effectives phonétisées des auditeurs.

Le calcul des scores de distances cumulées repose sur la division du score donné par la matrice de confusion par le nombre de caractères de la cible phonétique. Nous obtenons alors des scores de Déviation Phonologique Perçue (DPP) en termes de distance cumulée à la cible, qui représentent le nombre moyen de traits altérés par phonème. De plus, pour chaque auditeur, un numéro a été assigné à chaque item en fonction de l'ordre de la passation, de 1 à 500 pour les mots et de 1 à 520 pour les pseudo-mots. Nous comparons donc l'évolution des scores au cours de la tâche entre deux matériaux linguistiques répétés à occurrences égales, 50 mots et 52 pseudo-mots.

## 3 Résultats

Cette étude a été menée afin d'évaluer si la neutralisation des effets d'apprentissage (Rebourg et al., 2020) tenait davantage à la qualité du matériel linguistique : Mots vs Pseudo-mots, ou à la quantité de pseudo-mots différents. Pour rappel, dans l'expérience précédente une même liste de 50 mots et 2 listes de 52 pseudo-mots, soit 50 mots répétés 20 fois et 2080 pseudo-mots différents, constituaient les stimuli de l'expérience. Il s'agit ici de confronter la répétition d'une liste de 50 mots à la répétition d'une liste de 52 pseudo-mots.

Une analyse de variance (ANOVA) a été conduite, afin de tester les effets simples entre l'évolution des scores PPD moyen (VD) au cours de la tâche et les différents matériaux linguistiques (Mots vs Pseudo-mots). Comme précédemment (Rebourg et al., 2020; Rebourg, 2022), nos résultats concernant le matériel linguistique lexical (Mots) confirment un effet de l'ordre des items dans la passation ($F(1,498) = 38.72, r = 0.004, p < 0.001$). Autrement dit, le score moyen baisse significativement au cours de la répétition de la tâche montrant un effet d'apprentissage du matériel linguistique lexical. Les résultats obtenus pour les pseudo-mots montrent également un effet significatif de l'évolution à la baisse du score DPP moyen au cours de la répétition de la tâche ($F(1,518) = 64.78, r = 0.006, p < 0.001$). Cela suggère qu'un effet d'apprentissage est induit par la répétition d'un même matériau linguistique, quelle que soit sa nature, lexicale ou non lexicale.

Ces résultats sont illustrés par la Figure 1 qui montre une relation affine forte et négative entre les scores moyens d'intelligibilité et la position de l'item dans la passation, pour les Mots et les Pseudo-mots. Cette figure se lit comme suit : en ordonnée les scores de Déviation Phonologique Perçue (PPD) ; en abscisse le numéro attribué à l'item en fonction de son ordre dans la passation (1 à 500 pour les Mots, 1 à 520 pour les Pseudo-mots) ; chaque point représente la moyenne des scores moyens attribués aux items en fonction de leur ordre dans la passation ; les droites de régression linéaires montrent l'évolution globale des scores au cours de la tâche.

<figure><img src="image_74.png" /></figure>
FIGURE 1 : Représentation en nuage de points des scores d'intelligibilité moyen en fonction de la position de l'item dans la passation, du type de matériel linguistique, Mots et Pseudo-Mots

La baisse de scores DPP moyens au cours de la tâche se traduit par un score moyen plus faible à la fin de la tâche, soit au 500/520ème mots/pseudo-mots, par rapport aux premiers stimuli transcrits. Pour les mots, losanges verts, droite de régression linéaire rouge, les scores moyens passent de 0,97 pour la première transcription à 0,64 pour la 500ème transcription, soit un abaissement de 0,33 traits par phonème. Cela représente une baisse de 34% du score moyen pour 500 essais. Pour les pseudo-mots, points bleus, droite de régression linéaire jaune, les scores moyens passent de 1,19 pour la première transcription à 0,86 pour la 520ème transcription, soit un abaissement de 0,33 traits par phonème, égale à celui des mots. Cela représente une baisse de 28% du score moyen. Cet effet de baisse significative des scores moyens représente un effet d'amélioration de 0,00066 trait par phonème par essai, pour les deux matériaux linguistiques. Cela révèle un effet d'apprentissage du matériel linguistique au cours de la tâche.

De plus, les scores moyens PPD calculés pour les Pseudo-mots (μ = 0.99) sont significativement plus élevés (p < 0.001) que ceux obtenus avec une évaluation avec les Mots (μ = 0.80). Cela suggère qu'une évaluation basée sur des pseudo-mots est plus stricte qu'une évaluation basée sur des mots de lexique. La taille de cet effet mesurée avec un coefficient d de Cohen (d = -0.153) nous indique que cette différence est faible, représentant 0.2 trait moyen d'écart par phonème.

# 4 Conclusion - discussion

Ces résultats révèlent un effet d'apprentissage du matériel linguistique lors de la répétition d'une tâche comprenant des listes d'items courtes et fermées, quelle que soit la nature du matériel linguistique lexical et non lexical. Mis en perspectives avec les résultats de notre précédente expérience, ces présents résultats montrent que c'est la quantité de pseudo-mots, qui permet de neutraliser cet effet d'apprentissage. En effet, aucun effet d'apprentissage au cours de la tâche n'avait été révélé par la présentation de 2080 pseudo-mots différents, contrairement à celui mis en avant ici, lors de la répétition d'une liste de 52 pseudo-mots. Ces résultats suggèrent que dans le cadre de l'évaluation clinique de la parole, un grand répertoire de pseudo-mots constitue un matériel linguistique pertinent pour neutraliser les effets d'apprentissage des listes d'items, biais fréquent des batteries de tests classiques d'évaluation de l'intelligibilité. De plus, ces résultats contribuent à valider les critères d'objectivité et de pertinence de la tâche DAP (C2SI).

Nos résultats montrent une différence significative de scores moyens entre les deux matériaux linguistiques, plus élevée pour les Pseudo-mots que pour les Mots, de 0.2 trait moyen d'écart par phonème. Cela suggère que la nouveauté de ces formes linguistiques non lexicales, jamais perçues auparavant, contrecarre l'effet de restauration lexicale. Les scores, en moyenne moins élevés, obtenus avec des mots peuvent s'expliquer par le recours aux informations de haut niveau. L'auditeur fait appel à son lexique mental dans lequel il a stocké ces mots de lexique, probablement déjà rencontrés au cours de son expérience linguistique, facilitant ainsi un effet de restauration lexicale, susceptible d'être délétère dans le cadre de l'évaluation clinique de la parole.

Néanmoins, nos résultats montrent que les scores moyens baissent au cours de la tâche pour les deux matériaux linguistiques. Et ce dans une amplitude exactement identique, 0,33 traits entre le premier et le dernier stimuli transcrit, soit en moyenne 0,00066 trait par phonème, par stimuli transcrit. Cette baisse des scores moyens proportionnellement identique entre les Mots et les Pseudo-mots suggère que les mêmes mécanismes se mettent en place lors de la perception d'unités linguistiques non lexicales telles que les pseudo-mots, analogues à ceux de la perception de mots
du lexique. L'auditeur tient à jour ses connaissances linguistiques et se montre capable d'intégrer,
dans son stock de connaissances lexicales, des unités phoniques auxquelles aucun sens n'est
attribué. Il réinvestit ses connaissances de haut niveau en ajoutant des stimuli à son répertoire de
formes linguistiques perçues. Ceci expliquerait l'effet d'apprentissage révélé dans notre
expérience. De plus, cet effet d'apprentissage des pseudo-mots questionne l'emploi d'un très grand
répertoire de mots pour une évaluation perceptive. En effet, Si seul un grand nombre d'items évite
les biais perceptifs, il peut être tentant de choisir des mots qui sont des éléments linguistiques
familiers contrairement aux pseudo-mots considérés comme plus artificiels. Ainsi, on pourrait
envisager un recours à tous les mots CVCV (4087), CCVCV (977), CVCCV (1648), CCVCCV
(150) présents dans la base lexique.org. Cela représente 6862 mots, ce qui pourrait être une taille
suffisante. Cependant, avec un tel dictionnaire, il serait très difficile d'obtenir des listes
équivalentes de 50 mots en termes de contenu et d'équilibre phonétique, et ne permettraient pas de
contrôler les effets de restauration lexicale. D'autre part, il serait aussi compliqué de maitriser des
contraintes de fréquence d'apparition (mots rares vs fréquents), alors que cet aspect est crucial
dans la perception du lexique (Vitevitch et Luce, 1999). Seul le recours aux pseudo mots permet
l'obtention de listes phonétiquement équivalentes (contrôle de l'occurrence et de la position des
phonèmes) et où la contrainte de la fréquence d'occurrence est annihilée par la nature inédite de
ces unités.

De plus, la qualité des pseudo-mots, en tant qu'items linguistiques non lexicaux, permet de
contrôler les effets de restauration lexicale en orientant l'auditeur dans le sens de la restauration
phonémique. Les connaissances implicites de l'auditeur à propos de règles phonologiques de sa
langue, en tant que système régi par des ensembles de règles d'ordonnancement et d'organisation
des sons, lui confèrent cette capacité. De plus les pseudo-mots, en tant qu'unités linguistiques non
lexicales, présentent l'avantage de pouvoir être générés en très grande quantité, neutralisant les
effets d'apprentissage et de ne jamais avoir été entendus auparavant, neutralisant les effets de
restauration lexicale, en centrant la tâche de l'auditeur sur le décodage des sons de parole, soit du
décodage acoustico-phonétique. Ces qualités suggèrent qu'ils constituent des unités pertinentes
pour l'évaluation des composantes phonétiques articulatoires et acoustiques préservées/dégradées,
dans le cadre clinique.

L'ensemble de ces résultats souligne également la complexité de l'ensemble des mécanismes de
perception de la parole. Ainsi, la compréhension et l'appréhension convenable des liens entre les
concepts linguistiques fondamentaux et les méthodes d'évaluation les plus appropriées pour cibler
ces niveaux constitue l'un des apports à la linguistique fondamentale. Celui-ci est permis par
l'observation à travers le prisme des déficits et altérations de la parole, tout en soutenant l'objectif
de l'évaluation en contexte clinique.

Reste à établir et déterminer avec précision les degrés de corrélation entre les différentes mesures,
tant dans les méthodes (tâche de l'auditeur : notation par échelles, par transcriptions), que dans les
procédures de calcul des scores (globale vs analytique) ainsi qu'entre les différents matériaux
linguistiques (énoncés, phrases, mots, pseudo-mots). En ce sens, le développement d'un index
d'évaluation de la parole qui présenterait synthétiquement les différents matériaux linguistiques
associés avec les niveaux linguistiques évalués, en fonction des différentes méthodes de scorage,
constituerait un outil essentiel tant à la pratique clinique qu'à la linguistique fondamentale.

Références

ANDRÉ, C. *ET AL.* (2003): «PERCEVAL: a Computer-Driven System for Experimentation on Auditory and Visual Perception», in *XVth ICPhS. ICPhS*, Barcelone, Espagne, p. 1421-1424.
ASTÉSANO, C. *ET AL*. (2018): «Carcinologic Speech Severity Index Project: A Database of Speech Disorder Productions to Assess Quality of Life Related to Speech After Cancer», in. *Language Resources and Evaluation Conference*, Miyazaki, p. 7.

AUZOU, P. ET ROLLAND-MONNOURY, V. (2006): *Batterie d'évaluation clinique de la dysarthrie*. Ortho Edition. France: ORTHO.

BALAGUER, M. (2021): *Mesure de l'altération de la communication par analyses automatiques de la parole spontanée après traitement d'un cancer oral ou oropharyngé*.

BECHET, F. (2001): «LIA PHON : Un système complet de phonétisation de textes», *Traitement Automatique des Langues, TAL*. (TAL - ATALA), 42(1), p. 47-67.

BLANC, E. *ET AL*. (2014): «Adaptation en français du test d'intelligibilité de la version révisée du « Frenchay Dysarthria Assessment » (FDA-2)», in *Congrès de la Société Française de Phoniatrie*. Paris, France. Disponible sur: https://hal.archives-ouvertes.fr/hal-01615204.

GANZEBOOM, M. *ET AL*. (2016): «Intelligibility of Disordered Speech: Global and Detailed Scores», in, p. 2503-2507. doi: 10.21437/Interspeech.2016-1448.

GHIO, A. *ET AL*. (2018): «Une mesure d'intelligibilité par décodage acoustico-phonétique de pseudo-mots dans le cas de parole atypique», in *XXXIe Journées d'Etudes sur la Parole*. Aix-en-Provence, France: ISCA, p. 285-293. doi: 10.21437/jep.2018-33.

GHIO, A., LALAIN, M., GIUSTI, L., *ET AL*. (2020): «How to Compare Automatically Two Phonological Strings: Application to Intelligibility Measurement in the Case of Atypical Speech», in *12th Conference on Language Resources and Evaluation (LREC 2020)*. Marseille, France: ELRA, p. 1682-1687. Disponible sur: https://hal.archives-ouvertes.fr/hal-02482615.

GHIO, A., LALAIN, M., REBOURG, M., *ET AL*. (2020): «Testing intelligibility through acoustic-phonetic decoding of pseudowords : Construct and concurrent validation based on patients with head and neck cancers», *Journal of Communication Disorders*.

HUSTAD, K. C. (2008): «The Relationship Between Listener Comprehension and Intelligibility Scores for Speakers With Dysarthria», *Journal of Speech, Language, and Hearing Research*, 51(3), p. 562-573. doi: 10.1044/1092-4388(2008/040).

HUSTAD, K. C., JONES, T. ET DAILEY, S. (2003): «Implementing Speech Supplementation Strategies: Effects on Intelligibility and Speech Rate of Individuals With Chronic Severe Dysarthria», *Journal of Speech, Language, and Hearing Research*, 46(2), p. 462-474. doi: 10.1044/1092-4388(2003/038).

JAKOBSON, R., FANT, C. G. M. ET HALLE, M. (1952): *Preliminaries to speech analysis: the distinctive features and their correlates*. Cambridge, Etats-Unis d'Amérique: Acoustics Laboratory, Massachusetts Institute of Technology.

LALAIN, M. *ET AL*. (2020): «Design and Development of a Speech Intelligibility Test Based on Pseudowords in French: Why and How?», *Journal of Speech, Language, and Hearing Research*, 63(7), p. 2070-2083. doi: 10.1044/2020_JSLHR-19-00088.

LALAIN, M. *ET AL*. (2022): «Prédiction du degré d'altération de l'intelligibilité chez des patients traités pour un cancer de la cavité buccale ou de l'oropharynx», in *32ème édition des Journées d'Etudes sur la Parole*. Noirmoutier, France.

LINDBLOM, B. (1990): «On the communication process: Speaker listener interaction and the development of speech.», in *Augmentative and Alternative Communication*. (6), p. 220-230.

REBOURG, M. (2018): *Validation d'une tâche de Décodage Acoustico Phonétique : Lexicalisation, mémorisation, familiarisation*. Mémoire de Master 2 - Sciences du langage - Linguistique expérimentale. Aix-Marseille Université.

REBOURG, M. *ET AL*. (2019): «Pertinence de l'utilisation de non mots pour évaluer l'intelligibilité», in *Journées de Phonétique Clinique*. Mons, Belgium (Questions de Phonétique Clinique), p. 172. Disponible sur: https://hal.archives-ouvertes.fr/hal-02098845.

REBOURG, M. *ET AL*. (2020): «Évaluer l'intelligibilité, mots ou pseudo-mots ? Comparaison entre deux groupes d'auditeurs», in *6e conférence conjointe Journées d'Études sur la Parole (JEP, 31e*
édition), (TALN, 27e édition), (RÉCITAL, 22e édition). Nancy, France: ATALA, p. 543-551.

Disponible sur: https://hal.archives-ouvertes.fr/hal-02798584.

REBOURG, M. (2022): *Évaluation de l'intelligibilité après un cancer ORL : approche perceptive par décodage acoustico-phonétique et mesures acoustiques*. These de doctorat. Aix-Marseille.

Disponible sur: https://www.theses.fr/2022AIXM0247 (Consulté le: 10 février 2024).

VITEVITCH, M. S. ET LUCE, P. A. (1999): «Probabilistic Phonotactics and Neighborhood Activation in Spoken Word Recognition», *Journal of Memory and Language*, 40(3), p. 374-408. doi: 10.1006/jmla.1998.2618.

WOISARD, V. ET AL. (2021): «C2SI corpus: a database of speech disorder productions to assess intelligibility and quality of life in head and neck cancers», *Language Resources and Evaluation*. Springer Verlag, 55(1), p. 173-190. doi: 10.1007/s10579-020-09496-3.

XUE, W., HOUT, R., ET AL. (2021): «Assessing speech intelligibility of pathological speech: test types, ratings and transcription measures», *Clinical Linguistics & Phonetics*, 37. doi: 10.1080/02699206.2021.2009918.

XUE, W., HOUT, R. V., ET AL. (2021): «Speech Intelligibility of Dysarthric Speech: Human Scores and Acoustic-Phonetic Features», in *Interspeech 2021. Interspeech 2021*, ISCA, p. 2911-2915. doi: 10.21437/Interspeech.2021-1189.

XUE, W. ET AL. (2023): «Assessing speech intelligibility of pathological speech in sentences and word lists: The contribution of phoneme-level measures», *Journal of Communication Disorders*, 102, p. 106301. doi: 10.1016/j.jcomdis.2023.106301.

YORKSTON, K. M., DOWDEN, P. A. ET BEUKELMAN, D. R. (1992): «Intelligibility measurement as a tool in the clinical management of dysarthric speakers», in *Intelligibility in speech Disorders : Theory, measurement and management*. Raymond D. Kent. Madison, Wisconsin: John Benjamins Publishing Company, p. 265-286. Disponible sur: https://benjamins.com/catalog/sspcl.1.08yor.

YORKSTON, K. M., STRAND, E. A. ET KENNEDY, M. R. T. (1996): «Comprehensibility of Dysarthric Speech», *American Journal of Speech-Language Pathology*. American Speech-Language-Hearing Association, 5(1), p. 55-66. doi: 10.1044/1058-0360.0501.55.
# Peut-on marquer un focus contrastif par le geste manuel en suppléance vocale ?

Delphine Charuau

Nathalie Henrich Bernardoni

Silvain Gerber

Olivier

Perrotin

Univ. Grenoble Alpes, CNRS, Grenoble INP, GIPSA-lab, Grenoble, F-38000, France
delphinecharuau1@gmail.com, olivier.perrotin@gipsa-lab.grenoble-inp.fr

## RÉSUMÉ

Un paradigme expérimental élicitant la focalisation sur une syllabe a été élaboré dans une tâche de conversion chuchotement-parole avec contrôle manuel de l'intonation. Deux interfaces de contrôle intonatif ont été testées : contrôle isométrique par pression du doigt et isotonique par rotation du poignet. La réalisation de la focalisation par le geste a été observée, démontrant un transfert du contrôle naturel vers manuel de l'intonation. Les résultats sont également discutés en fonction de la position de la syllabe dans l'énoncé, et en fonction de l'interface de contrôle gestuel employée.

## ABSTRACT

### Can a contrastive focus be achieved using hand gestures in a voice substitution paradigm?

An experimental paradigm to elicit a focus on a syllable was developed, in a whisper-to-speech conversion task with manual control of intonation. Two interfaces for controlling intonation were tested : an isometric control by finger pressure and an isotonic control by wrist rotation. A successful realisation of focus with gesture was observed, demonstrating a transfer from natural to manual control of intonation. Results are also discussed in terms of syllable position in the utterance, and with regards to the gestural control interface employed.

**MOTS-CLÉS** : Focus contrastif, Contrôle chironomique, Conversion chuchotement-parole, Suppléance vocale.

**KEYWORDS:** Contrastive focus, Chironomic control, Whisper-to-speech conversion, Voice substitution.

# 1 Introduction

Notre étude porte sur le contrôle de l'intonation dans le cadre d'une dégradation ou d'une absence des capacités phonatoires chez des patients laryngectomisés. Les solutions médicales actuelles pour remplacer la source vocale défectueuse ou absente consistent à injecter une source sonore artificielle dans le conduit vocal, souvent à l'aide d'un électrolarynx (Liu & Ng, 2007; Fuchs et al., 2016; Kaye et al., 2017; Ahmadi et al., 2018). Ce vibrateur génère une source vocale de substitution sur laquelle l'utilisateur peut articuler la parole normalement. Il est également possible d'utiliser un microphone pour capter la parole non vocalisée (par exemple un chuchotement), et d'y réintroduire une phonation en temps-réel par synthèse vocale à partir d'un modèle de source glottique filtré par la réponse du conduit vocal mesurée (Perrotin & McLoughlin, 2020). La voix reconstruite est ensuite diffusée en temps-réel sur un haut-parleur. La principale limite à la fois des électrolarynx et des systèmes de

<figure><img src="image_75.png" /></figure>
synthèse est le peu d'information disponible pour reconstruire l'intonation. Par défaut, ces systèmes génèrent une intonation relativement constante, privant ainsi l'expression parlée d'une partie de l'information prosodique nécessaire à la fois à la structuration du discours (Mertens, 2008; Di Cristo, 2016) et à l'expression d'attitudes et d'émotions (Ward, 2019).

La synthèse vocale performative consiste à proposer à l'utilisateur un contrôle temps-réel de certains paramètres de la voix à générer, à l'image d'un instrument de musique numérique. En particulier, un axe d'étude a exploré l'utilisation de la chironomie, c'est-à-dire la gestuelle de la main, pour le contrôle de l'intonation dans la synthèse vocale (d'Alessandro, 2022). Ainsi, un tel paradigme permet d'aller chercher l'information d'intonation auprès d'un geste non-vocal (la main), en faisant l'hypothèse forte que l'utilisateur est capable de transférer une production de l'intonation implicite lorsque produite par la vibration des plis vocaux vers une production explicite par le geste de la main. Cette hypothèse a été validée dans des *tâches d'imitation*, où des utilisateurs ont reproduit le contour intonatif de phrases données en contrôlant la fréquence fondamentale de synthétiseurs vocaux par la position d'un stylet sur une tablette graphique, à la fois sur des tâches de parole (d'Alessandro et al., 2011) et de chant (d'Alessandro et al., 2014). Le transfert inverse, du contrôle manuel de l'intonation vers le contrôle naturel, a aussi été observé et s'est montré efficace dans l'apprentissage de l'intonation du français (Xiao et al., 2022) et de l'anglais (Xiao et al., 2023) en tant que langues étrangères, toujours en tâches d'imitation.

Dans la lignée de ces recherches, nous avons introduit la synthèse performative dans une solution de suppléance vocale basée sur la conversion chuchotement-parole en temps-réel. L'utilisateur doit alors à la fois articuler le message avec son conduit vocal et contrôler l'intonation de manière synchrone à l'aide du geste manuel (Perrotin & McLoughlin, 2020; Ardaillon et al., 2022). Néanmoins, le paradigme de suppléance vocale diffère des études précédentes selon trois aspects. D'abord, si l'hypothèse de transfert du contrôle intonatif entre plis vocaux et geste de la main a été démontré sur des tâches d'imitations, ces dernières sont peu fréquentes en situation de communication orale. La question du transfert du contrôle intonatif sur des tâches que nous appellerons *tâches de production*, i.e. où l'utilisateur doit produire des contours intonatifs avec un but communicationnel mais sans références immédiates, reste donc ouverte. Par ailleurs, les synthétiseurs performatifs développés pour les études en tâche d'imitation demandent un contrôle de l'intonation uniquement, le contenu phonétique étant pré-défini (Feugère et al., 2017; Locqueville et al., 2020). En suppléance vocale, le contrôle simultané de l'articulation et de l'intonation doit être pris en compte. Enfin, ces mêmes instruments de synthèse proposent un contrôle de l'intonation par la position d'un objet (stylet ou doigt) sur une surface. Si cela introduit une modalité visuelle dans la représentation de l'intonation qui a été démontrée comme prépondérante dans le contrôle (Perrotin & D'alessandro, 2016), celle-ci n'est pas souhaitable dans des situations de communication orale, pour des raisons ergonomiques.

Dans cet article, nous cherchons donc à évaluer la capacité de locuteurs à externaliser le contrôle de l'intonation pour la réalisation de fonctions prosodiques dans un contexte communicationnel de suppléance vocale, c'est-à-dire dans des *tâches de production*, en synchronie avec l'articulation, et en utilisant des interfaces gestuelles ne sollicitant pas la modalité visuelle. Nous nous intéressons ici à la focalisation contrastive, qui se caractérise par la mise en évidence d'un ou plusieurs mots d'un énoncé, jugés comme les plus informatifs. Un focus contrastif est marqué par une augmentation notable de l'intensité et de la fréquence fondamentale $f_o$ sur le ou les mots d'intérêt (Jun & Fougeron, 2000; Grice et al., 2017), pouvant s'accompagner d'un allongement temporel de la syllabe portant le focus (Dahan & Bernard, 1996; Astésano et al., 2004). La combinaison de ces paramètres contribue à la perception auditive du focus et permet une évaluation objective en termes de variations de durée syllabique et de fréquence fondamentale. Des variations fines de ces paramètres s'opèrent au niveau
<figure><img src="image_76.png" /><figcaption>FIGURE 1 – Schéma du système de suppléance vocale avec contrôle manuel de l'intonation.</figcaption></figure>

syllabique de manière complémentaire, lorsqu'il s'agit de marquer le focus sur l'ensemble du mot (Astésano et al., 2004). En effet, les variations d'intensité et de $f_o$ sont plutôt localisées sur la première syllabe ou au milieu du mot, tandis que les variations de durée arrivent à la fin du mot. Il s'agit de voir si les locuteurs reproduisent des dépendances à la position de la syllabe en suppléance vocale.

Nous posons une première hypothèse selon laquelle les locuteurs pourront combiner un contrôle implicite du focus sur le plan articulatoire, en allongeant la durée de la syllabe à mettre en relief, avec un contrôle explicite sur le plan gestuel, en élevant le contour intonatif sur la syllabe d'intérêt, par le biais de l'interface manuelle. Notre seconde hypothèse porte sur un transfert de l'effet de la position de la syllabe sur la $f_o$ ainsi que sur la durée des syllabes. Le protocole expérimental pour l'élicitation d'un focus contrastif et l'évaluation de sa réalisation par le geste manuel est décrit en Section 2. Les résultats sont discutés en Section 3.

# 2 Matériel and méthodes

## 2.1 Système de suppléance vocale

Le système utilisé dans ces travaux et présenté en Fig. 1 est composé d'un module de conversion chuchotement-parole et d'interfaces gestuelles pour le contrôle de l'intonation, détaillés ci-dessous.

**Conversion chuchotement-parole** : Le système est une extension de la méthode proposée par Perrotin & McLoughlin (2020) qui consiste en : 1) la décomposition source-filtre du chuchotement par la méthode GFM-IAIF (Perrotin & McLoughlin, 2019), pour isoler l'enveloppe spectrale du conduit vocal du bruit coloré correspondant à la source sonore du chuchotement ; 2) la génération d'un signal de source glottique par le modèle LF (Fant et al., 1994), de fréquence fondamentale $f_o$ donnée ; 3) le filtrage du signal de source par l'enveloppe spectrale du conduit vocal. Ces trois étapes sont implémentées en temps-réel sur la plate-forme Max/MSP (Cycling74, 2024).

**Interfaces gestuelles** : La $f_o$ utilisée en synthèse est contrôlée linéairement sur une échelle en demi-tons (ST), sur un intervalle d'une octave (±6 ST) autour de la $f_o$ moyenne de la voix du locuteur, notée $<f_o>_{L}$. Celle-ci est mesurée lors de la première phase d'entraînement du protocole sur de la parole naturelle (voir Section 2.2). Nous avons proposé deux types de geste pour le contrôle de l'intonation : un geste de pression isométrique et un geste de rotation isotonique. Un contrôle intonatif par geste de pression du pouce est déjà proposé dans la solution commercialisée et très usitée de l'électrolarynx Trutone (2024). Le geste de rotation du poignet s'inspire des gestes de battement qui peuvent accompagner la focalisation (Leonard & Cummins, 2011). Le geste de pression est réalisé sur
<table><thead><tr><th colspan="4">Scénario</th><th>Condition</th></tr></thead><tbody><tr><td>– Participant :</td><td>Le <span style="background-color: #d9b9d9; border: 1px solid #808080; padding: 0 2px;">loup</span> doux</td><td>a suivi</td><td>le beau <span style="background-color: #d9b9d9; border: 1px solid #808080; padding: 0 2px;">loup</span>.</td><td><span style="text-decoration: underline;">Pré</span></td></tr><tr><td>– Expérimentatrice :</td><td>Le <span style="background-color: #d9b9d9; border: 1px solid #808080; padding: 0 2px;">loup</span> doux</td><td>a suivi</td><td>le beau chien ?</td><td><span style="text-decoration: underline;">Question</span></td></tr><tr><td>– Participant :</td><td>Le <span style="background-color: #d9b9d9; border: 1px solid #808080; padding: 0 2px;">loup</span> doux</td><td>a suivi</td><td>le beau <span style="background-color: #d9b9d9; border: 1px solid #808080; padding: 0 2px;">loup</span>.</td><td><span style="text-decoration: underline;">Post</span></td></tr></tbody></table>

(a) Scénario pour l'expérience. La syllabe soulignée est celle ciblée par la question de l'expérimentatrice.

<table><thead><tr><th colspan="2">Syllabe</th><th colspan="2">Énoncé</th><th>Contraste</th></tr><tr><th>cible</th><th>non-cible</th><th>Sujet (S)</th><th>Verbe (V)</th><th>Objet (O)</th></tr></thead><tbody><tr><td>S1</td><td>O2</td><td><u>Lou du Mans</u></td><td>a suivi</td><td>le loup doux.</td><td>Jean</td></tr><tr><td>S2</td><td>O3</td><td><u>Le loup doux</u></td><td>a suivi</td><td>le beau loup.</td><td>chat</td></tr><tr><td>S3</td><td>O1</td><td><u>Le beau loup</u></td><td>a suivi</td><td>Lou du Mans.</td><td>chien</td></tr><tr><td>O1</td><td>S3</td><td><u>Le beau loup</u></td><td>a suivi</td><td><u>Lou du Mans.</u></td><td>Jean</td></tr><tr><td>O2</td><td>S1</td><td>Lou du Mans</td><td>a suivi</td><td>le loup doux.</td><td>chat</td></tr><tr><td>O3</td><td>S2</td><td>Le loup doux</td><td>a suivi</td><td>le beau loup.</td><td>chien</td></tr></tbody></table>

(b) Corpus d'énoncés.

<caption>TABLE 1 – Corpus (bas) et exemple de scénario sur un des énoncés (haut).</caption>

une tablette Sensel de la marque Morph (2024), qui mesure la pression de l'index de la main préférée de l'utilisateur, d'une pression nulle à une pression maximale $P_{max}$, respectivement associées à -6 et +6 ST autour de $<f_o>_{L}$. Le geste de rotation est réalisé à l'aide d'un accéléromètre 1044_1B de la marque Phidget (2024), tenu dans la main préférée de l'utilisateur, dont l'avant-bas est posé à l'horizontale sur un accoudoir. L'accéléromètre mesure le mouvement haut/bas du poignet de la main en degrés de rotation, 0° étant la position horizontale du poignet correspondant à $<f_o>_{L}$. Les rotations +45° et -45° sont respectivement associées à -6 et +6 ST autour de $<f_o>_{L}$. Ainsi, une descente du poignet est liée à une augmentation de $f_o$.

## 2.2 Protocole expérimental

**Scénario** : Nous avons construit un scénario permettant l'induction d'un focus contrastif sans donner d'instruction explicite, suivant les travaux de Dohen & Lœvenbruck (2009). Il s'agit d'une tâche de parole sous la forme d'interactions simulées entre le participant et l'expérimentatrice. L'interaction comporte trois tours de parole, résumés en Table 1a, dont le texte s'affiche au fur et à mesure sur l'écran disposé face au participant. Le participant a d'abord la consigne de lire un énoncé affiché. Ensuite, une question pré-enregistrée par l'expérimentatrice est affichée et jouée au participant. Cette question reprend l'énoncé du participant en y changeant un mot pour simuler une erreur de compréhension. Enfin, le participant a pour consigne de répéter l'énoncé initial qui s'affiche à l'écran. On appelle Pré et Post la première et deuxième répétition de la phrase par le participant.

**Corpus** : Le corpus est constitué de 3 phrases de 9 syllabes de type Sujet-Verbe-Objet (SVO), avec 3 syllabes par constituant. Le constituant verbal est fixe pour toutes les phrases et les constituants sujet et objet sont chacun composés de 3 mots monosyllabiques entièrement voisés (pour s'affranchir d'une décision de voisinement dans la conversion chuchotement-parole). Chacun de ces deux constituants contient une syllabe /lu/ et chaque phrase apparaît deux fois dans le corpus, où soit le premier /lu/ soit le deuxième est la syllabe *cible*, c'est-à-dire changée par l'expérimentatrice. On appellera l'autre syllabe /lu/ *non-cible*. Au total, le corpus est composé de 6 énoncés, possédant chacun la syllabe *cible* à une *position dans l'énoncé* différente, comme indiqué en Table 1b.

Au final, lors de la production d'un scénario (Table 1a), la syllabe /lu/ est prononcée 4 fois par le
participant, selon 4 **statuts de la syllabe** : Pré non-cible (rouge clair), Pré cible (rouge foncé), Post non-cible (vert clair) et Post cible (vert foncé). Alors qu'aucune autre consigne que de lire chaque énoncé est donnée, nous faisons l'hypothèse que le participant produira naturellement un focus contrastif dans la condition Post cible uniquement. Dans la suite, on appellera **tâche de production** la réalisation des 6 scénarios correspondant à chacun des énoncés, répétés 3 fois chacun. L'ordre de présentation des scénarios et répétitions est aléatoire.

**Productions vocales** : L'expérience est divisée en trois phases associées à trois **modes de production**, chacune précédée d'une ou plusieurs activités de familiarisation au protocole et/ou au contrôle. Dans la première, le participant utilise sa voix naturelle et commence par 3 répétitions de 6 scénarios sur des énoncés autres que ceux présentés en Table 1a pour se familiariser avec la tâche. C'est dans cette phase que $< f_o >_L$ est mesuré. Ensuite, le participant réalise la *tâche de production*. En deuxième et troisième phase, il utilise le système de conversion chuchotement-parole en contrôle par *rotation* puis *pression* ou inversement. L'ordre de passage de ces deux dernières phases est attribué aléatoirement selon le participant. Pour chacune de ces phases, le participant commence par la lecture du texte MonPage 2 (Pommée, 2021, p. 114) qui lui permet de se familiariser à l'interface par un contrôle libre de l'intonation. Le deuxième entraînement est une tâche d'imitation, où il s'agit de reproduire 6 phrases enregistrées par d'Alessandro et al. (2011) en imitant leur intonation, avec 3 répétitions chacune. Cela permet d'apprendre au participant à contrôler l'intonation. Enfin, la phase se termine par la réalisation de la *tâche de production*.

**Conditions expérimentales** : L'expérience s'est déroulée en chambre anéchoïque au laboratoire. Chaque participant est assis face à un écran sur lequel s'affiche les consignes et les supports des tâches de parole. Un casque audio fermé Beyerdynamic DT797 équipé d'un micro est utilisé pour capter la voix de l'utilisateur et lui restituer la voix de synthèse en temps-réel, ainsi que les stimuli sonores. Le participant devait passer manuellement au scénario suivant et pouvait faire des pauses librement à ces moments-là. L'expérience complète durait environ 1h15 et était rémunérée 15€ en bon d'achat dans un grand magasin.

**Participants** : Nous avons enregistré 16 locuteurs (âge médian = 24.5 ans ; Q1 = 22.5 ; Q3 = 27), de langue maternelle française et sans trouble rapporté de la parole, de l'audition et de la motricité du bras et de la main. Le protocole expérimental a été approuvé par le comité d'éthique de l'université Grenoble Alpes (CERGA-Avis-2023-21) et respecte le Règlement Général sur la Protection des Données.

## 2.3 Traitement des données

**Extraction des données** : L'alignement texte-parole des fichiers audio a été réalisé à l'aide de l'application Astali (Loria, 2016). La segmentation en syllabes ainsi que leurs annotations (*cible*/*non-cible*) ont été réalisées manuellement sur Praat. Pour chaque syllabe, nous reportons sa durée relative par rapport à la durée de l'énoncé pour lequel les pauses ont été exclues, appelée $D_r$. Chaque énoncé ayant 9 syllabes, la durée relative moyenne d'une syllabe est de 11%. La $f_o$ de la voix naturelle a été mesurée automatiquement par la fonction *To pitch* de Praat et la $f_o$ contrôlée par le geste est fournie directement par le système. Ces valeurs sont exprimées en ST. Pour s'affranchir de l'effet du locuteur et de la production vocale, nous soustrayons à chaque trajectoire de $f_o$ mesurée la médiane de $f_o$ calculée pour l'ensemble des productions du locuteur avec la production vocale correspondante. Nous appelons $f_{oC}$ la fréquence fondamentale centrée résultante, exprimée aussi en ST. Dans cette étude, nous reportons le pic de $f_{oC}$ sur les syllabes d'intérêt (*cible* et *non-cible*).
**Analyses statistiques** : Nous avons étudié l'impact du *statut de la syllabe*, de sa *position dans l'énoncé*, et de son *mode de production* sur la durée relative et sur le pic de $f_{oc}$. Pour la durée relative, compte tenu du fait que ses valeurs sont bornées dans l'intervalle (0;1), nous avons appliqué une régression beta avec effet aléatoire et utilisé la fonction *glmmTMB* du package *glmmTMB* du logiciel R. Pour le pic de $f_{oc}$, nous avons appliqué un modèle linéaire mixte et utilisé la fonction *lme* de la librairie *nlme* du logiciel R. Dans les deux cas, le participant et le numéro de répétitions ont été ajoutés comme effets aléatoires du modèle. Nous avons utilisé ensuite la fonction *glht* de la librairie *multcomp* du logiciel R pour réaliser des comparaisons multiples d'où sont issues les *p*-values données ci-après. Les résultats sont considérés comme significatifs si $p < 0.05$.

# 3 Résultats

## 3.1 Réalisation de la focalisation

La figure 2 rend compte des valeurs du pic du $f_{oc}$ sur les syllabe /lu/ et de leur durée relative, selon leur **position** au sein des constituants et selon le **mode de production**. Il convient de préciser que pour une même position, les syllabes *cible* et *non-cible* appartiennent à des énoncés différents.

**Validité du protocole** : Aucune différence significative n'est observée entre les syllabes *Pré non-cible* (rouge clair) et *Pré cible* (rouge foncé), tant en termes de variation de $f_o$ qu'en termes de durée, et ce, quel que soit le **mode de production**. Ces résultats indiquent qu'il n'y a pas d'anticipation du focus et que nous avons bien induit une causalité entre question et focus observés en condition *Post* ci-après.

**Réalisation de la focalisation** : La figure 2 montre que le focus est réalisé d'une part, par une augmentation de l'intonation sur la syllabe *Post cible*, et d'autre part, par un allongement sa durée relative, quel que soit le **mode de production**. En condition *voix*, les locuteurs ont tendance à marquer le focus en augmentant, en médiane sur l'ensemble des syllabes, le pic de $f_{oc}$ de 1.64 ST sur la syllabe *Post cible* (vert foncé), par rapport à la syllabe *Pré cible*. Toutefois, sur chaque syllabe, cette différence n'est significative que lorsque le focus tombe sur la deuxième syllabe du constituant objet (O2). En revanche, durant les tâches de production avec interface, une augmentation significative du pic de $f_{oc}$ entre l'ensemble des syllabes *Pré cible* et *Post cible*, de 3.28 ST pour le contrôle par *pression* et de 4.59 ST pour le contrôle par *rotation*, rend compte de la volonté des locuteurs de marquer le focus sur la syllabe *cible*. En outre, l'ensemble des syllabes *Post cible* sont significativement allongées de 3.8% en parole naturelle, et de 6% lors des tâches de parole impliquant un contrôle manuel de l'intonation. Au regard de ces résultats, il apparaît que la focalisation est réalisée sur le plan articulatoire (durée), ainsi que par le geste manuel ($f_{oc}$). Par ailleurs, la hausse du pic de $f_{oc}$ est particulièrement marquée sur les interfaces.

## 3.2 Effet de la position de la syllabe

Afin de vérifier les effets de la **position dans l'énoncé** de la syllabe sur la réalisation du focus, nous comparons la durée relative et le pic de $f_{oc}$ sur les syllabes *Pré cible* et *Post cible* en *voix* selon leur position au sein des constituants, puis en production *pression* et *rotation*.

**Variations prosodiques en voix naturelle** : La comparaison des valeurs de $f_{oc}$ pour les 6 syllabes *Pré cible* selon leur position fait ressortir 11 combinaisons significatives sur les 15 testées. L'analyse
<figure><img src="image_77.png" /></figure>

FIGURE 2 – Pic de $f_{oc}$ (haut) et durée relative (bas) des syllabes /lu/ selon le *statut de la syllabe* et le *mode de production*.

statistique révèle une variabilité significative du $f_{oc}$ entre l'ensemble des syllabes du constituant objet. Cette variabilité s'atténue au sein du constituant sujet pour lequel une différence significative n'est observée qu'entre S2 et S3. Le nombre de combinaisons significatives rend compte d'une forte dépendance de la variation de $f_{oc}$ à la position de la syllabe en condition *Pré*. Nous constatons donc une variation de $f_{oc}$ des syllabes *Pré cible* selon leur position dans les constituants et dans la phrase, notamment une baisse significative de $f_{oc}$ à la fin du constituant objet, coïncidant avec l'intonation descendante en fin de phrase. En revanche, la position de la syllabe ne présente que peu d'effet sur la variation du $f_{oc}$ des syllabes *Post cible* : sur 15 combinaisons testées, seules 6 s'avèrent significatives. Nous n'observons aucune différence significative entre les syllabes d'un même constituant, sujet et objet, excepté entre O2 et O3. La réduction du nombre de différences significatives entre les syllabes *Pré cible* et *Post cible* suggère donc un plafonnement de $f_{oc}$ lors de la réalisation du focus.

En parole naturelle, la durée des syllabes *Pré cible* reste relativement constante tout au long des constituants. Nous relevons une constance similaire dans la durée des syllabes *Post cible* au sein du constituant sujet. Une légère baisse de la durée de la syllabe initiale du constituant objet est relevée, tandis que la durée des syllabes en deuxièmes et troisièmes positions de ce constituant décroît significativement. De manière générale, les syllabes sont plutôt isochrones, exceptées pour les deux dernières syllabes de la phrase. Nous ne relevons pas de dépendance à la position de la syllabe.

**Variations prosodiques en contrôle de l'intonation** : Lors des tâches de parole impliquant un contrôle manuel de l'intonation, nous n'observons aucun effet de la position de la syllabe sur le contour de $f_{oc}$. En effet, aucune différence significative n'est observée selon la position syllabique, aussi bien pour les syllabes *Pré cible* que pour les syllabes *Post cible*, bien que nous retrouvons un plafonnement de la focalisation pour les syllabes *Post cible*, à l'instar de ce qui a été constaté en voix. Dans le contexte d'un contrôle externe de l'intonation, en dehors de la réalisation du focus, il y a
donc peu de mouvements intonatifs durant la production de la phrase. Les participants se concentrent exclusivement sur la tâche de focalisation, au détriment des autres fonctions de la prosodie.

Lors d'un contrôle par *rotation*, la durée relative des syllabes *Pré cible* augmente significativement au fur et à mesure que l'on s'approche de la fin du constituant, aussi bien sujet qu'objet. Si nous observons un schéma similaire lors d'un contrôle par *pression*, seule la hausse de durée entre les syllabes *Pré cible* initiale et finale du constituant objet est significative. Les syllabes *Post cible* montrent également une augmentation significative de leur durée au fur et à mesure de leur avancée au sein du constituant sujet, quelle que soit l'interface employée. Néanmoins, si une hausse similaire est également observée pour les syllabes du constituant objet, elle n'est pas significative. Nous observons un schéma d'allongement des syllabes au sein de chaque constituant, qui se confirme à la fois dans les contextes avec et sans focalisation, quel que soit le contrôle manuel exercé (*pression* et *rotation*). Ces allongements spécifiques aux interfaces pourraient être imputables au chuchotement, qui ralentit naturellement le débit de parole (Schwartz, 1967; Houle & Levi, 2020), et/ou à la hausse de la charge cognitive, induite non seulement par l'externalisation de l'intonation, mais également par la coordination entre l'articulation et le geste manuel.

# 4 Conclusion

Au regard des résultats présentés, nous pouvons conclure au succès du transfert de la production du focus à travers la variation de $f_{oc}$ et de la durée sur la syllabe cible. En effet, lors des tâches de production impliquant un contrôle manuel de l'intonation, tous les locuteurs ont clairement explicité le focus en augmentant les valeurs de $f_{oc}$ à l'endroit attendu. Ceci indique que les locuteurs ont non seulement perçu l'importance de $f_{oc}$ dans la réalisation du focus, mais aussi qu'ils ont su utiliser les interfaces pour mettre en relief la syllabe cible. Ce comportement a été observé chez tous nos locuteurs. Par ailleurs, une augmentation significative de la durée des syllabes *Post cible* a également été constatée, à l'instar des données en parole naturelle attestées dans la littérature.

Contrairement aux observations faites en voix, lors des tâches de production impliquant un contrôle gestuel, nous ne remarquons aucune variation significative de $f_o$ en dehors de la focalisation. Hormis lors de la réalisation du focus, la voix de synthèse est relativement monotone. Nous ne relevons que peu ou pas de variation de $f_o$, y compris à la fin des énoncés, où l'on pourrait s'attendre à une intonation descendante. Si les locuteurs ont montré une aptitude à reproduire précisément les contours intonatifs en tâche d'imitation (d'Alessandro et al., 2011), dans notre tâche de production, les participants semblent s'être concentrés exclusivement sur la tâche de focalisation, au détriment des autres fonctions de la prosodie. La méthode employée se révèle néanmoins encourageante. En effet, cette étude met en évidence la capacité des participants à 1) comprendre qu'il fallait produire un focus ; 2) intégrer que le focus s'exprime en partie par une augmentation de $f_o$ ; 3) planifier et mettre en œuvre ce contrôle par le biais des interfaces. Cependant, il apparaît que l'utilisation des interfaces ait été limitée à une seule fonction prosodique. Ceci suggère qu'un apprentissage complet de toutes les fonctions de la communication pourrait nécessiter un entraînement prolongé.

Au-delà de l'étude d'autres fonctions prosodiques, il conviendrait d'examiner le phénomène de ralentissement de la production des syllabes, observé en conditions *pression* et *rotation*, possiblement attribuable à la charge cognitive engendrée par la coordination entre l'articulation et le geste manuel, et/ou au chuchotement. Cette question suscite un certain intérêt dans le cadre de travaux futurs.
Références

AHMADI F., NOORIAN F., NOVAKOVIC D. & VAN SCHAIK A. (2018). A pneumatic Bionic Voice prosthesis—Pre-clinical trials of controlling the voice onset and offset. *PLOS ONE*, **13**(2), e0192257.
DOI: 10.1371/journal.pone.0192257.

ARDAILLON L., HENRICH N. & PERROTIN O. (2022). Voicing decision based on phonemes classification and spectral moments for whisper-to-speech conversion. In *Interspeech 2022*, p. 2253–2257 : ISCA. DOI: 10.21437/Interspeech.2022-10675.

ASTÉSANO C., MAGNE C., MOREL M., COQUILLON A., ESPESSER R., BESSON M. R. & LACHERET-DUJOUR A. (2004). Marquage acoustique du focus contrastif non codé syntaxiquement en français. In *25èmes Journées d'Études sur la Parole*, p.ã, Fès, Maroc : AFCP.

CYCLING74 (2024). Max 8, http://cycling74.com.

DAHAN D. & BERNARD J.-M. (1996). Interspeaker variability in emphatic accent production in french. *Language and Speech*, **39**(4), 341–374. DOI: 10.1177/002383099603900402.

D’ALESSANDRO C. (2022). Une nouvelle organologie de la voix : chironomie et prosodie de la parole et du chant. In *Actes des Journées d’Etudes sur la Parole (JEP)*, p. 625–636, Noirmoutiers, France : ISCA. DOI: 10.21437/JEP.2022-66.

D’ALESSANDRO C., FEUGÈRE L., LE BEUX S., PERROTIN O. & RILLIARD A. (2014). Drawing melodies : Evaluation of chironomic singing synthesis. *The Journal of the Acoustical Society of America*, **135**(6), 3601–3612. DOI: 10.1121/1.4875718.

DI CRISTO A. (2016). *Les musiques du français parlé : essais sur l’accentuation, la métrique, le rythme, le phrasé prosodique et l’intonation du français contemporain*. Volume 1 de Études de linguistique française. De Gruyter. DOI: 10.1515/9783110479645.

DOHEN M. & LŒVENBRUCK H. (2009). Interaction of audition and vision for the perception of prosodic contrastive focus. *Language and Speech*, **52**(2-3), 177–206. PMID: 19624029, DOI: 10.1177/0023830909103166.

D’ALESSANDRO C., RILLIARD A. & LE BEUX S. (2011). Chironomic stylization of intonation. *The Journal of the Acoustical Society of America*, **129**(3), 1594–1604. DOI: 10.1121/1.3531802.

FANT G., KRUCKENBERG A., LILJENCRANTS J. & BAVEGARD M. (1994). Voice source parameters in continuous speech. transformation of lf-parameters. In *International Conference on Spoken Language Processing (ICSLP)*, p. 1451–1454, Yokohama, Japan : ISCA.

FEUGÈRE L., D’ALESSANDRO C., DOVAL B. & PERROTIN O. (2017). Cantor digitalis : Chrono-mic parametric synthesis of singing. *EURASIP Journal on Audio, Speech, and Music Processing*, **2**. DOI: 10.1186/s13636-016-0098-5.

FUCHS A. K., HAGMULLER M. & KUBIN G. (2016). The New Bionic Electro-Larynx Speech System. *IEEE Journal of Selected Topics in Signal Processing*, **10**(5), 952–961. DOI: 10.1109/JSTSP.2016.2535970.

GRICE M., RITTER S., NIEMANN H. & ROETTGER T. B. (2017). Integrating the discreteness and continuity of intonational categories. *Journal of Phonetics*, **64**, 90–107. Mechanisms of regulation in speech, DOI: https://doi.org/10.1016/j.wocn.2017.03.003.

HOULE N. & LEVI S. V. (2020). Acoustic differences between voiced and whispered speech in gender diverse speakers. *The Journal of the Acoustical Society of America*, **148**(6), 4002. DOI: 10.1121/10.0002952.
JUN S.-A. & FOUGERON C. (2000). A phonological model of french intonation. *Intonation : Analysis, Modelling and Technology*, p. 209–242. DOI: 10.1007/978-94-011-4317-2_10.

KAYE R., TANG C. G. & SINCLAIR C. F. (2017). The electrolarynx: voice restoration after total laryngectomy. *Medical Devices: Evidence and Research, Volume 10*, 133–140. DOI: 10.2147/MDER.S133225.

LEONARD T. & CUMMINS F. (2011). The temporal relation between beat gestures and speech. *Language and Cognitive Processes*, **26**(10), 1457–1471. DOI: 10.1080/01690965.2010.500218.

LIU H. & NG M. L. (2007). Electrolarynx in voice rehabilitation. *Auris Nasus Larynx*, **34**(3), 327–332. DOI: 10.1016/j.anl.2006.11.010.

LOCQUEVILLE G., D’ALESSANDRO C., DELALEZ S., DOVAL B. & XIAO X. (2020). Voks : Digital instruments for chironomic control of voice samples. *Speech Communication*, **125**, 97–113. DOI: 10.1016/j.specom.2020.10.002.

LORIA (2016). Astali. ORTOLANG (Open Resources and TOols for LANGuage) -www.ortolang.fr.

MERTENS P. (2008). Syntaxe, prosodie et structure informationnelle : une approche prédictive pour l’analyse de l’intonation dans le discours. *Travaux de linguistique*, **56**(1), 97–124. DOI: 10.3917/tl.056.0097.

MORPH (2024). Surface tactile, https://morph.sensel.com.

PERROTIN O. & D’ALESSANDRO C. (2016). Seeing, Listening, Drawing : Interferences between Sensorimotor Modalities in the Use of a Tablet Musical Interface. *ACM Transactions on Applied Perception*, **14**(2), 1–19. DOI: 10.1145/2990501.

PERROTIN O. & MCLOUGHLIN I. V. (2019). A spectral glottal flow model for source-filter separation of speech. In *IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP)*, ICASSP ’19, p. 7160–7164, Brighton, UK : IEEE. DOI: 10.1109/ICASSP.2019.8682625.

PERROTIN O. & MCLOUGHLIN I. V. (2020). Glottal Flow Synthesis for Whisper-to-Speech Conversion. *IEEE/ACM Transactions on Audio, Speech, and Language Processing*, **28**, 889–900. DOI: 10.1109/TASLP.2020.2971417.

PHIDGET (2024). Accéléromètre, https://www.phidgets.com/docs/Accelerometer_Guide.

POMMÉE T. (2021). *Les mesures d’intelligibilité : État de l’art, considérations pratiques pour l’applicabilité clinique et explorations acoustiques*. Thèse de doctorat, Université Toulouse III Paul Sabatier.

SCHWARTZ M. F. (1967). Syllable duration in oral and whispered reading. *The Journal of the Acoustical Society of America*, **41**(5), 1367–1369. DOI: 10.1121/1.1910487.

TRUTONE (2024). Electrolarynx, https://www.atosmedical.com/products/provox-trutone-emote-2.

WARD N. G. (2019). *Prosodic Patterns in English Conversation*. Cambridge University Press. DOI: 10.1017/9781316848265.

XIAO X., AUDIBERT N., LOCQUEVILLE G., D’ALESSANDRO C., KÜHNERT B., KLEINBERGER R. & PILLOT-LOISEAU C. (2022). Évaluation de la stylisation chironomique pour l’apprentissage de l’intonation du français L2. In *Actes des Journées d’Etudes sur la Parole (JEP)*, Journées d’Études sur la Parole “ Parole, Geste, Musique : des unités à leur organisation ”, p. 465–473, Noirmoutier, France : AFCP. HAL : hal-03838095.
XIAO X., KUHNERT B., AUDIBERT N., LOCQUEVILLE G., PILLOT-LOISEAU C., ZHANG H. & D’ALESSANDRO C. (2023). Performative Vocal Synthesis for Foreign Language Intonation Practice. In *CHI ’23 : CHI Conference on Human Factors in Computing Systems*, p. 1–9, Hamburg, Germany : ACM. DOI : 10.1145/3544548.3581210, HAL : hal-04113924.
# Réductions temporelles en français parlé :
Où peut-on trouver les zones de réduction ?

Yaru Wu¹,²,³ Kim Gerdes² Martine Adda-Decker²,³

(1) UR4255 CRISCO, Université de Caen Normandie, France

(2) LISN (CNRS), Université Paris-Saclay, 91405 Orsay cedex, France

(3) Laboratoire de Phonétique et Phonologie (UMR7018, CNRS-Sorbonne Nouvelle), France

yaru.wu@unicaen.fr, gerdes@lisn.fr, madda@limsi.fr

## RÉSUMÉ

Cet article examine la réduction dans la parole continue en français, ainsi que les différents facteurs qui contribuent au phénomène, tels que le style de parole, le débit de parole, la catégorie de mots, la position du phone dans le mot et la position du mot dans les groupes syntaxiques. L'étude utilise trois corpus de parole continue en français, couvrant la parole journalistique formelle, la parole journalistique informelle et la parole familière. La méthode utilisée comprend l'alignement forcé et l'étiquetage automatique des zones de réduction. Les résultats suggèrent que la réduction de la parole est présente dans tous les styles de parole, mais moins fréquente dans la parole formelle, et que la réduction est plus susceptible d'être observée lorsque le débit de parole est plus élevé. La position médiane des mots ou des groupes syntaxiques a tendance à favoriser la réduction.

## ABSTRACT

### Temporal Reductions in Spoken French : where can we find the reduction zones ?

This article investigates speech reduction in continuous speech in French, as well as different factors that contribute to the phenomenon, such as speech style, speech rate, word category, phone position in the word, and location of words within syntactic groups. The study uses three corpora of continuous speech in French, covering formal, less formal, and casual speech. The method used involves forced alignment and the labeling of reduction zones. The results suggest that speech reduction is present in all speech styles but less common in formal speech and that reduction is more likely to be observed in speech utterances with a high speech rate. The middle position of either words or syntactic groups tends to favor reduction.

**MOTS-CLÉS** : variation, réduction, style de parole, découpage syntaxique, parole continue.

**KEYWORDS** : variation, reduction, speech style, syntactic chunking, continuous speech.

## 1 Introduction

La variation de la parole peut être observée de manière continue, en particulier dans la parole familière (Duez, 1997; Ernestus, 2000; Meunier & Espesser, 2011). Dans la communication quotidienne, les mots et les phrases ne sont pas toujours articulés comme on s'y attend dans leur forme canonique complète (c'est-à-dire la forme de référence). Dans la parole naturelle, les mots sont souvent hypo-articulés, ce qui donne des productions avec des segments affaiblis ou avec moins de segments que prévu. En effet, si nous comparons la réalisation phonétique des mots à leurs prononciations canoniques, nous pouvons trouver des parties de mots supprimées ou fusionnées dans le flux continu

<figure><img src="image_78.png" /></figure>
de la parole. En outre, les résidus articulatoires et les détails phonétiques peuvent souvent être retracés dans des séquences de mots réduites (Kohler, 1999; Hawkins, 2003), même lorsque des segments sont supprimés (Niebuhr & Kohler, 2011). Par exemple, Johnson (2004) a montré que la réduction massive était courante dans l'anglais américain conversationnel en parole continue. Schuppler et al. (2012) ont constaté que seulement 11,7% des occurrences totales de /t/ en fin de mot sont prononcées de manière canonique en néerlandais conversationnel. Un exemple typique de réduction temporelle de la parole, s'étendant sur plusieurs segments contigus dans la parole familière française, concerne la séquence de mots « je ne sais pas » (/ʒənəsɛpa/, 4 syllabes en français dans la forme canonique), souvent prononcée comme une séquence monosyllabique similaire à [ʃpa]. Afin de mieux comprendre la réduction de la parole en parole continue, nous étudions différents facteurs de variation contribuant à la réduction de la parole, à savoir le style de parole, le débit de parole, la catégorie de mots, la position du phone dans le mot et la position des mots dans les groupes syntaxiques.

La réduction est largement considérée comme un phénomène qui se produit dans la parole familière (voir par exemple Johnson, 2004; Pluymaekers et al., 2005; Schuppler et al., 2012). Cependant, ce phénomène peut également être observé dans des contextes plus formels (Adda-Decker & Lamel, 2017). Nous nous attendons à observer moins de réductions dans une parole plus formelle. En outre, on sait peu de choses sur la façon dont la réduction est distribuée, pour différents styles de parole, en fonction de différents facteurs linguistiques. Le débit de parole s'est avéré être un facteur important pour la réalisation/suppression des occlusives alvéolaires à l'intérieur des mots en anglais spontané dans Raymond et al. (2006). Dans cet article, nous souhaitons étudier l'influence du débit de parole sur la réduction de la parole en français continu, couvrant la parole journalistique formelle, la parole journalistique informelle et la parole familière. Outre les deux facteurs de variation précédents, nous avons également ajouté à notre étude des analyses sur l'influence de la catégorie de mots, de la position du phone dans le mot et de la position des mots au sein des groupes syntaxiques, facteurs peu étudiés dans la littérature. Pour ce faire, nous utilisons le découpage syntaxique pour regrouper des suites de mots et étudier les phénomènes de réduction. De plus, Gendrot et al. (2016) ont montré que le découpage syntaxique pouvait aider à détecter automatiquement la hiérarchie prosodique dans un corpus de parole journalistique. Nos analyses sur les groupes syntaxiques correspondent donc dans une large mesure aux analyses sur les groupes prosodiques.

Dans ce qui suit, le corpus, l'annotation de la réduction et le traitement des données sont décrits dans la section 2. Les résultats sont présentés dans la section 3, avant les conclusions de la section 4.

# 2 Méthode

## 2.1 Corpus et alignement

Trois grands corpus de parole continue en français ont été utilisés pour notre étude, c'est-à-dire le corpus de parole journalistique formelle ESTER (Galliano et al., 2006), le corpus de parole journalistique informelle ETAPE (Gravier et al., 2012), et le corpus de parole familière NCCFr (Torreira et al., 2010). Le corpus ESTER couvre environ 100 heures d'émissions radiophoniques en français. Le corpus ETAPE contient environ 42,5 heures de débats et de conversations à la radio et à la télévision. Le *Nijmegen Corpus of Casual French* (NCCFr) contient 35 heures de conversations informelles entre amis. Le système de transcription de la parole LISN (anciennement LIMSI, Gauvain et al., 2002) a été utilisé pour segmenter automatiquement les données en mots et en phones, en mode d'alignement forcé. Avec cette méthode, la durée minimale d'un segment est de 30 ms (Adda-Decker & Lamel,
2000). L'association optimale des segments de parole avec une transcription phonémique (obtenue
via un lexique de prononciation) a été choisie en fonction de la transcription du segment au niveau
du mot et du modèle acoustique. Les transcriptions orthographiques ont été fournies au système de
transcription en mode d'alignement forcé, ce qui nous a permis d'obtenir les frontières des phones et
des mots. Le système a sélectionné automatiquement la prononciation la plus adaptée pour chaque
mot à partir du dictionnaire de prononciation. Les pauses, les hésitations ou les respirations étaient
également détectées automatiquement. Par la suite, nous nous référons aux pauses, hésitations ou
respirations comme étant des pauses en général.

## 2.2 Localisation des zones de réduction

Au-delà de la réduction segmentale (par exemple, la réduction des voyelles) qui étudie la réalisation
acoustique des segments affaiblis, nous définissons la réduction segmentale comme une réduction tem-
porelle (ou contraction) de phones contigus, dont les durées restent inférieures à 40 ms chacun. Nous
nous concentrons ici sur les séquences de segments qui sont réduites (i.e. temporellement courtes).
La réduction temporelle est localisée grâce aux caractéristiques du système d'alignement forcé. Tout
d'abord, l'alignement forcé fait correspondre les segments de parole les plus adaptés sur la base des
modèles acoustiques et des variations de prononciation fournies dans le dictionnaire de prononciation.
Deuxièmement, le système de transcription de la parole du LISN génère des phones d'une durée
minimale de 30 ms, ce qui correspond à 3 cadres (Adda-Decker & Lamel, 2000). Lorsque des mots
ou des séquences de mots sont produits avec une réduction (par exemple, des phones fusionnés ou
supprimés), le système force toujours l'alignement de tous les phones présents dans la prononciation
sélectionnée. Les variantes de prononciation comprennent généralement la voyelle schwa facultative
et les consonnes de liaison. Pour des séquences de mots comme « par exemple » (/paʊɛgzãpl/) pro-
noncées comme des séquences de phones similaires à [paʊãp], l'alignement mettra en évidence la
réduction qui s'est produite dans la parole en forçant la présence de tous les segments ([paʊɛgzãpl]),
mais en leur attribuant des durées très courtes. Par conséquent, le résultat de l'alignement forcé sera
une séquence de segments d'une durée minimale de 30 (ou 40ms) afin de placer tous les phones de
son modèle acoustique correspondant à la prononciation complète [paʊɛgzãpl].

Cette caractéristique spécifique du système d'alignement (c'est-à-dire la génération de segments
courts consécutifs (30 ou 40 ms) pour les mots ou les séquences de mots réduits) peut être exploitée
en tant qu'indicateur de réduction. Nous considérons qu'une séquence de plusieurs segments courts
consécutifs (30 ou 40 ms) générée par l'alignement forcé est une zone de réduction, et plus il y
a de segments dans la zone donnée, plus la réduction est considérée comme importante. Afin de
mieux comprendre la réduction et le degré de réduction, nous avons décidé de diviser la réduction
en quatre catégories. Les segments courts au sein d'une séquence de 3 segments courts consécutifs
ou plus, de 30 ou 40 ms, sont étiquetés « 3 ». De même, les segments courts au sein d'une séquence
de 2 segments courts consécutifs de 30 ou 40 ms sont étiquetés « 2 » ; les segments courts de 30 ms
(c'est-à-dire la durée minimale autorisée par le système) qui ne sont pas précédés ou suivis d'un
autre segment court de 30 ou 40 ms sont étiquetés « 1 ». Tous les autres phones sont étiquetés « 0 ».
Le degré de réduction est donc composé de quatre catégories, à savoir « 0 », « 1 », « 2 » et « 3 ».
Plus le chiffre est élevé, plus la zone de réduction est importante. Cette méthode ascendante permet
d'identifier les mots et les séquences de mots qui sont réduits et de localiser les zones de réduction.
Par exemple, le mot « ministre » en français (/ministr/) peut être réalisé sous forme de séquences
phonétiques similaires à [miz] dans des mots fortement réduits. Avec l'alignement forcé, le système est
« forcé » d'aligner les séquences entières ([minist]) et nous obtenons 3 segments courts consécutifs
ou plus de 30 ou 40 ms (c'est-à-dire le degré « 3 »). Ensuite, nous avons regroupé les trois niveaux
de réduction présentés dans cette section (c’est-à-dire « 1 », « 2 », « 3 ») dans un groupe nommé « Réduit » et « 0 » est appelé « Normal » (c’est-à-dire sans réduction). Le taux de réduction est donc la proportion de segments réduits (c’est-à-dire 1, 2, 3) par rapport à l’ensemble des points de données (c’est-à-dire 0, 1, 2, 3).

## 2.3 Préparation des données

Le débit de parole a été mesuré pour chaque énoncé entre les pauses (unités interpausales) et exclut donc les pauses. Le débit de parole est donc de 0 pour les pauses. Le calcul du débit basé sur les unités interpausales nous permet de vérifier si la réduction se produit davantage dans les énoncés interpausaux ayant un débit de parole plus élevé. Les mots ont également été étiquetés automatiquement en fonction de leurs catégories grammaticales de manière traditionnelle, sur la base d'un dictionnaire français des formes fléchies (Lefff, Sagot, 2010). Les mots ambigus obtiennent des étiquettes multiples, utilisées comme telles dans les règles de combinaison. Prenons par exemple le segment ambigu « les portions », qui peut être interprété comme un déterminant/nom ('les portions') ou comme un pronom/verbe ('(nous) les portions'). Le segment est annoté comme *det – pron noun – verb* et regroupé sans réellement résoudre l'ambiguïté. Les cas d'ambiguïtés dont la résolution aboutirait en fait à un découpage différent sont suffisamment rares pour être ignorés. Le marquage de la partie du discours basé sur Lefff a permis de regrouper les tokens en trois catégories plus larges : 'gram' pour les mots grammaticaux, 'lex' pour les mots lexicaux et 'ponct' pour la ponctuation.<fnref n="1" />

La position du phone dans le mot a également été étudiée dans cette étude. Nous distinguons les phones situés au début des mots (« Deb ») des phones situés au milieu (« Mil ») ou à la fin (« Fin ») du mot. Les mots ne contenant qu'un seul phone ont été étiquetés « 1Ph ». Selon Gendrot et al. (2016), il est utile de détecter automatiquement la hiérarchie prosodique à travers le découpage syntaxique en utilisant un corpus de parole journalistique. Dans cet article, nous utilisons un système similaire basé sur des règles pour le découpage syntaxique qui regroupe les mots de manière à maximiser les groupes de mots avec un nombre donné de syllabes.

Le nombre de syllabes pour chaque groupe syntaxique a été calculé sur la base de la transcription et d'un système basé sur des règles, comptant les schwas finaux des mots comme une demi-syllabe. Nous avons exécuté de manière itérative l'algorithme de découpage NLTK <fnref n="2" /> basé sur des règles avec pour objectif d'obtenir un nombre maximum de syllabes fixé à 7 syllabes, conformément à la littérature (Gendrot et al., 2016). Lorsque l'algorithme atteint ou dépasse l'objectif donné, c.-à-d. le nombre maximal de sept syllabes, le chunk n'est plus qualifié pour être combiné avec les mots voisins. Nous obtenons ainsi une annotation BILU pour chaque mot (et donc aussi pour chaque phone). <fnref n="3" />

# 3 Résultats

Dans cette section, nous présentons d'abord la distribution de la réduction temporelle pour les trois corpus. Ensuite, nous présentons l'impact du débit de parole, de la catégorie de mots, de la position du phone dans le mot, de la position du mot dans le groupe syntaxique et du style de parole. En ce

<footnote n="1">1. Les catégories grammaticales de Lefff sont *cl*, *det*, *pre*, *pro*, *pri*, *coo*, *aux*, et *csu* ; les catégories lexicales sont *nc*, *np*, *adj*, *v*, *adv* ; *ponct*, *parent*, *epsilon*, et *b* pour la ponctuation.</footnote>

<footnote n="2">2. NLTK est une bibliothèque Python spécialement conçue pour le traitement naturel du langage.</footnote>

<footnote n="3">3. « B » signifie « Begin », représentant les premiers mots du groupe syntaxique ; « I » signifie « In », indiquant que le mot est situé au milieu du groupe syntaxique ; « L » signifie « Last », représentant le dernier mot du groupe syntaxique ; « U » représente les groupes syntaxiques qui ne contiennent qu'un seul mot.</footnote>
qui concerne les analyses statistiques, nous avons utilisé le modèle linéaire généralisé (Nelder & Wedderburn, 1972) dans R (R Development Core Team, 2019). Les facteurs mentionnés ci-dessus ont été inclus comme effets fixes dans le modèle. En outre, nous avons inclus le nombre de syllabes dans le mot et la fréquence de mots comme variables de contrôle.

## 3.1 Distribution de la réduction

Le taux global de réduction temporelle est présenté dans cette section. Le tableau 1 montre le taux de durée pour les phones de 30 ou 40 ms (c'est-à-dire des segments extrêmement courts, donc réduits) et pour les phones de 50 ms+ (c'est-à-dire 50 ms ou plus). Le taux de réduction temporelle le plus élevé est observé pour le corpus de parole familière (~30%), suivi par le corpus journalistique informel ETAPE (22%) et le corpus journalistique formel ESTER (18%). En d'autres termes, moins le style de parole est formel, plus la réduction est présente dans la parole.

<table><caption>TABLE 1 – Le taux de durée pour les phones (1) de 30 ou 40 ms et (2) de 50 ms ou plus.</caption><thead><tr><th></th><th>Durée : 30~40ms</th><th>Durée : 50+ms</th></tr></thead><tbody><tr><th>ESTER</th><td>18%</td><td>82%</td></tr><tr><th>ETAPE</th><td>22%</td><td>78%</td></tr><tr><th>NCCFr</th><td>30%</td><td>70%</td></tr></tbody></table>

Comme indiqué dans la section 2.2, les phones ont également obtenu une étiquette de réduction selon les conventions. Les trois corpus mis en commun, notre base de données comprend 7,6 millions de phones, dont 6,2 millions ne présentent aucune réduction. Plus précisément, 900 000 phones ont une réduction de degré « 1 », 360 000 de degré « 2 », et seulement 157 000 de degré « 3 », ce qui montre une distribution déséquilibrée des degrés de réduction.

<table><caption>TABLE 2 – Distribution de la réduction pour le corpus de parole journalistique formelle ESTER, le corpus de parole journalistique informelle ETAPE et le corpus de parole familière NCCFr.</caption><thead><tr><th rowspan="2">Degré de réduction</th><th colspan="2">ESTER</th><th colspan="2">ETAPE</th><th colspan="2">NCCFr</th></tr><tr><th>Occ.</th><th>%</th><th>Occ.</th><th>%</th><th>Occ.</th><th>%</th></tr></thead><tbody><tr><td>0</td><td>3058667</td><td>82,1</td><td>2029469</td><td>77,67</td><td>893096</td><td>69,76</td></tr><tr><td>1</td><td>429280</td><td>11,52</td><td>304808</td><td>11,67</td><td>170410</td><td>13,31</td></tr><tr><td>2</td><td>142062</td><td>3,81</td><td>123430</td><td>4,72</td><td>93752</td><td>7,32</td></tr><tr><td>3</td><td>95337</td><td><strong>2,56</strong></td><td>155273</td><td><strong>5,94</strong></td><td>123066</td><td><strong>9,61</strong></td></tr></tbody></table>

Le tableau 2 présente la distribution de la réduction pour différents styles de parole, à savoir la parole journalistique formelle ESTER, la parole journalistique informelle ETAPE et la parole familière NCCFr. La parole familière (NCCFr) présente un taux de réduction de degré « 3 » (en gras) plus élevé que la parole journalistique formelle (ESTER) et la parole journalistique informelle (ETAPE) : ESTER 2,56 % vs ETAPE 5,94 % vs NCCFr 9,61 %. Les mêmes tendances sont observées pour les degrés « 1 » et « 2 » en ce qui concerne les styles de parole.

Il est intéressant de noter que les taux de réduction des segments étiquetés « 1 » restent relativement constants à travers les styles, alors qu'une augmentation importante peut être observée pour les segments étiquetés « 2 » et surtout pour ceux étiquetés « 3 » lorsque l'on passe de la parole formelle (ESTER) à la parole familière (NCCFr). Cela suggère que la réduction tend à impliquer des séquences plus longues plutôt que de multiples segments d'un seul phone pour une parole moins formelle.

La figure 1 illustre la distribution des durées pour les trois styles de parole (de gauche à droite : (1) la parole journalistique formelle ESTER, (2) la parole journalistique informelle ETAPE, (3) la parole familière NCCFr). La durée des phones en millisecondes (ms) est indiquée sur l'axe des
<figure><img src="image_79.png" /></figure>

FIGURE 1 – Distribution de la durée des segments dans les trois corpus (de gauche à droite : parole journalistique formelle ESTER, parole journalistique informelle ETAPE, parole familière NCCFr).

abscisses. Des schémas différents de distribution des durées des phones sont observés pour les trois styles de parole. Pour la parole journalistique formelle ESTER, la distribution des durées de phones correspond à une courbe globale en forme de cloche et le pic de la courbe est situé à 60 ms (voir l'abscisse). Cela suggère que la durée la plus fréquemment observée dans la parole journalistique formelle est de 60 ms. Pour la parole journalistique informelle ETAPE, la proportion de la durée minimale autorisée par le système (30 ms) a augmenté de 5%. En ce qui concerne la parole familière NCCFr, le pic de la courbe correspond à la durée minimale de 30 ms, ce qui suggère que la durée la plus fréquemment observée ici est de 30 ms (>20 %). Ces observations sont cohérentes avec les résultats trouvés dans Adda-Decker & Lamel (2017) sur la durée des phones dans la parole préparée et spontanée (en français et en anglais).

Nos analyses sur la distribution de la durée nous permettent de mieux comprendre la spontanéité des trois types de parole et donc le phénomène de réduction dans la production de la parole. Dans ce qui suit, nous nous concentrerons sur ces zones grises et nous étudierons les facteurs de variation qui conditionnent la réduction.

La figure 2 présente les résultats sur le débit de parole. Les figures 3 à 5 illustrent le taux de réduction en fonction des catégories de mots, de la position du segment dans le mot et de la position du mot dans le groupe syntaxique, pour les trois styles de parole. Pour chaque figure, les résultats sur la parole journalistique formelle (ESTER) sont présentés sur le panneau de gauche, suivis de la parole journalistique informelle (ETAPE) au milieu et de la parole familière (NCCFr) sur le panneau de droite.

## 3.2 Débit de parole

La figure 2 présente le taux de réduction en fonction du débit de parole pour les trois styles de parole, à savoir la parole journalistique formelle ESTER, la parole journalistique informelle ETAPE et la parole familière NCCFr. Les résultats montrent que la réduction de la parole (« Réduit ») est associée à un débit de parole plus élevé que celui observé dans « Normal ». Cette tendance est observée pour les trois corpus. Les résultats du GLM confirment qu'il est plus probable d'observer la réduction de parole avec un débit de parole plus élevé [log odds ratio = 0,0776, $|Z| = 383,27, p<0,001$].

## 3.3 Catégorie de mots

Le taux de réduction en fonction des catégories de mots (c.-à-d. les mots grammaticaux par rapport aux mots lexicaux) est présenté dans la figure 3. Les mots grammaticaux (« gram ») sont plus réduits que
<figure><img src="image_80.png" /></figure>

FIGURE 2 – Réduction en fonction du débit de parole pour les trois styles de parole (de gauche à droite : parole journalistique formelle ESTER, parole journalistique informelle ETAPE, parole familière NCCFr).

<figure><img src="image_81.png" /></figure>

FIGURE 3 – Taux de réduction en fonction des catégories de mots (mots grammaticaux (gram) vs. mots lexicaux (lex)) pour les trois corpus (de gauche à droite : parole journalistique formelle ESTER, parole journalistique informelle ETAPE, parole familière NCCFr).

les mots lexicaux (« lex »). Ce résultat n’est pas surprenant, étant donné que les mots grammaticaux sont plus fréquemment utilisés dans la parole continue et donc plus enclins à la réduction. Les résultats du GLM confirment que la probabilité d’observer une réduction diminue significativement pour « lex » [log odds ratio = -0,1911, |Z|= 63,94, p<0,001], par rapport à celle observée pour « gram ».

## 3.4 Position du phone dans le mot

<figure><img src="image_82.png" /></figure>

FIGURE 4 – Taux de réduction en fonction de la position du segment dans le mot (Début (« Deb ») vs. Milieu (« Mil ») vs. Fin (« Fin ») du mot vs. mot avec un phone (« 1ph »)) pour les trois corpus (de gauche à droite : parole journalistique formelle ESTER, parole journalistique informelle ETAPE, parole familière NCCFr).

<figure><img src="image_83.png" /></figure>

FIGURE 5 – Taux de réduction en fonction de la position du mot dans le groupe syntaxique : Début (B : *Begin*) vs. Milieu (I : *In*) vs. Fin (L : *Last*) du groupe syntaxique vs. groupe syntaxique contenant un seul mot (U : *Unique*), pour les trois corpus (de gauche à droite : parole journalistique formelle ESTER, parole journalistique informelle ETAPE, parole familière NCCFr).

La figure 4 montre le taux de réduction des phones en fonction de la position du phone dans le mot (« Deb », « Mil », « Fin », « 1Ph »). Les résultats montrent que, de manière générale, la position qui favorise le plus la réduction est « Mil ». Les résultats du GLM montrent que, tout en considérant d'autres facteurs de variation, la probabilité d'observer une réduction diminue significativement pour « Deb » [log odds ratio = -0,5401, |Z| = 203,96, p<0,001], pour « Fin » [log odds ratio = -0,1913,
$|Z| = 76,85$, p<0,001] et pour « 1Ph » [log odds ratio = -0,4052, $|Z| = 97,31$, p<0,001], par rapport à celle observée pour « Mil ».

## 3.5 Position du mot dans le groupe syntaxique

La figure 5 illustre le taux de réduction en fonction de la position du mot dans le groupe syntaxique. Il est intéressant de noter que, comme le montre la figure 4, la position qui favorise le plus la réduction est « I » (milieu). Plus précisément, les phones à l'intérieur des mots qui se situent au milieu d'un groupe syntaxique sont plus susceptibles de subir la réduction. Les résultats du GLM confirment que la probabilité d'observer la réduction diminue significativement pour « B » [log odds ratio = -0,0654, $|Z|= 23,11$, p<0,001], pour « L » [log odds ratio = -0,2532, $|Z|= 108,25$, p<0,001] et pour « U » [log odds ratio = -0,1747, $|Z|= 49,35$, p<0,001], par rapport à ce qui est observé pour « I ». Il convient de mentionner que le groupe « U » est composé de mots multisyllabiques tels que « aujourd'hui », « également », « effectivement », ainsi que de mots monosyllabiques tels que « et » et « tout ».

## 3.6 Style de parole

L'influence du style de parole sur la réduction peut être observée à partir des figures 2 à 5. Les résultats du GLM confirment que la probabilité d'observer une réduction augmente de manière significative pour la parole journalistique informelle [log odds ratio = 0,1882, $|Z|= 89,59$, p<0,001] et pour la parole familière [log odds ratio = 0,4298, $|Z|= 159,98$, p<0,001], par rapport à ce qui a été observé pour la parole journalistique formelle.

# 4 Conclusions

Cette étude porte sur la réduction de la parole et sur les facteurs susceptibles de favoriser la réduction en parole continue en français. Trois grands corpus de styles de parole différents (du formel au familier) ont été analysés. Les données de parole ont été automatiquement segmentées en mots et en phones, en mode d'alignement forcé. L'alignement automatique permet de localiser de manière innovante et efficace les zones de réduction de la parole. Les résultats montrent que le débit de parole, la catégorie de mots, la position du phone dans le mot, la position du mot dans le groupe syntaxique et le style de parole ont tous un impact significatif sur la réduction de la parole. Plus précisément, il est plus probable d'observer la réduction dans la parole produite avec un débit de parole élevé. En outre, il est plus probable d'observer la réduction dans les mots grammaticaux que dans les mots lexicaux. La position interne des mots ou des groupes syntaxiques favorise également la réduction. Enfin, le style de parole joue un rôle important en termes de réduction de la parole. Les contextes moins formels ont tendance à déclencher plus de réductions. En effet, la réduction peut prendre la forme d'une fusion, d'une suppression ou d'une recombinaison de segments ou de syllabes. Ces mécanismes peuvent potentiellement être liés à divers processus phonologiques, ce qui pourrait être intéressant sur le plan phonologique. Dans l'ensemble, cet article nous permet d'acquérir des connaissances sur la réduction et sur sa localisation en parole continue. En outre, notre recherche peut fournir des indications précieuses sur la manière dont les segments de la parole peuvent être réduits tout en restant compréhensibles pour les auditeurs.
Références

ADDA-DECKER M. & LAMEL L. (2000). The use of lexica in automatic speech recognition. In *Lexicon Development for Speech and Language Processing*, p. 235–266. Springer.

ADDA-DECKER M. & LAMEL L. (2017). Discovering speech reductions across speaking styles and languages. In *Rethinking reduction : Interdisciplinary perspectives on conditions, mechanisms, and domains for phonetic variation*. Walter de Gruyter GmbH & Co KG.

DUEZ D. (1997). Acoustic markers of political power. *Journal of Psycholinguistic Research*, **26**(6), 641–654.

ERNESTUS M. T. C. (2000). *Voice assimilation and segment reduction in casual Dutch : A corpus-based study of the phonology-phonetics interface*. Thèse de doctorat, LOT, Utrecht.

GALLIANO S., GEOFFROIS E., GRAVIER G., BONASTRE J.-F., MOSTEFA D. & CHOUKRI K. (2006). Corpus description of the ester evaluation campaign for the rich transcription of french broadcast news. In *Proceedings of LREC*, volume 6, p. 315–320.

GAUVAIN J.-L., LAMEL L. & ADDA G. (2002). The limsi broadcast news transcription system. *Speech communication*, **37**(1), 89–108.

GENDROT C., GERDES K. & ADDA-DECKER M. (2016). Détection automatique d’une hiérarchie prosodique dans un corpus de parole journalistique. *Langue Francaise*, **191**, 123–147.

GRAVIER G., ADDA G., PAULSON N., CARRÉ M., GIRAUDEL A. & GALIBERT O. (2012). The etape corpus for the evaluation of speech-based tv content processing in the french language. In *LREC-Eighth international conference on Language Resources and Evaluation*.

HAWKINS S. (2003). Roles and representations of systematic fine phonetic detail in speech understanding. *Journal of phonetics*, **31**(3-4), 373–405.

JOHNSON K. (2004). Massive reduction in conversational american english. In *Spontaneous speech : Data and analysis. Proceedings of the 1st session of the 10th international symposium*, p. 29–54 : Tokyo, Japan : The National International Institute for Japanese Language.

KOHLER K. J. (1999). Articulatory prosodies in german reduced speech. p. 89–92.

MEUNIER C. & ESPESSER R. (2011). Vowel reduction in conversational speech in french : The role of lexical factors. *Journal of Phonetics*, **39**(3), 271–278.

NELDER J. A. & WEDDERBURN R. W. (1972). Generalized linear models. *Journal of the Royal Statistical Society : Series A (General)*, **135**(3), 370–384.

NIEBUHR O. & KOHLER K. J. (2011). Perception of phonetic detail in the identification of highly reduced words. *Journal of Phonetics*, **39**(3), 319–329.

PLUYMAEKERS M., ERNESTUS M. & BAAYEN R. H. (2005). Lexical frequency and acoustic reduction in spoken dutch. *The Journal of the Acoustical Society of America*, **118**(4), 2561–2569.

R DEVELOPMENT CORE TEAM (2019). *R : A Language and Environment for Statistical Computing*. R Foundation for Statistical Computing, Vienna, Austria.

RAYMOND W. D., DAUTRICOURT R. & HUME E. (2006). Word-internal/t, d/deletion in spontaneous speech : Modeling the effects of extra-linguistic, lexical, and phonological factors. *Language variation and change*, **18**(1), 55–97.

SAGOT B. (2010). The lefff, a freely available and large-coverage morphological and syntactic lexicon for french. In *7th international conference on Language Resources and Evaluation (LREC 2010)*.
SCHUPPLER B., VAN DOMMELEN W. A., KOREMAN J. & ERNESTUS M. (2012). How linguistic and probabilistic properties of a word affect the realization of its final/t: Studies at the phonemic and sub-phonemic level. *Journal of Phonetics, 40*(4), 595–607.

TORREIRA F., ADDA-DECKER M. & ERNESTUS M. (2010). The nijmegen corpus of casual french.
*Speech Communication, 52*(3), 201–212.
# Représentation de la parole multilingue par apprentissage auto-supervisé dans un contexte subsaharien

Antoine Caubrière¹ Elodie Gauthier²

(1) Orange Innovation, 2 Av. de Belle Fontaine, 35510 Cesson-Sévigné

(2) Orange Innovation, 2 Av. Pierre Marzin, 22300 Lannion

antoine.caubriere@orange.com elodie.gauthier@orange.com

## RÉSUMÉ

Les approches auto-supervisées ont conduit à des avancées majeures dans le domaine de l'apprentissage profond. Par l'exploitation d'une grande quantité de données non annotées, ces approches ont notamment permis des améliorations dans des contextes peu dotés. Toutefois, les langues africaines restent majoritairement sous-représentées dans les jeux de données de préentraînement publiquement distribués. Dans ces travaux, nous préentraînons des modèles de parole auto-supervisés multilingues à partir de langues subsahariennes exclusivement. Nous étudions la pertinence des représentations apprises sur la tâche de reconnaissance de parole, en utilisant le jeu d'évaluation FLEURS-102. Notre modèle $HuBERT_{base}$ obtient des résultats similaires face à l'approche multilingue w2v-bert de FLEURS, tout en étant plus efficient, avec 6 fois moins de paramètres et 7 fois moins de données. Nous présentons aussi un second modèle exploitant une sous-sélection équilibrée des données initiales, obtenant des performances compétitives avec près de 80 fois moins de données de préentraînement.

## ABSTRACT

**Multilingual speech representation by self-supervised learning for sub-Saharan languages.**

Self-supervised approaches are now unmissable and represent a major advance in deep learning. While self-supervised approaches have shown strong gains in a low-resource setting by leveraging the large amount of unlabeled data available on the web, languages spoken in sub-Saharan Africa (SSA) are still underrepresented in the datasets used in publicly available pre-trained models. In this paper, we build a multilingual pre-trained SSL model that uses only speech data in local languages spoken in SSA. We conducted experiments for downstream speech recognition task on the SSA subset of the FLEURS-102 dataset. Experiments conducted on speech recognition shown that our model, based on the $HuBERT_{base}$ architecture, obtains competitive results on the FLEURS dataset compared to the multilingual pre-trained w2v-bert-51 model, while being more efficient by using 7x less data and 6x less parameters. We trained another model with 80x less data, by using an equilibrated data selection.

**MOTS-CLÉS** : Apprentissage auto-supervisé, Langues subsahariennes, Reconnaissance de la parole multilingue, $HuBERT$.

**KEYWORDS:** Self-supervised representation, African languages, Multilingual ASR, $HuBERT$.

<figure><img src="image_84.png" /></figure>
# 1 Introduction

Récemment, les approches auto-supervisées ont montré leur potentiel pour la mise en place de systèmes de reconnaissance de la parole performants (Chung et al., 2021; Conneau et al., 2021; Pratap et al., 2023). Ce type d'approche permet l'exploitation d'une grande quantité de données non transcrites pour l'apprentissage d'une représentation dense de la parole. Elles sont plus riches que certaines caractéristiques classiques comme les MFCC ou les bancs de filtres. Un modèle pré-entraîné de façon auto-supervisé peut ensuite être utilisé soit comme un encodeur de parole, dont les paramètres seront adaptés, soit comme un extracteur de caractéristiques qui sera figé. Indépendamment de l'utilisation finale d'un modèle pré-entraîné, les données exploitées pour son apprentissage impacteront ses performances sur les tâches finales (Zhao & Zhang, 2022).

Les travaux de (Pires et al., 2019) ont montré que le transfert d'apprentissage d'une langue bien dotée vers une langue sous-dotée est plus efficace lorsque les langues partagent des caractéristiques typologiques similaires. Toutefois, (Joshi et al., 2020) fait état que 48% des caractéristiques typologiques répertoriées par le projet de classification WALS<fnref n="1" /> (World Atlas of Language Structures) n'apparaissent pas dans les jeux de données. En complément, la plupart des modèles multilingues accessibles publiquement sont entraînés sur quelques langues seulement, ce qui entraîne leur sur-représentation au détriment d'autres langues (Valk & Alumäe, 2021; Babu et al., 2022; Conneau et al., 2023; Zhang et al., 2023). Encore sous-dotées de nos jours, les langues africaines, de par leurs richesses et la présence de caractéristiques uniques, sont fortement impactées par cette situation (Clements & Rialland, 2007; Yadav & Sitaram, 2022).

Ces dernières années, l'intérêt des langues africaines est grandissant au sein de la communauté du traitement des langues. En surpassant des modèles multilingues pré-appris en majorité sur des données en anglais, plusieurs études ont montré l'intérêt d'un modèle pré-appris principalement sur les langues africaines (Ogueji et al., 2021; Adelani et al., 2022; Dossou et al., 2022; Adebara et al., 2022). En traitement de la parole, de nouveaux challenges et ressources sont publiés (Gutkin et al., 2020; Sikasote & Anastasopoulos, 2021; Boito et al., 2022; Olatunji et al., 2023; Wanjawa et al., 2023). Dans le cadre de la tâche de reconnaissance de la parole, les travaux de (Ritchie et al., 2022) ont permis de meilleures performances en exploitant une approche multilingue auto-supervisée par rapport à une approche plus classique.

En phase avec tous ces travaux, nous proposons dans ce papier un modèle de représentation de la parole multilingue centré sur les langues africaines. Plus particulièrement, en utilisant des données exclusivement issues de la région subsaharienne, nous pré-entraînons un modèle fait pour être adapté à des tâches de traitement de la parole pour ces langues. Nous pré-entraînons également un second modèle pour lequel nous équilibrons les données du jeu d'apprentissage en fonction des langues et du genre des locuteurs. L'objectif est de produire un modèle non orienté vers un groupe de langues ou de locuteurs en raison d'une sur-représentation. Dans le cadre de nos expérimentations, nous nous attachons à résoudre la tâche de reconnaissance de la parole pour évaluer la pertinence des représentations fournies par nos modèles auto-supervisés.

Dans ce papier, nous présentons tout d'abord le jeu de données brutes – non transcrit –, que nous avons construit, avant d'apporter des détails sur l'architecture employée. Nous poursuivons ensuite par la description de nos expériences, ainsi que des résultats obtenus. Nous terminons en comparant nos systèmes avec le modèle de référence proposé par (Conneau et al., 2023), avant de conclure.

<footnote n="1">1. https://wals.info/feature</footnote>
# 2 Jeux de données

## 2.1 Données non transcrites

Nous avons collecté, sur le web, des données issues de plusieurs sources émises dans des pays d'Afrique subsaharienne. Ces données correspondent à des journaux d'informations diffusés en ligne, qui traitent de divers sujets comme la politique, l'environnement, la santé, l'éducation, l'actualité régionale. Ces sujets sont abordés sous forme d'interviews, de débats et d'émissions. Ces journaux d'information s'engagent à favoriser la liberté d'expression, la mixité et le dialogue entre les cultures et à contribuer à l'égalité entre femmes et hommes. Dans ces travaux, néanmoins, ces données ne sont utilisées qu'à des fins de pré-apprentissage, afin de construire une représentation acoustique multilingue pertinente pour le traitement des langues parlées dans la zone. La teneur lexicale et sémantique des enregistrements audio n'est ainsi jamais exploitée. Les enregistrements récoltés permettent de couvrir un ensemble de 21 langues et variantes.

Parmi ces données, nous pouvons trouver des enregistrements en environnement contrôlé (studio), des interviews bruitées (extérieur), ainsi que des éléments non relatifs à la parole comme de la musique. Notre jeu de données mélange ainsi de la parole préparée, de la parole spontanée, ainsi que des segments de parole bruitée. Afin d'isoler les segments de parole, nous avons appliqué une détection d'activité vocale à l'aide de l'outil *pyannote* (Bredin, 2023). Nous effectuons aussi des pré-traitements permettant l'uniformisation des enregistrements (format, fréquence d'échantillonnage, ...).

L'ensemble de nos pré-traitements nous permet de construire un jeu de données de plus de 59 500h de parole exploitable pour un apprentissage auto-supervisé.

Nous donnons la répartition brute par langue dans la figure 1. Les langues sont identifiées par leur code de langue issu de la norme ISO 639-3 et les variantes sont considérées comme des langues distinctes. La catégorie "Unknown" correspond à des segments provenant d'enregistrements mixant plusieurs des 21 langues considérées, avec la présence d'alternance codique sur une partie des segments. Nous n'avons pas appliqué d'algorithme d'identification de langue. La langue française "FRA" correspond à des données accentuées produites par des locuteurs africains.

<figure><img src="image_85.png" /><figcaption>FIGURE 1 – Répartition brute du jeu d’apprentissage en heures par langues / variantes.</figcaption></figure>

En complément des données brutes, nous produisons une sous-sélection de notre jeu de données la
plus équilibrée possible. Cette répartition équilibrée vise à produire un modèle auto-supervisé le moins
orienté possible vers un groupement de langues sur-représentées dans les données d'apprentissage.
Pour chaque langue, nous regroupons, dans la mesure du possible, 400 heures de segments de parole
équilibrées selon les critères de langues et de genre des locuteurs. Nous appliquons un algorithme
de détection du genre basé sur l'apprentissage fin d'un modèle XLSR-53 (Conneau et al., 2021),
sur librispeech (Panayotov et al., 2015), pour produire l'annotation en genre des segments de notre
corpus non supervisé<fnref n="2" />. Nous considérons les variantes d'une même langue comme appartenant à la
langue et nous accumulons en quantité équivalente par variantes.

Cet équilibrage nous permet de construire un second jeu de données totalisant 5660 heures de parole.
Nous donnons la répartition du jeu de données équilibré par langues dans la figure 2.

<figure><img src="image_86.png" /><figcaption>FIGURE 2 – Répartition équilibrée du jeu d’apprentissage en heures par langues.</figcaption></figure>

## 2.2 Données transcrites

Dans le cadre de cette étude, nous exploitons le jeu d'évaluation FLEURS (Conneau et al., 2023). Il s'agit d'un corpus au sein duquel 102 langues sont représentées et pour lesquelles environ 12h de parole transcrite est fournie (par langue). Nous nous concentrons plus particulièrement sur le sous-ensemble de données relatif à la région subsaharienne (FLEURS<sub>SSA</sub>). Ces données sont composées de segments de parole couvrant 20 langues différentes, dont 5 sont communes aux données non transcrites. Dans ce papier, nous exploitons les transcriptions normalisées fournies par le corpus.

# 3 Système

## 3.1 Pré-apprentissage

Le système mis en place dans cette étude correspond à l'architecture "base" de l'approche HuBERT (Hsu et al., 2021). Cette approche est auto-supervisée par l'annotation automatique en étiquette cible.

<footnote n="2">2. https://huggingface.co/alefiury/wav2vec2-large-xlsr-53-gender-recognition-librispeech</footnote>
Cette annotation est produite pour l'ensemble des segments de parole du corpus non transcrit, à l'aide de l'algorithme des K-moyennes.

L'architecture "base" correspond à un encodeur convolutif complété par 12 couches de type *transformers* produisant des plongements de taille 768. Elles possèdent 8 têtes d'attention et des linéaires internes de 3 072 unités. Cet ensemble de paramètres conduit à un modèle HuBERT d'environ 95 millions de paramètres.

L'apprentissage d'un système de ce type s'effectue en plusieurs étapes :

1. Apprendre un modèle non supervisé à partir des K-moyennes sur 100 classes, en exploitant les descripteurs acoustiques MFCC.

2. Créer des étiquettes auto-supervisées avec les K-moyennes sur l'ensemble d'entraînement et de validation.

3. Apprendre de zéro le modèle *transformer* avec les étiquettes auto-supervisées.

4. Extraire les représentations neuronales intermédiaires des *transformers* ("base" = couche 6).

5. Reproduire les étapes 1. à 3. avec ces représentations neuronales et 500 classes.

## 3.2 Apprentissage fin

Lors de l'apprentissage fin, nous considérons le modèle pré-entraîné comme un encodeur de la parole qui ne sera pas gelé. Nous exploitons ses représentations neuronales, de taille 768, issues de la dernière couche *transformer*. Nous ajoutons par-dessus deux couches linéaires de 1 024 unités, ainsi qu'une couche de sortie softmax dont la taille dépend des langues traitées par le système final.

# 4 Expériences

Nous effectuons l'ensemble du préentraînement de notre système à l'aide de l'outil Fairseq (Ott et al., 2019). Nous avons parallélisé les calculs sur 4 GPU A40. Le pré-entraînement brut (sur environ 60k heures de données) a duré pendant un peu plus de 35 jours (soit plus de 3 360 heures de calcul GPU) tandis que le préentraînement sur données équilibrées (sur environ 5k heures de données) a duré un plus plus de 12 jours (soit plus de 1 150 heures de calcul GPU). Dans les deux cas, et notamment en raison de limite de mémoire, nous exploitons 600 heures du jeu d'entraînement pour effectuer l'apprentissage du modèle des K-moyennes basé sur les représentations internes des *transformers*. Nous sélectionnons ces 600 heures aléatoirement en conservant la contrainte de proportionnalité des langues et des genres représentés. Nous nommons les modèles pré-entraînés en fonction de la quantité d'heures non-supervisée utilisée. Nous apprenons ainsi le modèle 60k sur les quelques 59 500 heures récoltées et le modèle 5k sur la sous-sélection équilibrée de ces quelques 5 600 heures de parole. Les deux modèles pré-entraînés sont disponibles publiquement sur la plate-forme Hugging Face<fnref n="3" />.

L'apprentissage fin n'est pas dépendant du modèle pré-entraîné utilisé. Pour chacune des deux expérimentations, nous utilisons l'outil SpeechBrain (Ravanelli et al., 2021) afin d'entraîner les système de reconnaissance de la parole pour chacune des langues du corpus FLEURS<sub>SSA</sub>. En moyenne, et en fonction de la langue, le temps d'affinement de l'entraînement prend 10 heures sur un seul GPU RTX 3090. L'ensemble des apprentissages supervisés par langues sont regroupés sous les systèmes 60k et 5k.

<footnote n="3">3. Les URLs seront données lors de la version finale de l'article.</footnote>
En complément, nous réalisons un apprentissage conjoint sur l'ensemble des 20 langues, sur un seul GPU RTX 3090 pendant 48 heures. Ce premier apprentissage supervisé sert de base commune pour un transfert d'apprentissage vers un apprentissage fin sur chacune des langues du corpus FLEURS<sub>SSA</sub>. Les systèmes supervisés obtenus à la suite de cet apprentissage conjoint sont regroupés sous les systèmes 60k<sub>joint</sub> et 5k<sub>joint</sub>.

## 4.1 Résultats

Nous compilons dans la table 1, les résultats de nos expérimentations sur l'ensemble de test de FLEURS<sub>SSA</sub>, exprimés en taux d'erreur sur les caractères (CER) et sur les mots (WER). Nous regroupons les langues entre celles vues lors du pré-apprentissage et celles non vues. Nous ajoutons aussi, pour chacun des groupes, la moyenne des scores, ainsi que la moyenne globale (toutes langues confondues). Afin de se comparer le plus justement possible, nous appliquons une méthodologie similaire aux travaux de (Conneau et al., 2023). Ainsi, nous n'exploitons pas de modèles de langue pour réorganiser les hypothèses émises par le système.

<table><caption>TABLE 1 – Résultats obtenus sur les 20 langues subsahariennes de l'ensemble de test issu de FLEURS.</caption><thead><tr><th rowspan="2"></th><th colspan="4">CER</th><th colspan="4">WER</th></tr><tr><th>60k</th><th>5k</th><th>60k<sub>joint</sub></th><th>5k<sub>joint</sub></th><th>60k</th><th>5k</th><th>60k<sub>joint</sub></th><th>5k<sub>joint</sub></th></tr></thead><tbody><tr><td colspan="9"><em>Langues vues</em></td></tr><tr><td>Peul</td><td>21,2</td><td>21,2</td><td>17,8</td><td><strong>17,7</strong></td><td>61,9</td><td>60,6</td><td>56,4</td><td><strong>55,4</strong></td></tr><tr><td>Haoussa</td><td>10,5</td><td>11,2</td><td><strong>9,0</strong></td><td>10,1</td><td>32,5</td><td>35,6</td><td><strong>29,4</strong></td><td>33,8</td></tr><tr><td>Lingala</td><td>8,7</td><td>8,7</td><td><strong>6,9</strong></td><td>7,4</td><td>24,7</td><td>24,2</td><td><strong>20,9</strong></td><td>21,4</td></tr><tr><td>Swahili</td><td>7,1</td><td>8,6</td><td><strong>5,5</strong></td><td>6,5</td><td>23,8</td><td>28,8</td><td><strong>20,3</strong></td><td>24,4</td></tr><tr><td>Wolof</td><td>19,4</td><td>19,2</td><td><strong>17,0</strong></td><td>17,3</td><td>55,0</td><td>54,2</td><td>50,7</td><td><strong>50,1</strong></td></tr><tr><td><em>Moyenne</em></td><td>13,4</td><td>13,8</td><td><strong>11,2</strong></td><td>11,8</td><td>39,6</td><td>40,7</td><td><strong>35,5</strong></td><td>37,0</td></tr><tr><td colspan="9"><em>Langues non vues</em></td></tr><tr><td>Afrikaans</td><td>23,3</td><td>23,8</td><td>20,3</td><td><strong>19,9</strong></td><td>68,4</td><td>68,3</td><td>62,6</td><td><strong>61,1</strong></td></tr><tr><td>Amharique</td><td>15,9</td><td>15,5</td><td>14,9</td><td><strong>14,3</strong></td><td>52,7</td><td>51,4</td><td>49,0</td><td><strong>47,6</strong></td></tr><tr><td>Luganda</td><td>11,5</td><td>11,7</td><td><strong>10,7</strong></td><td>11,1</td><td>52,8</td><td>53,3</td><td><strong>50,3</strong></td><td>52,0</td></tr><tr><td>Igbo</td><td>19,7</td><td>20,9</td><td><strong>17,2</strong></td><td><strong>17,2</strong></td><td>57,5</td><td>57,9</td><td>52,9</td><td><strong>52,4</strong></td></tr><tr><td>Kamba</td><td>16,1</td><td>16,3</td><td><strong>15,6</strong></td><td>15,9</td><td>53,9</td><td><strong>53,7</strong></td><td><strong>53,7</strong></td><td>54,3</td></tr><tr><td>Luo</td><td>9,9</td><td>10,2</td><td><strong>8,2</strong></td><td>8,4</td><td>38,9</td><td>38,5</td><td>34,9</td><td><strong>34,3</strong></td></tr><tr><td>Sotho du Nord</td><td>13,5</td><td>14,4</td><td><strong>11,7</strong></td><td>11,5</td><td>43,2</td><td>44,6</td><td>38,9</td><td><strong>38,6</strong></td></tr><tr><td>Chewa (Nyanja)</td><td>13,3</td><td>13,7</td><td><strong>10,9</strong></td><td>11,3</td><td>54,2</td><td>54,5</td><td>48,3</td><td><strong>48,1</strong></td></tr><tr><td>Oromo</td><td>22,8</td><td>22,9</td><td><strong>20,1</strong></td><td>21,2</td><td>78,1</td><td>77,4</td><td>74,8</td><td><strong>74,3</strong></td></tr><tr><td>Shona</td><td>11,6</td><td>11,2</td><td><strong>8,3</strong></td><td>8,7</td><td>50,2</td><td>48,2</td><td><strong>39,3</strong></td><td>39,7</td></tr><tr><td>Somali</td><td>21,6</td><td>21,9</td><td><strong>19,7</strong></td><td>20,0</td><td>64,9</td><td>64,5</td><td><strong>60,3</strong></td><td>60,6</td></tr><tr><td>Umbundu</td><td>21,7</td><td>21,7</td><td><strong>18,8</strong></td><td>20,7</td><td>61,7</td><td>60,8</td><td><strong>54,2</strong></td><td>57,0</td></tr><tr><td>Xhosa</td><td>11,9</td><td>12,4</td><td><strong>9,9</strong></td><td>10,1</td><td>51,6</td><td>52,3</td><td><strong>45,9</strong></td><td>47,1</td></tr><tr><td>Yoruba</td><td>24,3</td><td>25,0</td><td><strong>23,5</strong></td><td>23,8</td><td>67,5</td><td>68,0</td><td><strong>65,7</strong></td><td>66,6</td></tr><tr><td>Zoulou</td><td>12,2</td><td>12,4</td><td><strong>9,6</strong></td><td>10,0</td><td>53,4</td><td>53,0</td><td><strong>44,9</strong></td><td>46,1</td></tr><tr><td><em>Moyenne</em></td><td>16,6</td><td>16,9</td><td><strong>14,6</strong></td><td>14,9</td><td>56,6</td><td>56,4</td><td><strong>51,7</strong></td><td>52,0</td></tr><tr><td><em>Moyenne globale</em></td><td>15,8</td><td>16,1</td><td><strong>13,8</strong></td><td>14,1</td><td>52,3</td><td>52,5</td><td><strong>47,7</strong></td><td>48,2</td></tr></tbody></table>
Les résultats présentés dans le tableau 1 montrent l'apport bénéfique de l'utilisation conjointe de données transcrites pour alimenter les modèles multilingues. Pour l'ensemble des langues, les performances sont bien meilleures après application du transfert d'apprentissage depuis les données conjointes. Pour les modèles 60k, nous notons respectivement une amélioration relative de 12,6% et de 8,8% sur les taux de CER et de WER moyens. Dans le cas des modèles 5k, il s'agit d'une amélioration relative de 12,4% (CER) et de 8,1% (WER).

Un second résultat intéressant de ces expérimentations concerne la comparaison entre les performances du modèle 60k$_{joint}$ et du modèle 5k$_{joint}$. 55 000 heures de données supplémentaires et plus de 22 jours de préentraînement GPU ont été consommés afin que le modèle 60k$_{joint}$ converge, pour finalement n'observer qu'un gain relatif de 1,8% (CER) et 1,0% (WER). Ce constat incite à s'interroger sur la quantité de données utiles ainsi que sur leur répartition lors du processus d'apprentissage, dans le cadre d'une approche multilingue. Ceci est d'autant plus intéressant au regard des questionnements sur la frugalité des approches, en termes de coût énergétique notamment.

Par comparaison des deux modèles "$_{joint}$", en ce qui concerne les langues vues lors du pré-apprentissage, nous remarquons une dégradation des performances sur les langues les plus représentées dans l'approche 60k (houaussa, lingala, swahili). En contrepartie, nous observons de meilleures performances sur les langues qui étaient sous-représentées dans l'approche 60k (peul et wolof). Ces résultats suggèrent que l'apprentissage du modèle 5k conduit à des représentations de la parole mieux réparties entre les langues.

## 4.2 Comparaison à FLEURS

En complément de nos résultats, nous confrontons ici nos systèmes aux résultats publiés par (Conneau et al., 2023). Dans la mesure où les auteurs ne fournissent pas le détail des scores $^4$, nous effectuons la comparaison uniquement en termes de score moyen sur les caractères (CER), sur les 20 langues du sous-ensemble subsaharien proposé dans FLEURS$_{SSA}$. L'approche considérée par (Conneau et al., 2023) est un w2v-bert de 600M de paramètres, pré-appris sur plus de 400 000 heures de parole.

<table><caption>TABLE 2 – Scores moyens sur l'ensemble test des données FLEURS$_{SSA}$.</caption><thead><tr><th></th><th>5k</th><th>60k</th><th>5k<sub>joint</sub></th><th>60k<sub>joint</sub></th><th>FLEURS<sub>w2v-bert</sub></th></tr></thead><tbody><tr><td>Moyenne</td><td>16.1</td><td>15.8</td><td>14.1</td><td>13.8</td><td>13.6</td></tr></tbody></table>

Les résultats obtenus avec le système 60k$_{joint}$ montrent des performances très proches du modèle w2v-bert de FLEURS, tout en exploitant 7 fois moins de données et 6 fois moins de paramètres. Notre modèle 5k$_{joint}$, bien qu'obtenant des résultats inférieurs de 3,5%, se montre particulièrement compétitif eu égard au volume des données de préentrainement (80 fois moins de données que w2v-bert). L'utilisation de données exclusivement en langues locales, représentatives des parlers en Afrique subsaharienne, permet de réaliser un pré-apprentissage bien plus efficient. En ciblant des aspects particuliers – ici les particularités inhérentes au contexte africain –, ces résultats tendent à démontrer la pertinence d'une modélisation à l'échelle, face à l'apprentissage de modèles surdimensionnés.

<footnote n="4">4. Les résultats diffèrent entre la version déposée sur arXiv et la version IEEE du papier. Nous considérons ici la version officiellement validée et publiée par IEEE.</footnote>
# 5 Conclusion

Dans ce papier, nous pré-entraînons le premier modèle multilingue auto-supervisé, librement partagé, appris exclusivement sur 21 langues et variantes africaines. Ces langues présentent des caractéristiques riches et non observées dans les autres langues du monde, notamment les langues occidentales. Nous confrontons notre modèle au jeu d'évaluation FLEURS qui propose un ensemble composé de langues parlées en Afrique subsaharienne. Face à leur modèle de référence, nous obtenons des résultats très similaires, tout en proposant une approche bien plus modérée en termes de coût d'apprentissage (près de 7 fois moins de données et 6 fois moins de paramètres). Dans ce même objectif de frugalité et d'efficience, nous proposons un second modèle (5k) entraîné à partir d'un sous-ensemble équilibré, en langue et en genre, de nos données. Le dimensionnement de ce modèle a permis de réduire de 2 200 heures le calcul GPU nécessaire, tout en contenant la perte de performance (dégradation moyenne de 0,3 points de CER face à notre modèle 60k, et 0,3 points face au modèle w2v-bert de FLEURS). Ce modèle se montre ainsi être un bon compromis entre matière d'efficience. Lors de travaux futurs, une analyse approfondie de ces systèmes sera menée, notamment au travers de l'étude de l'impact de l'équilibrage du jeu d'apprentissage sur la qualité des représentations dans un contexte multilingue, ainsi que de l'étude de l'impact du genre des locuteurs sur les performances des modèles de reconnaissance de la parole.

# Références

ADEBARA I., ELMADANY A., ABDUL-MAGEED M. & INCIARTE A. A. (2022). Serengeti : Massively multilingual language models for Africa. *arXiv preprint arXiv:2212.10785*.

ADELANI D., NEUBIG G., RUDER S., RIJHWANI S., BEUKMAN M., PALEN-MICHEL C., LIGNOS C., ALABI J., MUHAMMAD S., NABENDE P., DIONE C. M. B., BUKULA A., MABUYA R., DOSSOU B. F. P., SIBANDA B., BUZAABA H., MUKIIBI J., KALIPE G., MBAYE D., TAYLOR A., KABORE F., EMEZUE C. C., AREMU A., OGAYO P., GITAU C., MUNKOH-BUABENG E., MEMDJOKAM KOAGNE V., TAPO A. A., MACUCWA T., MARIVATE V., ELVIS M. T., GWADABE T., ADEWUMI T., AHIA O., NAKATUMBA-NABENDE J., MOKONO N. L., EZEANI I., CHUKWUNEKE C., OLUWASEUN ADEYEMI M., HACHEME G. Q., ABDULMUMIN I., OGUNDEPO O., YOUSUF O., MOTEU T. & KLAKOW D. (2022). MasakhaNER 2.0 : Africa-centric Transfer Learning for Named Entity Recognition. In *Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing*, p. 4488–4508, Abu Dhabi, United Arab Emirates : Association for Computational Linguistics. DOI: 10.18653/v1/2022.emnlp-main.298.

BABU A., WANG C., TJANDRA A., LAKHOTIA K., XU Q., GOYAL N., SINGH K., VON PLATEN P., SARAF Y., PINO J., BAEVSKI A., CONNEAU A. & AULI M. (2022). XLS-R : Self-supervised Cross-lingual Speech Representation Learning at Scale. In *Proc. Interspeech 2022*, p. 2278–2282. DOI: 10.21437/Interspeech.2022-143.

BENAMARA F., HATOUT N., MULLER P. & OZDOWSKA S., Éds. (2007). *Actes de TALN 2007 (Traitement automatique des langues naturelles)*, Toulouse. ATALA, IRIT.

BOITO M. Z., BOUGARES F., BARBIER F., GAHBICHE S., BARRAULT L., ROUVIER M. & ESTÈVE Y. (2022). Speech resources in the tamasheq language. In *Proceedings of the Thirteenth Language Resources and Evaluation Conference*, p. 2066–2071.

BREDIN H. (2023). pyannote.audio 2.1 speaker diarization pipeline : principle, benchmark, and recipe. In *Proc. Interspeech 2023*.
CHUNG Y.-A., ZHANG Y., HAN W., CHIU C.-C., QIN J., PANG R. & WU Y. (2021). w2v-BERT: Combining contrastive learning and masked language modeling for self-supervised speech pre-training. In *2021 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)*, p. 244–250. DOI: 10.1109/ASRU51503.2021.9688253.

CLEMENTS G. N. & RIALLAND A. (2007). *Africa as a phonological area*, p. 36–85.

CONNEAU A., BAEVSKI A., COLLOBERT R., MOHAMED A. & AULI M. (2021). Unsupervised Cross-Lingual Representation Learning for Speech Recognition. In *Proc. Interspeech 2021*, p. 2426–2430. DOI: 10.21437/Interspeech.2021-329.

CONNEAU A., MA M., KHANUJA S., ZHANG Y., AXELROD V., DALMIA S., RIESA J., RIVERA C. & BAPNA A. (2023). Fleurs: Few-shot learning evaluation of universal representations of speech. In *2022 IEEE Spoken Language Technology Workshop (SLT)*, p. 798–805: IEEE.

DIAS G., Éd. (2015). *Actes de TALN 2015 (Traitement automatique des langues naturelles)*, Caen. ATALA, HULTECH.

DOSSOU B. F., TONJA A. L., YOUSUF O., OSEI S., OPPONG A., SHODE I., AWOYOMI O. O. & EMEZUE C. (2022). Afrolm: A self-active learning-based multilingual pretrained language model for 23 African languages. In *Proceedings of The Third Workshop on Simple and Efficient Natural Language Processing (SustaiNLP)*, p. 52–64.

GUTKIN A., DEMIRSAHIN I., KJARTANSSON O., RIVERA C. E. & TÚBÒSÚN K. (2020). Developing an open-source corpus of yoruba speech. In *Proc. of Interspeech 2020*, p. 404–408, October 25–29, Shanghai, China, 2020.

HSU W.-N., BOLTE B., TSAI Y.-H. H., LAKHOTIA K., SALAKHUTDINOV R. & MOHAMED A. (2021). HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units. *IEEE/ACM Transactions on Audio, Speech, and Language Processing, 29*, 3451–3460. DOI: 10.1109/TASLP.2021.3122291.

JOSHI P., SANTY S., BUDHIRAJA A., BALI K. & CHOUDHURY M. (2020). The state and fate of linguistic diversity and inclusion in the nlp world. *arXiv preprint arXiv:2004.09095*.

LAIGNELET M. & RIOULT F. (2009). Repérer automatiquement les segments obsolescents à l'aide d'indices sémantiques et discursifs. In A. NAZARENKO & T. POIBEAU, Éds., *Actes de TALN 2009 (Traitement automatique des langues naturelles)*, Senlis: ATALA LIPN.

LANGLAIS P. & PATRY A. (2007). Enrichissement d'un lexique bilingue par analogie. In (Benamara et al., 2007), p. 101–110.

OGUEJI K., ZHU Y. & LIN J. (2021). Small data? no problem! exploring the viability of pretrained multilingual language models for low-resourced languages. In *Proceedings of the 1st Workshop on Multilingual Representation Learning*, p. 116–126.

OLATUNJI T., AFONJA T., YADAVALLI A., EMEZUE C. C., SINGH S., DOSSOU B. F. P., OSUCHUKWU J., OSEI S., TONJA A. L., ETORI N. & MBATAKU C. (2023). AfriSpeech-200: Pan-African Accented Speech Dataset for Clinical and General Domain ASR. *Transactions of the Association for Computational Linguistics*, **11**, 1669–1685. DOI: 10.1162/tacl_a_00627.

OTT M., EDUNOV S., BAEVSKI A., FAN A., GROSS S., NG N., GRANGIER D. & AULI M. (2019). fairseq: A fast, extensible toolkit for sequence modeling. *CoRR*, abs/1904.01038.

PANAYOTOV V., CHEN G., POVEY D. & KHUDANPUR S. (2015). Librispeech: An asr corpus based on public domain audio books. In *2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*, p. 5206–5210. DOI: 10.1109/ICASSP.2015.7178964.

PIRES T., SCHLINGER E. & GARRETTE D. (2019). How multilingual is multilingual BERT? In A. KORHONEN, D. TRAUM & L. MÀRQUEZ, Éds., *Proceedings of the 57th Annual Meeting*
of the Association for Computational Linguistics, p. 4996–5001, Florence, Italy: Association for Computational Linguistics. DOI: 10.18653/v1/P19-1493.

PRATAP V., TJANDRA A., SHI B., TOMASELLO P., BABU A., KUNDU S., ELKAHKY A., NI Z., VYAS A., FAZEL-ZARANDI M., BAEVSKI A., ADI Y., ZHANG X., HSU W.-N., CONNEAU A. & AULI M. (2023). Scaling speech technology to 1,000+ languages.

RAVANELLI M., PARCOLLET T., PLANTINGA P., ROUHE A., CORNELL S., LUGOSCH L., SUBAKAN C., DAWALATABAD N., HEBA A., ZHONG J., CHOU J.-C., YEH S.-L., FU S.-W., LIAO C.-F., RASTORGUEVA E., GRONDIN F., ARIS W., NA H., GAO Y., MORI R. D. & BENGIO Y. (2021). Speechbrain: A general-purpose speech toolkit.

RITCHIE S., CHENG Y.-C., CHEN M., MATHEWS R., VAN ESCH D., LI B. & SIM K. C., Éds. (2022). *Large vocabulary speech recognition for languages of Africa: multilingual modeling and self-supervised learning*.

SERETAN V. & WEHRLI E. (2007). Collocation translation based on sentence alignment and parsing. In (Benamara *et al.*, 2007), p. 401–410.

SIKASOTE C. & ANASTASOPOULOS A. (2021). Bembaspeech: A speech recognition corpus for the bemba language.

VALK J. & ALUMÄE T. (2021). Voxlingua107: a dataset for spoken language recognition. In *2021 IEEE Spoken Language Technology Workshop (SLT)*, p. 652–658: IEEE.

WANJAWA B. W., WANZARE L. D. A., INDEDE F., MCONYANGO O., MUCHEMI L. & OMBUI E. (2023). Kenswquad—a question answering dataset for swahili low-resource language. *ACM Trans. Asian Low-Resour. Lang. Inf. Process.*, **22**(4). DOI: 10.1145/3578553.

YADAV H. & SITARAM S. (2022). A survey of multilingual models for automatic speech recognition.

ZHANG Y., HAN W., QIN J., WANG Y., BAPNA A., CHEN Z., CHEN N., LI B., AXELROD V., WANG G., MENG Z., HU K., ROSENBERG A., PRABHAVALKAR R., PARK D. S., HAGHANI P., RIESA J., PERNG G., SOLTAU H., STROHMAN T., RAMABHADRAN B., SAINATH T., MORENO P., CHIU C.-C., SCHALKWYK J., BEAUFAYS F. & WU Y. (2023). Google usm: Scaling automatic speech recognition beyond 100 languages.

ZHAO J. & ZHANG W.-Q. (2022). Improving automatic speech recognition performance for low-resource languages with self-supervised models. *IEEE Journal of Selected Topics in Signal Processing, 16*(6), 1227–1241. DOI: 10.1109/JSTSP.2022.3184480.
# Retour auditif interne de la production de parole : mesures préliminaires de la vibration osseuse par accélérométrie et comparaison au son aérien

Raphaël Vancheri Coriandre Vilain

Nathalie Henrich Bernardoni Pierre Baraduc

Univ. Grenoble Alpes, CNRS, Grenoble INP, GIPSA-lab, Grenoble, F-38000, France
[prenom].[nom]@gipsa-lab.fr

## RÉSUMÉ

Lorsqu'on parle, le retour auditif se décompose en une voie aérienne et une voie interne ou 'par conduction osseuse'. Un locuteur entend les deux composantes, contrairement au récepteur. Alors que la moitié du signal cochléaire est interne, on connaît mal l'information qu'il véhicule et comment elle impacte le contrôle moteur oral. Dans cette étude, nous considérons deux indicateurs du signal auditif interne pendant la production de parole, la vibration des dents de la mâchoire supérieure et le son enregistré près du tympan. Une méthode de conversion de voix nous permet d'évaluer les différences informationnelles entre voix aérienne et voix "osseuse" interne. Comme observé précédemment par la simple méthode d'enregistrement périmypanique, la somme des retours acoustiques aérien et interne amène une lisibilité supérieure des trajectoires formantiques qui pourrait faciliter le contrôle de la production de parole.

## ABSTRACT

**Internal acoustic feedback during speech production : preliminary measure of bone vibration during speech with an accelerometer and comparison to aerial-conducted sound.**

During speech, the auditory feedback involves both an aerial component picked up by the external ear, and an internal vibration : the 'bone conduction' component. While a speaker hears both components, a listener only hears the aerial part. Although half of the cochlear signal comes from internal conduction, the information it conveys, and how it impacts oral motor control, is still unclear. In this study, we considered two proxies of the internal auditory signal : the vibration of the upper teeth and the sound emitted next to the eardrum. A voice conversion method allows to evaluate the informational differences between aerial and internal bone voice. As preceedingly observed with the peritympanic recording method, the summation of internal and aerial feedback leads to clearer formantic trajectories, which may facilitate speech motor control.

**MOTS-CLÉS** : conduction osseuse, production de parole, perception, contrôle moteur.

**KEYWORDS:** bone conduction, speech production, perception, motor control.

## 1 Introduction

Durant la production de parole, les tissus mous péri-oraux ainsi que les os sous-jacents transmettent un signal acoustique interne jusqu'à la cochlée de manière directe (vibration du rocher) et indirecte

<figure><img src="image_87.png" /></figure>
(vibration des osselets, vibration du tympan). Ce signal interne est éminemment complexe à objectiver du fait de la quasi impossibilité de mesurer directement les vibrations acoustiques au niveau de la cochlée. L'essentiel de nos connaissances sur la conduction interne (communément mais impropre-ment appelée conduction osseuse) provient d'études sur l'animal (p. ex. Tonndorf et al. 1966) ou sur des cadavres (Eeg-Olofsson et al., 2008), qui ont permis de quantifier la conduction des vibrations dans les différentes structures physiologiques (Stenfelt & Goode, 2005), mais bien évidemment pas pendant une vibration laryngée. Pörschmann (2000), à l'aide d'une méthode de masquage, a étudié le premier le spectre sonore de la parole interne, et mis en évidence une différence entre phones voisés et non-voisés. Plus récemment, Reinfeldt et al. (2010) ont utilisé l'enregistrement direct des vibrations du conduit auditif comme un indicateur du signal par conduction osseuse, et observé les différences de spectre sonore entre une petite sélection de voyelles ou consonnes voisées isolées. Nous avons précédemment utilisé cette méthode pour décrire le contenu spectral de signaux aériens et péri-tympaniques pendant la production de parole continue (Baraduc & Vilain, 2022). Toutefois ces travaux n'ont mesuré que la vibration des tissus mous ; une partie du signal interne restait inconnue. Dans cet article, nous décrivons une méthode pour dépasser cette limite, et les résultats préliminaires obtenus sur 3 sujets pilotes.

# 2 Matériel et méthodes

## 2.1 Sujets

Trois sujets francophones du laboratoire (1 femme, 2 hommes, 24-49 ans) parmi les auteurs, ont participé sans compensation à cette expérience en tant que sujets pilotes.

## 2.2 Dispositif expérimental

Les sujets ont été équipés d'un capteur acoustique intra-auriculaire (microphone capillaire Etymotic ER-7C) permettant d'enregistrer le signal sonore périmypanique. Ce signal est isolé acoustiquement de l'environnement extérieur par une boite fabriquée au laboratoire, placée contre l'oreille du sujet et écrantant les signaux extérieurs d'au moins 30 dB sur l'ensemble du spectre sonore ; son volume est suffisant pour éviter les résonances (effet d'occlusion) que généreraient de simples bouchons d'oreille. Les sujets sont également équipés d'un accéléromètre miniature (PCB Piezotronics 352A73 conditionné par une carte d'acquisition Data Translation) fixé par une résine photopolymérisable sur une dent de la mâchoire supérieure (incisive, canine ou prémolaire en fonction de configuration de la surface dentaire). Cet accéléromètre mesure les vibrations locales des os, après leur passage à travers le ligament alvéolo-dentaire et la dentine. Trois microphones aériens (BK 4189) sont également utilisés pour mesurer les signaux acoustiques : à 50 cm de la bouche du sujet (dans l'axe), à 2 cm de l'oreille droite (dans l'espace extérieur), à 2 cm de l'oreille gauche (dans la boîte isolante). L'acquisition des données est effectuée sous Matlab à l'aide de la PsychoPhysics Toolbox (pour les données audio) et d'une toolbox DataTranslation pour les données d'accélérométrie.
## 2.3 Protocole

Après une étape d'équilibration perceptive ne se rapportant pas aux résultats présentés ici, les sujets devaient lire à voix haute les 100 premières phrases du corpus FHarvard (Aubanel et al., 2020), présentées sur un moniteur placé en face d'eux.

## 2.4 Analyse des données

Les signaux ont été synchronisés par intercorrélation (avec pour signal de référence l'enregistrement du microphone placé face au sujet), puis nous avons édité parallèlement tous les signaux afin d'en enlever les répétitions et erreurs. Les signaux d'enregistrement intra-auriculaire et d'accélérométrie ont été amplifiés (de 15 dB et 40 dB respectivement) ; ce dernier a préalablement été filtré passe-haut à 5 Hz afin d'en retirer la composante continue. Enfin, les deux signaux ont également été débruités par soustraction spectrale (-15 dB, par Audacity). Les enregistrements ont été ensuite segmentés sous Praat au moyen d'un outil d'alignement phonétique automatique, EasyAlign (Goldman, 2010) ; les résultats ont été manuellement vérifiés et édités au besoin. Afin de mieux cerner les différences en terme d'information portée par les signaux aérien et osseux, nous avons cherché à déterminer dans quelle mesure ils étaient interconvertibles. Cette conversion de voix a été réalisée par régression par mélange de gaussiennes à partir de coefficients mel-cepstraux (trames de 5 ms), grâce à un code partagé par T. Hueber (Hueber & Bailly, 2016), après sous-échantillonage à 16 kHz. Les différences spectrales en dB ont été calculées dans la bande 0–5 kHz. L'enveloppe spectrale de la parole est aisément calculée à partir des coefficients mel-cepstraux ; la resynthèse peut s'effectuer avec un filtre MLSA. Ces calculs ont été réalisés avec SPTK 4.0 (github.com/sp-nitech/SPTK/releases). La visualisation des résultats a été obtenue sous Matlab, en utilisant en particulier la fonction spectrogram.

# 3 Résultats

## 3.1 Observations de surface : signal aérien, osseux, et des tissus mous

Le signal de l'accéléromètre reflète-t-il des propriétés de la conduction interne des vibrations de parole ? En quoi diffère-t-il du l'enregistrement périmetpanique, censé refléter surtout la vibration des tissus mous pendant la vocalisation ? La figure 1 donne un exemple de spectrogrammes des signaux de parole, selon qu'ils sont aériens ou tirés de l'accéléromètre (pour simplifier, nous utiliserons le raccourci abusif de "signal osseux" dans la suite des résultats), ou du signal aérien. Comme observé précédemment avec l'enregistrement périmetpanique (Baraduc & Vilain, 2022), le signal interne permet de mieux suivre certaines transitions formantiques. Toutefois, alors que le signal des tissus mous était particulièrement différent pendant les fricatives, on peut déjà remarquer sur ces exemples que ce n'est pas le cas pour le signal osseux. Une comparaison directe des deux méthodes d'estimation du retour auditif interne n'est malheureusement pas possible sur ce jeu de données, les enregistrements périmetpaniques ont été particulièrement décevants pour deux sujets (cf. infra).

Une deuxième observation a trait à un aspect technique important de l'estimation du retour par conduction interne. Les tissus mous ayant tendance à absorber les vibrations de haute fréquence, l'enregistrement périmetpanique est délicat au-dessus de 4 kHz. Ceci n'est pas le cas avec l'accéléromètre, dont la plage de mesure s'étend jusqu'à 40 kHz. En fait, la densité spectrale de la parole osseuse n'est
<figure><img src="image_88.png" /></figure>

FIGURE 1 – Spectrogrammes de parole chez deux sujets, pour la phrase "le groupe d'amis s'est quitté devant le kiosque". En haut, les spectrogrammes du signal aérien ; en bas les spectrogrammes du signal interne. Comme vu précédemment avec les enregistrements péritympaniques, la trajectoire de F2 est particulièrement lisible dans le signal interne pendant d'amis (encadré orange).

<figure><img src="image_89.png" /></figure>

FIGURE 2 – Densité de puissance du signal de parole, pour les 3 sujets de l'expérience pilote. En bleu, me signal aérien ; en rouge le signal de l'accéléromètre ("osseux"); en jaune le signal péritympanique ("tissus mous")
pas différente de la parole aérienne, comme on le voit figure 2. Par ailleurs, on remarque que pour un sujet, la densité de puissance périmypanique n'est pas très différente des autres signaux aériens ou osseux, mais est tronquée à 4,5 kHz par le plancher de bruit du microphone. L'amortissement des vibrations hautes fréquences par les tissus mous ne semble pas, ou au moins pas toujours, être responsable de cette difficulté à estimer le retour auditif interne de la parole dans le haut du spectre. Quoi qu'il en soit, en pratique, le signal de l'accéléromètre permet une bien meilleure estimation de la conduction interne des hautes fréquences, comme on peut l'observer également sur la figure 1.

## 3.2 Analyse de différences informationnelles

Afin de quantifier si le signal "osseux" porte une information redondante avec le signal aérien, nous avons utilisé une méthode de conversion de voix (cf. §2.4), comme dans nos travaux précédents. Brièvement, le principe en est le suivant : les différences spectrales entre signal "osseux" et signal aérien converti en "osseux" sont révélatrices de l'information spécifique portée par le signal osseux, puisqu'elles correspondent à des parties du spectre qu'on peut difficilement prédire à partir de la voix aérienne. L'argument est symétrique et l'information spécifique portée par le signal aérien peut être estimée par la conversion de voix réciproque "osseux"→ aérien.

La figure 3 permet de comparer des spectrogrammes de parole aérienne et "osseuse", avec une mise en évidence par la couleur des parties du spectre difficilement convertibles, donc spécifiques de chaque signal. Cet exemple peut être comparé à une figure similaire de (Baraduc & Vilain, 2022). On remarque que les transitions formantiques sont plus lisibles dans le signal "osseux", ce qui est particulièrement clair dans l'extrait illustré "son dernier c[ongé]", pour lequel les /o~/, /d/, et la séquence /nj/ ont effectivement une mesure de spécificité osseuse élevée.

<figure><img src="image_90.png" /></figure>

FIGURE 3 – Spectrogrammes du signal aérien (en haut) et du signal "osseux" (en bas), correspondant au début de la prononciation de la phrase "Son dernier congé dura deux semaines". Les couleurs indiquent les différences statistiquement non interconvertibles (selon le code couleur représenté à droite). On remarque que les voyelles et consonnes nasales, les occlusives voisées ou même le /r/ ont une signature osseuse particulière (et plus claire).
<figure><img src="image_91.png" /></figure>

FIGURE 4 – Distribution des mesures de spécificité du signal aérien (axe horizontal) et du signal "osseux" (axe vertical) pour une sélection de phonèmes, consonnes (panneau de gauche) ou voyelles (panneau de droite). La spécificité est définie comme la distance maximale entre enveloppes spectrales du signal réel et du signal prédit par conversion depuis l'autre source. On remarque que les occlusives sont bien différenciées, les voyelles et consonnes nasales fermées également. Les fricatives portent peu d'information spécifique à la voie osseuse, en moyenne.
Pour donner un aperçu global, nous avons segmenté les signaux de parole et quantifié pour chaque phonème l'information spécifique portée par le signal aérien ou "osseux", en considérant comme mesure de spécificité la différence maximale d'enveloppe spectrale entre signal réel et signal prédit (converti), pendant la durée du phonème. Ces valeurs sont variables selon le contexte de coarticulation et le sujet, et ici, le nombre de participants étant limité, nous avons représenté la moyenne inter-sujets sur tout le jeu de données dans le graphe de la figure 4.

Les résultats confortent l'idée que le signal "osseux" est souvent différemment informatif du signal aérien. Les occlusives sont particulièrement différentes et différemment informatives dans les deux signaux. Une étude plus détaillée révèle que les occlusives non voisées portent souvent des traces de formants visibles dans le bruit de plosion, voire avant ; ceci est plus variable dans les consonnes voisées, dont certains exemples sont particulièrement clairs quant à la transition formantique en cours, d'autres moins. Les voyelles fermées, particulièrement lorsqu'elles sont postérieures ou nasales, ont aussi une signature assez spécifique à chaque composante auditive. Enfin, on remarque que les fricatives portent peu d'information spécifique dans le signal osseux, à l'inverse de ce que nous avions constaté précédemment dans le signal périmypanique. L'origine de cette différence devra être élucidée, mais il est possible qu'elle soit liée à la position de l'accéléromètre par rapport à la cavité orale postérieure, la résonance de cette cavité excitée par le bruit aéro-acoustique étant nette dans les enregistrements périmypaniques.

# 4 Discussion

Ces premiers résultats prolongent notre précédente description des différences entre retour acoustique aérien de la parole naturelle, et retour par conduction interne. Ils sont un aperçu des développements méthodologiques en cours qui devraient nous permettre de mieux caractériser le retour auditif de sa propre voix, en associant deux techniques complémentaires d'évaluation de la vibration interne. Si cet article décrit des travaux préliminaires, les techniques mises en œuvre ont également des limites que nous rappelons ici.

Une première limite tient au placement des capteurs. Si la mesure de la vibration des tissus mous est a priori idéale près du tympan, la mesure de la vibration des os de la tête serait probablement meilleure à une position plus proche de l'os temporal ; ceci est toutefois difficilement compatible avec un positionnement simple de l'accéléromètre. Par ailleurs il faut rappeler que la mesure intègre l'élasticité du ligament odonto-alvéolaire, dont les caractéristiques mécaniques pourraient affecter le signal (le graphe de la figure 2 étant toutefois assez rassurant).

Ensuite, notre mesure de différence informationnelle par la conversion de voix a également un certain nombre de limites. Tout d'abord, elle peut être biaisée par le modeste corpus d'entraînement (seulement 5 minutes de parole). Nous travaillons actuellement sur une mesure dérivée de la théorie de l'information, qui sera indépendante de la spécification d'un modèle. D'autre part, nous avons résumé dans la figure 4 les différences spectrales en considérant leur somme sur la bande 0-5 kHz, ce qui ne rend pas compte du caractère éventuellement crucial d'une information sonore particulière à l'intérieur de ce spectre.

Néanmoins, ces premiers résultats d'estimation directe de la vibration osseuse nous semblent très encourageants. Un des intérêts d'évaluer le retour interne par une méthode d'accélérométrie est de libérer le sujet d'un capteur situé dans l'oreille (et d'une boîte acoustiquement isolée), ce qui permet
de simplifier les expériences sur la parole et la voix, voire la pratique musicale au sens large. A court terme, nous chercherons toutefois à mieux caractériser les différences entre retour interne purement osseux et conduction via les tissus mous, et évaluer leur variabilité interindividuelle.

## Remerciements

Les auteurs remercient Thomas Hueber pour sa disponibilité, ses conseils et le partage de son code Matlab de conversion de voix.

## Références

AUBANEL V., BAYARD C., STRAUSS A. & SCHWARTZ J. (2020). The Harvard corpus : A phonemically-balanced French sentence resource for audiology and intelligibility research. *Speech Communication*, **124**, 68–74. DOI : https://doi.org/10.1016/j.specom.2020.07.004.

BARADUC P. & VILAIN C. (2022). Retours acoustiques de la production de parole : caractérisation des différences informationnelles entre le son aérien et le son par conduction osseuse. In *Proc. XXXIVe Journées d'Études sur la Parole – JEP 2022*, p. 980–988. DOI : 10.21437/JEP.2022-104.

EEG-OLOFSSON M., STENFELT S., TJELLSTRÖM A. & GRANSTRÖM G. (2008). Transmission of bone-conducted sound in the human skull measured by cochlear vibrations. *International Journal of Audiology*, **47**(12), 761–769. DOI : doi:10.1080/14992020802311216.

GOLDMAN J.-P. (2010). Easyalign : a friendly automatic phonetic alignment tool under praat. In *Proc. Interspeech 2011*, p. 3233–3236. DOI : 10.21437/Interspeech.2011-815.

HUEBER T. & BAILLY G. (2016). Statistical conversion of silent articulation into audible speech using full-covariance hmm. *Computer Speech Language*, **36**, 274–293. DOI : https://doi.org/10.1016/j.csl.2015.03.005.

PÖRSCHMANN C. (2000). Influences of Bone Conduction and Air Conduction on the Sound of One's Own Voice. *Acta Acustica united with Acustica*, **86**(6).

REINFELDT S., ÖSTLI P., HÅKANSSON B. & STENFELT S. (2010). Hearing one's own voice during phoneme vocalization—Transmission by air and bone conduction. *The Journal of the Acoustical Society of America*, **128**(2), 751–762. DOI : 10.1121/1.3458855.

STENFELT S. & GOODE R. L. (2005). Bone-Conducted Sound : Physiological and Clinical Aspects. *Otology & Neurotology*, **26**(6), 1245–1261. DOI : 10.1097/01.mao.0000187236.10842.d5.

TONNDORF J., GREENFIELD E. C. & KAUFMAN R. S. (1966). The Relative Efficiency of Air and Bone Conduction in Cats. *Acta Oto-Laryngologica*, **61**(sup213), 105–123. DOI : 10.3109/00016486609120802.