<table><caption>TABLE 2 – Résultats LMM sur les caractéristiques de voix évaluées. « IP » fait référence à l'interview (I) comparée à la parole professionnelle (P); « LP » indique la lecture (L) comparée à la parole professionnelle (P). NS : Non significatif; * : p < .05; ** : p < .01; *** : p < .001</caption><thead><tr><th></th><th>CPP</th><th>H1</th><th>H2</th><th>H1-H2</th><th>H1-A1</th><th>H1-A2</th><th>H1-A3</th><th>HNR</th></tr></thead><tbody><tr><th>IP</th><td>*</td><td>***</td><td>*</td><td>**</td><td>NS</td><td>**</td><td>***</td><td>***</td></tr><tr><th>LP</th><td>NS</td><td>***</td><td>***</td><td>NS</td><td>NS</td><td>NS</td><td>**</td><td>***</td></tr></tbody></table>

trouvée pour la comparaison LP en utilisant CPP et HNR.

# 6 Discussion

Nous avons étudié dans cet article les styles de parole des soignants dans trois conditions différentes : la lecture de textes, les entretiens et la voix professionnelle produite lors de soins. Les résultats de l'analyse de la qualité de la voix indiquent que, lors de la prise en charge professionnelle, les soignants ont tendance à avoir des valeurs plus élevées pour le HNR et des valeurs plus faibles pour le CPP, H1, H2, H1-H2 et H1-A2.

Dans l'ensemble, ces observations ne nous fournissent malheureusement pas de conclusions claires sur la quantité de souffle utilisée dans la voix professionnelle. Les résultats sur CPP semblent illustrer une tendance vers plus de craquement dans la voix pendant les soins professionnels, tandis que les résultats du HNR sont contradictoires. L'analyse de l'amplitude des harmoniques (H1-H2, H1-A2, H1-A3) semble montrer que les soignants ont moins de souffle dans la voix lors des situations professionnelles. Toutefois, l'estimation de l'amplitude des harmoniques peut ne pas être très fiable, comme discuté dans Chai & Garellek (2022), où il est mentionné que ces mesures sont impactées par le niveau de pression sonore.

Ces résultats montrent que la proportion de souffle dans la voix, et plus largement tous les aspects de qualité de la voix, sont difficiles à mesurer et que les résultats obtenus à partir de ces mesures peuvent varier en fonction des ensembles de données et de l'objectif des études. En particulier, il nous semble évident que l'utilisation d'une seule mesure de souffle (par exemple, la CPP) n'est pas toujours suffisante.

# Remerciements

Les auteurs remercient les fondateurs de l'"Humanitude" Yves Gineste et Rosette Marescotti pour leur aide dans la construction de ce projet. Un grand merci à Jean-Yves Nou, Hervé Tomassi et surtout Aurélie Rives pour nous avoir permis d'enregistrer en milieu professionnel. Nous sommes profondément redevables à tous les personnels que nous avons enregistrés pour leur confiance et leur temps.
Références

BICKLEY C. (1982). *Acoustic Analysis and Perception of Breathy Vowels*. Speech Communication Group Working Papers I, Research Laboratory of Electronics, MIT, Cambridge, MA.

BOYER F. (2021). *Reconnaissance de Parole Pour Le Français et Intégration Dans Un Système de Compréhension Du Langage Parlé*. Thèse de doctorat, Université de Bordeaux.

CHAI Y. & GARELLEK M. (2022). On H1–H2 as an acoustic measure of linguistic phonation typea). *The Journal of the Acoustical Society of America*, **152**(3), 1856–1870. DOI: 10.1121/10.0014175.

DE MAREÜIL P. B., CÉLÉRIER P. & TOEN J. (2002). Generation of Emotions by a Morphing Technique in English, French and Spanish. In *Speech Prosody*.

GALLIANO S., GRAVIER G. & CHAUBARD L. (2009). The ester 2 evaluation campaign for the rich transcription of french radio broadcasts. In *Interspeech, Brighton (United Kingdom)*.

GINESTE Y., MARESCOTTI R. & PELLISSIER J. (2008). L'humanitude dans les soins. *Recherche en soins infirmiers*, **94**(3), 42–55. DOI: 10.3917/rsi.094.0042.

GINESTE Y. & PELLISSIER J. (2007). *Humanitude*. Nouvelle édition : Armand colin édition.

GOBL C. & NÍ CHASAIDE A. (2003). The role of voice quality in communicating emotion, mood and attitude. *Speech Communication*, **40**(1), 189–212. DOI: 10.1016/S0167-6393(02)00082-1.

GRICHKOVTSOVA I., MOREL M. & LACHERET A. (2012). The role of voice quality and prosodic contour in affective speech perception. *Speech Communication*, **54**(3), 414–429.

GUPTA V., KENNY P., OUELLET P. & STAFYLAKIS T. (2014). I-vector-based speaker adaptation of deep neural networks for French broadcast audio transcription. In *ICASSP*. DOI: 10.1109/ICASSP.2014.6854823.

HEBA A. (2021). *Reconnaissance Automatique de La Parole à Large Vocabulaire : Des Approches Hybrides Aux Approches End-to-End*. Theses, Université toulouse 3 Paul Sabatier.

HILLENBRAND J., CLEVELAND R. A. & ERICKSON R. L. (1994). Acoustic correlates of breathy vocal quality. *Journal of Speech, Language, and Hearing Research*, **37**(4), 769–778.

HONDA M., ITO M., ISHIKAWA S., TAKEBAYASHI Y. & TIERNEY L. (2016). Reduction of Behavioral Psychological Symptoms of Dementia by Multimodal Comprehensive Care for Vulnerable Geriatric Patients in an Acute Care Hospital: A Case Series. *Case Reports in Medicine*, **2016**, 4813196. DOI: 10.1155/2016/4813196.

HONDA M., MORI M., HAYASHI S., MORIYA K., MARESCOTTI R. & GINESTE Y. (2013). The effectiveness of French origin dementia care method; Humanitude to acute care hospitals in Japan. *European Geriatric Medicine*, **4**, S207. DOI: 10.1016/j.eurger.2013.07.689.

ISELI M. & ALWAN A. (2004). An improved correction formula for the estimation of harmonic magnitudes and its application to open quotient estimation. In *ICASSP 2004*, volume 1, p. I–669. DOI: 10.1109/ICASSP.2004.1326074.

ISHI C. T., ISHIGURO H. & HAGITA N. (2008). The roles of breathy/whispery voice qualities in dialogue speech. In *Speech Prosody*.

ITO M. (2004). Politeness and Voice Quality – The Alternative Method to Measure Aspiration Noise. In *Speech Prosody*, Nara, Japan.

ITO M. & HONDA M. (2015). An examination of the influence of Humanitude caregiving on the behavior of older adults with dementia in Japan. In *Proceedings of the 8th International Association of Gerontology and Geriatrics European Region Congress*, volume 2018.

KANE J. & GOBL C. (2011). Identifying regions of non-modal phonation using features of the wavelet transform. In *INTERSPEECH*, p. 177–180.
LAVER J. (1980). *The Phonetic Description of Voice Quality*. Cambridge Studies in Linguistics.

PATEL R. R., AWAN S. N., BARKMEIER K. J., COUREY M., DELIYSKI D., EADIE T., PAUL D., ŠVEC J. G. & HILLMAN R. (2018). Recommended Protocols for Instrumental Assessment of Voice: American Speech-Language-Hearing Association Expert Panel to Develop a Protocol for Instrumental Assessment of Vocal Function. *American Journal of Speech-Language Pathology*, **27**(3), 887–905. DOI: 10.1044/2018_AJSLP-17-0009.

PEARSELL S. & PAPE D. (2023). The effects of different voice qualities on the perceived personality of a speaker. *Frontiers in Communication, **7*.

PITTMAN J. (1985). *Voice Quality: Its Measurement and Functional Classification - UQ eSpace*. Thèse de doctorat, The University of Queensland, School of English, Media Studies and Art History.

POVEY D., GHOSHAL A., BOULIANNE G., BURGET L., GLEMBEK O., GOEL N., HANNEMANN M., MOTLICEK P., QIAN Y., SCHWARZ P., SILOVSKY J., STEMMER G. & VESELY K. (2011). The kaldi speech recognition toolkit. In *IEEE 2011 Workshop on Automatic Speech Recognition and Understanding*, Hilton Waikoloa Village, Big Island, Hawaii, US: IEEE Signal Processing Society.

R DEVELOPMENT CORE TEAM (2019). *R: A Language and Environment for Statistical Computing*. R Foundation for Statistical Computing, Vienna, Austria.

ROUAS J.-L., WU Y. & SHOCHI T. (2023a). Affective attributes of French caregivers’ professional speech. In *INTERSPEECH 2023*, p. 1239–1243: ISCA. DOI: 10.21437/Interspeech.2023-848.

ROUAS J.-L., WU Y. & SHOCHI T. (2023b). A study on caregivers speech in retirement homes. In *ICPhS 2023*.

SHUE Y.-L., KEATING P. & VICENIK C. (2009). VOICESAUCE: A program for voice analysis. *The Journal of the Acoustical Society of America*, **126**(4_Supplement), 2221–2221. DOI: 10.1121/1.3248865.

SJÖLANDER K. (2004). The snack sound toolkit.

STUART-SMITH J. (1999). Glasgow: Accent and voice quality. p. 201–222. Leeds, UK: Arnold.

XU C., FOULKES P., HARRISON P., HUGHES V. & WORMALD J. H. (2023). Contributions of acoustic measures to the classification of laryngeal voice quality in continuous English speech. In *Proceedings of the International Congress of Phonetic Sciences (ICPhS)*: ASSTA.

YANUSHEVSKAYA I., GOBL C. & CHASAIDE A. N. (2006). Mapping Voice to Affect: Japanese listeners. In *Speech Prosody*, Dresden, Germany.

YANUSHEVSKAYA I., GOBL C. & NÍ CHASAIDE A. (2018). Cross-language differences in how voice quality and f contours map to affecta). *The Journal of the Acoustical Society of America*, **144**(5), 2730–2750. DOI: 10.1121/1.5066448.
# Étude des liens acoustico-moteurs après cancer oral ou oropharyngé, via la réalisation d'un inventaire phonémique automatique des consonnes

Mathieu Balaguer¹,² Lucile Gelin¹,³ Clémence Devoucoux² Camille Galant⁴ Muriel Lalain⁴
Alain Ghio⁴ Jérôme Farinas¹ Julien Pinquier¹ Virginie Woisard²,⁵

(1) IRIT, Université de Toulouse, CNRS, Toulouse INP, UT3, Toulouse, France

(2) Hôpital Larrey, Toulouse, France

(3) Lalilo, Paris, France

(4) Aix-Marseille Université, CNRS, LPL, UMR 7309, Aix-en-Provence, France

(5) Laboratoire de NeuroPsychoLinguistique, UR 4156, Université de Toulouse, Toulouse, France

mathieu.balaguer@irit.fr

## RESUME

En cancérologie ORL, le lien entre anatomie et déficit de parole est étroit en raison de l'impact de la pathologie et de son traitement sur les structures anatomiques en jeu dans la production de parole. Pourtant, les corrélations entre scores moteurs et évaluation perceptive restent faibles. L'utilisation de systèmes automatiques dédiés à la reconnaissance de phonèmes pourrait permettre d'obtenir de nouveaux résultats. L'objectif est d'étudier les liens entre scores moteurs et production phonémique via un système de reconnaissance automatique de phonèmes appliqué à une tâche de production de pseudo-mots. Après réalisation d'un inventaire phonémique par sujet, le taux d'occlusives reconnues est significativement plus faible en cas d'atteinte des structures. Certains mécanismes de compensation ont également pu être mis en évidence, notamment au niveau de la production de consonnes labiodentales, plus élevée en cas d'atteinte de la langue ou de la mâchoire.

## ABSTRACT

**Analysis of acoustico-motor links after oral or oropharyngeal cancer, using an automatic phonemic inventory of consonants**

In ENT oncology, the link between anatomy and speech deficit is close, due to the impact of the pathology and its treatment on the anatomical structures involved in speech production. However, correlations between motor scores and perceptual evaluation remain weak. The use of automatic systems dedicated to phoneme recognition could lead to new results. The objective is to analyze the links between motor scores and phonemic production using an automatic phoneme recognition system applied to a pseudoword production task. After completing a phonemic inventory for each subject, the rate of occlusives recognized was significantly lower in cases of structural impairment. Compensatory mechanisms were also demonstrated, notably in the production of labiodental consonants, which was higher in cases of tongue or jaw damage.

**MOTS-CLES** : trouble de la parole, cancérologie, évaluation automatique, phonèmes, capacités motrices

**KEYWORDS** : speech disorder, oncology, automatic assessment, phonemes, motor skills

<figure><img src="image_40.png" /></figure>
# 1 Contexte

Les cancers de la cavité buccale ou de l'oropharynx sont des cancers fréquents (Lapôtre-ledoux et al., 2023). La question de la vie après cancer est essentielle, et il convient de s'intéresser aux fonctions des voies aérodigestives supérieures (VADS) particulièrement dégradées en raison de la localisation de ces cancers. La fonction de parole devient ainsi un sujet crucial en termes de réhabilitation, à cause de l'impact fonctionnel et psychosocial qu'un trouble de parole va avoir sur les personnes (Mlynarek et al., 2008; Reich, 2009).

Les évaluations cliniques de la parole sont majoritairement menées par les orthophonistes (Pommée et al., 2022). En cancérologie des VADS, peu d'outils d'évaluation existent à l'heure actuelle (Ghio et al., 2016), alors qu'il s'agit pourtant du symptôme le plus fréquent (Plisson et al., 2017). L'évaluation clinique de la parole comprend habituellement deux volets. La partie analytique consiste en un bilan des structures anatomiques en vue de mettre en évidence un déficit d'amplitude, de tonus, de force motrice ou de sensibilité. La partie fonctionnelle concerne l'évaluation perceptive pour de caractériser, sur des tâches de production de parole, les répercussions des déficits moteurs ou sensitifs sur les productions orales (Middag, 2013). Ici, l'intelligibilité est particulièrement ciblée dans les évaluations. Elle est définie comme la capacité à « reconstruire un énoncé au niveau acoustico-phonétique » (Pommée et al., 2021), en d'autres termes à décoder un signal de parole en éléments phonémiques sans mise en œuvre des mécanismes cognitifs de restauration du message par l'auditeur (Ghio et al., 2018).

Ainsi, même si en cancérologie le lien entre anatomie et déficit fonctionnel sur la parole est étroit, la corrélation reste faible entre les scores fonctionnels d'intelligibilité attribués perceptivement et les scores analytiques issus du bilan moteur (Lazarus et al., 2013). Les avancées récentes dans le champ de l'analyse automatique de la parole peuvent désormais permettre d'envisager une application clinique de ces techniques, en palliant certaines caractéristiques inhérentes à l'évaluation perceptive (notamment la variabilité inter et intra-juges (Fex, 1992; Middag et al., 2008)). Des études ont par exemple déjà montré l'intérêt d'une mesure de performance de systèmes de reconnaissance automatique de parole, comme mesure d'intelligibilité (Christensen et al., 2012; Doyle et al., 1997; Maier et al., 2010). L'utilisation de systèmes de reconnaissance automatique de phonèmes pour dresser un inventaire des phonèmes reconnus peut permettre ainsi d'ouvrir de nouvelles perspectives dans l'étude du lien entre parole et scores moteurs.

L'objectif est d'étudier les liens entre scores moteurs (cavité buccale, oropharynx) et production phonémique (via la constitution d'un inventaire phonémique des consonnes par utilisation de système de reconnaissance automatique de phonèmes) après traitement d'un cancer de la cavité buccale ou de l'oropharynx.

# 2 Matériel et méthodes

## 2.1 Schéma d'étude

Cette étude prospective observationnelle s'inscrit dans le cadre du projet PHRIP DAPADAF-E (PHRIP-19-0004). Toutes les procédures ont été effectuées conformément à la déclaration d'Helsinki de 1964 et à ses amendements ou à des normes éthiques comparables. Chaque sujet a été informé à l'avance de l'objectif de l'étude et a reçu une fiche d'information. Les sujets ont confirmé leur non-opposition à la collecte de données et l'utilisation de la recherche dans le projet DAPADAF-E. Les fichiers audio enregistrés ont été récupérés via le GIS Parolothèque, de même que les données individuelles, cliniques et de traitement.
## 2.2 Population

Les patients venant en consultation ORL ou dans un service de soins de suite et de réadaptation ORL entre novembre 2021 et décembre 2023, sur les sites d'inclusion des Hôpitaux de Toulouse ou de l'Assistance Publique – Hôpitaux de Marseille, ont été invités à participer à cette étude.

Les critères d'inclusion étaient : être majeurs, francophones natifs, avoir été traités pour un cancer de la cavité buccale ou de l'oropharynx (chirurgie et/ou radiothérapie et/ou chimiothérapie) et être en rémission clinique depuis au moins 6 mois (caractère chronique et stable des troubles). N'ont pas été inclus les patients dont la fatigabilité ne permet pas la passation des épreuves, ou présentant une pathologie associée potentiellement responsable de trouble de parole (bégaiement, trouble neurologique...).

## 2.3 Corpus

### 2.3.1 Scores analytiques moteurs

En raison de l'absence de test exhaustif et validé en cancérologie ORL, le protocole DAPADAF-E s'appuie sur le bilan clinique issu de la BECD (Batterie d'Évaluation Clinique de la Dysarthrie, (Auzou & Rolland-Monnoury, 2019)), et particulièrement sur l'épreuve d'examen moteur.

Ainsi, pour chaque structure anatomique d'intérêt (lèvres, joues, mâchoire, langue et vélopharynx), deux scores sont obtenus : un score de synthèse analytique (correspondant aux épreuves du domaine non-verbal : tâches motrices hors production de parole) et un score de synthèse fonctionnel (domaine verbal : tâches associées à une production de parole). Chacun de ces scores est coté sur le principe d'une échelle de Likert à 5 niveaux : 0 correspondant à l'absence d'anomalie, 1 à une anomalie discrète ou rare, 2 à une anomalie modérée ou occasionnelle, 3 à une anomalie marquée ou fréquente et 4 à une anomalie sévère ou quasi permanente. Pour les besoins de cette étude et pour obtenir un nombre plus important de sujets dans chaque classe, les scores moteurs (analytiques et fonctionnels) ont été dichotomisés, de façon à obtenir deux valeurs pour chacun : « *pas d'anomalie, anomalie discrète ou modérée* » (0 : scores entre 0 et 2) et « *anomalie marquée, sévère ou quasi permanente* » (1 : scores 3 ou 4).

### 2.3.2 Enregistrements de parole

Les sujets ont été enregistrés sur une tâche de production de pseudo-mots respectant les règles phonotactiques du français (par exemple : *crerquin*, *ruflu...*). Ils étaient installés devant un écran affichant le pseudo-mot à produire et portaient un casque dans lequel une voix de synthèse prononçait le pseudo-mot, de façon à ce qu'ils aient accès à la double modalité lecture et répétition pour produire le pseudo-mot cible. Chaque sujet a été enregistré sur deux listes de 52 pseudo-mots, différentes entre elles et pour chaque patient. Ces listes ont été mises au point par l'équipe du Laboratoire Parole et Langage d'Aix-en-Provence (Ghio et al., 2022, 2018).

Les enregistrements ont été réalisés au moyen d'un micro Neumann TLM 102, protégé par une bonnette et un filtre anti pop, et connecté à une interface audio RME Fireface UC. L'interface était ensuite reliée à un ordinateur portable sur lequel le logiciel LiveIntel (également mis au point par le LPL) était installé et qui gérait l'enregistrement de la tâche. Les sujets étaient enregistrés dans une
salle de consultation calme. Les enregistrements étaient au format 48 kHz 16 bits, puis ils ont été
rééchantillonnés en 16 kHz car il s'agit de l'usage dans le traitement automatique.

## 2.4 Analyse automatique de la parole

Chaque fichier, comprenant la production de 52 pseudo-mots, a été ensuite segmenté par le détecteur d'activité vocale WebRTC-VAD<fnref n="1" />, afin d'obtenir des segments de parole courts (de durée inférieure à 25 secondes) pouvant être gérés par le système de reconnaissance de phonèmes.

Les fichiers segmentés ont ensuite été donnés à un système de reconnaissance automatique de phonèmes de type Transformer CTC, développé par les auteurs de cette étude et entraîné sur le corpus francophone CommonVoice, ici constitué de 148,9 heures d'enregistrements de parole lue par 1 276 locuteurs (avec 420 secondes d'enregistrements par locuteur en moyenne). Le décodage a abouti à la reconnaissance de la séquence des phonèmes produits, parmi 33 possibilités pour chaque phonème sur lequel le Transformer CTC a été entraîné :

- 18 consonnes : /p/, /t/, /k/, /b/, /d/, /g/, /f/, /s/, /ʃ/, /v/, /z/, /ʒ/, /m/, /n/, /ŋ/, /ŋ/, /l/, /r/;

- 12 voyelles, dont /ɑ/, /ɛ/, /e/, /o/, /ɔ/, /i/, /ɔ/, /y/, /u/, et les archiphonèmes /A/ (/ɑ/, /ɑ/), /Œ/ (/ɔ/, /œ/, /o/) et /È/ (/ɛ/, /œ/);

- et trois semi-consonnes : /j/, /w/, /u/.

Puis, sur l'ensemble des deux listes produites par sujet (deux fois 52 soit 104 pseudo-mots par sujet), un inventaire phonémique ciblé sur les consonnes a été dressé afin d'obtenir le nombre total d'occurrences pour chaque phonème.

Enfin, dix indicateurs ont été calculés suite à cet inventaire phonémique, concernant les taux de :

- Consonnes reconnues (csn) : nombre total de consonnes / nombre total de phonèmes ;

- Occlusives reconnues (occ) : nombre total d'occlusives / nombre total de consonnes ;

- Bilabiales (bilabial) : nombre total de consonnes bilabiales / nombre total de consonnes ;

- Labiodentales (labiodent) : nombre total de consonnes labiodentales / nombre total de consonnes ;

- Alvéolaires (bilabial) : nombre total de consonnes alvéolaires / nombre total de consonnes ;

- Post-alvéolaires (postalv) : nombre total de consonnes post-alvéolaires / nombre total de consonnes ;

- Palatales (palatal) : nombre total de consonnes palatales / nombre total de consonnes ;

- Vélaires (velaire) : nombre total de consonnes vélaires / nombre total de consonnes ;

- Sourdes (sourde) : nombre total de consonnes sourdes / nombre total de consonnes ;

- Consonnes orales (corale) : nombre total de consonnes orales / nombre total de consonnes.

## 2.5 Analyses statistiques

Les analyses statistiques ont été réalisées au moyen du logiciel Stata 16.1 (StataCorp. 2019. Stata statistical software: release 16. College Station, TX: StataCorp LLC). Un seuil de significativité à 5 % a été choisi pour l'ensemble des analyses. En raison du caractère non-paramétrique des données, le test de Mann-Whitney a été réalisé pour tester l'absence de différence significative de proportion des différentes catégories phonémiques selon le niveau d'anomalie motrice.

<footnote n="1">¹ Site : https://github.com/wiseman/py-webrtcvad, consulté le 02/02/2024</footnote>
# 3 Résultats

## 3.1 Description de la population

Soixante-dix-sept sujets ont été inclus dans cette étude, majoritairement de sexe masculin (50/77, 65 %). La proportion de sujets avec tumeurs de petit et de grand volume est équilibrée (T1+T2 = 32/64, 50 % ; T3+T4 = 32/64, 50 % ; 13 données manquantes). La majorité des localisations tumorales se situent dans la cavité buccale (langue : 38, plancher buccal : 18, bouche : 14, gencives : 5 et glandes salivaires : 1) avec certains patients présentant plusieurs sites tumoraux. 30 sujets ont présenté un cancer de l'oropharynx. 63 sujets ont été traités par chirurgie (82 %), 66 (86 %) par radiothérapie et 41 (53 %) par chimiothérapie.

## 3.2 Reconnaissance automatique phonémique

Dans un premier temps, le nombre de phonèmes différents reconnus, sans tenir compte de leur nombre d'occurrences, a été étudié. En moyenne, 28,9 phonèmes différents sont reconnus sur les 32 phonèmes cibles (écart-type = 4,6, voir Figure 1). Un sujet n'a que trois phonèmes différents reconnus au cours de la production des 104 pseudo-mots attendus.

<figure><img src="image_41.png" /><figcaption>FIGURE 1 : Distribution du nombre de phonèmes différents reconnus pour chaque sujet par le système de reconnaissance automatique</figcaption></figure>

Puis, nous avons dressé un inventaire phonémique global par sujet, en comptant toutes les occurrences de tous les phonèmes (cf. Table 1). Nous retrouvons alors une légère prépondérance des consonnes reconnues dans la parole des sujets par rapport aux voyelles, avec un taux moyen de consonnes à 50,9 % (la proportion de consonnes en français en population générale étant de 56,6 %, Wioland, 1991).

## 3.3 Liens articulatoires et moteurs

La table 2 représente les taux des différentes classes phonémiques significativement différents entre les sujets ne présentant pas d'anomalie (anomalie absente ou faible) et ceux présentant une anomalie lors de l'examen moteur (cf. section 2.3.1). Les classes « taux de consonnes bilabiales », « taux de consonnes alvéolaires », « taux de consonnes palatales » et « taux de consonnes orales » ne sont pas représentées, car elles ne montrent aucune différence significative, quelle que soit la localisation anatomique testée.
<table><caption>TABLE 1 : Tableau de distribution des taux de consonnes reconnues</caption><thead><tr><th>Consonnes</th><th>Moyenne (ET)</th><th>Minimum ; Maximum</th></tr></thead><tbody><tr><td>csn</td><td>50,87 % (3,19)</td><td>33,33 % ; 60,98 %</td></tr><tr><td>occ</td><td>19,34 % (8,43)</td><td>0,00 % ; 40,00 %</td></tr><tr><td>bilabial</td><td>12,74 % (4,00)</td><td>0,00 % ; 24,00 %</td></tr><tr><td>labiodent</td><td>14,94 % (5,52)</td><td>0,00 % ; 32,47 %</td></tr><tr><td>alveol</td><td>38,50 % (9,44)</td><td>18,18 % ; 100,00 %</td></tr><tr><td>postalv</td><td>5,66 % (3,11)</td><td>0,00 % ; 13,53 %</td></tr><tr><td>palatal</td><td>21,75 % (5,67)</td><td>0,00 % ; 47,37 %</td></tr><tr><td>velaire</td><td>6,41 % (3,09)</td><td>0,00 % ; 13,01 %</td></tr><tr><td>sourde</td><td>24,60 % (8,07)</td><td>0,00 % ; 38,32 %</td></tr><tr><td>corale</td><td>86,68 % (5,87)</td><td>69,94 % ; 100,00 %</td></tr></tbody></table>

<table><tbody><tr><td rowspan="3">Lèvres</td><td>Score A (p)</td><td>csn</td><td>occ</td><td>labiodent</td><td>postalv</td><td>velaire</td><td>sourde</td></tr><tr><td>0</td><td>N.S.</td><td>0,03</td><td>0,01</td><td>0,02</td><td>N.S.</td><td>0,049</td></tr><tr><td>1</td><td>N.S.</td><td>20,17%</td><td><strong>14,29%</strong></td><td>6,03%</td><td>N.S.</td><td>25,36%</td></tr><tr><td rowspan="3">Joues</td><td>Score F (p)</td><td>N.S.</td><td>0,003</td><td>0,01</td><td>0,02</td><td>N.S.</td><td>N.S.</td></tr><tr><td>0</td><td>N.S.</td><td>20,15%</td><td><strong>14,30%</strong></td><td>5,99%</td><td>N.S.</td><td>N.S.</td></tr><tr><td>1</td><td>N.S.</td><td><strong>13,25%</strong></td><td>19,78%</td><td><strong>3,24%</strong></td><td>N.S.</td><td>N.S.</td></tr><tr><td rowspan="3">Mâchoire</td><td>Score A (p)</td><td>N.S.</td><td>0,02</td><td>N.S.</td><td>N.S.</td><td>N.S.</td><td>0,001</td></tr><tr><td>0</td><td>N.S.</td><td>20,31%</td><td>N.S.</td><td>N.S.</td><td>N.S.</td><td>25,94%</td></tr><tr><td>1</td><td>N.S.</td><td><strong>14,58%</strong></td><td>N.S.</td><td>N.S.</td><td>N.S.</td><td><strong>17,99%</strong></td></tr><tr><td rowspan="3">Langue</td><td>Score F (p)</td><td>0,02</td><td>0,006</td><td>N.S.</td><td>N.S.</td><td>N.S.</td><td>0,0002</td></tr><tr><td>0</td><td>51,56%</td><td>21,74%</td><td>N.S.</td><td>N.S.</td><td>N.S.</td><td>27,44%</td></tr><tr><td>1</td><td><strong>49,85%</strong></td><td><strong>15,78%</strong></td><td>N.S.</td><td>N.S.</td><td>N.S.</td><td><strong>20,40%</strong></td></tr><tr><td rowspan="3">Vélopharynx</td><td>Score A (p)</td><td>N.S.</td><td>N.S.</td><td>N.S.</td><td>0,03</td><td>N.S.</td><td>N.S.</td></tr><tr><td>0</td><td>N.S.</td><td>N.S.</td><td>N.S.</td><td>6,02%</td><td>N.S.</td><td>N.S.</td></tr><tr><td>1</td><td>N.S.</td><td>N.S.</td><td>N.S.</td><td><strong>3,73%</strong></td><td>N.S.</td><td>N.S.</td></tr><tr><td rowspan="3">Score F (p)</td><td>0,004</td><td>0,0001</td><td>0,0002</td><td>N.S.</td><td>0,02</td><td>N.S.</td><td>0,0001</td></tr><tr><td>0</td><td>51,30%</td><td>24,29%</td><td><strong>12,20%</strong></td><td>7,46%</td><td>N.S.</td><td>28,98%</td></tr><tr><td>1</td><td><strong>50,60%</strong></td><td><strong>16,19%</strong></td><td>16,68%</td><td><strong>5,73%</strong></td><td>N.S.</td><td><strong>21,80%</strong></td></tr><tr><td rowspan="3">Score A (p)</td><td>0,001</td><td>0,0002</td><td>0,005</td><td>N.S.</td><td>0,04</td><td>N.S.</td><td>0,001</td></tr><tr><td>0</td><td>51,41%</td><td>23,15%</td><td><strong>12,94%</strong></td><td>7,18%</td><td>N.S.</td><td>27,94%</td></tr><tr><td>1</td><td><strong>50,46%</strong></td><td><strong>16,48%</strong></td><td>16,44%</td><td><strong>5,83%</strong></td><td>N.S.</td><td><strong>22,10%</strong></td></tr><tr><td rowspan="3">Score F (p)</td><td>0,0475</td><td>0,01</td><td>N.S.</td><td>N.S.</td><td>N.S.</td><td>N.S.</td><td>0,03</td></tr><tr><td>0</td><td>51,31%</td><td>21,06%</td><td>N.S.</td><td>N.S.</td><td>N.S.</td><td>26,07%</td></tr><tr><td>1</td><td><strong>50,01%</strong></td><td><strong>15,97%</strong></td><td>N.S.</td><td>N.S.</td><td>N.S.</td><td><strong>21,72%</strong></td></tr><tr><td rowspan="3">Score A (p)</td><td>0,01</td><td>N.S.</td><td>N.S.</td><td>N.S.</td><td>N.S.</td><td>N.S.</td><td>0,01</td></tr><tr><td>0</td><td>N.S.</td><td>N.S.</td><td>N.S.</td><td>N.S.</td><td>N.S.</td><td>26,46%</td></tr><tr><td>1</td><td>N.S.</td><td>N.S.</td><td>N.S.</td><td>N.S.</td><td>N.S.</td><td><strong>20,95%</strong></td></tr></tbody></table>

<caption>TABLE 2 : Moyenne des taux de consonnes reconnues par sujet, selon les scores moteurs analytiques et fonctionnels et par segment anatomique testé</caption>

<footnote>* 0 = pas d'anomalie, anomalie discrète ou modérée ; 1 = anomalie marquée, sévère ou quasi permanente ; N.S. : non significatif</footnote>

<footnote>* Score A = score de synthèse analytique ; Score F = score de synthèse fonctionnel. Le p correspond à la p-value du test de Mann-Whitney (entre anomalie absente ou faible et marquée).</footnote>

<footnote>Seules les proportions significativement différentes selon l'anomalie sont indiquées, avec le taux le plus faible indiqué en gras.</footnote>
Le taux de consonnes est ainsi significativement plus faible en cas d'atteinte de la langue, de même que le taux d'occlusives. Ce taux d'occlusives est également significativement plus faible en cas d'atteinte analytique ou fonctionnelle des joues et des lèvres. Le taux de consonnes sourdes est également moindre en cas d'atteinte analytique des lèvres, et d'atteinte analytique et fonctionnelle des joues, de la langue et du vélopharynx.

Dans le détail des catégories, aucune différence significative de proportion de taux de consonnes post-alvéolaires n'est retrouvée au niveau de la langue (en fonctionnel : anomalie absente ou faible à 5,56 % ; anomalie marquée à 5,74 %, p=0,95), alors que cette différence est retrouvée au niveau de la mâchoire sur la même classe phonémique (en fonctionnel : anomalie absente ou peu marquée à 6,03 % ; anomalie marquée à 3,45 %, p=0,02). Le taux de consonnes vélaires n'est significativement différent qu'en cas d'atteinte de la langue, avec un taux significativement plus important en cas d'absence d'anomalie. Enfin, en cas d'atteinte de la mâchoire, des lèvres et de la langue, le taux de consonnes labiodentales reconnues devient plus élevé.

# 4 Discussion

## 4.1 Résultats principaux

Cette étude montre l'effet que peut avoir une atteinte motrice, analytique ou fonctionnelle, sur la qualité de la production phonémique de la parole.

Les anomalies linguales décelées lors du bilan analytique sont ainsi liées à un taux plus faible de consonnes reconnues par un système de reconnaissance phonémique, d'occlusives, de postalvéolaires et de consonnes sourdes. Ces éléments sont cohérents avec l'altération des structures anatomiques en jeu dans la production de ce type de phonèmes. Seul le taux de consonnes post-alvéolaires reconnues n'est pas significativement associé à une altération de la langue, probablement lié au fait que les consonnes post-alvéolaires sont majoritairement des fricatives ( /ʃ/ , /ʒ/ ) et que le déficit est davantage lié à une atteinte de la mâchoire que l'on retrouve dans nos résultats. Enfin, une atteinte de la langue est également significativement associée à un taux plus important de consonnes labiodentales reconnues, pouvant être lié à un mécanisme de compensation où l'occlusion est délocalisée du niveau lingual (occlusion dégradée ou impossible) au niveau labio-dental.

Contrairement à De Bruijn et al., 2012, nous ne retrouvons pas dans notre corpus de différence significative de taux de consonnes alvéolaires selon l'altération motrice, et ce quel que soit le segment anatomique. Ceci pourrait être dû à la composition de notre échantillon qui présente très majoritairement une atteinte orale (76 sujets, 30 sujets ayant une atteinte de l'oropharynx avec des sujets présentant une atteinte mixte orale et oropharyngée), ce qui ne permet pas de mettre en évidence ce type de dégradation.

De façon plus globale, nous retrouvons un taux d'occlusives significativement plus faible en cas d'anomalie analytique ou fonctionnelle au niveau des lèvres, des joues, de la langue et du vélopharynx (analytique seulement). En raison de la localisation de la pathologie tumorale et du traitement subi, majoritairement chirurgical (63/77, 82 %), le manque de mobilité des segments anatomiques combiné au défect structurel limite la capacité d'occlusion des sujets qui ont alors tendance à produire des approximantes, reconnues comme fricatives par notre système de reconnaissance phonémique (taux d'occlusives reconnues plus faible). Le rôle du défect est également retrouvé au niveau des anomalies analytiques et fonctionnelles labiales dans une population pour laquelle aucun sujet n'a présenté de localisation tumorale au niveau des lèvres. Ainsi,
les différences de taux d'occlusives, de labiodentales, postalvéolaires et sourdes retrouvées peuvent être liées à l'atteinte labiale secondaire relative aux conséquences du traitement chirurgical et radiothérapique, pouvant réduire la capacité de contention labiale ou justifier la mise en place d'une compensation plus locale labiodentale.

## 4.2 Limites de l'étude

Notre étude s'intéresse aux liens acoustico-moteurs après cancer oral ou oropharyngé, via la réalisation d'un inventaire phonémique automatique des consonnes. Toutefois, les recrutements étant encore en cours à l'heure de publication de ce papier, les résultats présentés ici ne peuvent être considérés que comme des tendances et non des résultats définitifs. Un recrutement d'un plus grand nombre de sujets permettra également de s'intéresser de façon plus précise aux liens pouvant exister entre la localisation de la pathologie, ses impacts analytiques et fonctionnels et ses répercussions sur la production de parole, notamment au niveau phonémique. Il est en effet possible que les résultats obtenus montrent des tendances différentes selon la région anatomique en jeu dans le cancer ou son traitement, notamment entre la zone orale et la zone oropharyngée.

De plus, notre étude s'est intéressée à l'impact du cancer oral ou oropharyngé sur les consonnes. L'observation du comportement d'un système de reconnaissance phonémique au niveau des voyelles pourrait ainsi permettre de compléter l'analyse, notamment via les effets de modification des volumes intra-oraux induits principalement par le traitement chirurgical.

## 4.3 Perspectives

L'étude des liens acoustico-moteurs est importante en cancérologie ORL. Un lien entre la production de parole et le score moteur permettrait de simplifier et d'optimiser les évaluations cliniques chez des patients souvent fatigables, en ne proposant aux sujets que de réaliser une tâche de répétition de pseudo-mots. C'est par une analyse automatique des enregistrements de ces productions que seraient déterminées à la fois les unités linguistiques déficitaires, mais également les altérations dynamiques habituellement retrouvées lors d'un bilan analytique orthophonique complet.

Ce type d'analyse permettrait également de fournir aux cliniciens des éléments de compréhension plus fins des mécanismes en jeu dans les liens articulatoires et acoustiques de bas niveau de la parole. Les stratégies thérapeutiques de patients seront améliorées, grâce à une combinaison d'approches ciblant l'intelligibilité de la parole et d'autres plus écologiques ciblant la communication et la compréhensibilité.

# 5 Conclusion

L'utilisation de systèmes de reconnaissance automatique de phonèmes aboutissant à la réalisation d'un inventaire phonémique par sujet permet de mettre en évidence une influence de la pathologie cancérologique orale ou oropharyngée et de ses traitements sur la reconnaissance de phonèmes. Notamment, l'altération motrice de la langue a un impact large sur la reconnaissance des consonnes (occlusives et vélaires notamment), et certains mécanismes de compensation ont pu être retrouvés (avec des taux de reconnaissance de consonnes labiodentales plus élevés en cas d'atteinte des lèvres, de la mâchoire ou de la langue). Cette étude doit donc se poursuivre par une analyse de la reconnaissance automatique des voyelles, et la mise en perspective de ces résultats avec les données cliniques et de traitement des sujets.
# Remerciements

Cette étude a bénéficié d'un financement du ministère de la Santé (PHRIP, 2019, PHRIP-19-0004).

# Références

AUZOU, P., & ROLLAND-MONNOURY, V. (2019). BECD: Batterie d'Évaluation Clinique de la Dysarthrie (Ortho Édit).

CHRISTENSEN, H., CUNNINGHAM, S., FOX, C., GREEN, P., & HAIN, T. (2012). A comparative study of adaptive, automatic recognition of disordered speech. *Interspeech 2012, 2*, 1776–1779. https://doi.org/10.21437/Interspeech.2012-484

DE BRUIJN, M. J., BOSCH, L. TEN, KUIK, D. J., WITTE, B. I., LANGENDIJK, J. A., RENE LEEMANS, C., & VERDONCK-DE LEEUW, I. M. (2012). Acoustic-phonetic and artificial neural network feature analysis to assess speech quality of stop consonants produced by patients treated for oral or oropharyngeal cancer. *Speech Communication*, 54(5), 632–640. https://doi.org/10.1016/j.specom.2011.06.005

DOYLE, P. C., LEEPER, H. A., KOTLER, A. L., THOMAS-STONELL, N., O'NEILL, C., DYLKE, M. C., & ROLLS, K. (1997). Dysarthric speech: a comparison of computerized speech recognition and listener intelligibility. *Journal of Rehabilitation Research and Development*, 34(3), 309–316. http://www.ncbi.nlm.nih.gov/pubmed/9239624

FEX, S. (1992). Perceptual evaluation. *Journal of Voice*, 6(2), 155–158.

GHIO, A., GIUSTI, L., BLANC, E., PINTO, S., LALAIN, M., ROBERT, D., FREDQUILLE, C., & WOISARD, V. (2016). Quels tests d'intelligibilité pour évaluer les troubles de production de la parole ? *Journées d'Étude Sur La Parole*, 589–596. https://hal.archives-ouvertes.fr/hal-01372037

GHIO, A., LALAIN, M., GIUSTI, L., POUCHOULIN, G., ROBERT, D., REBOURG, M., FREDQUILLE, C., LAARIDH, I., & WOISARD, V. (2018). Une mesure d'intelligibilité par décodage acoustico-phonétique de pseudo-mots dans le cas de parole atypique. *XXXIe Journées d'Études Sur La Parole*, 285–293. https://doi.org/10.21437/JEP.2018-33

GHIO, A., LALAIN, M., REBOURG, M., MARCZYK, A., FREDQUILLE, C., & WOISARD, V. (2022). Validation of an Intelligibility Test Based on Acoustic-Phonetic Decoding of Pseudo-Words: Overall Results from Patients with Cancer of the Oral Cavity and the Oropharynx. *Folia Phoniatrica et Logopaedica*, 74(3), 209–222. https://doi.org/10.1159/000519427

LAPOTRE-LEDOUX, B., REMONTET, L., UHRY, Z., DANTONY, E., GROSCLAUDE, P., MOLINIE, F., WORONOFF, A.-S., LECOFFRE-BERNARD, C., LAFAY, L., DEFOSSEZ, G., D'ALMEIDA, T., & FRANCIM, R. français des registres de cancers. (2023). Incidence Des Principaux Cancers En France Métropolitaine En 2023 Et Tendances Depuis 1990 / Main Cancers Incidence in Metropolitan France in 2023 and Trends Since 1990. *Bulletin Épidémiologique Hedomadaire*, 12–13, 188–204. http://beh.santepubliquefrance.fr/beh/2023/12-13/2023_12-13_1.html

LAZARUS, C. L., HUSAINI, H., ANAND, S. M., JACOBSON, A. S., MOJICA, J. K., BUCHBINDER, D., & URKEN, M. L. (2013). Tongue Strength as a Predictor of Functional Outcomes and Quality of Life after Tongue Cancer Surgery. *Annals of Otology, Rhinology & Laryngology*, 122(6), 386–397. https://doi.org/10.1177/000348941312200608

MAIER, A., HADERLEIN, T., STELZLE, F., NÖTH, E., NKENKE, E., ROSANOWSKI, F., SCHÜTZENBERGER, A., & SCHUSTER, M. (2010). Automatic Speech Recognition Systems for the Evaluation of Voice and Speech Disorders in Head and Neck Cancer. *EURASIP Journal on Audio, Speech, and Music Processing*, 2010(April 2014), 1–7. https://doi.org/10.1155/2010/926951

MIDDAG, C. (2013). Automatische analyse van pathologische spraak Automatic Analysis of Pathological Speech.
MIDDAG, C., VAN NUFFELEN, G., MARTENS, J. P., & DE BODT, M. (2008). Objective intelligibility assessment of pathological speakers. *Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH*, 1745–1748.

MLYNAREK, A., RIEGER, J., HARRIS, J., O'CONNELL, D., AL-QAHTANI, K., ANSARI, K., CHAU, J., & SEIKALY, H. (2008). Methods of functional outcomes assessment following treatment of oral and oropharyngeal cancer: review of the literature. *Journal of Otolaryngology - Head & Neck Surgery*, 37(1), 2–10. https://doi.org/10.2310/7070.2008.1001

PLISSON, L., PILLOT-LOISEAU, C., & CREVIER-BUCHMAN, L. (2017). Intelligibilité de la parole après le traitement d'un cancer de l'oropharynx : étude descriptive chez sept patients en pré-traitement et en post-traitement précoce. *7èmes Journées de Phonétique Clinique* (JPC7).

POMMEE, T., BALAGUER, M., MAUCLAIR, J., PINQUIER, J., & WOISARD, V. (2021). Intelligibility and comprehensibility: A Delphi consensus study. *International Journal of Language & Communication Disorders*, 1–44. https://doi.org/10.1111/1460-6984.12672

POMMEE, T., BALAGUER, M., MAUCLAIR, J., PINQUIER, J., & WOISARD, V. (2022). Assessment of adult speech disorders: current situation and needs in French-speaking clinical practice. *Logopedics Phoniatrics Vocology*, 47(2), 92–108. https://doi.org/10.1080/14015439.2020.1870245

REICH, M. (2009). Cancer et image du corps : identité, représentation et symbolique : Le corps retrouvé (French). *Cancer and Body Image : Identity, Representation* (English), 85(3), 247–254. https://doi.org/10.3917/inpsy.8503.0247

WIOLAND, F. (1991). *Prononcer les mots du français – Des sons et des rythmes*. Hachette. ISBN : 2-01-017482-8
# Étude en temps réel de la fusion des /a/ ~ /ɑ/ en français depuis 1925

Juliusz Cecelewski¹, Cédric Gendrot¹, Martine Adda-Decker¹, Philippe Boula de Mareüil²

(1) Laboratoire de Phonétique et Phonologie (CNRS, U. Sorbonne-Nouvelle), 4 rue des Irlandais, 75005 Paris, France

(2) Laboratoire Interdisciplinaire des Sciences du Numérique (CNRS, Paris-Saclay), rue Raimond Castaing bâtiment 650, 91190 Gif-sur-Yvette, France
[juliusz.cecelewski@sorbonne-nouvelle.fr](mailto:juliusz.cecelewski@sorbonne-nouvelle.fr), [cedric.gendrot@sorbonne-nouvelle.fr](mailto:cedric.gendrot@sorbonne-nouvelle.fr), [martine.adda-decker@sorbonne-nouvelle.fr](mailto:martine.adda-decker@sorbonne-nouvelle.fr), [philippe.boula.de.mareuil@limsi.fr](mailto:philippe.boula.de.mareuil@limsi.fr)

## RESUME

Cette étude explore la variation diachronique de la réalisation des voyelles /a/ ~ /ɑ/ du français en position finale de mot dans la parole déclamatoire/journalistique de 1925 à 2023. Nos données comprennent deux corpus préexistants – le corpus d’archives INA (1940–1997) et le corpus ESTER (2000–2004) – ainsi que deux nouveaux corpus composés d’enregistrements issus des Archives de la Parole d’Hubert Pernot (1925–1929), de Radio France et de YouTube (2020–2023).

Nos résultats indiquent une postériorisation du /a/ vers une position plus centrale et, dans une moindre mesure, une antériorisation du /ɑ/ , qui ont abouti à la neutralisation et la fusion acoustique des deux phonèmes au cours du XXᵉ siècle. Les résultats sont discutés à la lumière de l’évolution globale du système des voyelles à double timbre en français.

## ABSTRACT

**Real-time study of the fusion of vowels /a/~/ɑ/ in French since 1925.**
This study explores the diachronic variation in the realization of French vowels /a/ ~ /ɑ/ in final word positions in declamatory/journalistic speech from 1925 to 2023. Our corpora include two pre-existing corpora - the INA archive corpus (1940–1997) and the ESTER corpus (2000–2004) - as well as two new corpora consisting of recordings from Hubert Pernot’s Archives de la Parole (1925–1929), from Radio France and YouTube (2020–2023).

Our findings indicate a backing of /a/ towards a more central position and, to a lesser extent, a fronting of /ɑ/, leading to the neutralization and acoustic merger of these two phonemes over the course of the 20th century. The results are discussed in light of the overall evolution of the system of two-quality vowels in French.

**MOTS-CLES** : phonétique diachronique, phonologie du français, /a/ postérieur

**KEYWORDS** : diachronic phonetics, French phonology, back /a/

## 1 Introduction

Les traités de prononciation, de même que de nombreux ouvrages didactiques font état, traditionnellement, de deux voyelles A à valeur distinctive en français : un /a/ *antérieur* et un /ɑ/ *postérieur* ou *grave*, ce dernier étant « produit par un résonateur dont le volume est plus grand, ou l'orifice plus petit » (Rousselot & Laclotte, 1902). À en croire les témoignages impressionnistes des grammairiens d'époques antérieures, un timbre spécifique de /ɑ/ n'apparaît pas avant le XVIIᵉ siècle. Pour ces auteurs, la prononciation du A français n'était « point beaucoup différente de celle des Latins » (Estienne, 1557). C'est au XVIIᵉ siècle que remontent les premiers témoignages admettant que l'on « prononce différemment *male* une espece de coffre, & *mâle mafculus* » (Lamy, 1688). Même si, encore au XVIIIᵉ siècle, il est des grammairiens qui soutiennent, à propos de l'accent

<figure><img src="image_42.png" /></figure>
circonflexe, qu'il « ne change point le fon de l'a, il ne fert qu'à le rendre long » (De La Touche, 1730) ; c'est dès cette époque qu'une différence de timbre aura été définitivement reconnue et caractérisée en termes articulatoires (Boindin, 1753).

Les premiers traités phonétiques du XXe siècle restreindront la présence du /ɑ/ en français standard ou parisien à la syllabe finale de mot : *pâte* [pɑt], la syllabe pénultième ne pouvant accueillir qu'un timbre intermédiaire, dit « a moyen » : *pâté* [pɑ̃te]. À tous les /ɑ/ étymologiques au-delà de l'avant-dernière syllabe sera alors assigné le timbre antérieur : *pâtisserie* [patisχi] (Rousselot & Laclotte, 1902 ; Malmberg, 1969).

Dès les années 1930, des voix se feront pourtant entendre affirmant que les deux A étaient en passe de s'acheminer vers un seul timbre (Pernot, 1928 ; Fouché, 1935). Pour Delattre, ce rapprochement des timbres aurait été « l'effet d'une réaction contre la divergence profonde qui existe dans l'accent faubourien, où [a] est presque [æ] et [ɑ] presque [ɔ] » (Delattre, 1957). Quoi qu'il en soit, un rendement fonctionnel faible de cette opposition aura sans doute contribué à entamer la neutralisation (Léon, 1992).

Un changement en cours semble être corroboré par différents témoignages concernant un effet d'âge du locuteur sur la prononciation (Fouché, 1935). Dans la même lignée, les résultats d'une enquête de Walter (1977) ont confirmé que la répartition des deux phonèmes dans les unités lexicales, sensiblement différente d'un sujet à l'autre, n'était stable que chez les locuteurs les plus âgés. Se faisant plus rare dans un usage courant, le /ɑ/ est peu à peu devenu, dans la seconde moitié du siècle, un trait de distinction sociale, caractéristique d'une prononciation « mondaine » et « affectée » (Mettas, 1970), montrant la fonction sociale ambivalente de ce phonème.

Alors que la neutralisation de l'opposition /a, ɑ/ semble aujourd'hui incontestable, une documentation empirique manque pour caractériser acoustiquement le processus de fusion et son produit — le nouveau phonème unique /a/ — par rapport aux deux /a, ɑ/ qu'il a supplantés. S'inscrivant dans le cadre plus large du système de voyelles à double timbre — /e, ɛ/, /o, ɔ/ et /ø, œ/ — qui ont toutes connues des évolutions plus ou moins importantes au cours des XIXe et XXe siècles (Baraduc et al., 1989 ; Hansen & Juillard, 2011), la question qui doit également être soulevée est celle du positionnement de la fusion des deux A dans l'évolution globale du système vocalique du français.

À la lumière des descriptions antérieures, nous formulons l'hypothèse d'un rapprochement acoustique et, en conséquence, une fusion aboutissant à la perte de distinctivité entre /a/ et /ɑ/ au cours du XXe siècle. Plus précisément, nous nous attendons à observer un rehaussement progressif des valeurs de F2 des /a/, jusqu'à atteindre celles de F2 de /a/, parallèlement à une éventuelle centralisation de ce dernier dans la période étudiée. Pour tester cette hypothèse, nous examinerons ici les caractéristiques acoustiques des /a, ɑ/ en syllabe finale de mot dans un corpus d'archives de parole couvrant la période de 1925 à 2023.

# 2 Corpus et méthode

## 2.1. Corpus

### Corpus BnF 1925–1929

Le plus ancien des corpus utilisés est composé d'enregistrements effectués à la Sorbonne de 1924 à 1930, dirigés par Hubert Pernot, alors directeur des Archives de la Parole à l'Institut de Phonétique de l'Université de Paris. Il comprend 23 enregistrements de 3 minutes chacun, réalisés de 1925 à 1929 sur des disques 78 tours et numérisés par la Bibliothèque nationale de France (BnF). Les enregistrements de 11 locuteurs masculins délivrant des discours dans un style déclamatoire,
correspondent à un style d'expression orale hyperarticulé et soutenu. Le contenu des enregistrements inclut, entre autres, des souvenirs des carrières scientifiques ou politiques d'intellectuels de l'époque.

Les enregistrements ont été transcrits en utilisant le logiciel de reconnaissance Google Cloud Speech-to-Text API, puis corrigés manuellement et segmentés en phonèmes à l'aide de WebMAUS (Kisler et al., 2017). Malgré leur âge, la qualité des enregistrements était suffisamment satisfaisante pour garantir des mesures de formants robustes. La Figure 1 montre les exemples de spectres des /a, α/ et le trapèze des voyelles orales réalisées en 1927 par un locuteur masculin né en 1856.

<figure><img src="image_43.png" /><figcaption>FIGURE 1 : À gauche : spectres comparés de /a/ (place) et /ɑ/ (passe) ; à droite : trapèze des voyelles orales (F1 et F2 en Hz) produites par un locuteur masculin, archives BnF, 1927.</figcaption></figure>

## Corpus INA 1940–1997

Le deuxième corpus, utilisé dans les études antérieures de Boula de Mareüil et al. (2011) et Cecelewski et al. (2023), contient 10 heures de discours réparties en 160 documents d'archives d'une durée allant de 20 sec. à 20 min., provenant de l'Institut National de l'Audiovisuel (INA) et incluant des émissions d'actualités (Barras et al., 2002). Boula de Mareüil et al. (2011) ont trouvé que l'impact potentiel du bruit de fond sur les mesures était faible. Les rares voix féminines présentes dans l'après-guerre ont été exclues de l'analyse. Les données ont été regroupé en quatre périodes : 1940–1959, 1960–1969, 1970–1979 et 1980–1997. Pour l'analyse acoustique, les documents d'archive avaient été segmentés en phonèmes à l'aide d'un système d'alignement automatique développé par le LISN Paris-Saclay (Gauvain et al., 2005), utilisant des modèles acoustiques indépendants du contexte et un dictionnaire de prononciation spécifiquement adapté au corpus.

## Corpus ESTER

Le troisième corpus, fréquemment utilisé au sein de la communauté phonétique francophone, ESTER (Galliano et al., 2006), représente près de 50 heures de discours journalistique, composé d'extraits d'émissions radiophoniques diffusées entre 1999 et 2004. Le corpus ESTER inclut des transcriptions orthographiques manuelles qui ont été phonétiquement transcrites et alignées automatiquement (Galliano et al., 2006). Comme les corpus BnF et INA contiennent (presque) exclusivement des enregistrements de locuteurs masculins, notre analyse se concentrera uniquement sur les productions sonores de sujets masculins.

## Corpus 2020–2023

Un dernier corpus a été inclus dans cette étude dans le but d'étendre l'analyse diachronique aux données les plus récentes. Les enregistrements, réalisés entre 2020 et 2023, d'une durée allant de 3 à 12 minutes, de six intervenants âgés de 25 à 35 ans, ont été collectés à partir d'une gamme de plateformes, incluant trois locuteurs de la chaîne publique française France Inter, deux de chaînes de communication scientifique sur YouTube et un d'une chaîne d'actualités TikTok. Le but de cette
sélection était de constituer un échantillon représentatif des styles de parole journalistique contemporains au sein du paysage médiatique français.

Ainsi, le choix d’intégrer de nouveaux contenus audiovisuels répond à l’évolution du style de parole des jeunes présentateurs, tendant vers un style plus spontané. Inversement, les contenus récents de radio présentent un style de parole plus proche des conventions médiatiques traditionnelles françaises, comme celles des corpus INA et ESTER avec un discours pré-écrit et plus contrôlé. Le protocole de transcription et d’alignement était identique à celui mis en place pour le corpus BnF.

## 2.2. Sélection des contextes pour l’analyse

Un premier filtrage a été effectué pour sélectionner parmi 130k contextes d’A (*antérieur* ou *postérieur*), 70 000 contextes d’A (*antérieur* ou *postérieur*) en position finale de mot, considérée comme la plus robuste pour l’opposition /a/ ~ /ɑ/ (Rousselot & Laclotte, 1902). Nous avons inclus les mots lexicaux monosyllabiques (ex. *las*), de même que les mots grammaticaux monosyllabiques postposés (ex. la particule de négation *pas*, contexte fréquent de /a/). En revanche, nous avons exclu les mots grammaticaux antéposés (ex. les déterminants *la*, *ma*, ainsi que les formes de l’auxiliaire *avoir* dans les temps composés, *a*, *as*, en tant qu’apparaissant systématiquement en position non-accentuée à l’intérieur d’une unité prosodique).

Les dictionnaires de prononciation utilisés par les systèmes d’alignement ne distinguant pas entre /a/ et /ɑ/, les occurrences de ce dernier ont été annotées selon un système de règles spécialement conçu pour cette étude, fondé sur les travaux de Grammont (1938), Delattre (1957), Fouché (1959), et Malmberg (1969). L’opposition /a/ ~ /ɑ/ étant décrite comme particulièrement variable et sujette à la variation individuelle, l’enjeu de notre sélection a consisté à d’identifier un nombre suffisamment élevé d’occurrences de /a/ dans chaque période pour obtenir des résultats robustes, tout en ciblant ces contextes où la probabilité de trouver un /a/ postérieur dans les données anciennes était maximale.

Ainsi, nous avons codé /a/ :

- sous l’orthographe <â>, sauf dans les terminaisons verbales -ât, -âtes, -âmes prononcées [a] depuis le XVIIIe siècle (Delattre, 1957);

- dans les formes en -as, -ase, -aze, -az, -asse : hélas, extase, topaze, gaz, entasse ;

- dans les groupes terminés par une liquide -afle, -avre, -able, -abre, -acle, -adre : il rafle, havre, sable, sabre, miracle, cadre ;

- dans certaines formes en -amne : condamne, en -oi : trois, croît ;

- dans la terminaison verbale -a : donna.

En revanche, nous avons codé /a/ les contextes faisant exception aux règles ci-dessus pour lesquels au moins deux des auteurs cités (Grammont, 1938; Delattre, 1957; Fouché, 1959; Malmberg, 1969) avaient classé la prononciation [ɑ] comme incertaine, notamment dans des formes en -as : bras, cadenas, compas, en -oi : froid, mois, en -affre : balafre, affres, en -asse : débarrasser, et en -asse, -asses, -assent : qu’il fasse.

La Table 1 présente le nombre de contextes de /a/ et /ɑ/ sélectionnés pour l’analyse, séparément dans chaque période :

<table><caption>TABLE 1 : Nombre de contextes de /a, /ɑ/ dans les corpus 1925–2023.</caption><thead><tr><th></th><th>1925-1929</th><th>1940-1959</th><th>1960-1979</th><th>1980-1997</th><th>2000-2004</th><th>2020-2023</th></tr></thead><tbody><tr><th>/a/</th><td>476</td><td>822</td><td>3373</td><td>2067</td><td>25825</td><td>1376</td></tr><tr><th>/ɑ/</th><td>34</td><td>89</td><td>394</td><td>268</td><td>3484</td><td>168</td></tr><tr><th>Total</th><td>510</td><td>911</td><td>3767</td><td>2335</td><td>29309</td><td>1544</td></tr></tbody></table>
## 2.3. Contrôle de l'entourage consonantique des /a/ et /ɑ/

La distribution, essentiellement étymologique, des phonèmes /a/ et /ɑ/ se caractérise, d'un côté, par un pourcentage faible des /ɑ/ par rapport aux /a/ et, de l'autre, par des contraintes contextuelles spécifiques de la présence d'un /ɑ/ dans un ensemble de terminaisons et de suffixes. Le contexte consonantique ayant un impact sur le timbre vocalique (Menzerath & Lacerda, 1933 ; Öhman, 1966 ; Krull, 1989), nous avons contrôlé la distribution de différentes catégories de consonnes en contexte gauche et droit des /a/ ~ /ɑ/ soumis à l'analyse. Nous avons codé séparément les segments coronaux /d, z, ʒ, t, s,ʃ, n, η l/, labiaux /b, v, p, f, m/, vélaires /g, k/, et la fricative uvulaire /v/. La Figure 2 présente la répartition des différentes classes de segments consonantiques en contexte gauche et droit, séparément pour chaque période étudiée.

<figure><img src="image_44.png" /><figcaption>FIGURE 2 : Répartition des segments consonantiques coronaux, labiaux, vélaires et /k/ en contexte gauche et droit, dans les corpus étudiés, par période.</figcaption></figure>

Ainsi, les catégories de consonnes se répartissent de manière différente selon qu'il s'agisse de /a/ ou de /ɑ/ en contexte gauche ou droit. Une proportion importante de segments labiaux en contexte gauche devant /ɑ/ s'explique principalement par la présence de la particule de négation *pas*, qui constitue le contexte le plus fréquent de /ɑ/. En revanche, en raison des contraintes distributionnelles spécifiques (voir § 2.2.), on note une quasi-absence de /k/ dans l'entourage phonétique immédiat de /ɑ/, aussi bien en contexte gauche que droit.

Outre ces particularités qui résultent de la distribution des /a/ et /ɑ/ dans le lexique français en parole continue, les contextes les plus fréquents sont, dans l'ordre décroissant, les segments coronaux > labiaux > /k/ > vélaires. Cependant, ce qui importe pour notre étude n'est pas tant la variation de la répartition des contextes entre les catégories (contexte gauche ou droit, /a/ ou /ɑ/) mais plutôt la variation de leur distribution dans les différentes tranches de temps à l'intérieur de chaque catégorie. Ainsi, la variation de la répartition des contextes entre les différentes périodes au sein de chaque catégorie ne dépasse pas 5 % pour les segments vélaires et le /k/, 10 % pour les segments coronaux et labiaux. Le résultat est une répartition suffisamment équilibrée pour isoler la variation diachronique de l'effet éventuel de la surfréquence d'un type particulier de segments consonantiques.

## 2.4. Mesures acoustiques

Les valeurs des deux premiers pics formantiques ont été extraites respectivement à ¹/₃, ½ et ²/₃ de la durée de la voyelle à l'aide de l'algorithme Burg implémenté dans Praat (Boersma & Weenink, 2016), puis moyennées pour obtenir une valeur unique. Un script a été utilisé pour automatiser l'extraction des formants, effectuée avec les paramètres ci-après : préemphase à 50 Hz, plage de détection inférieure à 4,9 kHz et fenêtre d'analyse de 25 ms.

Dans l'étape suivante, nous avons procédé à l'élimination des valeurs aberrantes dans chacune des vingt catégories résultant de la combinaison des deux phonèmes (/a, ɑ/) et de six intervalles de temps. Les valeurs extrêmes ont été éliminées dans chaque catégorie en utilisant les seuils des 5ᵉ et 95ᵉ
percentiles. Des tests de validation statistique ont été conduits dans l'environnement R (R Development Core Team, 2010 ; version 2023.03.0-daily+82.pro2).

# 3 Résultats

## 3.1. Étude en temps réel des voyelles /a/ et /ɑ/ entre 1925 et 2023

Les valeurs des deux premiers formants des réalisations des voyelles /a, ɑ/ en position finale de mot ont été représentées dans la Figure 3 pour illustrer l'évolution de ces segments entre 1925 et 2023. En guise d'illustration prolongeant l'empan temporel des corpus analysés, nous avons inclus, dans la Figure 3, les valeurs de F1 et de F2 des /a, ɑ/ extraites de deux enregistrements de récitation littéraire réalisée par un locuteur masculin anonyme en 1912, provenant de la collection BnF. Ainsi ces données permettent-elles d'estimer, ne serait-ce qu'à titre qualitatif, le chemin parcouru par les deux segments depuis le début du siècle, où la différence acoustique entre /ɑ/ et /a/ était encore particulièrement nette.

<figure><img src="image_45.png" /><figcaption>FIGURE 3 : Valeurs moyennes de F1 et F2 (en Hertz) et ellipses (réglées à 25 % des occurrences) des cibles vocaliques (F1, F2) des réalisations des voyelles /a/ et /ɑ/ en position finale de mot, par période.</figcaption></figure>

Pour illustrer le rapprochement acoustique entre /ɑ/ et /a/, la Figure 4 représente les distances euclidiennes moyennes entre ces segments dans l'espace F1/F2. Deux stades du changement y sont repérables, correspondant à deux rapprochements successifs entre 1925-1929 et 1940-1959 et, après une période de stabilité, entre 1980-1997 et 2000-2004.

<figure><img src="image_46.png" /><figcaption>FIGURE 4 : Distances euclidiennes entre moyennes (Hz) entre /a/ et /ɑ/ en position finale de mot, formule : $d = \sqrt{((F2\_a-F2\_ɑ)^2 + (F1\_a-F2\_ɑ)^2)}$.</figcaption></figure>

Afin de valider statistiquement l'évolution de F2 dans les corpus étudiés, nous avons réalisé un modèle de régression linéaire mixte incluant les effets fixes de Phonème (2 niveaux : /a/, /ɑ/, niveau de référence : /a/), Période (6 niveaux : 1925-1929, 1940-1959, 1960-1979, 1980-1997, 2000-2004, 2020-2023, niveau de référence : 1925-1929), un terme d'interaction entre ces deux prédicteurs, ainsi qu'un effet aléatoire pour 'mot'. Nous avons utilisé la fonction lmer du package lme4 dans R. Les coefficients du modèle sont détaillés dans la Table 2.
<table><caption>TABLE 2 : Statistiques récapitulatives des effets du modèle de régression linéaire. Formule : lmer (F2 ~ période + phonème + période*phonème + (1|mot)).</caption><thead><tr><th>Contraste</th><th>Estimation</th><th>Err. St.</th><th>t</th><th>p</th></tr></thead><tbody><tr><td>Intercept</td><td>1494.25</td><td>6.18</td><td>241.67</td><td>&lt;.001</td></tr><tr><td>1940–1959</td><td>-25.22</td><td>7.37</td><td>-3.42</td><td>&lt;.001</td></tr><tr><td>1960–1979</td><td>-50.46</td><td>6.32</td><td>-7.97</td><td>&lt;.001</td></tr><tr><td>1980–1997</td><td>-75.95</td><td>6.54</td><td>-11.60</td><td>&lt;.001</td></tr><tr><td>2000–2004</td><td>-108.18</td><td>5.97</td><td>-18.10</td><td>&lt;.001</td></tr><tr><td>2020–2023</td><td>-111.68</td><td>6.74</td><td>-16.56</td><td>&lt;.001</td></tr><tr><td>Phonème(/a/)</td><td>-69.00</td><td>18.82</td><td>-3.02</td><td>&lt;.01</td></tr><tr><td>1940–1959*Phonème(/a/)</td><td>-43.98</td><td>16.95</td><td>1.76</td><td>&lt;.05</td></tr><tr><td>1960–1979*Phonème(/a/)</td><td>-48.00</td><td>18.05</td><td>1.17</td><td>&lt;.05</td></tr><tr><td>1980–1997*Phonème(/a/)</td><td>-45.04</td><td>21.47</td><td>2.00</td><td>&lt;.05</td></tr><tr><td>2000–2004*Phonème(/a/)</td><td>-62.67</td><td>21.26</td><td>2.94</td><td>&lt;.01</td></tr><tr><td>2020–2023*Phonème(/a/)</td><td>-90.62</td><td>22.55</td><td>4.01</td><td>&lt;.001</td></tr></tbody></table>

La Figure 5 représente les prédictions du modèle pour le terme d'interaction *Période*\*Phonème illustrant le changement de hauteur de F2 entre 1925 et 2023, pour /a/ et /ɑ/.

<figure><img src="image_47.png" /><figcaption>FIGURE 5 : Moyennes marginales prédites de F2 et barres d'erreur (95 %) pour le terme d'interaction *Phonème*\*Période, ajustées selon le modèle de régression linéaire mixte.</figcaption></figure>

Nous avons ensuite utilisé la fonction *emmeans()* du package R éponyme pour inspecter toutes les comparaisons (*pairwise contrasts*) entre les périodes consécutives, pour le terme d'interaction *Phonème*\*\*Période. Toutes les comparaisons se sont révélées significatives (*p*<.001), hormis celles entre 1940–1959 : 1960–1979 (*p*=.08) et entre 1960–1979 et 1980–1997 (*p*=.05), ce qui nous amène à conclure qu'un changement significatif en termes de relation réciproque du corrélat acoustique d'antériorité (F2) des réalisations des voyelles /a/ ~ /ɑ/ s'est opéré entre 1925 et 2023, excepté une période de stabilité entre 1940 et 1997 (v. Figure 4). Ainsi, une postériorisation de /a/ conjointement à une antériorisation plus subtile de /ɑ/, ont abouti à une fusion acoustique entre les deux phonèmes, les valeurs de F2 (ni de F1) ne permettant plus guère de distinguer un /a/ postérieur de sa contrepartie antérieure.

# 4 Discussion

Nous avons, dans cette étude, examiné l'évolution en temps réel (Bailey, 2013) du corrélat acoustique d'antériorité (F2) des réalisations des voyelles /a/ et /ɑ/ en position finale de mot, en parole lue (déclamatoire et journalistique) produite par des locuteurs masculins entre 1925 et 2023. Dans l'ensemble des corpus traités, les /a/ ont été, indépendamment de la période, codés selon les règles de distribution établies d'après des traités de prononciation anciens. Une comparaison de valeurs de F1 et F2 des productions des /a, /ɑ/ dans différents contextes phonétiques, non présentée ici, par contrainte de place, a permis de conclure à la présence d'un effet contextuel d'envergure similaire dans toutes les périodes étudiées.

Les résultats obtenus nous amènent à confirmer l'hypothèse de la fusion acoustique des /a/ et /ɑ/. Toutefois, contrairement à nos prévisions, plutôt qu'une antériorisation du /ɑ/ au fil du temps, nos résultats suggèrent une postériorisation du /a/ vers une position plus centrale comme ayant le plus contribué au rapprochement acoustique entre les deux segments. Un examen qualitatif des données de 1912 indiquant une distance plus importante (de près de 200 Hz) entre le F2 des réalisations de /a/ et /ɑ/ par rapport à la période 1925–1929, n'a fait que corroborer la variation diachronique mise en évidence.
Ces résultats font écho à ceux de l'enquête phonologique longitudinale de Hansen (2014) qui conclut à un rétrécissement de l'étendue des productions de l'opposition /a/ ~ /ɑ/, entre les années 1970 et 2000 et souligne qu'une perte de variantes très postérieures [ɑ] était accompagnée d'une postériorisation de variantes très antérieures [æ] vers une position plus centrale dans l'espace vocalique.

Quant au F1, corrélat acoustique de l'aperture, celui-ci connaît également une évolution, s'acheminant au fil du temps vers des valeurs plus basses, autant pour le /a/ que pour le /ɑ/. Ce changement n'est pas sans rappeler l'abaissement du F1 des réalisations des /e, ɛ, o, ɔ/ dans la même période, mis en évidence par Cecelewski *et al.* (2023). Corrélé à l'abaissement de la fréquence fondamentale en parole journalistique (Boula de Mareüil *et al.*, 2011), l'abaissement du F1 peut ainsi s'expliquer par l'évolution du style de parole vers moins d'effort vocal (Assmann *et al.*, 2008).

D'autres éléments de l'évolution des /a/ ~ /ɑ/ non présentés ici, par manque de place, méritent également d'être mentionnés. Contrairement aux descriptions traditionnelles (Delattre, 1957), le ratio de durée des deux voyelles ouvertes n'évolue guère dans la période analysée. La perte de la longueur étymologique des /ɑ/ semble donc bien s'être opérée avant 1925.

En outre, les distances euclidiennes (calculées en Hz dans l'espace F1/F2) entre /a, ɑ/ et les voyelles orales les plus proches, plus spécifiquement entre /a/ ↔ /ɛ/ et /ɑ/ ↔ /ɔ/, s'avèrent remarquablement stables dans le temps, oscillant respectivement autour de 375 et 275 Hz tout au long de la période étudiée. Il semble que nous ayons affaire à une évolution tendant vers un rééquilibrage du système des voyelles ouvertes et mi-ouvertes. Ce résultat paraît conforme aux prédictions de nombreuses modélisations postulant des tendances plus ou moins universelles à la symétrie des systèmes vocaliques dans les langues du monde (de Boer, 2001 ; Boë *et al.*, 1994 ; Crothers, 1978), exprimée ici par un déplacement du /a/ proportionnel au réagencement des segments les plus proches.

Ainsi dépeinte, l'évolution des /a, ɑ/ n'est sans doute qu'une facette de l'extrême diversité des usages du français métropolitain. Nous nous sommes limités à examiner une parole soutenue et soignée, produite par des locuteurs masculins cultivés, qui ne peut pas rendre compte des réalisations populaires ou régionales des /a, ɑ/ (Avanzi, 2021). Or, les études impressionnistes soulignent une différence de prononciation importante entre un style plus contrôlé de locuteurs cultivés — dans lequel la distinction entre /a/ et /ɑ/ paraît, somme toute, relativement subtile — et un « accent populaire », « faubourien » (Delattre, 1957) ou aujourd'hui « de banlieue », qui vélariserait davantage le /ɑ/, le rendant plus distinct perceptivement. Dans les archives analysées ici, l'opposition entre /a/ et /ɑ/ demeure en effet assez ténue perceptivement, et ce même dans les périodes les plus anciennes correspondant à la distance maximale entre /a/ et /ɑ/.

L'abaissement de F2 du /a/ au fil du temps suggéré par nos résultats devra être validé par des études supplémentaires. Nous ne pouvons pas exclure l'impact potentiel de facteurs non contrôlés ici, comme les conditions d'enregistrement et d'archivage, ainsi que la variation individuelle. Cette dernière peut inclure des facteurs tels que l'évolution de la taille moyenne des locuteurs dans le temps, ou encore l'ajustement musculaire habituel (articulatory setting, Laver, 1978). Une modélisation articulatoire (e.g. VocalTractLab, Birkholz, 2013) pourrait également apporter un éclairage supplémentaire sur les causes de la baisse de F2 des réalisations de /a/ mise en évidence dans notre étude.

Actuellement en création, un corpus diachronique plus grand sera destiné d'une part à modéliser l'évolution globale du système vocalique du français et d'autre part à examiner l'influence des contextes phonémique et lexical sur l'évolution des /a, ɑ/ au cours du XXe siècle.

## Remerciements

Ce travail a été soutenu par le projet ANR-21-CE38-0019 DIPVAR.
Références

ASSMANN P. F., NEAREY T. M., BHARADWAJ S. V., HUBBARD D. & JAYARAMAN A. (2008).
Developmental study of the relationship between F0 and formant frequencies. *Journal of the
Acoustical Society of America*, 122, EL35-EL43. DOI: 10.1121/1.2719045.

AVANZI M. (2021). Géographie des tendances centripètes et centrifuges du français en francophonie : le cas des oppositions phonologiques /a/-/ɑ/ et /ɛ/-/œ/. In T. CABRÉ & M. GÜELL, Éds., *Norme et diversité linguistique : la gestion normative dans des contextes pluricentriques*. Francophonie et catalanophonie, Barcelona : Servei de Publicacions de l’Institut d’Estudis Catalans, p. 35–74. HAL : 03321768.

BAILEY G. (2013). Real Time and Appartent Time. In J.K. CHAMBERS & N. SCHILLING, Éds., *The Handbook of Language Variation and Change*, John Wiley & Sons, chapter 11, p. 237–262. DOI: 10.1002/9781118335598.ch11.

BARADUC J., BERGOUNIOUX G., CASTELLOTTI V., DUMONT C. & LANSARI M. H. (1989). Le statut linguistique des voyelles moyennes. *Langage et société*, 49, 5–24.

BARRAS C., ALLAUZEN A., LAMEL, L. & GAUVAIN J. L. (2002). Transcribing audio-video archives. In *Proc. IEEE International Conference on Acoustics, Speech, and Signal Processing*, Orlando (USA), 13–16. DOI: 10.1109/ICASSP.2002.5743642.

BIRKHOLZ P. (2013). Modeling consonant-vowel coarticulation for articulatory speech synthesis. *PLoS ONE*, 8(4), e60603. DOI: 10.1371/journal.pone.0060603.

BOË L. J., SCHWARTZ J. L. & VALLÉE N. (1994). The prediction of vowel systems: perceptual contrast and stability. In E. KELLER, Éds., *Fundamentals of speech synthesis and speech recognition*, Chichester : John Wiley, p. 185–213.

BOINDIN N. (1753). *Oeuvres de Monsieur Boindin, de l'Académie Des Inscriptions Et Belles Lettres Tome Second. Contenant des remarques sur les sons de la langue, et sur les noms des Romains, avec des discours sur les tribus romaines et le théâtre des anciens*, Paris : Prault fils.

BOULA DE MAREÜIL P., RILLIARD A. & ALLAUZEN A. (2011). A Diachronic Study of Initial Stress and other Prosodic Features in the French News Announcer Style: Corpus-based Measurements and Perceptual Experiments. *Language and Speech*, 55(2), 263–293. DOI: 10.1177/0023830911417799.

BOULA DE MAREÜIL P., ADDA-DECKER M. & WOEHRLING C. (2010), Antériorisation/aperture des voyelles /ɔ/-/o/ en français du Nord et du Sud, 28es Journées d'Étude sur la Parole, Mons, 81-84.

CARRÉ R. & MRAYATI M. (1995). Vowel transitions, vowel systems, and the distinctive region model. In C. SORIN, J. MARIANI & H. MELONI, Éds., *Levels in speech communication: relations and interactions*, The Netherlands : Elsevier, p. 73–90.

CECELEWSKI J., GENDROT C., ADDA-DECKER M. & BOULA DE MAREÜIL P. (2023). A diachronic study of vowel harmony in French broadcast speech since 1940. *Proceedings of the 20th International Congress of Phonetic Sciences*, 798–802. HAL : hal-04204781.

CROTHERS J. (1978). Typology and universals in vowel systems. In J. H. GREENBERG, C. A. FERGUSON & E. A. MORAVCSIK, Éds., *Universals of human language*, Stanford : Stanford University Press, p. 93–152.
DE BOER B. (2001). *The Origin of Vowel Systems*. Oxford: University Press. ISBN: 9780198299660.

DE LA TOUCHE P. (1730). *L'art de bien parler françois, Qui comprend tout ce qui regarde la Grammaire & les façons de parler douteuses*, Amsterdam: Wetsteins et Smith.

DELATTRE P. (1957). *La Question des deux « a » en français, The French Review*, 31(2), 141–148.

ESTIENNE R. (1557). *Traité de la grammaire Francoise*. Genève.

FOUCHE P. (1959). *Traité de prononciation française*. Paris: C. Klincksieck.

FOUCHÉ, P. (1935) L'évolution phonétique du français du 16e siècle à nos jours. In A. DAUZAT, Éds., *Où en sont les études de français*, Bibliothèque du « français moderne », Paris, p. 35–54.

GALLIANO S., GEOFFROIS E., GRAVIER G., BONASTRE J. F., MOSTEFA, M. & CHOUKRI, K. (2006). Corpus description of the ESTER Evaluation Campaign for the Rich Transcription of French Broadcast News. *Proceedings of the Fifth International Conference on Language Resources and Evaluation*, p. 139–142.

GAUVAIN J. L., ADDA G., ADDA-DECKER M., ALLAUZEN A., GENDNER V., LAMEL L. & SCHWENK H. (2005). Where are we in transcribing French broadcast news? *Proceedings of the Ninth European conference on speech communication and technology*, p. 1665–1668. DOI: 10.21437/Interspeech.2005-544.

GRAMMONT M. (1938). *La Prononciation française, traité pratique*. Paris: Delagrave.

HANSEN A. B. & JUILLARD C. (2011). La phonologie parisienne à trente ans d'intervalle – Les voyelles à double timbre. *Journal of French Language Studies*, 21, 313–359. DOI: 10.1017/S0959269510000347.

HANSEN A. B. (2014). Lexique et phonologie. Le cas de la perte de distinction /a/ – /ɑ/ en français parisien. In B. LAKS & J. PEUVERGNE, Éds., *La phonologie du français : Normes, périphéries, modélisation : mélanges pour Chantal Lyche*, Presses Universitaires de Paris Ouest, p. 261–284. ISBN: 978-2-84016-203-2.

KISLER T., REICHEL U. D. & SCHIEL F. (2017). Multilingual processing of speech via web services, *Computer Speech & Language*, 45, 326–347. DOI: 10.1016/j.csl.2017.01.005.

KRULL D. (1989). Consonant-vowel coarticulation in reference words. *Quarterly progress and status report*, 30, 101–105, KTH Department for Speech, Music, and Hearing, STLQPSR.

LAMY B. (1688). *La rhétorique, ou L'art de parler*. Paris: André Pralard.

LAVER J. (1978). The Concept of Articulatory Settings: An Historical Survey. *Historiographia Linguistica*, 5(1-2), 1–14. DOI: 10.1075/hl.5.1-2.02lav.

LÉON P. (1992). *Phonétisme et prononciations du français, avec des travaux pratiques d'application et leurs corrigés*. Paris: Nathan.

LILJENCRANTS J. & LINDBLOM B. (1972). Numerical simulations of vowel quality systems: The role of perceptual contrast. *Language*, 48, 839–862.

MALMBERG B. (1969). *Phonétique française*. Malmö: Hermod.
MENZERATH P. & LE LACERDA A. (1933). *Koartikulation, Steuerung und Lautabgrenzung*. Berlin : Dümmler.

METTAS O. (1970). Étude sur le A dans deux sociolectes parisiens. *Revue Romane*, 5(1), 94–105.

ÖHMAN S. E. G. (1966). Coarticulation in VCV utterances: Spectrographic measurements. *Journal of the Acoustical Society of America*, 39, 151–168.

OUDIN A. (1640). *Grammaire françoise rapportée au langage du temps*. Paris : Sommaville.

PERNOT H. (1928). Les voyelles parisiennes, *Revue de Phonétique*, t. V, Paris.

ROUSSELOT P. & LACLOTTE F. (1902). *Précis de prononciation française*. Paris, Leipzig : Welter.

SCHWARTZ J. L., BOË L. J., VALLEE N. & ABRY C. (1997). The dispersion-focalization theory of vowel systems. *Journal of Phonetics*, 25, 255–286.

WALTER H. (1977). *La phonologie du français*. Paris : Presses universitaires de France.
# Exploration de la représentation multidimensionnelle de paramètres acoustiques unidimensionnels de la parole extraits par des modèles profonds non supervisés.*

Maxime Jacquelin¹, ²

Maëva Garnier¹

Laurent Girin¹

Rémy Vincent²

Olivier Perrotin¹

(1) Univ. Grenoble Alpes, CNRS, Grenoble INP, GIPSA-lab, F-38000 Grenoble, France

(2) Vogo, F-38190 Bernin, France

maxime.jacquelin, maeva.garnier, laurent.girin,

olivier.perrotin@grenoble-inp.fr, r.vincent@vogo-group.com

## RÉSUMÉ

Cet article propose une méthodologie pour interpréter les dimensions de variation de la parole conversationnelle, extraites de façon non-supervisée, et sur des données multilocuteurs, par un algorithme d'apprentissage profond (Auto-Encodeur Variationnel). Par des analyses de corrélation et de similarité cosinus, nous montrons que la distribution de la fréquence fondamentale et de la fréquence centrale des trois premiers formants de l'ensemble d'apprentissage est encodée par une direction dédiée de l'espace latent. Lorsque la distribution est multimodale, les différents modes du paramètre acoustique sont encodés dans des dimensions distinctes. De plus, nous avons identifié les directions expliquant la variation des paramètres au sein de chaque mode, et entre eux.

## ABSTRACT

Exploring the multidimensional representation of unidimensional speech acoustic parameters extracted by deep unsupervised models

This paper proposes a methodology for interpreting the dimensions of variations of conversational speech, extracted in an unsupervised manner, and on multi-speaker data, by a deep learning algorithm (Variational Auto-Encoder). Using correlation and cosine similarity analyses, we show that the distribution of the fundamental frequency and the central frequencies of the first three formants of the training set is encoded by one dedicated latent space direction. When the distribution is multimodal, different modes of the acoustic feature are encoded in separate dimensions. In addition, we also have identified the directions that explain the variation of the feature within and across modes.

**MOTS-CLÉS** : apprentissage de représentations, codage de la parole, auto-encodeur variationnel, modèle source-filtre.

**KEYWORDS:** representation learning, speech encoding, variational autoencoder, source-filter model.

<figure><img src="image_48.png" /></figure>

<footnote>*. note aux relecteurs : cette soumission est une traduction d'un article publié à XAI-SA IEEE ICASSP Workshop, Explainable Machine Learning for Speech and Audio, 2024 (Jacquelin et al., 2024).</footnote>
# 1 Introduction

Depuis les modèles physiques jusqu'aux approches d'apprentissage profond sur données massives, la modélisation de la parole trouve des applications dans la reconnaissance automatique de la parole, le codage de la parole, la synthèse vocale expressive ou la conversion de voix. Pour chaque cas, l'objectif de la modélisation de la parole est de comprendre comment les signaux sont générés et comment leurs caractéristiques acoustiques peuvent être modulées à partir d'un nombre limité de dimensions de contrôle, aussi indépendantes que possible les unes des autres.

En ce sens, les premiers modèles acoustiques tels que le modèle source-filtre de Fant (Fant, 1971) établissent une distinction claire entre les variations acoustiques liées à la source glottique (variations de la fréquence fondamentale $f_0$, d'apériodicité, d'inharmonicité ou de la pente spectrale) et celles, supposées indépendantes, liées à l'articulation du conduit vocal (formants ou pics spectraux dans les bruits turbulents). Bien qu'un tel ensemble de paramètres acoustiques présente l'avantage d'être facilement interprétable en termes de physiologie et de contrôle gestuel sous-jacent, ils sont largement interdépendants, avec des contraintes anatomiques et physiques qui sous-tendent les covariations de ces paramètres au sein d'un même individu et d'un individu à l'autre (Coleman, 1971).

Bien que les modèles génératifs profonds non- et auto-supervisés soient des outils puissants pour modéliser toute la complexité des signaux de parole (Kingma & Welling, 2014; Van Der Oord et al., 2017; Baevski et al., 2020; Hsu et al., 2021; Lakhotia et al., 2021), peu de recherches ont été menées jusqu'à présent sur l'interprétation de leurs représentations latentes. Plusieurs études ont déjà utilisé des auto-encodeurs variationnels (VAE) (Kingma & Welling, 2014), VQ-VAE (Van Der Oord et al., 2017), ou des modèles auto-supervisés tels que HuBERT (Hsu et al., 2021), pour trouver des espaces de représentation des variations discrètes de la parole, avec des dimensions qui distinguent les informations phonémiques (de bas niveau) de celles liées à la langue (Williams et al., 2021), à l'identité du locuteur (Chou et al., 2018) et/ou au "style" de parole (Williams & King, 2019) (de haut niveau). D'autres études récentes ont été en mesure de trouver un espace latent de faible dimension pour représenter et contrôler les variations acoustiques continues de la parole expressive (en termes d'intonation, de contenu spectral ou de rythme) (Blaauw & Bonada, 2016; Hsu et al., 2017; Wang et al., 2018; Zhang et al., 2019; Tits et al., 2019; Bous & Roebel, 2022; Lenglet et al., 2022b; Vaidya et al., 2022; Sadok et al., 2023). Elles ont montré que, même avec une approche d'apprentissage entièrement non-supervisée, les paramètres acoustiques étaient encodés selon différents sous-espaces quasi orthogonaux de la représentation apprise. Cela leur a permis de contrôler certains aspects de l'intonation liés à la source glottique, de manière presque indépendante des variations de l'enveloppe spectrale, liées à l'articulation du conduit vocal.

Un phénomène qui reste cependant inexplicué est que chaque paramètre acoustique est souvent encodé par plusieurs dimensions latentes (Sadok et al., 2023), et la question de savoir quel type d'information est capturé par chacune de ces dimensions reste peu explorée. Parmi les multiples interactions possibles entre les paramètres acoustiques, nous faisons l'hypothèse dans cette étude que la multiplicité des dimensions latentes observées peut refléter l'encodage des différentes sources de variabilité inter- et intra-individuelle de chaque paramètre acoustique. À notre connaissance, il s'agit de l'une des premières tentatives visant à étudier l'interaction entre les représentations vocales de bas niveau (paramètres acoustiques) et de haut niveau (liées au locuteur, telles que le genre) dans les espaces latents. Pour cela, le choix d'un VAE offre plusieurs avantages par rapport à d'autres méthodes non- ou auto-supervisées. D'abord, sa nature stochastique et la régularisation de son espace latent fournit une représentation latente désenchevêtrée, ce qui permet de modéliser les variations des
caractéristiques de la parole dépendantes et indépendantes du locuteur dans des directions distinctes de l'espace latent. Ensuite, les VAEs permettent une forte réduction de dimension, ce qui favorise l'interprétabilité de l'espace latent. Enfin, les modèles auto-supervisés tels que wav2vec 2.0 ou HuBERT (Baevski et al., 2020; Hsu et al., 2021) sont entraînés en utilisant une tâche de clustering de phonèmes, donnant ainsi la priorité à l'encodage des informations phonétiques au détriment de la prosodie ou de la paralinguistique, qui sont souvent modélisées séparément (Polyak et al., 2021). Dans notre étude, il est crucial de garantir l'encodage à la fois des informations vocales de bas niveau et de haut niveau dans l'espace latent du modèle.

Nous optons donc pour une approche basée sur les VAEs et introduisons une méthodologie reposant sur l'analyse en composantes principales (PCA), la régression linéaire (LR) et l'analyse discriminante linéaire (LDA), afin d'analyser et d'interpréter l'aspect multidimensionnel de la représentation des paramètres acoustiques individuels, avant de tester notre hypothèse.

# 2 Méthodologie

## 2.1 Entraînement du VAE

L'architecture VAE utilisée dans cette étude est similaire à celle utilisée par Sadok et al. (2023). Elle prend en entrée des trames de spectrogrammes d'amplitude de la transformée de Fourier à court terme (TFCT) de taille 513. La dimension du vecteur latent $z$ est fixée à 16. L'encodeur se compose de trois couches cachées entièrement connectées de 256, 64 et $2 \times 16$ unités (pour les vecteurs de moyenne et de variance de $z$), toutes avec une activation tangente hyperbolique. Le décodeur est construit symétriquement à l'encodeur.

Deux modèles VAEs indépendants ont été entraînés, l'un avec la base de données VCTK (Yamagishi et al., 2019), l'autre avec la base de données Att-HACK (Le Moine & Obin, 2020). VCTK comprend 109 locuteurs anglais lisant les mêmes 400 énoncés. Att-HACK comprend 25 locuteurs français qui ont acté les mêmes 100 énoncés dans quatre attitudes sociales (amicale, distante, dominante et séductrice) avec 3 à 5 répétitions. Nous appelons VAE-VCTK le modèle entraîné sur VCTK et VAE-AH le modèle entraîné sur Att-HACK. L'ensemble d'entraînement VAE-VCTK contient 25 heures de parole provenant de 29 locuteurs féminins et 29 locuteurs masculins, sélectionnés de manière aléatoire. L'ensemble de validation contient 3 heures provenant de 10 locuteurs féminins et 10 locuteurs masculins qui n'ont pas été utilisés pour l'entraînement. L'ensemble d'entraînement VAE-AH contient 20 heures de parole de 7 locuteurs féminins et 7 locuteurs masculins, sélectionnés de manière aléatoire. L'ensemble de validation contient 3 heures provenant de 2 locuteurs féminins et 2 locuteurs masculins non utilisés pour l'entraînement. Tous les signaux ont été sous-échantillonnés de 48 pour VCTK et 44.1 pour Att-HACK à 16 kHz. La TFCT a été définie avec une fenêtre de Hanning de 64 ms et un chevauchement de 50%.

Les modèles ont été entraînés avec l'optimiseur Adam (Kingma & Ba, 2015) sur 500 époques, avec une taille de batch de 128 et un taux d'apprentissage de $10^{-4}$. Nous avons utilisé le VAE d'Itakura-Saito (IS), c'est-à-dire que la fonction de coût est la somme pondérée d'une divergence IS pour le terme de reconstruction et de la divergence de Kullback-Leibler (KL) pour le terme de régularisation (Girin et al., 2019) : $\mathcal{L}_{total} = \mathcal{L}_{IS} + \beta \mathcal{L}_{KL}$. Pour éviter le problème de disparition du gradient rencontré dans les VAEs, le critère de régularisation $\beta$ a été utilisé (Higgins et al., 2017).
<figure><img src="image_49.png" /><figcaption>FIGURE 1 – Résumé de la méthodologie de test proposée.</figcaption></figure>

## 2.2 Ensembles de test

Nous avons conçu plusieurs ensembles de tests pour évaluer les capacités de représentation de nos deux VAE. Tout d'abord, quatre ensembles de données ont été conçus pour démontrer l'aspect multidimensionnel de la représentation latente de chaque paramètre acoustique. Suivant Sadok et al. (2023), nous avons utilisé le logiciel Soundgen (Anikin, 2019) pour générer quatre signaux de 5 s avec une variation respective de $f_0$ et de la fréquence des trois premiers formants $F_1, F_2$, ou $F_3$. Quand l'un des paramètres varie, les trois autres paramètres sont laissés constants, fixés à la médiane de leur distribution dans les deux ensembles de données VCTK et Att-HACK (c'est-à-dire 140 Hz, 450 Hz, 1600 Hz et 2800 Hz, pour $f_0, F_1, F_2$ et $F_3$, respectivement). Pour chaque signal, la plage de variation du paramètre correspondant correspond à sa distribution dans les ensembles de données VCTK et Att-HACK : 85-310 Hz pour $f_0$ ; 290-890 Hz pour $F_1$ ; 960-2360 Hz pour $F_2$ ; et 2000-3430 Hz pour $F_3$. Nous avons ensuite calculé le spectrogramme d'amplitude de chaque signal, chacun constituant une base de données de test appelé $SS_x^F$, $F \in \{f_0, F_1, F_2, F_3\}$, avec SS pour "synthesis speech" (parole synthétique). $SS_z^F$ sont les ensembles de test correspondants dans l'espace latent, c'est-à-dire $SS_x^F$ passés par l'encodeur VAE.

Ensuite, pour analyser la capacité des VAEs à représenter les covariations naturelles entre les paramètres acoustiques, nous avons généré deux ensembles de test supplémentaires appelés $NS_x^{VCTK}$ pour VAE-VCTK et $NS_x^{AH}$ pour VAE-AH (avec $NS_z^{VCTK}$ et $NS_z^{AH}$ les ensembles de test correspondants dans l'espace latent des VAE), NS signifiant "natural speech" (parole naturelle). Ces ensembles de données sont constitués de 3 heures de signaux de parole naturelle provenant de 9 femmes et 9 hommes pour VCTK, et de 3 femmes et 3 hommes pour Att-HACK, qui ne font partie ni de l'ensemble d'apprentissage ni de l'ensemble de validation. Pour chaque signal de cet ensemble de test, une analyse acoustique par trame a été effectuée avec Praat (Boersma & Weenink, 2001) pour extraire $f_0$ et $F_{1,2,3}$.

## 2.3 Analyse PCA, LR et LDA

Notre analyse vise à identifier les directions dans l'espace latent qui capturent la plus grande variabilité expliquée par chaque paramètre acoustique de parole considéré. Notre première étape a été d'étudier l'encodage de chaque paramètre acoustique séparément, en utilisant les ensembles de données de test de parole synthétique $SS_x^F$ spécifiquement conçus à cette fin. Indépendamment pour chaque paramètre acoustique $F \in \{f_0, F_1, F_2, F_3\}$, nous avons appliqué une PCA sur les bases de données encodées $SS_z^F$, afin d'extraire par le biais des composantes principales notées $pca_F$ les multiples directions dans l'espace latent qui expliquent la variation du paramètre acoustique.
Notre deuxième étape consiste à identifier le rôle de ces dimensions multiples, grâce à l'analyse de la parole naturelle. Pour ce faire, nous avons recherché la direction de variation (DV) de chaque paramètre acoustique dans nos bases de données de test de parole naturelle encodée $NS_z^{VCTK}$ et $NS_z^{AH}$. Indépendamment pour chaque paramètre $\mathcal{F}$, nous avons calculé une régression linéaire des valeurs $\mathcal{F}$, extraites de $NS_x$ avec Praat, sur les valeurs correspondantes de $z$ dans $NS_z$. La DV de $\mathcal{F}$, notée $m_{\mathcal{F}} \in \mathbb{R}^{16}$, est le vecteur des coefficients de la LR, c'est-à-dire :

$$ \hat{\mathcal{F}} = m_{\mathcal{F}}^{\top} z + b_{\mathcal{F}} \approx \mathcal{F}, \qquad (1) $$

au sens des moindres carrés ($b_{\mathcal{F}}$ est l'ordonnée à l'origine et $^{\top}$ désigne l'opérateur de transposition). Pour identifier le rôle de chaque dimension de la PCA ($pca_{\mathcal{F}}$), nous avons ensuite analysé leur colinéarité avec les DV des paramètres acoustiques extraits dans des conditions spécifiquement choisies. En particulier, pour vérifier notre hypothèse, à savoir si les différentes dimensions latentes reflètent des sources de variabilité inter- et intra-individuelle de chaque paramètre acoustique, nous avons mesuré la DV sur l'ensemble du jeu de test, ainsi que la DV pour chaque genre de locuteurs. Nous désignons la DV résultante par $m_{\mathcal{F}|M}$ et $m_{\mathcal{F}|F}$ pour les locuteurs masculins et féminins, respectivement.

La représentation possible des paramètres acoustiques liés au genre dans des directions distinctes nous amène à faire un pas de plus pour identifier une représentation indépendante de la variabilité inter- et intra-genre dans l'espace latent. Le genre étant l'une des caractéristiques les plus discriminantes entre individus dans la parole, nous émettons l'hypothèse qu'une LDA calculée sur les locuteurs d'une base de données encodées $NS_z$ (noté $lda$), qui trouve la combinaison linéaire des dimensions latentes qui discrimine le mieux les locuteurs, devrait afficher une direction inter-genre sur sa première composante, et donc une direction intra-genre sur les composantes restantes. Pour vérifier que cette LDA met en évidence une représentation démêlée de la variabilité inter- et intra-genre, nous avons analysé la colinéarité entre les composantes de $lda$ et les DV calculées sur des valeurs de $f_0$ propres à chaque genre et indépendantes du genre. La figure 1 résume notre analyse, réalisée indépendamment pour chaque paramètre acoustique $\mathcal{F}$. La colinéarité des directions extraites par PCA, LR ou LDA a été évaluée à l'aide de la similarité cosinus (CS) entre $pca_{\mathcal{F}}$, $m_{\mathcal{F}}$, $m_{\mathcal{F}|M}$, $m_{\mathcal{F}|F}$, and $lda$.

# 3 Résultats

## 3.1 Représentation multidimensionnelle des paramètres acoustiques

La première étape de notre analyse consiste à étudier séparément la représentation de chaque paramètre acoustique par les VAEs. Pour VAE-VCTK, les quatre PCA distinctes appliquées à $SS_z^{\mathcal{F}}$ ont montré que trois composantes principales (PC) sont nécessaires pour expliquer au moins 80% de la variance de chaque base de données encodée, à l'exception de $F_3$ (deux PC). Dans le cas de VAE-AH, chaque $\mathcal{F}$ a besoin de cinq PCs pour expliquer 80% de la variance. En particulier, les variances minimales expliquées par les premières PCs sont d'environ 43% pour VAE-VCTK sur $f_0$ et 36% pour VAE-AH sur $f_0$. Nous avons également observé pour les deux VAEs que toutes les premières PCs de paramètres acoustiques différents sont relativement orthogonaux entre eux, avec une valeur maximale de CS de 0.33 entre $pca_{f_0}$ et $pca_{F_1}$. Bien que ces résultats soient similaires à ceux de Sadok et al. (2023), nous n'avons pas obtenu le même nombre de PCs pour expliquer 80% de la variance et une plus grande orthogonalité entre les PCs était rapportée. Ces différences suggèrent une dépendance possible de ces analyses aux données de parole utilisées pour l'entraînement et le test.
<table><caption>TABLE 1 – Score de régression R² pour toutes les LRs testées</caption><thead><tr><th></th><th>m<sub>f0</sub></th><th>m<sub>f0|F</sub></th><th>m<sub>f0|M</sub></th><th>m<sub>F1</sub></th><th>m<sub>F1|F</sub></th><th>m<sub>F1|M</sub></th><th>m<sub>F2</sub></th><th>m<sub>F2|F</sub></th><th>m<sub>F2|M</sub></th><th>m<sub>F3</sub></th><th>m<sub>F3|F</sub></th><th>m<sub>F3|M</sub></th></tr></thead><tbody><tr><td>VAE-VCTK</td><td><strong>0.65</strong></td><td><strong>0.64</strong></td><td><strong>0.58</strong></td><td>0.37</td><td><strong>0.73</strong></td><td><strong>0.75</strong></td><td>0.40</td><td><strong>0.71</strong></td><td><strong>0.74</strong></td><td>0.32</td><td><strong>0.64</strong></td><td><strong>0.58</strong></td></tr><tr><td>VAE-AH</td><td><strong>0.61</strong></td><td><strong>0.58</strong></td><td><strong>0.53</strong></td><td>0.31</td><td><strong>0.58</strong></td><td><strong>0.61</strong></td><td>0.36</td><td><strong>0.65</strong></td><td><strong>0.67</strong></td><td>0.27</td><td><strong>0.56</strong></td><td><strong>0.52</strong></td></tr></tbody></table>

<figure><img src="image_50.png" /><figcaption>FIGURE 2 – Similarité cosinus entre $m_{F|M}$, $m_{F|F}$ et $pca_F$. Pour plus de clarté, seules les trois premières composantes principales sont présentées.</figcaption></figure>

Cependant, l'analyse des colinéarités entre les PCs extraites pour chaque paramètre a montré que notre VAE crée un équilibre entre les représentations latentes. D'une part, une pseudo-indépendance des paramètres de source ($f_0$) et de filtre ($F_{1,2,3}$) sur la première PC qui permet une modélisation séparée des variations d'intonation et d'articulation, et d'autre part une colinéarité plus forte sur les autres PCs qui laisse envisager la modélisation des covariations bien connues entre les paramètres acoustiques (Titze, 2004; Sundberg & Nordenberg, 2006). Ces résultats sont observés pour nos deux VAEs entraînés sur des données différentes, et ont également été rapportés par Sadok et al. (2023). Cela montre une propriété générale de la représentation multidimensionnelle des paramètres acoustiques unidimensionnelles considérées dans l'espace latent du VAE, qui sera examinée plus en détail dans la section suivante.

## 3.2 Interprétation des dimensions apprises

Nous avons observé que les variations de chaque paramètre acoustique, lorsqu'elles sont isolées dans l'ensemble de test de la parole synthétique, sont encodées par au moins deux directions dans l'espace latent du VAE. Notre hypothèse est que ces multiples dimensions sont nécessaires pour modéliser les variations acoustiques inter- et intra-individuelles de la parole naturelle. Ainsi, pour vérifier la fonction de chaque dimension, nous étudions maintenant les DV de chaque paramètre en contexte, c'est-à-dire sur les ensembles de tests de parole naturelle encodée $NS_z^{VCTK}$ et $NS_z^{AH}$ et données par $m_F$, $m_{F|M}$, et $m_{F|F}$. Nous essayons alors de corréler ces directions avec celles observées sur chaque ensemble de tests de parole synthétique $SS_z^F$ ($pca_F$).

Le score de régression R² pour chaque DV est donné dans le Tab. 1, et la Fig. 2 affiche les CS entre $m_{F|M}$ et $m_{F|F}$ (obtenues sur la parole naturelle) et $pca_F$ (obtenues sur la parole synthétique). Pour les deux modèles et les trois formants, nous pouvons observer un contraste entre les petites valeurs de R² obtenues sur les DV globales ($m_{F_i}$, $i \in \{1, 2, 3\}$) et les valeurs élevées de R² obtenues sur les DV en fonction du genre. Parallèlement, nous observons une CS élevée entre $m_{F_i|M}$ et $m_{F_i|F}$, pour $i \in \{1, 2, 3\}$ (Fig. 2). Tout cela montre que, pour les deux modèles, les valeurs de fréquence des formants sont encodées linéairement dans l'espace latent lorsque l'on considère les deux genres séparément, avec des DV assez similaires, mais des ordonnées à l'origine différentes. En outre, la première PC de $pca_{F_i}$ est la plus corrélée avec les DV des deux genres pour les deux modèles.
En ce qui concerne $f_0$, le Tab. 1 montre des scores de régression élevés pour les deux modèles dans toutes les conditions (par genre et globalement). En outre, la Figure 2 montre que $m_{f_0|M}$ et $m_{f_0|F}$ sont les DVs par genre les moins corrélées entre elles, mais qu'elles sont les plus corrélées respectivement avec la deuxième et la troisième PC de $pca_{f_0}$. Rappelons que $pca_{f_0}$ est calculé sur l'ensemble de test de parole synthétique $SS_z^{f_0}$, pour lequel aucun paramètre autre que $f_0$ ne varie dans le signal d'entrée, c'est-à-dire qu'aucune autre information sur le genre n'est disponible. Pourtant, sur cette base de données, les deux VAEs sont capables de distinguer les valeurs de $f_0$ qui sont plus susceptibles d'appartenir à des locuteurs masculins ou féminins. Nous supposons que les modèles ont appris la distribution bimodale des valeurs $f_0$ rencontrées dans leurs ensembles d'apprentissage respectifs et qu'ils sont capables de distinguer les trames synthétiques sur la base de ces distributions.

Pour tester cette hypothèse, nous avons calculé les corrélations entre la distribution de $f_0$, mesurée sur chaque base de données utilisée pour entraîner les VAEs, et la projection des vecteurs latents z dans $SS_z^{f_0}$ sur les PCs de $pca_{f_0}$ (en résumé, les coefficients de la PCA pour $f_0$). La corrélation la plus élevée a été obtenue avec la première PC de $pca_{f_0}$ pour les deux VAEs (VAE-VCTK : 0.48, VAE-AH : 0.53). Comme on peut le voir sur la Fig. 3, les deux principaux pics du profil du premier coefficient $pca_{f_0}$ sont proches des médianes des deux modes la distribution $f_0$ pour les deux modèles. De plus, les valeurs de PC sont élevées pour les deux modes de la distribution de $f_0$, alors qu'elles sont proches de 0 ou négatives lorsque les deux modes se confondent, modélisant ainsi l'incertitude de la classification entre les trames de parole masculines ou féminines. Nous avons mené la même expérience et observé un comportement similaire sur les trois formants, pour nos deux modèles VAE. Pour chaque formant, la deuxième PC est la plus corrélée avec la distribution de fréquence des formants (valeur absolue de corrélation supérieure à 0.8 pour les deux VAEs). Dans chaque cas, la distribution est unimodale, ce qui explique de manière cohérente la corrélation d'une seule autre PC avec le DV de la valeur du formant, comme démontré précédemment (Fig. 2).

Dans l'ensemble, nous avons montré que la représentation multidimensionnelle d'un paramètre acoustique unique est étroitement liée à la multimodalité de la distribution du paramètre. Pour chaque paramètre, nous avons constaté qu'une PC encode la distribution du paramètre qui est apprise à partir de l'ensemble d'apprentissage, et que les variations de paramètres acoustiques spécifiques à chaque mode sont encodées par quelques autres PCs distinctes.

<figure><img src="image_51.png" /><figcaption>FIGURE 3 – Distribution des valeurs $f_0$ sur les données d'entraînement (en orange) et projection de $SS_z^{VCTK}$ (gauche) et $SS_z^{AH}$ (droite) sur la composante PCA la plus corrélée (en bleu).</figcaption></figure>

<figure><img src="image_52.png" /><figcaption>FIGURE 4 – Projection de $NS_z^{VCTK}$ (gauche) et $NS_z^{AH}$ (droite) sur les deux premières composantes de leurs lda respectifs, colorés en fonction de leurs valeurs $f_0$.</figcaption></figure>

## 3.3 Modélisation des variations inter- vs. intra-genre

Nous avons observé que, pour nos deux modèles VAE, les valeurs $f_0$ de la parole des hommes et des femmes sont encodées dans des directions distinctes, mais non orthogonales de l'espace latent (voir Fig. 2). En revanche, pouvons-nous identifier des directions orthogonales qui modélisent
les variations inter- et intra-genre, afin de fournir une représentation latente mieux démêlée de la
variabilité liée au genre ? Comme indiqué dans la Section 2.3, les candidats appropriés pour de telles
directions sont la première et deuxième composante de Ida, une LDA sur les locuteurs calculée sur
l'espace latent de chaque VAE ($NS_z^{VCTK}$ et $NS_z^{AH}$ pour VAE-VCTK et VAE-AH, respectivement).
Pour valider cette hypothèse, nous avons mesuré la colinéarité des composantes de Ida avec les
DV des représentations de $f_0$ globale ($m_{f_0}$) et selon le genre ($m_{f_0|M}$ et $m_{f_0|F}$). Les CS mettent en
évidence une forte corrélation (supérieure à 0.85 pour les deux VAE) entre la première composante
Ida et $m_{f_0}$, qui comprend des informations sur le genre. Par ailleurs, la deuxième composante Ida est
bien corrélée avec les DV calculées par genre, respectivement 0.68 avec $m_{f_0|M}$ et 0.61 avec $m_{f_0|F}$.

Ces résultats sont cohérents avec notre hypothèse selon laquelle les informations intra- et inter-genres sont encodées suivant des directions LDA distinctes. Pour illustrer cette analyse, la Fig. 4 représente la position des trames des signaux encodés $NS_z^{VCTK}$ (à gauche) et de $NS_z^{AH}$ (à droite) selon leurs deux premières composantes Ida respectives. Nous observons que les trames sont regroupées en deux groupes le long de la première composante, les trames des locuteurs masculins (violet, $f_0$ faible) et féminins (orange-jaune, $f_0$ élevé) étant associées à des valeurs négatives et positives, respectivement. La seconde composante Ida modélise la variation intra-genre de $f_0$. Dans l'ensemble, ces résultats mettent en évidence la capacité du VAE à démêler les variations inter- et intra-genre le long de deux directions distinctes de l'espace latent que nous avons identifiées grâce à l'analyse LDA, et ceci est observé pour deux ensembles de données de parole différents. Les faibles CS entre ces deux directions ($< 0.35$) sont prometteuses pour imaginer un contrôle indépendant de $f_0$ entre les classes de genre et à l'intérieur de celles-ci.

# 4 Conclusion

Nous avons introduit une méthodologie pour analyser l'espace latent du VAE entraîné sur une base
de données multilocuteurs en combinant l'utilisation d'ensembles de données de test synthétiques et
naturelles, et l'extraction et la comparaison des directions qui expliquent le mieux la variation des
paramètres acoustiques sélectionnés. Après avoir montré que la variation de chaque paramètre est
encodée par de multiples dimensions dans l'espace latent, nous avons démontré que l'une de ces
dimensions encode la forme globale de la distribution des paramètres sur l'ensemble d'apprentissage.
Dans le cas de $f_0$, la distribution est bimodale et les valeurs de $f_0$ appartenant à différents modes
sont encodés sur des dimensions distinctes supplémentaires. Dans ce cas, nous avons identifié des
directions dans l'espace latent du VAE qui expliquent les variations inter- et intra-genre de $f_0$. Pour
valider notre approche, nous avons mené nos expériences sur deux ensembles de données (VCTK et
Att-HACK) qui diffèrent en termes de langue (anglais vs. français) et de style (lecture/narration vs.
jeu d'acteur/expression).

Alors que plusieurs études ont utilisé la réduction de la dimension de l'espace latent (Tits et al., 2019;
Dieck et al., 2022), ont abordé l'orthogonalité des différentes directions qui expliquent un paramètre
donné (Hsu et al., 2017; Sadok et al., 2023), ou identifié la variation de paramètres acoustiques dans
l'espace latent par régression linéaire (Sadok et al., 2023; Vaidya et al., 2022; Lenglet et al., 2022a),
ce travail est l'un des rares à tenter d'interpréter la représentation multidimensionnelle de chaque
paramètre acoustique unidimensionnel. Dans de futurs travaux, nous visons à augmenter le nombre de
paramètres d'intérêt et à utiliser notre méthode pour contrôler la variation des paramètres acoustiques
dans l'espace latent des modèles non- ou auto-supervisés.
Références

ANIKIN A. (2019). Soundgen : an open-source tool for synthesizing nonverbal vocalizations.
*Behavior Research Methods*, **51**, 778–792.

BAEVSKI A., ZHOU Y., MOHAMED A. & AULI M. (2020). wav2vec 2.0 : A framework for self-supervised learning of speech representations. In *Advances in Neural Information Processing Systems*, p. 12449–12460, virtual conf.

BLAAUW M. & BONADA J. (2016). Modeling and transforming speech using variational autoencoders. In *Proc. of Interspeech*, p. 1770–1774, San Francisco, CA, USA.

BOERSMA P. & WEENINK D. (2001). Praat, a system for doing phonetics by computer. *Glot International*, **5**(9-10), 341–347.

BOUS F. & ROEBEL A. (2022). A bottleneck auto-encoder for F0 transformations on speech and singing voice. *Information*, **13**(3), 102–121.

CHOU J.-C., YEH C.-C., LEE H.-Y. & LEE L.-S. (2018). Multi-target voice conversion without parallel data by adversarially learning disentangled audio representations. In *Proc. of Interspeech*, p. 501–505, Hyderabad, India.

COLEMAN R. O. (1971). Male and female voice quality and its relationship to vowel formant frequencies. *J. of speech and hearing research*, **14**(3), 565–577.

DIECK T. T., PÉREZ-TORO P. A., ARIAS T., NOETH E. & KLUMPP P. (2022). Wav2vec behind the scenes: How end2end models learn phonetics. In *Proc. of Interspeech*, p. 5130–5134, Incheon, Korea.

FANT G. (1971). Acoustic theory of speech production. Mouton.

GIRIN L., ROCHE F., HUEBER T. & LEGLAIVE S. (2019). Notes on the use of variational autoencoders for speech and audio spectrogram modeling. In *Int. Conf. on Digital Audio Effects*, p. 1–8, Birmingham, UK.

HIGGINS I., MATTHEY L., PAL A., BURGESS C., GLOROT X., BOTVINICK M., MOHAMED S. & LERCHNER A. (2017). β-VAE: Learning basic visual concepts with a constrained variational framework. In *Int. Conf. on Learning Representations*, Toulon, France.

HSU W.-N., BOLTE B., TSAI Y.-H. H., LAKHOTIA K., SALAKHUTDINOV R. & MOHAMED A. (2021). Hubert: Self-supervised speech representation learning by masked prediction of hidden units. *Trans. on Audio, Speech, and Language Processing*, **29**, 3451–3460.

HSU W.-N., ZHANG Y. & GLASS J. (2017). Learning latent representations for speech generation and transformation. In *Proc. of Interspeech*, p. 1273–1277, Stockholm, Sweden.

JACQUELIN M., GARNIER M., GIRIN L., VINCENT R. & PERROTIN O. (2024). Exploring the multidimensional representation of unidimensional speech acoustic parameters extracted by deep unsupervised models. In *ICASSP Workshop XAI-SA*, Seoul, Korea.

KINGMA D. P. & BA J. (2015). Adam: A method for stochastic optimization. In *Int. Conf. on Learning Representations*, San Diego, USA.

KINGMA D. P. & WELLING M. (2014). Auto-encoding variational bayes. In *Int. Conf. on Learning Representations*, Banff, Canada.

LAKHOTIA K., KHARITONOV E., HSU W.-N., ADI Y., POLYAK A., BOLTE B., NGUYEN T.-A., COPET J., BAEVSKI A., MOHAMED A. & DUPOUX E. (2021). On generative spoken language modeling from raw audio. *Trans. of the Association for Computational Linguistics*, **9**, 1336–1354.

LE MOINE C. & OBIN N. (2020). Att-hack: An expressive speech database with social attitudes. In *Speech Prosody*.
LENGLET M., PERROTIN O. & BAILLY G. (2022a). Modélisation de la parole avec tacotron2 : Analyse acoustique et phonétique des plongements de caractere. In *Journées d'Études sur la Parole*, p. 788–796, Noirmoutier, France.

LENGLET M., PERROTIN O. & BAILLY G. (2022b). Speaking rate control of end-to-end TTS models by direct manipulation of the encoder's output embeddings. In *Proc. of Interspeech*, p. 11–15, Incheon, Korea.

POLYAK A., ADI Y., COPET J., KHARITONOV E., LAKHOTIA K., HSU W.-N., MOHAMED A. & DUPOUX E. (2021). Speech resynthesis from discrete disentangled self-supervised representations. In *Proc. of Interspeech*, p. 3615–3619, Brno, Czechia.

SADOK S., LEGLAIVE S., GIRIN L., ALAMEDA-PINEDA X. & SÉGUIER R. (2023). Learning and controlling the source-filter representation of speech with a variational autoencoder. *Speech Comm.*, **148**, 53–65.

SUNDBERG J. & NORDENBERG M. (2006). Effects of vocal loudness variation on spectrum balance as reflected by the alpha measure of long-term-average spectra of speech. *The J. of the Acoust. Soc. of Am.*, **120**(1), 453–457.

TITS N., WANG F., EL HADDAD K., PAGEL V. & DUTOIT T. (2019). Visualization and interpretation of latent spaces for controlling expressive speech synthesis through audio analysis. In *Proc. of Interspeech*, p. 4475–4479, Graz, Austria.

TITZE I. R. (2004). A theoretical study of F0-F1 interaction with application to resonant speaking and singing voice. *J. of Voice*, **18**(3), 292–298.

VAIDYA A. R., JAIN S. & HUTH A. (2022). Self-supervised models of audio effectively explain human cortical responses to speech. In *Int. Conf. on Machine Learning*, p. 21927–21944, Baltimore, USA.

VAN DER OORD A., VINYALS O. et al. (2017). Neural discrete representation learning. In *Advances in Neural Information Processing Systems*, p. 6306–6315, Long Beach, USA.

WANG Y., STANTON D., ZHANG Y., RYAN R.-S., BATTENBERG E., SHOR J., XIAO Y., JIA Y., REN F. & SAUROUS R. A. (2018). Style tokens: Unsupervised style modeling, control and transfer in end-to-end speech synthesis. In *Int. Conf. on Machine Learning*, p. 5180–5189, Stockholm, Sweden.

WILLIAMS J., FONG J., COOPER E. & YAMAGISHI J. (2021). Exploring disentanglement with multilingual and monolingual VQ-VAE. In *ISCA Speech Synthesis Workshop*, p. 124–129, Budapest, Hungary.

WILLIAMS J. & KING S. (2019). Disentangling style factors from speaker representations. In *Proc. of Interspeech*, p. 3945–3949, Graz, Austria.

YAMAGISHI J., VEAUX C. & MACDONALD K. (2019). CSTR VCTK corpus: English multi-speaker corpus for CSTR voice cloning toolkit (version 0.92).

ZHANG Y.-J., PAN S., HE L. & LING Z.-H. (2019). Learning latent representations for style control and transfer in end-to-end speech synthesis. In *Int. Conf. on Acoustics, Speech and Signal Processing*, p. 6945–6949, Brighton, UK.
# Identification du locuteur : ouvrir la boîte noire

Carole Millot¹, ²* Cédric Gendrot² Jean-François Bonastre¹, ³

(1) Inria, Domaine de Voluceau, 78153 Le Chesnay, France

(2) Laboratoire de Phonétique et Phonologie (CNRS & Sorbonne Nouvelle), 4 rue des Irlandais, 75005 Paris,
France

(3) Laboratoire Informatique d'Avignon, EA 4128, Avignon Université, Avignon, France

{carole.millot, cedric.gendrot}@sorbonne-nouvelle.fr,

jean-francois.bonastre@inria.fr

## RÉSUMÉ

L'explicabilité des systèmes relevant du deep learning est devenue un enjeu central ces dernières années, dans le droit européen comme le domaine criminalistique. L'approche BA-LR introduit en identification du locuteur un nouveau paradigme de modélisation : elle fait émerger automatiquement les attributs partagés par un groupe de locuteurs et qui sous-entendent la discrimination de ceux-ci. Le score produit est décomposable au niveau des attributs, ce qui augmente significativement l'explicabilité de la méthode. Cette étude propose de compléter la caractérisation des attributs obtenus par le BA-LR, à l'aide de paramètres de qualité de voix. L'analyse suggère que plusieurs attributs utilisent les types de phonation pour regrouper les locuteurs, ceux-ci encodant des informations humainement perceptibles. Cet article pose ainsi des bases pour l'analyse acoustique des attributs, qui permettra à terme d'utiliser le BA-LR dans le cadre du profilage vocal.

## ABSTRACT

### Opening the black box in speaker recognition

Explaining how deep-learning-based systems work has recently become a central issue, as seen in European legislation and forensic research. The BA-LR approach introduces a new paradigm for speaker recognition, discriminating speakers by bringing out binary attributes shared between them. The obtained score can be broken down at the attribute level, augmenting significantly the BA-LR explainability. This study aims to characterize the attributes proposed by BA-LR, with the help of voice quality parameters. Analysis suggests that multiple attributes use phonation types to group speakers : this shows attributes can be phonetically characterized, and encode humanly perceptible informations. This paper lays foundations for acoustic analysis of binary attributes, which may eventually permit using BA-LR for voice profiling.

**MOTS-CLÉS** : qualité de voix, traitement automatique de la parole, explicabilité, perception de la parole, reconnaissance du locuteur.

**KEYWORDS:** voice quality, speech processing, explainability, speech perception, speaker recognition.

<figure><img src="image_53.png" /></figure>

<footnote>∗ Thèse co-financée par la Direction générale de l'armement à travers l'Agence de l'innovation de défense.</footnote>
# 1 Introduction

La reconnaissance automatique du locuteur consiste à reconnaître ou vérifier l'identité d'une personne à partir d'un échantillon de sa voix. La comparaison de voix s'inscrit dans ce champ et détermine si deux enregistrements de parole ont été produits par le même locuteur, ou deux locuteurs différents. Les systèmes state of the art (état de l'art) de reconnaissance du locuteur sont basés sur l'apprentissage d'un modèle deep learning (apprentissage profond), appris sur de grandes bases données de locuteurs (Bai & Zhang (2021), Kwon et al. (2021)). Leurs performances sont excellentes (Sarni et al., 2023), mais ils ne fournissent aucun élément d'information permettant d'expliquer leur score (Campbell et al., 2009). L'explicabilité est pourtant un enjeu central pour la vérification du locuteur, par exemple dans une optique criminalistique pour la vérification du locuteur (Ben Amor & Bonastre (2022b), Ben Amor et al. (2023)) ou de manière générale, pour toutes les activités dîtes « *High Risk* » dans le cadre de l'AI Act (Sovrano et al., 2022). En réponse à cette limitation, l'approche BA-LR, a été récemment proposée (Ben Amor & Bonastre, 2022a). Elle représente un enregistrement audio par la présence ou l'absence d'attributs de voix dans celui-ci. Les attributs sont issus d'un ensemble fermé déterminé automatiquement (*bottom-up*) à partir d'une approche de *deep learning* appliquée sur une base de données de plus d'un million d'enregistrements. BA-LR propose comme score un Rapport de Vraisemblance (LR) entre la probabilité pour qu'un seul locuteur ait prononcé les deux enregistrements, versus l'hypothèse inverse. Ce score n'est basé que sur la présence (activation) ou l'absence des attributs dans les deux fichiers et sur les caractéristiques des attributs. Ce paradigme favorise l'explicabilité intrinsèque car la participation de chaque attribut à la décision est connue et est issue des caractéristiques de celui-ci, apprises durant l'entraînement (rareté et fiabilité d'extraction).

Caractériser la nature des informations encodées par ces attributs découverts par un système automatique est important dans le cadre de cette démarche. Nous conjecturons que la qualité de voix fait partie des paramètres pris en compte par le système pour définir les attributs. En effet, Kreiman (Kreiman et al. (2003), Lee & Kreiman (2019)) définit la qualité de voix comme la façon « dont les locuteurs projettent leur identité — leurs caractéristiques physiques, psychologiques, et sociales — au monde ». La qualité de voix peut être décomposée en différents corrélats acoustiques et perceptuels (Barsties & De Bodt, 2015), et est liée à des paramètres linguistiques tels que la nasalité ou encore le type de phonation (Lee & Kreiman, 2022).

Les types de phonation qualifient les différents positionnements possibles de la glotte pendant la phonation. On y compte la voix modale, mais aussi les voix craquée (présence de vibrations voisées irrégulières) et soufflée (présence importante de bruit dans le signal), ainsi que tendue et relâchée (Gordon & Ladefoged, 2001). Les types de phonation peuvent être liés à des variations d'ordres divers : le sexe est un facteur important — on retrouve souvent plus de souffle dans la voix des femmes du fait de la fermeture incomplète (*glottal chink*) de leur plis vocaux (Hanson & Chuang, 1999). La langue parlée par un locuteur (Benoist-Lucy & Pillot-Loiseau, 2013) et son appartenance à une communauté sociale ou géographique sont d'autres influences impactant le type de phonation, comme le cas de jeunes femmes étasuniennes utilisant la voix craquée (Greer & Winters, 2015).

Cette étude s'axe autour de deux enjeux. Le premier est la caractérisation d'attributs de la voix discriminants au sens du locuteur, par des paramètres de la qualité de la voix, ici les types de phonation. Le second est le développement d'une méthodologie cohérente pour l'étude des attributs découverts par un processus automatique.

La corrélation entre les différents attributs extraits par le BA-LR et les types de phonation est étudiée, suivie d'une analyse révélant les paramètres acoustiques pris en compte par le système automatique. Les liens avec d'autres attributs et le sexe des locuteurs sont également analysés.
# 2 Méthode

## 2.1 Annotation du corpus

Afin d'extraire les attributs de chaque extrait de parole, le système automatique BA-LR « standard » (Ben Amor & Bonastre, 2022a) est utilisé. Le modèle de celui-ci a été appris à partir de données du corpus anglophone VoxCeleb2 (Nagrani et al., 2017), une base de plus d'un million d'enregistrements produits par plus de 6000 locuteurs.

L'étude est réalisée à partir du corpus francophone PTSVOX (Chanclu et al., 2020), sélectionné en raison de son nombre de locuteurs, 369, permettant d'avoir un vaste éventail de profils vocaux. Chaque locuteur est enregistré pendant deux à quatre minutes, avec une à quatre sessions par locuteur (minimum deux pour les 24 premiers). Comme évoqué précédemment, le modèle BA-LR a été appris sur de l'anglais et est appliqué sur des données francophones. Bien que constituant une limitation potentielle, cette utilisation est justifiée par plusieurs expériences précédentes.

Dans le cadre de ce travail, le corpus a été annoté selon les types de phonation présents dans les enregistrements pour établir les profils vocaux des locuteurs. Pour chaque enregistrement, l'annotateur<fnref n="1" /> a attribué une étiquette de profil (craqué, soufflé, modal) perceptuellement pour chaque locuteur. Pour attribuer une étiquette craquée ou soufflée, le type de phonation doit être présent pendant environ les deux tiers des données du locuteur. Un groupe témoin composé d'extraits de 100 locuteurs sélectionnés aléatoirement est également composé.

Dans un deuxième temps, les enregistrements sont décomposés en extraits de trois secondes à l'aide d'un script Praat (Boersma, 2001) qui supprime les pauses dans l'enregistrement. Chaque extrait est ré-annoté selon le type de phonation présent dans celui-ci. Un accord inter-annotateurs est calculé à l'aide d'un autre évaluateur sur 10% des données à l'aide du package psych dans R (R Core Team, 2023; Revelle, 2024), dont le Kappa de Cohen résultant est de $\kappa = 0,79$. Les extraits présentant le type de phonation renseigné dans le profil du locuteur sont alors sélectionnés afin de réduire le bruit dans les données et la variation intra-locuteur.

La Table 1 montre la répartition des locuteurs en groupes de types de phonation, le nombre d'extraits vocaux par groupe, ainsi que le pourcentage de femmes pour chaque groupe.

<table><caption>TABLE 1 – Tableau montrant la répartition des locuteurs en groupes de type de phonation. Le nombre d'extraits correspondants et le pourcentage de femmes dans chaque groupe sont également présentés.</caption><thead><tr><td>Profil vocal du locuteur</td><td>Nombre de locuteurs</td><td>Nombre d'extraits</td><td>% femmes</td></tr></thead><tbody><tr><td>Profil craqué</td><td>38 locuteurs</td><td>4227 extraits</td><td>16%</td></tr><tr><td>Profil soufflé</td><td>31 locuteurs</td><td>3763 extraits</td><td>58%</td></tr><tr><td>Profil modal</td><td>32 locuteurs</td><td>4510 extraits</td><td>40%</td></tr><tr><td>Groupe témoin</td><td>100 locuteurs</td><td>8332 extraits</td><td>40%</td></tr><tr><td>Total</td><td>201 locuteurs</td><td>20832 extraits</td><td></td></tr></tbody></table>

## 2.2 Extraction des attributs

Le système BA-LR, dérivé des $x$-vecteurs, représente un extrait de parole (de trois secondes ici) par un embedding neuronal de 256 coefficients, ensuite binarisés. Seuls 206 coefficients sont conservés après suppression des coefficients inactifs. Un 1 indique la présence d'un attribut, un 0 son absence.

<footnote n="1">1. L'annotation a été réalisée par Carole Millot.</footnote>
# 3 Résultats

Afin de comparer le comportement des attributs en fonction des groupes de types de phonation, des moyennes d'activation pour chaque attribut sont calculées par groupe de locuteurs. Le groupe témoin permet d'établir des taux d'activation étalons pour chaque attribut. Un aperçu de l'ensemble des taux d'activation des attributs pour chaque groupe de locuteurs est visible Figure 1.

<figure><img src="image_54.png" /><figcaption>FIGURE 1 – Taux d'activation moyen des 206 attributs pour chaque groupe de locuteurs.</figcaption></figure>

Les moyennes d'activation de chaque attribut pour les trois groupes de type de phonation sont ensuite divisées par la moyenne d'activation du groupe témoin. Les attributs avec les plus forts écarts entre les ratios pour le groupe craqué/témoin et le groupe soufflé/témoin sont sélectionnés pour la suite de cette étude. Afin d'établir un seuil, un critère perceptuel est appliqué : pour les attributs avec les différences de ratio les plus importantes, une écoute de chaque extrait est réalisée pour vérifier si le type de phonation (voix craquée ou de la voix soufflée) est perçu dans l'ensemble des extraits du groupe, afin d'établir un lien perceptuel entre attribut et type de phonation. Ainsi, seuls les huit attributs comportant les différences de ratio les plus importantes (au moins neuf dixièmes de points) sont retenus pour la suite de l'analyse : BA3, 5, 27, 51, 85, 141, 144 et 157. Ils sont renseignés dans la Table 2.

<table><caption>TABLE 2 – Tableau représentant les huit attributs sélectionnés pour l'analyse, et le ratio entre les taux d'activation moyens pour les groupes de type de phonation et le groupe témoin.</caption><thead><tr><td>Attribut</td><td>Ratio craqué/témoin</td><td>Ratio modal/témoin</td><td>Ratio soufflé/témoin</td></tr></thead><tbody><tr><td>BA3</td><td>0,65</td><td>1</td><td>1,55</td></tr><tr><td>BA5</td><td>1,53</td><td>1,12</td><td>0,42</td></tr><tr><td>BA27</td><td>0,48</td><td>0,78</td><td>1,48</td></tr><tr><td>BA51</td><td>0,33</td><td>1</td><td>1,21</td></tr><tr><td>BA85</td><td>4,63</td><td>3,13</td><td>1,50</td></tr><tr><td>BA141</td><td>0,41</td><td>0,72</td><td>1,56</td></tr><tr><td>BA144</td><td>2,50</td><td>1,50</td><td>0,56</td></tr><tr><td>BA157</td><td>0,62</td><td>0,59</td><td>1,66</td></tr></tbody></table>
## 3.1 Interactions par attribut

Pour chacun des extraits de trois secondes, des mesures acoustiques sont extraites par openSMILE via l'ensemble de paramètres eGeMAPS (Eyben et al., 2010) qui contient 88 paramètres acoustiques. La mesure de la fréquence fondamentale $f_0$ en demi-tons, le Ratio Harmoniques/Bruit (HNR), ou encore la différence $h_1 - h_2$ font partie de ces paramètres. $h_1 - h_2$ est utilisée pour évaluer le type de phonation d'un extrait et calcule la différence entre la première et la seconde harmonique d'un spectre (Keating et al., 2010). Le HNR permet d'estimer le taux de bruit dans l'extrait, élevé pour les voix craquées et soufflées, par rapport au taux d'harmoniques (Davidson, 2019). Ces mesures sont exploitées à l'aide du package lme4 (Bates et al., 2015) afin de construire les modèles mixtes des interactions entre taux d'activation des attributs et mesures acoustiques. Les modèles mixtes permettent de contrôler la significativité des interactions calculées dans de grands corpus, grâce à l'inclusion d'effets aléatoires et de prédicteurs<fnref n="2" />. Les résultats sont regroupés dans la Table 3 et décrits dans les paragraphes ci-après. L'interaction est considérée significative à partir de $p < 0.005$ **.

<table><caption>TABLE 3 – Tableau présentant les *p*-values obtenues à partir des modèles mixtes calculés pour chacun des huit attributs étudiés. La significativité des interactions est évaluée avec le package lmerTest (Kuznetsova et al., 2017) à l'aide de l'approximation de Satterthwaite.</caption><thead><tr><th rowspan="2">Attribut</th><th colspan="4">p-value</th></tr><tr><th>Sexe</th><th>$f_0$</th><th>$h_1 - h_2$</th><th>HNR</th></tr></thead><tbody><tr><td>BA3</td><td>0.043 *</td><td>0.101</td><td>0.153</td><td>0.064</td></tr><tr><td>BA5</td><td>0.413</td><td>0.102</td><td>0.000259 ***</td><td>0.0015 **</td></tr><tr><td>BA27</td><td>0.031 *</td><td>0.025 *</td><td>0.882</td><td>0.000483 ***</td></tr><tr><td>BA51</td><td>0.362</td><td>0.164</td><td>0.000207 ***</td><td>2e-16 ***</td></tr><tr><td>BA85</td><td>0.039 *</td><td>0.561</td><td>0.00017 ***</td><td>1.05e-07 ***</td></tr><tr><td>BA141</td><td>6.31e-05 ***</td><td>6.31e-05 ***</td><td>0.319</td><td>0.129</td></tr><tr><td>BA144</td><td>6.31e-05 ***</td><td>6.31e-05 ***</td><td>0.055</td><td>0.052</td></tr><tr><td>BA157</td><td>6.31e-05 ***</td><td>6.31e-05 ***</td><td>0.056</td><td>0.021 *</td></tr><tr><td>206 attributs</td><td>0.810</td><td>0.085</td><td>0.975</td><td>0.020 *</td></tr></tbody></table>

Le sexe est un paramètre pris en compte de manière explicite ou implicite par les systèmes de reconnaissance de locuteurs du fait de son haut potentiel de discrimination (Jacquelin et al., 2023), ce qui peut introduire un biais dans l'analyse présentée. De plus, les groupes de locuteurs étudiés ne contiennent pas le même ratio d'hommes et de femmes (Table 1). Afin de vérifier que l'information retenue par les huit attributs ne dépend pas du sexe, un modèle mixte est utilisé pour calculer l'interaction entre les attributs et le sexe, avec le type de phonation en prédicteur fixe et le locuteur en variable aléatoire. L'interaction entre les huit attributs et le sexe est significative avec $p < 0.001$ pour trois attributs (Table 3) : BA141, BA144 et BA157.

La fréquence fondamentale est le paramètre acoustique le plus proéminent pour la prédiction du sexe d'un locuteur (Jacquelin et al., 2023). L'interaction entre la $f_0$ (en demi-tons) et les trois attributs corrélés au sexe du locuteur est calculée, avec le type de phonation et le sexe en prédicteurs fixes et le locuteur en variable aléatoire. Pour les trois attributs ayant une interaction significative avec le sexe du locuteur, les interactions avec la $f_0$ sont également significatives ($p < 0.001$), voir Table 3.

Pour vérifier les informations utilisées par les cinq autres attributs, un modèle mixte est utilisé pour calculer l'interaction entre les attributs et $h_1 - h_2$, avec le sexe et le type de phonation des extraits

<footnote n="2">2. Une interaction significative entre deux variables indique l'influence d'une variable sur l'effet de la deuxième.</footnote>
en prédicteurs fixes, et le locuteur en variable aléatoire. L'interaction entre BA5 et $h_1 - h_2$ est significative ($p < 0.001$), ainsi que pour BA51 et BA85 (voir Table 3). Cependant, pour BA3 et BA27 il n'y a pas d'interaction significative ($p > 0.05$).

Enfin, un modèle mixte similaire est utilisé pour les attributs et le Ratio Harmoniques/Bruit en variables. L'interaction entre les attributs et la mesure est significative ($p < 0.001$) pour BA27, BA51 et BA85, ainsi que pour BA5 ($p < 0.005$), voir Table 3.

Les interactions calculées précédemment sont comparées avec celles obtenues entre les moyennes combinées des activations de l'entièreté des attributs (206) et les différentes mesures (sexe, $f_0$, $h_1-h_2$, HNR), en conservant les paramètres des modèles mixtes. Cette comparaison permet de vérifier si les sept attributs analysés ci-avant contribuent significativement à l'encodage du sexe ou du type de phonation par le système. Les interactions utilisant les 206 attributs ne sont pas significatives pour le sexe, la $f_0$ et $h_1-h_2$ ($p > 0.05$). L'interaction avec le HNR est significative ($p = 0.020$).

La vérification des informations retenues par les attributs a apporté les informations suivantes : le type de phonation est encodé par quatre attributs, pour lesquels des interactions significatives ont été relevées pour les mesures $h_1 - h_2$ et le Ratio Harmoniques/Bruit. Trois autres attributs encodent le sexe du locuteur, présentant une interaction significative avec la $f_0$.

BA3 a un comportement atypique : bien qu'il ait été sélectionné pour sa différence de taux d'activation moyens entre les groupes craqué et soufflé, il ne présente pas d'interaction significative avec la fréquence fondamentale ou le type de phonation. La présence d'autres biais tels que l'âge, des pathologies de la voix ou l'accent régional peuvent expliquer son comportement.

## 3.2 Interactions entre attributs

D'après les résultats précédents, le type de phonation et le sexe font partie de l'information retenue par sept attributs analysés. Certains attributs ont leurs taux d'activation moyens en interaction significative avec une mesure acoustique commune, comme BA141, 144 et 157 avec $f_0$. Cette sous-section détaille les différentes conditions d'activation des attributs en interaction avec une mesure acoustique commune.

La Figure 2 représente la régression logistique entre les trois attributs et la $f_0$ : on observe qu'ils n'encodent pas tous la même information concernant la $f_0$. BA141 est activé pour les femmes à la voix aiguë, BA144 est activé pour les hommes à la voix grave, et BA157 est activé pour les femmes à la voix grave. Ces attributs permettent au système d'identifier les principaux contrastes de hauteur de voix selon le sexe : femme à la voix aiguë (BA141 activé), homme à la voix grave (BA144 activé), femme à la voix grave (BA157 activé) et homme à la voix aiguë (aucun des trois attributs activés).

<figure><img src="image_55.png" /></figure>

FIGURE 2 – Modélisation de l'interaction significative entre BA141 (a), BA144 (b) et BA157 (c), et la $f_0$ en demi-tons et le sexe du locuteur dans chaque extrait, avec le type de phonation en prédicteur fixe et le locuteur en variable aléatoire.
L'écoute des extraits qui activent les quatre attributs liés au type de phonation permet d'obtenir des renseignements supplémentaires sur leurs conditions d'activation.

Par exemple, 80% des extraits activés pour BA85 contiennent des voyelles allongées qui peuvent provoquer le craquement, comme les disfluences verbales. La durée d'allongement de la voyelle requise pour l'activation de l'attribut est de minimum 500ms, c'est-à-dire un sixième de l'extrait. Un exemple avec l'hésitation « euh » est visible sur la Figure 3, où l'on constate l'irrégularité du signal et du spectrogramme lors de sa production. Les extraits activés pour BA5 ont en commun la présence de voix craquée pendant au moins 700ms, et ce peu importe les phonèmes présents.

BA51 est présent lors de la présence de souffle ou d'écho dans l'enregistrement, notamment lorsque des locuteurs parlent près du micro. Enfin, BA27 peut être activé lors de la production de voix dite « peu efficace », pendant laquelle les locuteurs sont souvent à court de souffle.

<figure><img src="image_56.png" /><figcaption>FIGURE 3 – Exemple de la disfluence craquée « euh » présente dans un extrait activant BA85 chez le locuteur LL054.</figcaption></figure>

## 3.3 Encodage de la prototypicalité de sexe

Le type de phonation produit par un locuteur est influencé par son sexe (voir Section 1). Il a été montré en Section 3 que les interactions avec le sexe ne sont pas significatives pour les attributs BA5, BA27, BA51 et BA85 ($p > 0.005$). On étudie dans cette sous-section l'hypothèse suivante : l'activation des attributs BA5, BA27, BA51 et BA85 est corrélée aux caractéristiques perceptuelles des voix prototypiques d'un sexe.

Une voix perceptuellement prototypique d'un sexe possède des caractéristiques associées stéréotypiquement à ce sexe. Cela est dû à des différences biologiques récurrentes entre les deux sexes, qui sont intériorisées par les auditeurs et sont utilisées lors de la perception d'une voix (Latinus & Belin, 2011).

Par exemple, des voix prototypiques féminines peuvent comporter un type de phonation soufflé et des contours intonatifs importants (Avery & Liss, 1996), tandis que des voix prototypiques masculines peuvent comporter un type de phonation tendu et une $f_0$ basse (Baumann & Belin, 2010).

Si cette hypothèse est vérifiée, alors une voix prototypiquement féminine active plus fréquemment les attributs liés à la voix soufflée, et inversement pour une voix prototypiquement masculine.

Une annotation perceptuelle en prototypicalité de voix selon le sexe est effectuée pour les locuteurs des différents groupes de types de phonation. L'évaluation se fait sur chaque enregistrement des différents groupes, à l'aide une échelle de 1 à 5 avec 1 la note la plus basse (locuteur à la voix non prototypique) et 5 la note la plus haute (locuteur à la voix prototypique). L'accord inter-annotateur est calculé selon le Kappa de Cohen, dont le résultat est $κ = 0,60$. Ainsi, pour prendre en compte les avis de chaque annotateur, l'annotation finale est la moyenne des annotations précédentes<fnref n="3" />. La Figure 4a

<footnote n="3">3. Les annotations ont été réalisées par les deux premiers auteurs, en se basant sur l'ampleur des contours intonatifs, l'intensité de la voix et la hauteur de la $f_0$.</footnote>
montre la répartition des voix prototypiquement féminines et masculines d'après l'annotation finale, selon le groupe de locuteurs. Un calcul de l'interaction entre les scores de prototypicalité et la $f_0$ est effectué à l'aide d'un modèle mixte. L'interaction est significative ($p < 0,001$).

L'interaction entre les quatre attributs et l'annotation en prototypicalité de sexe est calculée avec un modèle mixte, dont le prédicteur fixe est le sexe et la variable aléatoire est le type de phonation. Le modèle montre que BA27 est le seul attribut possédant une interaction significative ($p < 0,001$). La Figure 4b représente l'interaction entre BA27 et la prototypicalité de sexe des voix avec le sexe comme prédicteur fixe. Le taux d'activation moyen de BA27 croît selon le score de prototypicalité féminine (80% d'activations pour une note de 5, aucune activation pour une note de 1). BA27 encode donc le principe de prototypicalité de la voix féminine. Les trois autres attributs ne retiennent pas cette information ($p > 0,05$).

<figure><img src="image_57.png" /><figcaption>(a) Diagramme en barres de l'annota-
tion des locuteurs selon la prototypica-
lité de leur voix en termes de sexe.</figcaption></figure>

<figure><img src="image_58.png" /><figcaption>(b) Interaction entre la prototypicalité de sexe des voix des locuteurs et le taux d'activation moyen de l'attribut BA27, avec le sexe comme facteur.</figcaption></figure>

FIGURE 4 – Résultats de l'analyse des attributs selon la prototypicalité de sexe des voix des locuteurs.

# 4 Conclusion

Les résultats de cette étude montrent que plusieurs attributs du BA-LR sont corrélés à des paramètres de qualité de voix, ici les types de phonation craqué et soufflé (Section 3). Le sexe est également une information discriminante pour trois des huit attributs étudiés, ainsi que la prototypicalité homme/femme des voix pour un d'entre eux (Sous-section 3.3).

Les attributs interagissent entre eux, et de nombreux paramètres sont à prendre en compte afin de comprendre leurs conditions d'activation. Ces résultats encouragent à procéder à l'annotation d'autres caractéristiques perceptibles dans les enregistrements, notamment au niveau de la qualité de voix, afin de caractériser d'autres attributs. Utiliser le BA-LR sur un autre corpus, multi-sessions, afin d'en comparer les résultats avec PTSVOX, est la prochaine piste d'étude.

La méthodologie suivie dans cet article a permis d'établir une interaction entre des attributs extraits à partir d'un système automatique et des paramètres de qualité de voix. Cette démarche confère une plus grande explicabilité au système, utile dans un cadre judiciaire.

La meilleure compréhension des attributs sous un angle perceptuel permet à la fois d'évaluer la proximité entre la perception humaine et le réseau de neurones derrière le BA-LR, mais aussi de documenter les paramètres de qualité de voix utilisés par cet outil : cela le rend utilisable dans des tâches de profilage du locuteur, la qualité de voix pouvant apporter des renseignements physiques et culturelles sur le locuteur étudié. Cela permettrait à terme l'extraction automatique d'un profil de locuteur à partir d'un simple enregistrement sonore.
# Références

AVERY J. D. & LISS J. M. (1996). Acoustic characteristics of less-masculine-sounding male speech. *The Journal of the Acoustical Society of America*, **99**(6), 3738–3748. DOI: 10.1121/1.414970.

BAI Z. & ZHANG X.-L. (2021). Speaker recognition based on deep learning: An overview. *Neural Networks*, **140**, 65–99.

BARSTIES B. & DE BODT M. (2015). Assessment of voice quality: current state-of-the-art. *Auris Nasus Larynx*, **42**(3), 183–188. DOI: 10.1016/j.anl.2014.11.001.

BATES D., MÄCHLER M., BOLKER B. & WALKER S. (2015). Fitting linear mixed-effects models using lme4. *Journal of Statistical Software*, **67**(1), 1–48. DOI: 10.18637/jss.v067.i01.

BAUMANN O. & BELIN P. (2010). Perceptual scaling of voice identity: common dimensions for different vowels and speakers. *Psychological Research PRPF*, **74**(1), 110–120. DOI: 10.1007/s00426-008-0185-z.

BEN AMOR I. & BONASTRE J.-F. (2022a). Ba-lr: Binary-attribute-based likelihood ratio estimation for forensic voice comparison. In *2022 International workshop on biometrics and forensics (IWBF)*, p. 1–6 : IEEE. DOI: 10.1109/IWBF55382.2022.9794542.

BEN AMOR I. & BONASTRE J.-F. (2022b). Ba-lr: une approche transparente de comparaison de voix en criminalistique. In *Actes de la 7e conférence conjointe Journées d’Études sur la Parole (JEP, 34e édition)*, Traitement Automatique des Langues Naturelles (TALN, 29e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 24e édition). *Volume 1 : Journées d’Études sur la Parole*, p. 646–654. DOI: 10.21437/JEP.2022-68.

BEN AMOR I., BONASTRE J.-F., O'BRIEN B. & BOUSQUET P.-M. (2023). Describing the phonetics in the underlying speech attributes for deep and interpretable speaker recognition. In *Proceedings of Interspeech 2023*. HAL: hal-04155146.

BENOIST-LUCY A. & PILLOT-LOISEAU C. (2013). The influence of language and speech task upon creaky voice use among six young american women learning french. In *Proceedings of Interspeech 2013*, p. 2395–2399. HAL: hal-00862349.

BOERSMA P. (2001). Praat, a system for doing phonetics by computer. *Glot. Int.*, **5**(9), 341–345.

CAMPBELL J. P., SHEN W., CAMPBELL W. M., SCHWARTZ R., BONASTRE J.-F. & MATROUF D. (2009). Forensic speaker recognition. *IEEE Signal Processing Magazine*, **26**(2), 95–103.

CHANCLU A., GEORGETON L., FREDQUILLE C. & BONASTRE J.-F. (2020). Ptsvox: une base de données pour la comparaison de voix dans le cadre judiciaire. In *Actes de la 6e conférence conjointe Journées d’Études sur la Parole (JEP, 33e édition)*, Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition). *Volume 1 : Journées d’Études sur la Parole*, p. 73–81. HAL: hal-02798519.

DAVIDSON L. (2019). Perceptual coherence of creaky voice qualities. In *Proceedings of the 19th International Congress of Phonetic Sciences. Canberra, Australia : Australasian Speech Science and Technology Association Inc*, p. 147–151.

EYBEN F., WÖLLMER M. & SCHULLER B. (2010). opensmile: the munich versatile and fast open-source audio feature extractor. In *Proceedings of the 18th ACM international conference on Multimedia*, p. 1459–1462.

GORDON M. & LADEFOGED P. (2001). Phonation types: a cross-linguistic overview. *Journal of phonetics*, **29**(4), 383–406. DOI: 10.006/jpho.2001.0147.
GREER S. D. & WINTERS S. J. (2015). The perception of coolness : Differences in evaluating voice quality in male and female speakers. In *Proceedings of ICPhS 2015*.

HANSON H. & CHUANG E. (1999). Glottal characteristics of male speakers : Acoustic correlates and comparison with female data. *The Journal of the Acoustical Society of America, **106***, 1064–77. DOI: 10.1121/1.427116.

JACQUELIN M., GARNIER M., GIRIN L., VINCENT R. & PERROTIN O. (2023). Exploring the multidimensional representation of individual speech acoustic parameters extracted by deep unsupervised models. In *12th ISCA Speech Synthesis Workshop (SSW2023)*, p. 240–241. HAL: hal-04274170.

KEATING P., ESPOSITO C., GARELLEK M., KHAN S. & KUANG J. (2010). Phonation contrasts across languages. In *Poster presented at the 12th Conference on Laboratory Phonology*.

KREIMAN J., VANLANCKER-SIDTIS D. & GERRATT B. R. (2003). Defining and measuring voice quality. In *ISCA Tutorial and Research Workshop on Voice Quality: Functions, Analysis and Synthesis*.

KUZNETSOVA A., BROCKHOFF P. B. & CHRISTENSEN R. H. B. (2017). *ImerTest* package : Tests in linear mixed effects models. *Journal of Statistical Software, **82*(13), 1–26. DOI: 10.18637/jss.v082.i13.

KWON Y., HEO H.-S., LEE B.-J. & CHUNG J. S. (2021). The ins and outs of speaker recognition : lessons from voxsrc 2020. In *ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*, p. 5809–5813 : IEEE.

LATINUS M. & BELIN P. (2011). Human voice perception. *Current Biology, **21*(4), R143–R145.

LEE Y. & KREIMAN J. (2019). Within and between speaker variation in voices. In *International Congress of Phonetic Sciences*, p. 1460–1464.

LEE Y. & KREIMAN J. (2022). Linguistic versus biological factors governing acoustic voice variation. In *Proceedings of Interspeech 2022*, p. 640–643.

NAGRANI A., CHUNG J. S. & ZISSERMAN A. (2017). Voxceleb : a large-scale speaker identification dataset. In *Proceedings of Interspeech 2017*, p. 2616–2620.

R CORE TEAM (2023). *R: A Language and Environment for Statistical Computing*. R Foundation for Statistical Computing, Vienna, Austria. R version 4.3.2 (2023-10-31).

REVELLE W. (2024). *psych: Procedures for Psychological, Psychometric, and Personality Research*. Northwestern University, Evanston, Illinois. R package version 2.4.1.

SARNI S., CUMANI S., SINISCALCHI S. M., BOTTINO A. et al. (2023). Description and analysis of the kpt system for nist language recognition evaluation 2022. In *Proceedings of 24th INTERSPEECH Conference*, p. 1–5 : ISCA.

SOVRANO F., SAPIENZA S., PALMIRANI M. & VITALI F. (2022). Metrics, explainability and the european ai act proposal. *J, **5*(1), 126–138.
# Les représentations de locuteurs pour prédire l'intelligibilité de la parole lors de conversations médicales

Sebastião Quintas¹ Mathieu Balaguer¹, ² Julie Mauclair¹ Virginie Woisard², ³
Julien Pinquier¹

(1) IRIT, Université de Toulouse, CNRS, Toulouse INP, UT3, Toulouse, France

(2) Hôpital Larrey, Toulouse, France

(3) Laboratoire de NeuroPsychoLinguistique, UR 4156, Université de Toulouse, Toulouse, France
sebastiao.quintas@irit.fr

## RÉSUMÉ

Dans le contexte des troubles de la parole, l'une des tâches du thérapeute est de définir l'intelligibilité de la parole du patient. Les systèmes automatiques peuvent aider dans cette tâche, mais dans la plupart des cas, ils sont entraînés dans des environnements spécifiques et contrôlés, avec des conditions propres qui ne reflètent pas un environnement médical. Dans cet article, nous développons un système automatique qui prédit l'intelligibilité de la parole à partir de données provenant de patients ayant un cancer de la tête et du cou obtenues dans des conditions cliniques. Ce système repose sur des représentations de locuteurs entraînées selon une méthodologie multi-tâches pour prédire simultanément l'intelligibilité de la parole et la sévérité des troubles de la parole. Il atteint une corrélation allant jusqu'à 0,891 pour une tâche de lecture. De plus, il affiche des résultats prometteurs sur de la parole spontanée, qui est une tâche plus écologique mais sous-étudiée et pourtant essentielle pour un déploiement direct d'un système automatique dans un environnement hospitalier.

## ABSTRACT

### Speaker Embeddings to Predict Speech Intelligibility in Medical Conversations

In the context of speech disorders, one of the therapist task is to assess the speech intelligibility of a patient. Automatic systems can help in that task but in most cases, they are trained in specific controlled environments with clean conditions that do not reflect a healthcare environment. In this paper, we develop an automatic system that predicts speech intelligibility on head and neck cancer data obtained in clinical conditions. This system relies on speaker embeddings trained using a multi-task methodology to simultaneously predict speech intelligibility and speech disorder severity. It achieves a correlation up to 0.891 on a reading task. Moreover, it displays promising results on spontaneous speech, which is a more ecologic task yet understudied but nevertheless essential for a direct deployment in a hospital setting.

**MOTS-CLÉS** : Intelligibilité de la parole, traitement automatique de la parole, représentations de locuteur, cancer de la tête et du cou, parole spontanée.

**KEYWORDS:** speech intelligibility, automatic speech processing, speaker embeddings, head and neck cancer, spontaneous speech.

<figure><img src="image_59.png" /></figure>
# 1 Introduction

Une altération fonctionnelle au niveau de la communication est généralement présente dès lors qu'un traitement intervient pour des maladies qui affectent les voies aérodigestives supérieures (VADS), telles que le cancer de la tête et du cou (HNC) et les maladies neurodégénératives responsables de dysarthries. Étant donné que des répercussions fonctionnelles majeures sur les VADS sont susceptibles de survenir, une perte d'intelligibilité de la parole est souvent observée, impactant la qualité de vie du patient (de Graeff et al., 2000). En raison du temps nécessaire à la mise en œuvre progressive du post-traitement et de sa durée, un diagnostic précoce est pertinent. Ce diagnostic ainsi que le suivi des troubles sont couramment basés sur une évaluation perceptive de l'intelligibilité de la parole.

Dans les mesures cliniques perceptives, il existe en plus de l'intelligibilité, la sévérité des troubles de la parole qui peut être considérée comme une mesure plus globale incluant la première. Malgré le fait qu'elles servent à deux objectifs différents, ces deux mesures partagent des corrélations élevées : l'une évalue la qualité de parole à un bas niveau, acoustico-phonétique (intelligibilité) et l'autre évalue le degré d'impact du trouble de la parole de façon plus globale sur la communication fonctionnelle (sévérité). De plus, ces mesures sont connues pour être hautement variables, biaisées et subjectives, car leurs évaluations peuvent être conditionnées par la connaissance préalable de la tâche à réaliser (par exemple, la lecture de textes), des évaluations antérieures ou encore une connaissance a priori des patients (Fex, 1992). Une approche automatique est alors une alternative pouvant favoriser des prédictions plus fiables et plus objectives.

Les approches pour la prédiction automatique de l'intelligibilité vont de scores basés sur les performances de reconnaissance automatique de la parole (Christensen et al., 2012; Fontan et al., 2017) à des techniques de traitement du signal plus traditionnelles ou à des méthodologies d'apprentissage automatique (Quintas et al., 2022; Bin et al., 2019). Le paradigme de l'embedding de locuteurs, où les énoncés de parole sont représentés par des vecteurs de dimension fixe ayant des propriétés discriminantes entre les locuteurs, a montré des apports intéressants sur des tâches distinctes telles que l'intelligibilité de la parole (Laaridh et al., 2018; Quintas et al., 2020), mais aussi sur l'évaluation générale de la parole pathologique (Zargarbashi & Babaali, 2019; Codosero et al., 2019).

Alors que les travaux récents sur la prédiction automatique de l'intelligibilité de la parole affichent des résultats prometteurs, la majorité des systèmes sont testés sur des données qui ne reproduisent que difficilement les conditions réelles d'un hôpital. Les salles d'enregistrement sont traitées acoustiquement, en utilisant toujours le même microphone, une distance de microphone prédéfinie et des tâches de parole prédéfinies (Clapham et al., 2012; Woisard et al., 2020). Étant donné que l'objectif final de ces systèmes est de fournir des estimations d'intelligibilité plus robustes et écologiques, il devient essentiel de les évaluer sur différents ensembles de données et scénarii cliniques lorsqu'on envisage leur mise en œuvre directe.

De plus, les tâches de parole généralement utilisées pour les évaluations perceptives ou automatiques (Fredouille et al., 2019; Quintas et al., 2020) de la parole sont habituellement la lecture de textes et les pseudo-mots. Les tâches impliquant la parole spontanée, elles, n'ont pas encore été suffisamment étudiées dans le domaine des évaluations automatiques (Balaguer et al., 2019b). Une évaluation automatique sur de la parole spontanée dans des conditions cliniques réelles se rapproche pourtant grandement de l'environnement dans lequel ce type de systèmes serait déployé, tout en utilisant des données représentant étroitement la capacité de communication réelle d'un locuteur.

Par conséquent, dans ce travail, nous menons des expériences sur un système de prédiction d'in-
telligibilité adapté à des données hospitalières plus écologiques. Ainsi, nous avons l'intention de :
(i) Analyser la fiabilité d'un système de prédiction de l'intelligibilité/sévérité basé sur des données enregistrées dans des conditions cliniques réelles, et (ii) Évaluer la fiabilité du même système lors de la prédiction de l'intelligibilité/sévérité basée sur des segments de parole spontanée, obtenus à partir d'entretiens patient-soignant.

Le reste de cet article est organisé comme suit. La section 2 décrit notre système et notre méthodologie globale. La section 3 présente notre corpus, nos expériences et nos résultats. Enfin, les sections 4 et 5 proposent une discussion et nos conclusions et perspectives, respectivement.

# 2 Méthodologie

De manière similaire à (Quintas et al., 2020), le système automatique de prédiction de l'intelligibilité utilise le paradigme de représentation de locuteurs et un réseau de neurones. Dans cet article, le système<fnref n="1" /> est adapté pour prédire deux mesures perceptives dans un cadre multi-tâches : l'intelligibilité de la parole (INT), définie comme le degré selon lequel le message du locuteur peut être compris par un auditeur, et la sévérité des troubles de la parole (SEV) définie comme le degré d'altération de l'intelligibilité associé à d'autres variables du signal de parole telles que la qualité d'émission du code acoustico-phonétique, la vitesse de parole et d'autres paramètres temporels ou prosodiques pertinents (Balaguer et al., 2019a). Ces deux mesures, bien que partageant une corrélation élevée et un certain degré de similarité, servent à des fins distinctes. Alors que l'intelligibilité évalue directement la qualité de parole d'un patient donné au niveau acoustico-phonétique, la sévérité des troubles de la parole sert de score global de la maladie qui encapsule différents aspects de la communication verbale.

## 2.1 Représentations de locuteurs

Les représentations de locuteurs sont des représentations de longueur fixe généralement utilisées dans la vérification des locuteurs, la segmentation en locuteurs et la reconnaissance automatique de la parole. Récemment, ils ont montré une capacité à transmettre des attributs du locuteur permettant la détection des troubles affectant la parole (Codosero et al., 2019). Depuis, nous observons une utilisation croissante de ces représentations pour l'évaluation automatique de la parole pathologique. De plus, étant donné la bonne performance de ce paradigme sur des tâches qui traitent généralement d'une parole plus spontanée (par exemple, la segmentation en locuteurs dans des contextes conversationnels) (Larcher et al., 2021), nous émettons l'hypothèse qu'une approche basée sur les représentations pourrait mieux aider à prédire l'intelligibilité de la parole dans ce même contexte, par opposition à la parole lue, généralement utilisée dans les évaluations cliniques. Étant donné que les représentations de locuteurs à base de x-vecteurs ont surpassé les i-vecteurs dans la prédiction d'intelligibilité (Quintas et al., 2020), deux classes de représentations de locuteurs ont été testées dans la présente étude, toutes deux extraites à l'aide du toolkit Speechbrain (Ravanelli et al., 2021).

Les premières classes sont des x-vecteurs. Elles sont utilisées dans (Quintas et al., 2020) pour prédire l'intelligibilité de la parole en extrayant les caractéristiques discriminantes entre les locuteurs (Snyder et al., 2018). L'extraction des représentations<fnref n="2" /> fonctionne en faisant passer le signal de parole à travers

<footnote n="1">1. https://gitlab.irit.fr/samova/embedding_intelligibility</footnote>

<footnote n="2">2. https://huggingface.co/speechbrain/spkrec-xvect-voxceleb</footnote>
un bloc de réseaux neuronaux à retard temporel (TDNN) qui opère sur des trames de parole avec un contexte temporel réduit centré sur la trame actuelle. Les couches TDNN ultérieures s'appuient sur le contexte temporel des couches précédentes. Une couche de regroupement statistique agrège toutes les sorties au niveau des trames en une dimension de longueur fixe, qui est ensuite alimentée dans un bloc entièrement connecté. Les *x-vecteurs* sont extraits à partir de la composante affine de la dernière couche entièrement connectée. Le système a été pré-entraîné avec les données voxceleb1 (Nagrani et al., 2017) et voxceleb2 (Chung et al., 2018), puis testé sur l'ensemble de test voxceleb1, atteignant une erreur (EER, (Cheng & Wang, 2004)) de 3,2%.

Ensuite, les représentations de locuteurs Ecapa TDNN<fnref n="3" />, plus récents que les *x-vecteurs*, ont été expérimentés. Ces représentations de longueur fixe s'appuient sur le concept des *x-vecteurs*, avec cependant plusieurs améliorations qui suggèrent une meilleure performance en vérification des locuteurs par rapport à d'autres représentations (Desplanques et al., 2020). Nous supposons que ces améliorations permettent au réseau de se concentrer davantage sur les caractéristiques du locuteur qui ne s'activent pas aux mêmes instants, par exemple les propriétés spécifiques du locuteur sur les voyelles par rapport aux propriétés spécifiques du locuteur sur les consonnes. Nous émettons l'hypothèse que ces améliorations pourraient fournir un embedding de locuteur plus robuste pour l'évaluation de la parole pathologique, et par conséquent surpasser les *x-vecteurs* précédemment utilisés. De manière similaire à l'extracteur précédemment introduit, le système Ecapa TDNN a été pré-entraîné en utilisant les données voxceleb1 et voxceleb2, puis testé sur l'ensemble de test voxceleb1, atteignant une EER de seulement 0,8%.

## 2.2 Réseau neuronal

La figure 1 présente un diagramme de notre réseau neuronal. Le réseau reçoit en entrée les représentations de locuteurs qui, selon le type, ont des dimensions fixes distinctes (512 pour les *x-vecteurs* et 192 pour l'Ecapa TDNN). De plus, le signal passe à travers deux couches de dimensions fixes, puis enfin les deux couches multi-tâches qui prédisent les deux mesures perceptives différentes. Le système est optimisé à l'aide d'une fonction de perte de l'erreur quadratique moyenne (MSE) et d'un algorithme d'optimisation Adam. Afin de prédire deux mesures distinctes, la fonction de perte prend en compte ces deux mesures avec des contributions égales, ce qui signifie un poids de 50 % pour l'intelligibilité et 50 % pour la sévérité. En raison des corrélations élevées généralement observées entre ces deux mesures, nous émettons l'hypothèse que leur apprentissage conjoint conduira à une estimation de l'intelligibilité de la parole meilleure et plus robuste.

## 2.3 Entraînement et validation

Un système pour chaque type de représentations a ainsi été entraîné sur le corpus C2SI (Woisard et al., 2020). Le corpus comprend une variété de patients souffrant de cancer de la tête et du cou avec des localisations tumorales initiales différentes, ainsi que des locuteurs sains. Les deux systèmes ont été entraînés et validés en utilisant la tâche de lecture de texte segmentée. Un schéma d'augmentation des données, similaire à celui de (Quintas et al., 2020), basé sur une distorsion temporelle (Vachhani et al., 2018; Ko et al., 2015) qui préserve le timbre et l'enveloppe spectrale, a été implémenté pendant l'entraînement. Un total de 98 locuteurs a été utilisé pour l'entraînement et un sous-ensemble de 10

<footnote n="3">3. https://huggingface.co/speechbrain/spkrec-ecapa-voxceleb</footnote>
<figure><img src="image_60.png" /><figcaption>FIGURE 1 – Diagramme schématique du réseau neuronal proposé et de l'approche d'apprentissage multi-tâches correspondante. La mention "Emb" indique la taille de la représentation de locuteurs.</figcaption></figure>

locuteurs avec des degrés d'intelligibilité variables a été utilisé comme ensemble de validation. Un batchsize de 8, un taux d'apprentissage de 0,001 et une fonction de perte (loss) de 0,2 ont été utilisés sur 20 epochs.

# 3 Expériences et Résultats

## 3.1 Corpus SpeeCOmco

Notre corpus de parole et de communication en oncologie (SpeeCOmco) est un ensemble de 27 patients présentant des degrés d'intelligibilité variables ayant enregistré différentes tâches dans des conditions cliniques réelles (Balaguer, 2021). Dans la population du corpus, l'âge moyen est de 66,3 ans (min. 38 ans, max. 83 ans) avec une représentation féminine de 37%. Les enregistrements ont été réalisés dans des salles de consultation, non traitées acoustiquement, avec l'utilisation d'un micro-casque couramment utilisé en pratique clinique et la présence d'un certain niveau de bruit de fond. Les enregistrements ayant eu lieu dans un environnement hospitalier, plus précisément lors de rendez-vous cliniques en orthophonie, les conditions d'enregistrement imitent exactement les conditions dans lesquelles le présent système serait déployé. Tous les patients sont des locuteurs natifs du français.

Pour cet ensemble de patients, l'intelligibilité moyenne et la sévérité des troubles de la parole ont été calculées sur la base d'une évaluation perceptive indépendante de six professionnels de la santé. Chaque locuteur a reçu un score entre 0 et 10, plus la valeur est petite, moins la parole est intelligible. La même échelle est utilisée pour la sévérité. Le coefficient de corrélation intraclasse (CCI) a été
calculé pour évaluer la fiabilité inter-juges. Un CCI de 0,816 a été obtenu pour les six juges lors de l'évaluation de l'intelligibilité de la parole parmi tous les patients et un CCI de 0,852 a été obtenu pour la sévérité, montrant un bon niveau d'accord entre les experts.

Plusieurs tâches, classiques dans l'évaluation de la parole pathologique, ont été utilisées :

1. **Lecture de texte (LEC).** Les locuteurs ont été invités à lire le premier paragraphe de « La chèvre de M. Seguin », un conte d'Alphonse Daudet choisi car il est assez long pour inclure presque tous les phonèmes français. Ce passage est également bien connu et largement utilisé en phonétique clinique française (Ghio et al., 2012).

2. **Phrases avec semi-voyelles (PHR).** Les locuteurs lisent deux phrases contenant les semi-voyelles françaises [w] et [U], absentes du texte LEC.

3. **Inflexion consonantique (CSN).** Les locuteurs ont été invités à lire 17 phrases sous la forme de « *Le sac eu Ceu convient* », où le *C* est remplacé à chaque phrase par une consonne différente.

4. **Pseudo-mots (DAP).** Chaque locuteur enregistre un ensemble de 52 pseudo-mots, inexistants dans la langue française (Lalain et al., 2020). Chaque pseudo-mot a été généré automatiquement de manière à respecter les règles phonotactiques et orthographiques du français.

5. **Parole spontanée (SPO).** Dans cette tâche, l'échantillon audio provient d'un entretien entre un orthophoniste et le locuteur. La conversation porte sur la communication quotidienne et les limitations perçues par le locuteur. Les segments de parole spontanée sont obtenus grâce à un détecteur d'activité vocale (VAD). Les segments de moins de 3s et de plus de 10s ont été écartés afin de minimiser le nombre d'artefacts capturés. Les segments avec une trop forte présence de la voix du thérapeute ont également été supprimés. La durée de l'entretien peut ici beaucoup différer entre les locuteurs (ainsi que le nombre de fichiers associés : de 8 à 56 dans ce corpus).

## 3.2 Tests et résultats

Les 27 patients et les cinq tâches de parole enregistrées ont été évalués à l'aide des deux systèmes décrits précédemment, l'un utilisant les *x-vecteurs* et l'autre les représentations de locuteurs Ecapa TDNN. À l'exception de la tâche de parole spontanée, dont la prédiction d'intelligibilité correspond à la moyenne des fichiers segmentés en parole (via une VAD mentionnée précédemment), les tâches ont été analysées sur un seul fichier audio par locuteur. Le tableau 1 illustre la corrélation de Spearman ($\rho$) pour les différentes tâches évaluées et le type de représentations, et les valeurs de l'erreur quadratique moyenne (RMSE) sur l'intelligibilité de la parole (ainsi que sur la prédiction de la sévérité des troubles de la parole). Les corrélations sont élevées ($\rho$ > 0,82) sur quatre des cinq tâches lors de l'utilisation des *x-vecteurs*. De même, les erreurs sont faibles (RMSE < 1,5) sur trois des tâches. La figure 2 affiche un graphique des prédictions associées à la tâche de parole spontanée.

## 4 Discussion

Les résultats ont montré des valeurs de corrélation et d'erreur encourageantes. De plus, étant donné que l'objectif final de cet article est de valider la mise en œuvre d'un système de prédiction de l'intelligibilité et de sévérité sur le plan clinique, une combinaison de corrélation élevée et d'erreurs
<table><caption>TABLE 1 – Valeurs de corrélation et d'erreur obtenues lors du test du système sur les différentes tâches du corpus SpeeCOmco. Les valeurs en gras marquent les tâches avec les meilleurs résultats. Toutes les corrélations ont atteint une valeur p < 0,05, les rendant statistiquement significatives.</caption><thead><tr><th colspan="2">Mesures perceptives</th><th colspan="4">Sévérité</th><th colspan="4">Intelligibilité</th></tr><tr><th colspan="2">Représentations</th><th colspan="2">Ecapa TDNN</th><th colspan="2">X-vecteurs</th><th colspan="2">Ecapa TDNN</th><th colspan="2">X-vecteurs</th></tr><tr><th colspan="2">Métriques d'évaluation</th><th>ρ</th><th>RMSE</th><th>ρ</th><th>RMSE</th><th>ρ</th><th>RMSE</th><th>ρ</th><th>RMSE</th></tr></thead><tbody><tr><td rowspan="5">Tâches de parole</td><td>LEC</td><td>0.783</td><td>1.873</td><td><strong>0.866</strong></td><td><strong>1.384</strong></td><td>0.826</td><td>2.070</td><td><strong>0.891</strong></td><td><strong>1.322</strong></td></tr><tr><td>PHR</td><td>0.784</td><td>1.782</td><td>0.805</td><td>1.772</td><td>0.807</td><td>1.854</td><td><strong>0.842</strong></td><td><strong>1.460</strong></td></tr><tr><td>CSN</td><td>0.643</td><td>2.060</td><td>0.861</td><td>2.124</td><td>0.673</td><td>2.147</td><td>0.859</td><td>1.971</td></tr><tr><td>DAP</td><td>0.296</td><td>2.673</td><td>0.724</td><td>2.219</td><td>0.371</td><td>2.805</td><td>0.731</td><td>1.881</td></tr><tr><td>SPO</td><td>0.657</td><td>2.124</td><td>0.818</td><td>1.820</td><td>0.695</td><td>2.252</td><td><strong>0.828</strong></td><td><strong>1.468</strong></td></tr></tbody></table>

<figure><img src="image_61.png" /><figcaption>FIGURE 2 – Résultats de la prédiction de l'intelligibilité sur le corpus SpeeCOmco en utilisant la tâche SPO (x-vecteurs).</figcaption></figure>

faibles doit être envisagée. Malgré les résultats prometteurs des représentations ECAPA pour la vérification des locuteurs (Desplanques et al., 2020), dans notre contexte spécifique, les *x-vecteurs* les surpassent dans toutes les tâches de parole, tant pour l'intelligibilité que pour la sévérité. Cet aspect valide non seulement l'utilisation des *x-vecteurs* pour la parole pathologique, mais montre également que tous les types de représentations de locuteurs ne conviennent pas à ce type d'analyse. Une étude comparative approfondie sur les différentes représentations de locuteurs pour ce type d'évaluation ainsi que la recherche d'une meilleure métrique pour analyser leur performance sur la parole pathologique est une piste intéressante pour les travaux futurs.

Les *x-vecteurs* ont obtenus des résultats intéressants et fiables, à l'exception de la tâche DAP. D'une part, ceci peut être expliqué par la qualité de ces enregistrements : artefacts de bruit entre les pseudo-mots. D'autre part, aucune prosodie ni coarticulation entre les pseudo-mots ne sont présentes. Le système ayant été entraîné sur la tâche de lecture de texte, bien évidemment, il se comporte mieux
sur cette même tâche LEC. Cependant, la tâche PHR a également obtenue des résultats fiables, bien que les fichiers audio soient beaucoup plus courts que ceux de la tâche de lecture. Enfin, les résultats sur la parole spontanée ont présenté une corrélation forte et une faible erreur (comparable aux autres tâches). L'évaluation de ce type de parole devient très pertinente en raison du fait qu'il s'agit d'un médium peu exploré (Balaguer et al., 2019b), offrant une vision écologique de la capacité réelle du patient à communiquer. Cette évaluation automatique sur la parole spontanée comble un vide dans la littérature concernant le test des approches automatiques sur ce type de parole enregistrée, et peut être considérée comme une pierre angulaire vers des prédictions d'intelligibilité plus pertinentes, plus écologiques et plus fiables.

# 5 Conclusions et perspectives

Cet article a examiné la fiabilité d'un prédicteur automatique de l'intelligibilité de la parole basé sur des représentations de locuteurs dans des conditions écologiques (consultations cliniques à l'hôpital). Différentes évaluations ont été réalisées dans une méthodologie d'apprentissage multi-tâches. Les résultats ont suggéré une bonne capacité de généralisation, illustrée par des corrélations allant jusqu'à 0,891 et des erreurs de 1,322. Les métriques obtenues sur la tâche de parole spontanée sont non seulement comparables à celles des autres tâches, mais ouvrent également la possibilité d'une utilisation plus large des évaluations automatiques, un sujet actuellement sous-exploré.

Même si l'intelligibilité de la parole est la principale mesure subjective à analyser et à prédire ici, les résultats sont similaires sur la sévérité des troubles de la parole. Cet aspect montre que le paradigme multi-tâches peut être efficace pour ce type de mesure, et permet d'apprendre d'autres mesures perceptives, telles que la prosodie, la résonance et les distorsions phonémiques. De plus, une mesure d'intelligibilité qui peut être considérée comme une combinaison de ces autres paramètres (de Bodt et al., 2002) peut être plus interprétable, avec une valeur ajoutée dans un environnement clinique.

Le système développé a été entraîné sur une tâche de lecture. Malgré la bonne généralisation du système sur une variété de nouveaux patients et de tâches de parole, un entraînement supplémentaire sur d'autres tâches (comme de la parole spontanée), ainsi que sur d'autres langues et maladies (comme la maladie de Parkinson, la sclérose latérale amyotrophique, etc.) pourrait non seulement augmenter les performances, mais aussi rendre le système encore plus robuste. Le développement d'un modèle d'intelligibilité automatique multi-pathologies est une perspective intéressante pour les travaux futurs. Cependant, il convient de le concevoir avec soin, car une solution fonctionnelle pour l'intelligibilité de la parole dans les cancers de la tête et du cou peut ne pas nécessairement correspondre à la meilleure approche pour les maladies neurologiques. Cela est principalement dû au type de problèmes affectant la parole qui diffèrent grandement entre les deux ensembles de maladies, rendant les systèmes conçus difficilement transposables à toutes pathologies.

Au vu de la capacité de généralisation du système proposé sur différents types de données hospitalières dans le contexte des cancers de la tête et du cou, les travaux futurs prévoient la mise en œuvre directe du présent système en clinique, grâce à une application mobile qui sera utilisée par les thérapeutes.

# 6 Remerciements

Ce projet a reçu un financement du programme de recherche et d'innovation Horizon 2020 de l'Union européenne dans le cadre de l'accord de subvention Marie Skłodowska-Curie No 766287.
Références

BALAGUER M. (2021). *Mesure de l'altération de la communication par analyses automatiques de la parole spontanée après traitement d'un cancer oral ou oropharyngé.* Thèse de doctorat, Université Paul Sabatier - Toulouse III.

BALAGUER M., BOISGUÉRIN A., GALTIER A., GAILLARD N., PUECH M. & WOISARD V. (2019a). Assessment of impairment of intelligibility and of speech signal after oral cavity and oropharynx cancer. *European Annals of Otorhinolaryngology, Head and Neck Diseases, 136(5)*, 355-359.

BALAGUER M., POMMÉE T., FARINAS J., PINQUIER J., WOISARD V. & SPEYER R. (2019b). Effects of oral and oropharyngeal cancer on speech intelligibility using acoustic analysis : Systematic review. *Journal of the Sciences and Specialities of Head and Neck, 42(1)*, 111-130.

BIN L., KELLEY M. C., AALTO D. & TUCKER B. V. (2019). Automatic speech intelligibility scoring of head and neck cancer patients with deep neural networks. *International Congress of Phonetic Sciences (ICPhS)*.

CHENG J.-M. & WANG H.-C. (2004). A method of estimating the equal error rate for automatic speaker verification. *Proceedings of ISCSLP*.

CHRISTENSEN H., CUNNINGHAM S., FOX C., GREEN P. & HAIN T. (2012). A comparative study of adaptive, automatic recognition of disordered speech. *Proceedings of Interspeech*.

CHUNG J. S., NAGRANI A. & ZISSERMAN A. (2018). Voxceleb2 : Deep speaker recognition. *Proceedings of Interspeech*.

CLAPHAM R., VAN DER MOLEN L., VAN SON R., VAN DEN BREKEL M. & HILGERS F. (2012). Nki-ccrt corpus - speech intelligibility before and after advanced head and neck cancer treated with concomitant chemoradiotherapy. *Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC'12)*.

CODOSERO J. M. P., ESPINOZA-CUADROS F., ANTÓN-MARTÍN J., BARBERO-ALVAREZ M. A. & GÓMEZ L. A. H. (2019). Modeling obstructive sleep apnea voices using deep neural network embeddings and domain-adversarial training. *IEEE Journal of Selected Topics in Signal Processing, 14(2)*, 240-250.

DE BODT M., HUICI M. E. & HEYNING P. V. D. (2002). Intelligibility as a linear combination of dimensions in dysarthric speech. *Journal of Communication Disorders, 35(3)*, 283-292.

DE GRAEFF A., DE LEEUW R. J., ROS W. J., HORDIJK G.-J., BLIJHAM G. H. & WINNUBST J. A. (2000). Long-term quality of life of patients with head and neck cancer. *The Laryngoscope, Volume 110, Issue 1*, p. 98-106.

DESPLANQUES B., THIENPONDT J. & DEMUYNCK K. (2020). ECAPA-TDNN : Emphasized channel attention, propagation and aggregation in tdnn based speaker verification. *Proceedings of Interspeech*.

FEX S. (1992). Perceptual evaluation. *Journal of Voice, 6*(2), 155-158.

FONTAN L., FERRANÉ I., FARINAS J., PINQUIER J., TARDIEU J. & MAGNEN C. (2017). Automatic speech recognition predicts speech intelligibility and comprehension for listeners with simulated age-related hearing loss. *Journal of Speech, Language and Hearing Research, Volume 50(1), 60(9)*, 2394-2405.

FREDOUILLE C., GHIO A., LAARIDH I., LALAIN M. & WOISARD V. (2019). Acoustic-phonetic decoding for speech intelligibility evaluation in the context of head and neck cancers. *International Congress of Phonetic Sciences (ICPhS)*, p. 3051-3055.
GHIO A., POUCHOULIN G., TESTON B., PINTO S., FREDOUILLE C. & ET AL (2012). How to manage sound, physiological and clinical data of 2500 dysphonic and dysarthric speakers? *Speech Communication*, **54**, 664–679.

KO T., PEDDINTI V., POVEY D. & KHUDANPUR S. (2015). Audio augmentation for speech recognition. *Proceedings of Interspeech*.

LAARIDH I., FREDOUILLE C., GHIO A., LALAIN M. & WOISARD V. (2018). Automatic evaluation of speech intelligibility based on i-vectors in the context of head and neck cancers. *Proceedings of Interspeech*.

LALAIN M., GHIO A., GIUSTI L., ROBERT D., FREDOUILLE C. & WOISARD V. (2020). Design and development of a speech intelligibility test based on pseudowords in french: Why and how? *Journal of Speech, Language and Hearing Research*, **63**(7), 2070–2083.

LARCHER A., MEHRISH A., TAHON M., MEIGNIER S., CARRIVE J., DOUKHAN D., GALIBERT O. & EVANS N. (2021). Speaker embeddings for diarization of broadcast data in the allies challenge. *Proceedings of ICASSP*.

NAGRANI A., CHUNG J. S. & ZISSERMAN A. (2017). Voxceleb: A largescale speaker identification dataset. *Proceedings of Interspeech*.

QUINTAS S., MAUCLAIR J., WOISARD V. & PINQUIER J. (2020). Automatic prediction of speech intelligibility based on x-vectors in the context of head and neck cancer. *Proceedings of Interspeech*.

QUINTAS S., MAUCLAIR J., WOISARD V. & PINQUIER J. (2022). Automatic assessment of speech intelligibility using consonant similarity for head and neck cancer. *Proceedings of Interspeech*.

RAVANELLI M., PARCOLLET T., PLANTINGA P., ROUHE A., CORNELL S., LUGOSCH L., SUBAKAN C., DAWALATABAD N., HEBA A., ZHONG J., CHOU J.-C., YEH S.-L., FU S.-W., LIAO C.-F., RASTORGUEVA E., GRONDIN F., ARIS W., NA H., GAO Y., MORI R. D. & BENGIO Y. (2021). SpeechBrain: A general-purpose speech toolkit. *arXiv:2106.04624*.

SNYDER D., GARCIA-ROMERO D., SELL G., POVEY D. & KHUDANPUR S. (2018). X-vectors: Robust dnn embeddings for speaker recognition. *Proceedings of ICASSP*.

VACHHANI B., BHAT C. & KOPPARAPU S. K. (2018). Data augmentation using healthy speech for dysarthric speech recognition. *Proceedings of Interspeech*.

WOISARD V., ASTÉSANO C., BALAGUER M., FARINAS J., FREDOUILLE C., GAILLARD P., GHIO A., GIUSTI L., LAARIDH I., LALAIN M., LEPAGE B., MAUCLAIR J., NOCAUDIE O., PINQUIER J., POUCHOULIN G., PUECH M., ROBERT D. & ROGER V. (2020). C2SI corpus: a database of speech disorder productions to assess intelligibility and quality of life in head and neck cancers. *Language Resources and Evaluation*, **55**, 173–190.

ZARGARBASHI S. & BABAALI B. (2019). A multi-modal feature embedding approach to diagnose alzheimer disease from spoken language. *arXiv:1910.00330*.
# Mesure du niveau de proximité entre enregistrements audio et évaluation indirecte du niveau d'abstraction des représentations issues d'un grand modèle de langage

Maxime Fily¹, ²

Guillaume Wisniewski¹

Séverine Guillaume²

Gilles Adda³

Alexis Michaud²

(1) LLF, CNRS, Université Paris-Cité, F-75013, Paris, France

(2) LACITO, CNRS, Université Sorbonne Nouvelle, F-94800, Villejuif, France

(3) LISN, CNRS, Université Paris-Saclay, F-91405, Orsay, France

maxime.fily@gmail.com, guillaume.wisniewski@u-paris.fr,

{severine.guillaume, alexis.michaud}@cnrs.fr, gilles.adda@limsi.fr

## RÉSUMÉ

Nous explorons les représentations vectorielles de la parole à partir d'un modèle pré-entraîné pour déterminer leur niveau d'abstraction par rapport au signal audio. Nous proposons une nouvelle méthode non-supervisée exploitant des données audio ayant des métadonnées soigneusement organisées pour apporter un éclairage sur les informations présentes dans les représentations. Des tests ABX déterminent si les représentations obtenues via un modèle de parole multilingue encodent une caractéristique donnée. Trois expériences sont présentées, portant sur la qualité acoustique de la pièce, le type de discours, ou le contenu phonétique. Les résultats confirment que les différences au niveau de caractéristiques linguistiques/extra-linguistiques d'enregistrements audio sont reflétées dans les représentations de ceux-ci. Plus la quantité d'audio par vecteur est importante, mieux elle permet de distinguer les caractéristiques extra-linguistiques. Plus elle est faible, et mieux nous pouvons distinguer les informations d'ordre phonétique/segmental. La méthode proposée ouvre de nouvelles pistes pour la recherche et les travaux comparatifs sur les langues peu dotées.

## ABSTRACT

Establishing degrees of closeness between audio recordings along different dimensions using large-scale cross-lingual models

In the highly constrained context of low-resource language studies, we examine vector representations of speech from a pretrained model to determine their level of abstraction from the audio signal. We propose a new unsupervised method using ABX tests on audio recordings with carefully curated metadata to shed light on the type of information present in the representations. ABX tests determine whether the representations computed by a multilingual speech model encode a given characteristic. Three experiments are devised: one on room acoustics aspects, one on linguistic genre, and one on segmental phonetic aspects. The results confirm that the representations extracted from recordings with different linguistic/extra-linguistic characteristics differ along the same lines. Embedding more audio into a vector better discriminates extra-linguistic characteristics, whereas shorter snippets are better for distinguishing segmental information. The method is fully unsupervised, potentially opening up new avenues of research for comparative work on under-documented languages.

**MOTS-CLÉS** : TAL, langues peu dotées, méthodes non-supervisées.

**KEYWORDS:** NLP, under-documented languages, unsupervised methods.

<figure><img src="image_62.png" /></figure>
# 1 Introduction

La parole, lorsqu'elle se présente sous la forme d'enregistrements audio, est multi-factorielle : une voix enregistrée transmet un message, une intention, une émotion. L'enregistrement contient également des informations au delà du signal de parole, sur l'environnement, l'identité du locuteur ou de la locutrice par exemple. Ce travail aborde la question de la nature de l'information encodée dans les représentations vectorielles produites par un réseau de neurones appris de manière auto-supervisée comme wav2vec2 (Baevski et al., 2020). Notre objectif est d'étudier le niveau d'abstraction présent dans les représentations construites par ces modèles et plus précisément de vérifier si celles-ci ne contiennent que des informations liées au contenu linguistique ou si elles contiennent également des informations indexicales (Foulkes, 2010, 7).

Notre dispositif expérimental s'appuie sur des jeux de données « sur mesure », sélectionnées à partir de corpus de linguistique documentaire afin d'évaluer comment une différence donnée dans le signal d'entrée se reflète dans les vecteurs construits par le réseau de neurones. Considérer des données issues de ce type de corpus nous permet d'accéder à des métadonnées riches sur les conditions d'enregistrement. Nous utilisons des tests ABX pour mesurer l'impact de certains facteurs (locuteur·rice, microphone, ...) sur les distances entre représentations à travers trois jeux de données décrits en section 2.

Les résultats fournissent un aperçu sur la nature des informations encodées dans les représentations d'un modèle tel que XLSR-53 (Baevski et al., 2020; Babu et al., 2021), et suggèrent que les tests ABX peuvent être exploités pour faire ressortir des différences dans la configuration acoustique (salle, microphone), certaines caractéristiques de la voix, ou dans le contenu linguistique. Une étude paramétrique montre que le traitement de l'audio par extraits de 10 s est suffisant pour faire ressortir les différences dans la configuration acoustique et dans les propriétés de la voix, tandis que des extraits de 1 s sont meilleurs pour explorer les caractéristiques segmentales.

Cette étude fournit une méthode innovante pour détecter des facteurs de confusion dans des corpus destinés à de l'apprentissage automatique, ainsi qu'un moyen pour accélérer la classification d'enregistrements (p.ex. par niveau de bruit, par type) selon des informations fines, qui ne sont pas toujours présentes dans les métadonnées.

# 2 Méthode expérimentale

Notre méthode repose sur : (i) des tests de similarité pour déterminer si une caractéristique d'un enregistrement audio est encodée dans la représentation vectorielle d'un enregistrement ou non, et (ii) des corpus audio avec des métadonnées riches, qui nous permettent de construire des ensembles de données partageant ou non **une caractéristique à la fois** : langue, locuteur·rice, acoustique de la pièce, type de microphone, caractéristiques de la voix, contenu segmental, etc.

**Tests ABX** Pour déterminer, de manière non supervisée, si un modèle de parole encode une caractéristique *C* du signal de parole, nous utilisons un test ABX (Carlin et al., 2011; Schatz et al., 2013). Ce test s'appuie sur les représentations vectorielles construites par un modèle pré-entraîné de
trois audios : deux extraits, notés *A* et *X*, partagent une caractéristique *C*, et un, noté *B*, ne la possède pas. Le test ABX consiste simplement à vérifier si la distance<fnref n="1" /> *d*(*A*, *X*) est plus petite que *d*(*A*, *B*).

Le score ABX correspond à la proportion de triplets pour lesquels la condition $d(A, X) < d(A, B)$ est vraie. Un score ABX proche de 50% indique qu'en moyenne, la distance entre $A$ et $X$ est supérieure ou égale à la distance entre $A$ et $B$, ce qui suggère que $C$ n'est pas encodé dans la représentation vectorielle de l'enregistrement. Inversement, plus le score est proche de 100%, plus la représentation capture la caractéristique $C$.

Les tests ABX sont intéressants pour les scénarios à faibles ressources (comme le nôtre) car ils ne nécessitent pas de données pour entraîner un classifieur (contrairement aux sondes linguistiques (Belinkov & Glass, 2019) souvent utilisées pour analyser les représentations vectorielles) : toutes les données disponibles sont utilisées pour tester si la propriété est encodée dans la représentation ou non.

**Corpus** Notre étude s'appuie sur des enregistrements en na et en naxi, deux langues parlées dans le sud-ouest de la Chine. Le na est la langue maternelle d'environ 50 000 personnes. Le naxi est plus répandu, puisqu'il est la langue maternelle d'environ 200 000 personnes. Typologiquement similaires (langues SOV, de structure (C)(G)V+T<fnref n="2" />, isolantes) le naxi et le na sont des langues apparentées, sans être pour autant mutuellement intelligibles. Les systèmes tonals diffèrent au niveau de la complexité des phénomènes morpho-tonologiques qui est très importante en na (Michaud, 2017, 425). Au plan phonologique, le na a une nasalité de type vocalique derrière les consonnes /h/ et plus marginalement derrière une attaque vide (Michaud et al., 2012). Ces deux langues sont aujourd'hui en déclin, car progressivement remplacées par le mandarin, langue officielle utilisée dans les écoles, les administrations et les médias (Michaud & Latami, 2011; Zhao, 2022).

Tous les enregistrements proviennent de la collection Pangloss, une archive en libre accès de « langues peu documentées », et sont consultables via les DOI fournis en annexe (voir https://hal.science/hal-04583516). Trois séries d'enregistrements sélectionnées pour leurs caractéristiques sont examinées :

(i) La série du conte populaire consiste en sept sessions d'enregistrement d'un même conte en na, raconté par une même locutrice. La iᵉ session d'enregistrement sera désignée par $V_i$. Cette série se concentre sur l'effet des conditions d'enregistrement, qui sont légèrement différentes d'une version à l'autre, et que nous chercherons à distinguer à l'aide de tests ABX sont effectués. Plus précisément, nous nous concentrons sur trois lots :

* Le premier lot étudié comprend trois versions : $V_1$, $V_2$ et $V_3$. $V_1$ a été enregistré dans une salle avec une réverbération perceptible, tandis que $V_2$ et $V_3$ ont été enregistrés dans une salle mieux isolée phoniquement.

* Le deuxième lot est composé de $V_6$ et $V_7$. Ces deux versions ont été enregistrées dans les mêmes conditions acoustiques. L'audio a été capté simultanément par deux microphones : un micro-casque et un micro à main inséré dans un petit support.

* Le troisième lot compare $V_4$ et $V_5$ à tous les autres enregistrements de la série du conte populaire. Les enregistrements $V_4$ et $V_5$ ont pour récepteur <fnref n="3" /> un auditeur natif alors que dans les autres enregistrements le récepteur était le linguiste collectant les données.

<footnote n="1">1. Nous avons utilisé une distance cosinus dans toutes nos expériences.</footnote>

<footnote n="2">2. G = Glide, T = Ton.</footnote>

<footnote n="3">3. Ici, récepteur est le destinataire d'un message, en cohérence avec la terminologie de Shannon (1948) qui propose l'idée très traitement du signal qu'il existe un canal de communication (communication channel) entre un émetteur et un récepteur. Ce canal est doublé d'un canal de rétroaction en sens inverse (communication backchannel), qui influence la façon dont l'émetteur livre son message.</footnote>
Ces enregistrements sont particulièrement intéressants car certaines variables (le sujet de conversation et le·la locuteur·rice) sont contrôlées, ce qui permet de se concentrer sur l'influence d'autres facteurs spécifiques (par exemple, l'acoustique de la pièce).

(ii) La série des répertoires de chant consiste en cinq enregistrements d'une même chanteuse professionnelle Naxi. Trois enregistrements sont de la chanson seule, un enregistrement est un récit, et un enregistrement comporte les deux genres (« Alili », qui est 50% texte et 50% chanson). Notre objectif est de comparer ces enregistrements. Un chanteur entraîné présente des propriétés vocales très différentes selon qu'il chante ou qu'il parle : en particulier, le timbre des voyelles et la tessiture sont affectées (Castellengo, 2016, 458). Ces différences sont perçues par les auditeurs (Castellengo, 2016, 187). Cette expérience vise à vérifier si ces différences sont reflétées dans les représentations.

(iii) La série phonétique est composée de cinq enregistrements d'élicitations phonétiques basés sur un même corpus et d'un enregistrement de mots dans une phrase porteuse basé sur un corpus différent, en langue na. Trois locutrices identifiées comme AS, RS et TLT sont prises en compte. Nous avons inclus deux sessions d'enregistrement, ce qui permet une comparaison inter et intra-locuteurs.

En utilisant ces enregistrements, nous adoptons une approche à l'opposé de ce qui se fait dans de nombreux travaux portant sur l'analyse des représentations neuronales : plutôt que de considérer de « grands » corpus avec de fortes variabilités (approche *big data*), nous privilégions un corpus de petite taille mais dans lequel de nombreux facteurs sont contrôlés (approche *beautiful data*).

**Modèle** Dans toutes nos expériences, nous utilisons le modèle XLSR-53⁴, une architecture wav2vec2 entraînée sur 56 kh de données audio (brutes) dans 53 langues (Conneau et al., 2020), y compris des langues à tons (p.ex. mandarin, cantonais, lao, ...). Ni le na ni le maxi ne sont présents dans les données de pré-entraînement de ce modèle, mais Macaire et al. (2021) ont montré que ce modèle pouvait être affiné pour faire de la reconnaissance de la parole sur du na (après affinage, le CER en transcription est de 8 %), et qu'il était donc capable de gérer la diversité des réalisations de surface de cette langue, et notamment les tons.

Pour les comparaisons, nous considérons des extraits audio d'une durée de 1, 5, 10 et 20 secondes afin d'étudier l'effet de la longueur de l'extrait sur notre test ABX. Nous utilisons une stratégie de max-pooling pour construire un unique vecteur représentant l'extrait. Nous créons ensuite des cartes thermiques des scores ABX, pour comparer un à un les enregistrements.

Nous utilisons les représentations de la couche 21. Ce choix est basé sur les conclusions de Pasad et al. (2021, 2023) et Li et al. (2022, 2023) ainsi que sur notre pré-étude de sensibilité (méthode des sondes linguistiques), qui montrent toutes que la capacité de wav2vec2 à capturer l'information linguistique diminue fortement dans les trois dernières couches (voir annexes : https://hal.science/hal-04583516).

# 3 Résultats

Avec les tests ABX, nous étudions si les représentations audio calculées par wav2vec2 capturent ou non des informations spécifiques dans des signaux audio soigneusement sélectionnés. Notre approche est non-supervisée ce qui nous permet de l'appliquer à de petits jeux de données. Nos expériences

<footnote n="4">4. L'API HuggingFace a été utilisée (signature du modèle : facebook/wav2vec2-large-xlsr-53).</footnote>
préliminaires (voir les annexes : https://hal.science/hal-04583516) montrent que si le choix de la couche (21 dans nos expérience) a un impact fort sur les résultat d'une sonde linguistique, ce n'est plus le cas avec notre approche.

## 3.1 Étude des différentes versions d'un même conte populaire

Notre première expérience a pour objectif de déterminer si des variables extra-linguistiques telles que l'acoustique de la pièce et le type de microphone sont présentes dans les représentations neuronales. Pour ce faire, nous utilisons un test ABX pour distinguer les différents enregistrements de la série de contes populaires : ces scores sont calculés à partir de triplets composés de deux extraits de 10 s d'un même enregistrement et d'un extrait de 10 s d'un enregistrement différent.<fnref n="5" />

La figure 1 montre que, dans la plupart des cas, avec une longueur d'extrait de 10 s, il est possible de distinguer les différents enregistrements, bien qu'il s'agisse toujours du même locuteur racontant la même histoire : hormis quelques rares exceptions, qui seront abordées plus loin, les scores rapportés sont largement supérieurs à 50%. De plus, les scores sur la diagonale, correspondant à des tests où tous les extraits proviennent du même enregistrement, sont tous proches de 50%. Cela indique clairement que les différences constatées dans les autres tests ABX ne sont pas dues au contenu linguistique (les mots prononcés), mais plutôt à la configuration acoustique et suggère que les représentations neuronales capturent bien plus que les informations linguistiques nécessaires à la compréhension de la parole : elles encodent également des informations liées aux conditions d'enregistrement.

<figure><img src="image_63.png" /><figcaption>FIGURE 1 – Scores ABX pour l'étude de la série du conte populaire. Taille des extraits : 10 s.</figcaption></figure>

<figure><img src="image_64.png" /><figcaption>FIGURE 2 – Reproduction de la réverbération de la pièce $V_1$ avec une réverbération artificielle appliquée sur $V_2$. Taille des extraits : 5 s.</figcaption></figure>

Une mise en perspective de ces observations avec les conditions d'enregistrement (rendue possible par une connaissance fine des enregistrements) permet de mieux comprendre les informations capturées (ou non) par les représentations. Ainsi, la comparaison de $V_1$, $V_2$ et $V_3$ montre que les représentations de $V_2$ et $V_3$ ne sont que peu discernables entre elles (score ABX de 0,67) mais peuvent être distinguées de celles de $V_1$ (scores de 0,79 et 0,81). La principale différence entre ces trois enregistrements est

<footnote n="5">5. Les résultats pour d'autres durées d'extraits sont rapportés en annexe (voir https://hal.science/hal-04583516).</footnote>
liée au lieu d'enregistrement : $V_2$ et $V_3$ ont été enregistrés dans un lieu moins réverbérant que le lieu où $V_1$ a été enregistré. Pour confirmer l'influence de ce paramètre, nous avons réalisé une expérience de contrôle en ajoutant artificiellement de la réverbération 6 aux enregistrements $V_2$ et en mesurant le score ABX entre les enregistrements $V_1$ et $V_2$ modifiés. La figure 2 montre l'évolution du score ABX en fonction de la quantité de réverbération ajoutée. Lorsque la quantité de réverbération dans $V_2$ augmente, le score ABX diminue d'abord avant d'augmenter à nouveau. Cela signifie que $V_1$ est plus proche de $V_2$ avec 5 % de réverbération, ce qui suggère une relation de causalité entre la quantité de réverbération et le degré de proximité entre les enregistrements de ce lot.

Une seconde comparaison intéressante est celle entre les différentes versions des enregistrements $V_6$ et $V_7$. Ces enregistrements ont été réalisés avec un micro casque (enregistrements étiquetés *h* pour *headset*) et un micro à main inséré dans un support placé sur une table (enregistrements étiquetés *t* pour *table*). La figure 1 montre que les représentations peuvent être distinguées avec précision sur le type de microphone. Par exemple, les scores ABX entre $V_{6,h}$ et $V_{6,t}$ sont parmi les plus élevés de notre expérience, alors que pour deux enregistrements différents réalisés avec le même microphone (c'est-à-dire $V_{6,h}-V_{7,h}$ et $V_{6,t}-V_{7,t}$), les scores ABX ne sont que légèrement meilleurs que les scores pour le même enregistrement. Cela suggère que les représentations issues d'extraits de 10 s dépendent fortement du microphone utilisé : deux vecteurs représentant le même signal audio mais issus de microphones différents sont plus dissemblables que ceux représentant deux signaux audio différents enregistrés par le même microphone.

La figure 1 fait également ressortir une similitude inattendue entre les enregistrements $V_4$ et $V_5$. Le score ABX entre ces deux enregistrements n'est que de 54 %, alors qu'il n'est jamais inférieur à 71 % entre $V_4$, $V_5$ et toutes les autres paires. Or, $V_4$ et $V_5$ sont les seuls enregistrements dans lesquels le récepteur était un locuteur de la communauté linguistique. Cela ressemble à un cas d'adaptation linguistique (Piazza et al., 2022) et suggère qu'il serait possible de générer automatiquement des hypothèses sur le contexte d'énonciation, par exemple, sur la base des méta-données.

Dans cette série d'expériences, nos observations sont plus visibles avec des extraits de 10 s. Cela semble être le réglage approprié pour mettre en évidence des différences au niveau de l'acoustique globale. Cette taille d'extrait semble aussi convenir pour révéler les différences au niveau du rythme de parole, de la prosodie. D'autres expériences sont néanmoins nécessaires pour confirmer cela.

## 3.2 Étude de différents répertoires de chansons

Le but de cette expérience est d'explorer si les paramètres d'extraction qui fonctionnent le mieux dans l'expérience précédente permettent ou non d'explorer les représentations en fonction des caractéristiques de voix du locuteur ou de la locutrice. Plusieurs enregistrements d'une chanteuse professionnelle Naxi sont comparés les uns aux autres : une chanson dans le style « Alili », deux dans le style « Guqi », une dans le style « Wo Menda », et un récit. Les chansons contenaient à l'origine une introduction non chantée qui a été supprimée pour les comparaisons, sauf pour la chanson de style « Alili », qui est pour moitié du texte et pour moitié une chanson.

La figure 3 montre que toutes les chansons se distinguent fortement du récit, à l'exception de l'enregistrement « Alili », qui est mi-texte mi-chanson. Il est intéressant de noter que celui-ci ne correspond ni aux chansons ni au récit : il se situe à mi-chemin entre les deux. Quant aux deux chansons dans le style « Guqi », elles présentent le score ABX le plus bas (0,57) même si leur contenu

<footnote n="6">6. Nous utilisons Audacity pour ajouter 5, 10, 15 ou 20 % de réverbération.</footnote>