phonèmes réverbérés est globalement accrue pour attendre environ 95 ms en moyenne. Pour information, pour la condition propre la moyenne est de 82 ms, pour la condition petite pièce lointaine c'est 85 ms, et pour la condition grande pièce lointaine cela atteint 120 ms. Les phonèmes corrects ont globalement la même durée que les phonèmes substitués et insérés : hormis pour les consonnes affriquées et les nasales. En plus d'une augmentation de durée, nous avons aussi observé que les phonèmes tendent à avoir des durées similaires lorsque la réverbération s'accroît. Par exemple, la différence de durée entre voyelle courte et voyelle longue est clairement visible lorsque le fichier est non-réverbéré, mais lorsque le fichier est suffisamment réverbéré, les durées sont similaires.

Nous souhaitons maintenant analyser les phonèmes qui ont subit une délétion. Nous avons fait le lien entre les phonèmes supprimés dans des conditions réverbérées et leurs durées de référence (dans notre cas, cela correspond aux durées obtenues dans des conditions propres). Les résultats sont présentés dans le tableau 2.

<table><caption>TABLE 2 – Moyenne de la durée des phonèmes (condition propre) qui sont supprimés lorsque le fichier est réverbéré.</caption><thead><tr><th>Taille salle</th><th colspan="2">Petite</th><th colspan="2">Moyenne</th><th colspan="2">Grande</th></tr><tr><th>Distance</th><th>proche</th><th>loin</th><th>proche</th><th>loin</th><th>proche</th><th>loin</th></tr></thead><tbody><tr><th>Durée des délétion (ms)</th><td>58</td><td>61</td><td>66</td><td>68</td><td>67</td><td>71</td></tr></tbody></table>

Nous pouvons voir que les phonèmes qui sont supprimés ont en moyenne une durée moins importante. Ainsi, les phonèmes de faible durée ont plus de chance d'être supprimés lorsque la parole est réverbérée. Nous remarquons aussi que plus la réverbération augmente, et plus la durée moyenne des phonèmes supprimés augmente.

## 4.3 Résultats par classe phonétique

Commençons par observer le pourcentage de phonèmes correctement détectés en fonction de leur classe phonétique, dont les résultats sont affichés sur la figure 4a.

Nous avons choisi de montrer uniquement la condition de réverbération (moyenne salle, loin du microphone). Le comportement des résultats est similaire pour d'autres conditions de réverbération (plus la réverbération est importante et plus les résultats sont marqués). Sans réverbération, le système de transcription phonétique obtient des résultats similaires pour chaque phonème (environ 90% correct). Par contre, ce n'est pas le cas dans des conditions réverbérées. La classe phonétique des liquides est la moins impactée par la réverbération. Par contre, les consonnes affriquées voisées et les plosives sont les plus impactées. Les autres catégories sont moyennement impactées et obtiennent des résultats similaires. Nos résultats sont similaires à ceux trouvés dans cette étude (Junqua, 1997), ce qui montre que l'utilisation d'une recette de systèmes de RAP plus récente (DNN) ne modifie pas ces constats.

Afin d'identifier les erreurs, nous avons ensuite calculé une matrice de confusion entre classes phonétiques (figure 4b). Nous pouvons remarquer que les résultats sont très similaires<fnref n="2" />.

Sur la figure 4a, l'impact des insertions et des substitutions entre même classe phonétique est pris

<footnote n="2">2. Hormis pour le cas des voyelles courtes (57% à 70%) qui s'explique par les insertions (25% des erreurs).</footnote>
<figure><img src="image_113.png" /></figure>

<figure><img src="image_114.png" /></figure>

FIGURE 4 – (a) (partie à gauche) Pourcentage de phonèmes correctement détectés par classe phonétique (b) (partie de droite) et matrice de confusion dans une condition de réverbération forte (salle de taille moyenne, distance lointaine au micro).

en compte, ce qui n'est pas le cas lorsque nous observons la diagonale de la matrice de confusion (figure 4b). En effet, si nous observons les confusions entre phonèmes (et non au niveau des classes phonétiques), les substitutions sont majoritairement effectuées entre des classes phonétiques différentes (sauf pour les nasales).

Nous pouvons voir que les erreurs de détection proviennent principalement des suppressions, à l'exception des affriquées non-voisées, des fricatives non-voisées et des voyelles longues. Le nombre de délétions est toujours moins important que le nombre total de substitutions. Certaines classes phonétiques sont plus souvent supprimées que d'autres : les plosives et les nasales en particulier. Concernant les substitutions. Les fricatives non-voisées sont dans 17% des cas substituées par des fricatives voisées. La superposition avec le phonème précédent, provoquée par la réverbération, peut ajouter du voisement aux fricatives non-voisées. Le même effet se constate sur les affriquées, ou les non-voisées sont dans 17% des cas substituées par des voisées. Les affriquées non-voisées sont dans 17% des cas substituées par des fricatives non-voisées. Les affriquées partagent des caractéristiques communes aux plosives et aux fricatives. Le flou temporel provoqué par la réverbération rend plus similaire les affriquées aux fricatives car la composante plosive est fortement détériorée (étirée). Nous remarquons aussi que les plosives sont supprimées dans plus de 25% des cas. Les plosives se caractérisent par une phase de silence suivie par une impulsion. Lorsque que l'énergie provenant de la réverbération d'un précédent phonème se superpose aux plosives, il est plus bien plus difficile de détecter ce court silence. Concernant la substitution de 12% de plosives voisées en plosives non-voisées, l'effet inverse était plus attendu (de non-voisé à voisé).

Les autres substitutions remarquables, comme les plosives voisées qui sont substituées par des plosives non-voisées et les voyelles longues qui sont substituées par des voyelles courtes, sont plus difficilement explicables.
# 5 Discussion

La reconnaissance automatique de phonèmes dans la chaîne de traitement Kaldi est composée de deux étapes : l'alignement puis la classification. Le niveau de réverbération a un impact sur la précision de l'alignement des phonèmes. Nous pouvons le constater grâce à ces différentes observations :

- un allongement de la durée moyenne des phonèmes (82 ms pour la condition propre à 120 ms pour la condition la plus réverbérée),

- une uniformisation de la durées des phonèmes (voir figure 2),

- le ratio du nombre de délétions augmente (23,5% en condition propre et 44.1% dans la condition la plus réverbérée),

- la moyenne des durées des délétions de phonème augmente (de 58 ms pour une réverbération très faible à 71 ms pour la réverbération la plus forte),

Comme les phonèmes détectés sont de plus en plus long, de moins en moins de phonèmes peuvent être détectés. De plus, la réverbération cause de nombreuse erreurs de substitution, suite au chevauchement des phonèmes. Cela s'observe principalement par les nombreuses substitutions entre les phonèmes non-voisés et ceux voisés.

La distorsion du signal de parole provoquée par la réverbération est avant tout une superposition. L'effet d'un point de vue acoustique est similaire à de la conversation superposée. Les systèmes de transcription automatique de la parole sont conçus pour n'attribuer qu'un seul label phonétique par unités de temps. Or, dans des conditions réverbérées, le système de RAP doit souvent choisir entre deux labels. Pour l'alignement, cela rend la détection de la transition entre deux phonèmes beaucoup plus difficile. Nous pensons que les systèmes automatiques favorisent l'allongement du phonème précédent plutôt que la transition vers le phonème suivant. Le début de certains phonèmes disparaît à cause de la superposition avec la réverbération du phonème précédent. Il est ainsi plus difficile de reconnaître ces phonèmes. Enfin, les phonèmes ayant une durée plus courte sont en général supprimés lorsqu'ils sont intégralement recouvert par la réverbération du phonème précédent : ce qui explique de nombreuses observations effectuées dans ce papier.

# 6 Conclusions

Dans cet article, nous avons analysé les erreurs de détection commises par les systèmes de RAP dues à la réverbération. Concernant la confusion entre phonèmes, nous avons obtenu des résultats similaires aux études précédentes, même avec une recette de RAP plus récente, utilisant des réseaux de neurones profond. De plus, nous avons montré les limites de l'alignement phonétique des systèmes de RAP actuels dans le cas de la parole réverbéré. Enfin, nous avons étudié les confusions en classes phonétiques, en expliquant lorsque cela a été possible les erreurs de substitution.

Parmi les perspectives de nos travaux, nous pensons que la détection d'anomalie de la durée des phonèmes (l'uniformisation de la durée par exemple) pourrait servir aux travaux de prédiction de la performance des systèmes de RAP, par exemple en utilisant les postériogrammes des phonèmes comme (Meyer et al., 2017). Il serait également intéressant de comparer les erreurs phonétiques entre un système avec un alignement supervisé et un autre non supervisé. Il serait également pertinent de tester d'autres méthodes d'alignement comme les CTC (Connectionist Temporal Classification), afin de savoir si les erreurs d'alignement sont similaires à ce que nous avons observé. Enfin, nous pourrions observer la robustesse des systèmes de RAP appris sur des données réverbérées.
Références

FISHER W. M. (1986). The DARPA speech recognition research database : specifications and status. In *Proc. DARPA Workshop on Speech Recognition, Feb. 1986*, p. 93–99.

GAROFALO J. et al. (1993). CSR-I (WSJ0) complete LDC93S6A. Linguistic Data Consortium, Philadelphia, USA.

GAROFOLO J., GRAFF D., PAUL D. & PALLETT D. (1994). CSR-II (WSJ1) Complete. Linguistic Data Consortium, Philadelphia, USA.

JUNQUA J.-C. (1997). Impact of the unknown communication channel on automatic speech recognition : A review. In *Fifth European Conference on Speech Communication and Technology*.

KINOSHITA K., DELCROIX M., GANNOT S., P. HABETS E. A., HAEB-UMBACH R., KELLERMANN W., LEUTNANT V., MAAS R., NAKATANI T., RAJ B., SEHR A. & YOSHIOKA T. (2016). A summary of the REVERB challenge : state-of-the-art and remaining challenges in reverberant speech processing research. *EURASIP Journal on Advances in Signal Processing, 2016*(1). DOI : 10.1186/s13634-016-0306-6.

KINOSHITA K., DELCROIX M., YOSHIOKA T., NAKATANI T., SEHR A., KELLERMANN W. & MAAS R. (2013). The REVERB challenge : A common evaluation framework for dereverberation and recognition of reverberant speech. In *Applications of Signal Processing to Audio and Acoustics (WASPAA), 2013 IEEE Workshop on*, p. 1–4 : IEEE.

LIPPMANN R. (1996). Speech perception by humans and machines. In *Proceedings of the Workshop on the Auditory Basis of Speech Perception*, p. 309–316.

MEYER B. T., MALLIDI S. H., KAYSER H. & HERMANSKY H. (2017). Predicting error rates for unknown data in automatic speech recognition. In *2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*, p. 5330–5334 : IEEE.

PARADA P. P., SHARMA D., LAINEZ J., BARREDA D., VAN WATERSCHOOT T. & NAYLOR P. A. (2016). A single-channel non-intrusive C50 estimator correlated with speech recognition performance. *IEEE/ACM Transactions on Audio, Speech and Language Processing (TASLP)*, **24**(4), 719–732.

PARADA P. P., SHARMA D., NAYLOR P. A. & VAN WATERSCHOOT T. (2014). Reverberant speech recognition : A phoneme analysis. In *Signal and Information Processing (GlobalSIP), 2014 IEEE Global Conference on*, p. 567–571 : IEEE.

PAUL D. B. & BAKER J. M. (2003). The design for the Wall Street Journal-based CSR corpus. In *Proceedings Title*, volume II, p. 803–806 : IEEE.

PETRICK R., LOHDE K., LORENZ M. & HOFFMANN R. (2008). A new feature analysis method for robust asr in reverberant environments based on the harmonic structure of speech. In *Signal Processing Conference, 2008 16th European*, p. 1–5 : IEEE.

SEHR A., HABETS E. A., MAAS R. & KELLERMANN W. (2010). Towards a better understanding of the effect of reverberation on speech recognition performance. In *Proc. IWAENC*.

VALIMAKI V., PARKER J. D., SAVIOJA L., SMITH J. O. & ABEL J. S. (2012). Fifty years of artificial reverberation. *IEEE Transactions on Audio, Speech, and Language Processing*, **20**(5), 1421–1448.

VESELÝ K., GHOSHAL A., BURGET L. & POVEY D. (2013). Sequence-discriminative training of deep neural networks. In *Interspeech*, volume 2013, p. 2345–2349.
# Représentation du genre dans des données open source de parole

Mahault Garnerin<fnref n="1" />, ² Solange Rossato² Laurent Besacier²

(1) LIDILEM, Univ. Grenoble Alpes, FR-38000 Grenoble, France

(2) LIG, Univ. Grenoble Alpes, CNRS, Grenoble INP, FR-38000 Grenoble, France

prenom.nom@univ-grenoble-alpes.fr

## RÉSUMÉ

Avec l'essor de l'intelligence artificielle (IA) et l'utilisation croissante des architectures d'apprentissage profond, la question de l'éthique et de la transparence des systèmes d'IA est devenue une préoccupation centrale au sein de la communauté de recherche. Dans cet article, nous proposons une étude sur la représentation du genre dans les ressources de parole disponibles sur la plateforme *Open Speech and Language Resource*. Un tout premier résultat est la difficulté d'accès aux informations sur le genre des locuteurs. Ensuite, nous montrons que l'équilibre entre les catégories de genre dépend de diverses caractéristiques des corpus (discours élicité ou non, tâche adressée). En nous appuyant sur des travaux antérieurs, nous reprenons quelques principes concernant les métadonnées dans l'optique d'assurer une meilleure transparence des systèmes de parole construits à l'aide de ces corpus.

## ABSTRACT

### Gender representation in open source speech resources<fnref n="1" />

With the rise of artificial intelligence (AI) and the growing use of deep-learning architectures, the question of ethics and transparency in AI systems has become a central concern within the research community. We address transparency and fairness in spoken language systems by proposing a pilot study about gender representation in speech resources available through the *Open Speech and Language Resource* platform. We show that finding gender information in open source corpora is not straightforward and that gender balance depends on other corpus characteristics (elicited/non elicited speech, speech task targeted). The paper ends with recommendations about metadata and gender information for researchers in order to assure better transparency of the speech systems built using such corpora.

**MOTS-CLÉS** : traitement automatique de la parole, corpus, genre, locuteurs, données open source.

**KEYWORDS:** speech processing, corpora, gender, speakers, open source data.

## 1 Introduction

L'utilisation généralisée de l'apprentissage machine (*machine learning*) a fait des données un enjeu majeur de l'industrie et de la recherche. Les systèmes ont besoin d'une grande quantité de données étiquetées pour "apprendre" à modéliser correctement la tâche adressée. Les corpus de données, à l'instar de la puissance de calcul des machines, sont devenus de plus en plus grands, nous faisant entrer dans ce qu'on appelle aujourd'hui le *big data*. Mais outre la taille des corpus d'apprentissage, les chercheurs et chercheuses s'intéressent à une autre caractéristique de ces masses de données : leur

<figure><img src="image_115.png" /></figure>

<footnote n="1">1. Publication originale en anglais, à LREC 2020.</footnote>
qualité. La notion de qualité des données peut trouver différentes définitions (Cai & Zhu, 2015), nous soutenons dans cet article que l'une des qualités principales de ces corpus est leur *transparence*.

Questionnant l'impact de tels outils sur nos sociétés, plusieurs études se sont intéressées aux biais existant dans ces systèmes : un cas bien connu dans le domaine du traitement automatique des langues (TAL) est l'exemple des plongements de mots (*word-embeddings*), avec les travaux de Bolukbasi *et al.* (2016) et de Caliskan *et al.* (2017) qui montrent le caractère socialement construit des données, encapsulant représentations et structures de pouvoir, incluant de fait les stéréotypes de genre. Des biais sexistes ont également été mis à jour pour des tâches de traduction automatique (Vanmassenhove *et al.*, 2018), ainsi que dans des systèmes de reconnaissance faciale (Buolamwini & Gebru, 2018). Dans une étude précédente, nous avons questionné l'impact du déséquilibre entre les catégories de genre dans les données d'entraînement sur les performances d'un système de reconnaissance automatique de la parole (RAP), montrant que la sous-représentation des femmes entraînait un biais de performance du système pour les locutrices (Garnerin *et al.*, 2019).

Dans la continuité de ce questionnement sur les liens entre représentations, données, et impacts sociétaux, nous étudions dans cet article la représentation du genre au sein d'une plateforme ouverte rassemblant des ressources langagières pour développer des outils de TAL. L'objectif de cette enquête est tout d'abord, d'observer les répartitions entre les catégories de genre au sein des corpus de parole. Cette répartition est envisagée en termes de nombre de locuteurs et de locutrices mais également en termes de temps de parole disponible pour chaque catégorie. Dans un second temps, nous proposons une réflexion sur les pratiques générales de mise à disposition de ressources, en nous appuyant sur quelques recommandations issues de travaux antérieurs.

## 2 OpenSLR

Open Speech Language Resources 2 (OpenSLR) est une plateforme créée par Daniel Povey, ayant pour objectif de centraliser des ressources langagières accessibles et téléchargeables gratuitement pour aider au développement de systèmes de parole. OpenSLR héberge actuellement 83 ressources. 3 Ces ressources sont constituées d'enregistrements audio transcrits, de logiciels, ainsi que de lexiques et de données textuelles nécessaires à la création de modèles de langue. D'autres plateformes proposent également ce type de ressources, la plupart du temps payantes. Nous nous concentrons donc sur les corpus de parole disponibles sur OpenSLR en raison de leur libre accès pour étudier à grande échelle la représentation du genre dans les corpus de parole.

Parmi les ressources disponibles sur la plateforme, nous avons analysé les 53 ressources de parole. Nous n'avons pris en compte ni les versions multiples d'une même ressource ni les sous-ensembles de ressources (e.g. LibriTTS, étant inclu dans LibriSpeech). Dans le cas de multi-versions, seule la dernière version a été conservée (e.g. TED LIUM). Plusieurs ressources contiennent de la parole dans différents dialectes ou langues et nous étudions chaque langue séparément. Nous avons ainsi un total de 66 corpus, dans 33 langues différentes avec 51 variantes dialectales/accentuelles. Les types de discours sont également variés (parole élicitée et lue, émissions radiophoniques, TEDTalks, enregistrements de réunions, appels téléphoniques, livres audio, etc.), ce qui n'est pas surprenant, étant donné le nombre d'acteurs ayant contribué sur la plateforme. Nous étudions cet échantillon

<footnote n="2">2. http://www.openslr.org.</footnote>

<footnote n="3">3. Dernière consultation au 14 novembre 2019</footnote>
<table><caption>TABLE 1 – Disponibilité des informations concernant le genre dans les corpus OpenSLR.</caption><thead><tr><th>Info. dispo.</th><th></th><th>#corpus</th></tr></thead><tbody><tr><td>Non</td><td></td><td>24 (36.4%)</td></tr><tr><td rowspan="3">Oui</td><td>metadata</td><td>9 (13.6%)</td></tr><tr><td>indexed</td><td>28 (42.4%)</td></tr><tr><td>paper</td><td>5 (7.6%)</td></tr><tr><td>Total</td><td>-</td><td>66</td></tr></tbody></table>

<table><caption>TABLE 2 – Type d'information disponible en fonction du genre dans les 42 corpus contenant des informations genrée.</caption><thead><tr><th>Info. dispo.</th><th></th><th>#corpus</th></tr></thead><tbody><tr><td>Nombre d'individus</td><td></td><td>40</td></tr><tr><td>Nombre d'énoncés</td><td></td><td>32</td></tr><tr><td>Durée de parole</td><td></td><td>5</td></tr><tr><td>Nombre total de corpus</td><td></td><td>42</td></tr></tbody></table>

pour aborder la question de la représentation du genre dans les corpus de parole.<fnref n="4" /> OpenSLR ne fournissant pas de format défini et n'ayant pas d'exigences explicites concernant les structures de données, les ressources présentes sont également un bon reflet des pratiques des créateurs et créatrices de ressources concernant les méta-données.

# 3 Méthodologie

Afin d'étudier la représentation du genre dans les ressources disponible pour le traitement de la parole, commençons par définir ce que nous entendons par genre. Le genre est entendu ici comme variable binaire (homme/femme). Néanmoins, contrairement aux critiques faites par les sociologues J. Stacey et B. Thorne, qui dénoncent une cooptation du terme de genre (Stacey & Thorne, 1985), si le genre est envisagé ici comme une propriété des individus, il n'en reste pas moins l'expression d'un rapport social qui structure les relations et se retrouve dans les données de parole, de façon plus ou moins marquée en fonction des modalités de recueil des données langagières. Nous sommes également conscientes que les identités de genre sont plurielles et dépassent ces deux catégories, mais nous n'avons trouvé aucune mention de locuteurs ou locutrices non-binaires au sein des corpus étudiés dans notre étude.

Suite au travail de Doukhan & Carrive (2018), analysant la représentation du genre dans les flux télévisuels français, nous avons voulu explorer les corpus OpenSLR en réutilisant leurs notions de "taux de présence" (nombre d'individus) et de "taux d'expression" (temps de parole) pour rendre compte de la représentation du genre dans les données. Après téléchargement, ces informations ont donc été extraites manuellement des corpus.

## 3.1 Informations sur les locuteurs et locutrices et absence de méta-données

La première difficulté rencontrée est l'absence générale d'information (cf. Table 1). La prise en compte du genre dans la technologie étant un sujet de recherche relativement récent, les données démographiques sur le genre ne sont, la plupart du temps, pas mises à disposition par les créateurs et créatrices de ressources. Ainsi, en plus des caractéristiques générales du corpus mentionnées plus loin (voir 3.3), il nous semblait important de renseigner dans notre tableau final, si des informations sur le

<footnote n="4">4. Notre étude de cas ne prétend pas être exhaustive et il serait nécessaire d'inclure des ensembles de données fournies par des agences de ressources telles qu'ELRA ou LDC pour généraliser nos conclusions.</footnote>
genre étaient fournies en premier lieu et le cas échéant de quelle manière. Les différentes modalités de cet attribut sont : *paper*, si un article a été explicitement cité dans la ressource, *metadata* si un fichier de métadonnées a été inclus, *indexed* si le genre a été explicitement indexé dans les données ou si les données ont été structurées en termes de genre.

## 3.2 Informations sur les durées et homogénéité des données

La deuxième difficulté concerne le fait que les informations sur le temps de parole ne sont pas standar-disées, rendant impossible la comparaison de temps de parole entre individus ou entre catégories de genre (cf. Table 2). Lorsque des informations de durée sont fournies, la granularité utilisée varie selon les corpus. Certains auteurs indiquent les temps de parole en heures (e.g. (Panayotov et al., 2015; Hernandez et al., 2018)), d'autres le nombre d'énoncés ou de phrases (e.g. (Juan et al., 2015; Google, 2019)), la définition de ces deux termes n'étant jamais explicite. Nous avons également constaté qu'il n'y avait pas de cohérence entre la durée de parole et le nombre d'énoncés, ce qui exclut la possibilité d'approximer l'une par l'autre.

## 3.3 Corpus

Le résultat final de notre analyse se traduit par un tableau 5 présentant toutes les caractéristiques des corpus. Les caractéristiques étudiées sont les suivantes : l'identifiant de la ressource (id) tel que défini sur OpenSLR ; la langue (lang) ; le dialecte ou l'accent s'il est spécifié (dial) ; le nombre total de locuteurs et locutrices ainsi que leur nombre dans chaque catégorie de genre (#spk, #spk_m, #spk_f) ; le nombre total d'énoncés ainsi que le nombre total d'énoncés par catégorie de genre (#utt, #utt_m, #utt_f) ; la durée totale, ou temps de parole, ainsi que la durée par catégorie de genre (dur, dur_m, dur_f) ; la taille de la ressource en gigaoctets (sizeGB) ainsi qu'un label qualitatif (size, prenant sa valeur entre "grand", "moyen", "petit") ; le taux d'échantillonnage (sampling) ; la tâche de discours ciblée pour la ressource (task) ; le caractère élicité ou non de la parole (elicited) 6 ; le statut de la langue (lang_status) : une langue est considérée comme ayant peu (low-resource) ou beaucoup (high-ressource) de ressources. Le statut de la langue est défini d'un point de vue technologique (c'est-à-dire : y a-t-il des ressources ou des systèmes de TAL disponibles pour cette langue ?) Il est fixé à la granularité de la langue (d'où le nom), quel que soit le dialecte ou l'accent (si renseigné) ; l'année de la publication (year) ; les auteurs et autrices de la ressource (producer).

# 4 Analyse

## 4.1 Disponibilité des informations sur le genre

Parmi nos 66 corpus, 36,4% ne fournissent aucune information sur le genre des locuteurs et locutrices. Plus de 20% des corpus ne fournissent aucune information sur les locuteurs et locutrices, quelle qu'elle soit. La Table 1 résume le nombre de corpus pour lesquels des informations de genre ont été

<footnote n="5">5. Le tableau final et le script utilisé pour l'analyse sont disponibles à l'adresse suivante https://github.com/mgarnerin/openslr gender survey</footnote>

<footnote n="6">6. Nous définissons comme données de parole non-élicitées, des données qui auraient existé sans la création des ressources (par exemple : TedTalks, livres audio, etc.), les autres données de parole sont considérées comme élicitées</footnote>
fournies et, le cas échéant, l'endroit où celles-ci ont été trouvées. La procédure de recherche était la suivante : nous avons d'abord examiné le fichier de métadonnées (si existant) et dans le cas contraire, nous avons cherché si le genre était indexé dans la structure des données. Si aucune information n'était trouvée, nous avons cherché s'il existait un article décrivant les données.

La Table 2 indique les types d'information renseignées dans le sous-ensemble des 42 corpus contenant des informations sur le genre des locuteurs et locutrices. La plupart du temps, seul le nombre d'individus dans chaque catégorie est indiqué; cinq corpus fournissent également le temps de parole pour chaque catégorie. De ce fait, nous n'avons pas pu étudier le taux d'expression de chaque catégorie, comme dans le travail de Doukhan & Carrive (2018), mais nous avons analysé le nombre d'énoncés lorsque renseigné. Il convient toutefois de rappeler que la notion d'énoncé n'est jamais définie dans les ressources (le découpage est-il syntagmatique ? basé sur les groupes de souffles ou du aux limites techniques du système ?), il n'existe donc pas de cohérence entre nombre d'énoncés et temps de parole, et ces résultats sont à prendre avec prudence. En plus des 42 corpus pour lesquels nous avons réussi à trouver des informations sur le genre, nous avons recueilli manuellement ces informations pour 4 autres corpus, atteignant une taille d'échantillon finale de 46 corpus.

## 4.2 Genre et taux de présence

**Parole élicitée vs non-élicitée.** Lorsqu'on analyse le taux de présence de chaque catégorie de genre dans notre échantillon, la parité est atteinte avec 3 050 locutrices et 3 022 locuteurs. Cependant, certaines données sont pré-existantes à la création de ressources, notamment les données issues des médias, dans lesquels les femmes sont moins représentées (Macharia et al., 2015). Le même résultat a d'ailleurs été mis en avant par l'étude de Doukhan & Carrive (2018). Nous avons donc croisé cette répartition avec le caractère élicité ou non de la parole, considérant comme non-élicitée toute parole qui aurait existé indépendamment de la création du corpus (e.g. TEDTalks, les interviews, les émissions de radio, etc.) Les résultats sont présentés dans la Table 3. Dans les deux cas (parole élicitée, respectivement non-élicitée), la différence entre les genres est relativement faible (5,6 points, respectivement 5,8 points), loin des 30 points de différence observés dans (Garnerin et al., 2019). Une explication possible de cette observation est que les corpus, élicités ou non, restent le résultat d'un processus contrôlé, de sorte que la disparité homme/femme sera réduite autant que possible par les créateurs et créatrices des corpus. Cependant, on remarque qu'hormis Librispeech (Panayotov et al., 2015), tous les corpus non élicités sont de petits corpus. En retirant Librispeech de l'analyse, nous observons un rapport femme/homme de 1/3-2/3, ce qui semble cohérent avec nos résultats précédents.

On peut donc conclure que la disparité de genre n'est observable que lorsque les données ne sont pas élicitées ou sciemment équilibrées. Cette représentation déséquilibrée n'est donc pas observée à l'échelle de l'ensemble de la plate-forme OpenSLR, la majorité des corpus étant élicités (89,1%). Ces résultats démontrent une volonté d'assurer la parité durant le processus de création des corpus.

"How can I help?" : l'impact de la tâche. Lorsque les corpus de parole sont construits pour l'entraînement de systèmes ce sont la plupart du temps des systèmes reconnaissance de la parole (RAP) ou de synthèse vocale. En croisant la représentation du genre avec la tâche adressée, nous obtenons les résultats reportés dans la Table 4. Nous observons que si les taux de présence sont presque équilibrés au sein des corpus de RAP, les femmes sont mieux représentées dans les ensembles de données pour la synthèse. Cette observation fait écho au rapport de recommandation de l'ONU pour une éducation numérique égalitaire entre les sexes, qui indique qu'aujourd'hui la plupart des assistants vocaux ont une voix de femme en abordant les problèmes éducatifs et sociétaux que cela
<table><caption>TABLE 3 – Taux de présence en fonction du type de parole</caption><thead><tr><th>Type de parole</th><th>#corpus</th><th>#F</th><th>#H</th></tr></thead><tbody><tr><td rowspan="2">Élicitée</td><td rowspan="2">41</td><td>1782</td><td>1596</td></tr><tr><td>52.8%</td><td>47.2%</td></tr><tr><td rowspan="2">Non-élicitée</td><td rowspan="2">5</td><td>1268</td><td>1426</td></tr><tr><td>47.1%</td><td>52.9%</td></tr><tr><td rowspan="2">Non-élicitée<br>(sans Librispeech)</td><td rowspan="2">4</td><td>67</td><td>143</td></tr><tr><td>31.9%</td><td>68.1%</td></tr></tbody></table>

<table><caption>TABLE 4 – Taux de présence en fonction de la tâche</caption><thead><tr><th>Tâche</th><th>#corpus</th><th>#F</th><th>#H</th></tr></thead><tbody><tr><td rowspan="2">Reco.</td><td rowspan="2">12</td><td>2523</td><td>2615</td></tr><tr><td>49.1%</td><td>50.9%</td></tr><tr><td rowspan="2">Synthèse</td><td rowspan="2">10</td><td>124</td><td>70</td></tr><tr><td>63.9%</td><td>36.1%</td></tr><tr><td rowspan="2">NA</td><td rowspan="2">25</td><td>403</td><td>337</td></tr><tr><td>54.5%</td><td>45.5%</td></tr></tbody></table>

<table><caption>TABLE 5 – Nombre d'énoncés par catégorie de genre pour les 32 corpus fournissant ces informations. N.B : deux corpus reportaient uniquement des nombres d'énoncés, le nombre de loc. est donc donné à titre indicatif</caption><thead><tr><th></th><th>F</th><th>M</th></tr></thead><tbody><tr><td>Nombre de loc.</td><td>591<br>51.8%</td><td>551<br>48.2%</td></tr><tr><td>Nombre d'énoncés</td><td>72,280<br>33.5%</td><td>143,342<br>66.5%</td></tr></tbody></table>

soulève (West et al., 2019). Cette conception genrée des assistants vocaux est parfois justifiée par des stéréotypes tels que "les voix féminines sont perçues comme plus serviables, plus sympathiques ou plus agréables". Les systèmes de synthèse vocale étant souvent utilisés pour créer des assistants vocaux, on peut supposer que l'utilisation de voix féminines est devenue pratique courante pour garantir l'adhésion du public au système. Cette affirmation peut toutefois être nuancée, notamment par les travaux de Nass & Brave (2005) qui ont montré que d'autres facteurs pouvaient justifier l'utilisation de voix féminines, tels que l'identification sociale et les stéréotypes culturels liés au genre.

## 4.3 Genre et taux d'expression

En raison d'un manque global d'informations sur le temps de parole, nous n'avons pas analysé le taux d'expression par catégorie. Cependant, le nombre d'énoncés est souvent renseigné, ou facilement retrouvable dans les corpus, et nous avons pu récupérer des fréquences par catégorie de genre pour 32 corpus. Si l'équilibre entre hommes/femmes est presque atteint d'un point de vue du taux de présence, les hommes sont plus représentés lorsqu'on s'intéresse au nombre d'énoncés (voir Table 5). Cependant, cette disparité n'est en réalité que l'effet de trois corpus contenant 51 463 et 26 567 (Korvas et al., 2014) et 8376 (Hernandez-Mena, 2019) énoncés de locuteurs, alors que le nombre moyen d'énoncés par corpus est respectivement de 1942 pour les hommes et 1983 pour les femmes. Après avoir retiré ces trois valeurs extrêmes, la quantité de parole est équilibrée entre les catégories de genre. Le nombre élevé d'énoncés des trois valeurs extrêmes est cependant surprenant, ces trois corpus étant petits (2,1 Go, 2,8 Go) et moyens (5,2 Go). Cela met une fois de plus en évidence le problème de la notion d'énoncé (sentence ou utterances) qui n'est jamais explicitement définie. Une telle différence de granularité rend donc difficile la comparaison entre les corpus.
# 5 Recommendations

L'impact social du big data et les problèmes éthiques soulevés par les systèmes de TAL ont déjà été abordés dans des travaux antérieurs. Wilkinson et al. (2016) ont élaboré des principes pour la gestion des données scientifiques, les principes FAIR Data, basés sur quatre caractéristiques fondamentales des données qui sont la repérabilité (foundability), l'accessibilité (accessibility), l'operability (interoperability) et la réutilisabilité (reusability). Dans notre cas, la repérabilité et l'accessibilité sont prises en compte dès la conception, les ressources sur OpenSLR étant librement accessibles. L'operability et la réutilisabilité des données ne sont cependant pas encore atteintes. Une autre discussion sur la description des données au sein de la communauté du TAL a été initiée par Couillault et al. (2014), qui ont proposé une Charte sur l'éthique et les big data (Ethics and Big Data Charter), pour aider les créateurs et créatrices de ressources à décrire leurs données d'un point de vue juridique et éthique. Le travail de Hovy & Spruit (2016) a mis en évidence l'articulation complexe entre données, systèmes de TAL et leurs différentes implications sociales, avec, entre autres, les notions d'exclusion, de surgénralisation et d'exposition. Plus récemment, les travaux de Bender & Friedman (2018) ont proposé la notion de data statement pour garantir la transparence des données. Nous espérons que la présente étude encouragera les chercheurs et chercheuses à décrire de manière exhaustive leurs ensembles de données, en suivant les lignes directrices proposées ci-dessus.

**Sur l'importance des méta-données.** La première conclusion de notre enquête est qu'il n'est pas facile d'obtenir une description exhaustive sur les locuteurs et locutrices dans les ressources de parole. Ce manque de méta-données est problématique d'un point de vue scientifique, car il empêche de garantir la généralisation des systèmes ou des résultats linguistiques basés sur ces corpus, comme le soulignent Bender & Friedman (2018), mais également éthique rendant impossible tout contrôle quant à l'existence d'une disparité de représentation pouvant conduire à des biais. Cette absence d'informations contextuelles sur la parole traduit aussi une conception du langage comme entité abstraite, plutôt que comme production située, qui mérite d'être questionnée (Hovy & Spruit, 2016).

Lorsque des informations sur la représentation du genre dans les données étaient fournies, celles-ci se portaient majoritairement sur le nombre de locuteurs et locutrices. Il serait intéressant d'avoir également accès à la durée des ensembles de données en heures ou minutes, globalement et par individu et/ou catégorie de genre. Taux de présence et taux d'expression n'étant pas égaux, l'un mesurant la représentation de chaque catégorie et l'autre la quantité de données disponibles. Des informations de durée standardisées pourraient permettre de vérifier rapidement l'équilibre entre les catégories de genre, sans s'appuyer sur une notion d'énoncé peu fiable. Lors de la collecte des données, nous avons remarqué que plus les ressources étaient récentes, plus il était facile de trouver des informations sur le genre, attestant de la visibilité croissante des thématiques de genre dans la technologie, mais si ce travail descriptif et important pour les futurs corpus, il doit également être effectué pour les ensembles de données déjà publiés, car ils sont susceptibles d'être utilisés à nouveau par la communauté.

**Transparence dans l'évaluation.** Le taux d'erreur-mots (WER pour word error rate) est généralement calculé comme la somme des erreurs commises sur l'ensemble des données de test divisée par le nombre total de mots dans la référence. Mais si une telle évaluation permet de comparer facilement les systèmes, elle ne tient pas compte de leurs variations de performance. Dans notre enquête, 13 des 66 corpus étaient accompagnés d'un article décrivant les ressources. Lorsque les performance des systèmes de RAP étaient reportées, aucune évaluation en terme de genre n'était faite, même si des informations sur la représentation du genre dans les données étaient renseignées. La communication
des résultats pour les différentes catégories est le moyen le plus simple de vérifier l'absence de biais dans les performances. Décrire ses données est un premier pas, mais pour une science ouverte et juste, l'étape suivante devrait être de prendre également en compte ces informations dans le processus d'évaluation. Un travail récent dans ce sens a été réalisé par (Mitchell et al., 2019) qui a proposé de décrire les performances des modèles dans des "cartes modèles" (*model cards*), encourageant ainsi un rapport transparent des résultats.

# 6 Conclusion

Dans notre enquête sur le genre dans les corpus disponibles sur la plateforme OpenSLR, nous observons les tendances suivantes : la parité est globalement atteinte, mais les interactions avec d'autres caractéristiques des corpus révèlent que la disparité homme/femme nécessite plus qu'un simple nombre d'intervenants pour être identifiée. Dans les données non élicitées (c'est-à-dire toutes données de paroles qui auraient existé sans la création d'un corpus, comme les TEDTalks ou les émissions radiophoniques), nous avons constaté que, sauf dans le cas de Librispeech où l'équilibre entre les catégories de genre est contrôlé, les hommes sont plus représentés que les femmes. Il semble également que la plupart des corpus visant à développer les systèmes synthèse vocale contiennent principalement des voix féminines, peut-être en raison du stéréotype associant la voix féminine aux activités de *care*. Nous observons également que la description genrée des données a été prise en compte par la communauté, avec un nombre croissant de corpus fournis avec des métadonnées sur le genre au cours des deux dernières années. Notre échantillon ne contenant que 66 corpus, nous reconnaissons que nos résultats ne peuvent pas nécessairement être étendus à toutes les ressources linguistiques, mais cela nous permet relancer le débat sur les pratiques générales de description des corpus, soulignant le manque de méta-données, et d'actualiser le discours autour des implications sociales des systèmes de TAL.

# Références

BENDER E. M. & FRIEDMAN B. (2018). Data statements for natural language processing : Toward mitigating system bias and enabling better science. *Transactions of the Association for Computational Linguistics*, **6**, 587–604.

BOLUKBASI T., CHANG K.-W., ZOU J. Y., SALIGRAMA V. & KALAI A. T. (2016). Man is to computer programmer as woman is to homemaker? Debiasing word embeddings. In *Actes de NeurIPS 2016 (Neural Information Processing Systems)*, p. 4349–4357.

BUOLAMWINI J. & GEBRU T. (2018). Gender shades : Intersectional accuracy disparities in commercial gender classification. In *Actes de FAT 2018 (Fairness, Accountability and Transparency)*, p. 77–91, New-York City, USA : ACM.

CAI L. & ZHU Y. (2015). The challenges of data quality and data quality assessment in the big data era. *Data science Journal*, **14**.

CALISKAN A., BRYSON J. J. & NARAYANAN A. (2017). Semantics derived automatically from language corpora contain human-like biases. *Science*, **356**(6334), 183–186.

COUILLAULT A., FORT K., ADDA G. & MAZANCOURT H. (2014). Evaluating corpora documentation with regards to the ethics and big data charter. In *Actes de LREC 2014 (Language Resources and Evaluation)*, p. 4225–4229, Reykjavik, Islande : ELRA.
DOUKHAN D. & CARRIVE J. (2018). Description automatique du taux d'expression des femmes dans les flux télévisuels français. In *Actes de JEP 2018 (Journées d'Études sur la Parole)*, p. 496-504, Aix-en-Provence, France.

GARNERIN M., ROSSATO S. & BESACIER L. (2019). Gender representation in French broadcast corpora and its impact on ASR performance. In *Actes de AI4TV 2019 (Workshop on AI for Smart TV Content Production, Access and Delivery)*, p. 3-9, Nice, France : ACM.

GOOGLE (2019). Crowdsourced high-quality UK and Ireland English Dialect speech data set. Web download at http://www.openslr.org/83/.

HERNANDEZ F., NGUYEN V., GHANNAY S., TOMASHENKO N. & ESTÈVE Y. (2018). TED-LIUM 3 : Twice as much data and corpus repartition for experiments on speaker adaptation. In *Actes de SPECOM 2018 (Speech and Computer)*, p. 198-208, Leipzig, Allemagne : Springer.

HERNANDEZ-MENA C. D. (2019). TEDx spanish corpus. audio and transcripts in spanish taken from the tedx talks; shared under the CC BY-NC-ND 4.0 license. Web Download.

HOVY D. & SPRUIT S. L. (2016). The social impact of Natural Language Processing. In *Actes de ACL 2016 (Volume 2 : Short Papers)*, p. 591-598, Berlin, Allemagne : Association for Computational Linguistics.

JUAN S. S., BESACIER L., LECOUTEUX B. & DYAB M. (2015). Using resources from a closely-related language to develop ASR for a very under-resourced language : a case study for Iban. In *Actes de INTERSPEECH 2015 (International Speech Communication Association)*, p. 1270-1274, Dresde, Allemange : ISCA.

KORVAS M., PLÁTEK O., DUŠEK O., ŽILKA L. & JURČÍČEK F. (2014). Free English and Czech telephone speech corpus shared under the CC-BY-SA 3.0 license. In *Actes de LREC 2014 (Language Resources and Evaluation)*, p. 4423-4428, Reykjavik, Islande : ELRA.

MACHARIA S., NDANGAM L., SABOOR M., FRANKE E., PARR S. & OPOKU E. (2015). Who makes the news. Global Media Monitoring Project (GMMP).

MITCHELL M., WU S., ZALDIVAR A., BARNES P., VASSERMAN L., HUTCHINSON B., SPITZER E., RAJI I. D. & GEBRU T. (2019). Model cards for model reporting. In *Actes de FAT 2019 (Fairness, Accountability and Transparency)*, p. 220-229, Atlanta, GA, USA : ACM.

NASS C. & BRAVE S. (2005). *Wired for Speech : How Voice Activates and Advances the Human-computer Relationship*. MIT Press.

PANAYOTOV V., CHEN G., POVEY D. & KHUDANPUR S. (2015). Librispeech : an ASR corpus based on public domain audio books. In *Actes de ICASSP 2015 (Acoustics, Speech and Signal Processing)*, p. 5206-5210, Brisbane, Australie : IEEE.

STACEY J. & THORNE B. (1985). The missing feminist revolution in sociology. *Social problems, 32*(4), 301-316.

VANMASSENHOVE E., HARMEIER C. & WAY A. (2018). Getting gender right in neural machine translation. In *Actes de EMNLP 2018 (Empirical Methods in Natural Language Processing)*, p. 3003-3008, Bruxelles, Belgique.

WEST M., KRAUT R. & EI CHEW H. (2019). I'd blush if I could : closing gender divides in digital skills through education.

WILKINSON M. D., DUMONTIER M., AALBERSBERG I. J., APPLETON G., AXTON M., BAAK A., BLOMBERG N., BOITEN J.-W., DA SILVA SANTOS L. B., BOURNE P. E. et al. (2016). The FAIR guiding principles for scientific data management and stewardship. *Scientific data, 3*.
# Reconnaissance de phones fondée sur du Transfer Learning pour des enfants apprenants lecteurs en environnement de classe

Lucile Gelin¹, ² Morgane Daniel² Thomas Pellegrini¹ Julien Pinquier¹

(1) IRIT, Université Paul Sabatier, CNRS, Toulouse, France

(2) Lalilo, Paris, France

lucile.gelin@irit.fr, morgane@lalilo.com

## RÉSUMÉ

A conditions égales, les performances actuelles de la reconnaissance vocale pour enfants sont inférieures à celles des systèmes pour adultes. La parole des jeunes enfants est particulièrement difficile à reconnaître, et les données disponibles sont rares. En outre, pour notre application d'assistant de lecture pour les enfants de 5-7 ans, les modèles doivent s'adapter à une lecture lente, des disfluences et du bruit de brouhaha typique d'une classe. Nous comparons ici plusieurs modèles acoustiques pour la reconnaissance de phones sur de la parole lue d'enfant avec des données bruitées et en quantité limitée. Nous montrons que faire du *Transfer Learning* avec des modèles entraînés sur la parole d'adulte et trois heures de parole d'enfant améliore le taux d'erreur au niveau du phone (PER) de 7,6% relatifs, par rapport à un modèle enfant. La normalisation de la longueur du conduit vocal sur la parole d'adulte réduit ce taux d'erreur de 5,1% relatifs supplémentaires, atteignant un PER de 37,1%.

## ABSTRACT

**Transfer Learning based phone recognition on children learning to read, with speech recorded in a classroom environment**

Current performance of speech recognition for children is below that of the state-of-the-art for adult speech. Young children's speech is particularly difficult to recognise, and substantial corpora are missing to train acoustic models. Furthermore, in the scope of our reading assistant for 5-7-year-old children learning to read, models need to cope with slow reading rate, disfluencies, and classroom-typical babble noise. In this paper, we compare acoustic models for phone recognition on child speech using data that is very noisy and limited in quantity. We show that transfer learning with adult-trained time-delay neural networks and three hours of child speech improves the phone error rate by 7.6% relative, over a model trained on child speech. The addition of vocal tract length normalisation on adult speech further reduces the error rate by 5.1% relative, reaching a PER of 37.1%.

**MOTS-CLÉS** : Reconnaissance de phones, parole d'enfant, apprentissage par transfert, normalisation de la longueur du conduit vocal, réseau de neurones à délai temporel.

**KEYWORDS:** Phone recognition, child speech, transfer learning, vocal tract length normalisation, time-delay neural network.

## 1 Introduction

Le corps humain, et en particulier l'appareil de production de la parole, évolue continuellement pendant les premières années de la vie. Entre 5 et 7 ans, les mécanismes articulatoires des enfants ne sont pas stables, ce qui implique une variabilité spectrale intra- et inter-locuteurs. La stabilisation

<figure><img src="image_116.png" /></figure>
du contrôle vocal ne se produit que vers l'âge de 8 ans (Lee *et al.*, 1999). En raison de la croissance lente du conduit vocal, leurs fréquence fondamentale et formants n'atteignent les niveaux d'un adulte mature qu'à l'âge de 15 ans (Mugitani & Hiroya, 2012). En outre, les erreurs phonologiques, comme la suppression de syllabes faibles ou la substitution de phones due à un mauvais positionnement de la langue et des lèvres (Fringi *et al.*, 2015), sont très courantes dans la parole des jeunes enfants, et ont tendance à disparaître avec l'âge. Ces différences morphologiques et phonologiques sont les principales causes des faibles performances des systèmes de Reconnaissance Automatique de la Parole (RAP) sur les voix d'enfants.

Les tuteurs numériques de lecture ont un fort impact pédagogique sur les enfants qui apprennent à lire, et plusieurs projets ont vu le jour au fil des ans (Mostow & Aist, 2001; Bolaños et al., 2011; Proença, 2018). Le projet FLUENCE notamment travaille depuis quelques années sur l'évaluation automatique de la fluence auprès des apprenants lecteurs français (Godde et al., 2017). Travailler sur la parole des lecteurs non-experts ajoute des difficultés dues à la présence de nombreuses disfluences.

Lalilo<fnref n="1" /> propose un assistant de lecture pour les enfants de 5 à 7 ans, avec un exercice de lecture à voix haute. Pour cela, nous entraînons un classifieur qui donne une décision binaire sur la lecture correcte ou non du mot. Cet article présente nos travaux sur la modélisation acoustique, avec pour objectif l'amélioration de la précision de la reconnaissance automatique de phones, dont découle la précision du classifieur.

Dans la section 2, nous présentons nos motivations et les techniques utilisées. Le dispositif expérimental est détaillé dans la section 3, suivi des résultats dans la section 4. Enfin, nous analysons le comportement de nos modèles en fonction du voisinement, et en présence d'erreurs de lecture.

## 2 Méthodes

En raison du peu de données de parole d'enfant disponibles, les systèmes fondés sur les réseaux neuronaux profonds n'ont commencé à être exploités que récemment pour la reconnaissance automatique de la parole d'enfant. Les architectures hybrides Deep Neural Network - Hidden Markov Model (DNN-HMM) de modèles acoustiques ont été largement utilisées dans la reconnaissance vocale au cours des deux dernières décennies. (Serizel & Giuliani, 2014a) utilisent un système DNN-HMM, entraîné conjointement sur des données adultes et enfants, puis adapté à la parole d'un groupe d'âge spécifique. Pour une application d'apprentissage d'une seconde langue chez les enfants, (Metallinou & Cheng, 2014) ont présenté un DNN-HMM qui, même entraîné sur très peu de données, a surpassé des systèmes basés sur des mélanges de lois gaussiennes (GMM-HMM).

Dans cet article, nous utilisons un système hybride où le DNN est un Time-Delay Neural Network (TDNN), architecture introduite par (Waibel et al., 1989) pour la reconnaissance de phones. Ce type de réseau s'est révélé particulièrement adapté à la RAP, de par sa capacité à représenter les relations entre événements acoustiques dans le temps, ainsi qu'à fournir une invariance temporelle des paramètres appris par le réseau (Waibel et al., 1989). Pour cela, la largeur du contexte varie selon les couches : les couches inférieures apprennent des caractéristiques acoustico-phonétiques de courte durée, tandis que les couches supérieures apprennent des caractéristiques plus complexes de plus longue durée. Les TDNN ont été utilisés avec succès pour la reconnaissance des voyelles sur la parole des enfants dans une langue peu dotée (Yong & Ting, 2011).

Le Transfer Learning (TL) permet de surmonter le manque de données dans un domaine spécifique : cette méthode consiste à transférer des connaissances préalables acquises sur un grand corpus hors

<footnote n="1">1. https://www.lalilo.com/</footnote>
domaine vers un modèle acoustique entraîné sur un petit corpus correspondant à l'application. Le système bénéficie ainsi de connaissances de bases qui peuvent être adaptées à un domaine ou à une tâche spécifique. Cette méthode a montré une amélioration des performances dans des applications de transfert de langues (Shi et al., 2018) et de transfert d'âge (Shivakumar & Georgiou, 2018).

Nous explorons ici l'adaptation de modèles acoustiques en utilisant un modèle TDNN entraîné sur un grand corpus de parole adulte, et deux méthodes de TL. La première consiste à ré-initialiser aléatoirement les deux dernières couches du réseau, et à les entraîner avec des données d'enfant, ce qui a pour objectif d'adapter fortement le modèle à la parole d'enfant. La seconde prend toutes les couches existantes du modèle source et les ré-entraîne avec des données d'enfant, et ainsi garde toutes les informations apprises par le modèle sur les voix d'adulte. Nous utilisons différents facteurs d'apprentissage pour équilibrer les connaissances pré-acquises sur la parole d'adulte et les caractéristiques acoustiques nouvellement acquises sur la parole d'enfant.

Une adaptation approfondie est réalisée avec la technique VTLN. Tandis que Serizel et al. (Serizel & Giuliani, 2014b) utilisent la VTLN sur un corpus mixte enfants-adultes en normalisant les caractéristiques de chaque locuteur, nous proposons d'utiliser la VTLN pour étendre les fréquences d'adulte vers des fréquences d'enfant et entraîner un TDNN adulte sur ces paramètres transformés. La VTLN n'est donc pas appliqué de façon individuelle à chaque locuteur, mais de façon globale à tous les locuteurs avec des facteurs de déformation fixes : un pour les femmes et un pour les hommes. Cela nous permet d'obtenir une gamme de fréquences proche de celle des enfants pour chaque locuteur, minimisant ainsi la différence entre parole d'adulte et parole d'enfant, avec pour objectif une meilleure efficacité du transfer learning. La principale contribution réside dans l'utilisation de ce TDNN adulte adapté aux voix d'enfants avec de la VTLN comme modèle source pour le transfer learning.

# 3 Dispositif expérimental

## 3.1 Données de parole

Nous utilisons deux jeux de données de parole en français : le corpus adulte *Commonvoice*<fnref n="2" />, et un corpus enfant interne, appelé *Lalilo* par la suite. Le tableau 1 présente des informations sur ces deux corpus.

<table><caption>TABLE 1 – Informations sur les données de parole</caption><thead><tr><th rowspan="2">Corpus<br>Set</th><th colspan="2">Commonvoice</th><th colspan="3">Lalilo</th></tr><tr><th>Train</th><th>Test</th><th>Train</th><th>Test C</th><th>Test I</th></tr></thead><tbody><tr><td>Nb locuteurs</td><td>78</td><td>268</td><td>562</td><td>69</td><td>153</td></tr><tr><td>Durée (h)</td><td>20,0</td><td>9,0</td><td>3,8</td><td>0,4</td><td>0,4</td></tr><tr><td>Durée moyenne (s)</td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Par enregistrement</td><td>3,6</td><td>3,8</td><td>7,0</td><td>2,3</td><td>3,4</td></tr><tr><td>Par locuteur</td><td>127,4</td><td>-</td><td>22,0</td><td>-</td><td>-</td></tr><tr><td>RSB moyen (dB)</td><td>35,3 ± 16,1</td><td>32,9 ± 14,2</td><td>25,6 ± 13,9</td><td>23,9 ± 11,6</td><td>20,5 ± 11,9</td></tr></tbody></table>

Le jeu de données Commonvoice est composé de phrases lues par des adultes, tâche qui se rapproche de la lecture à voix haute des enfants. 72% des locuteurs sont masculins, et 7% féminin, les autres locuteurs n'ayant pas fourni cette information. Chaque enregistrement a été validé par 2 ou 3 annotateurs, le corpus ne contient donc que peu d'erreurs. En outre, il présente un rapport signal à bruit (RSB) moyen élevé.

<footnote n="2">2. Corpus disponible : https://voice.mozilla.org/fr</footnote>
Le corpus Lalilo contient des enregistrements d'enfants de la grande section au CE1, âgés de 5 à 7 ans, lisant à haute voix des mots isolés, des phrases et des histoires courtes. Les enregistrements ont été recueillis soit directement dans les écoles, soit par le biais d'un exercice de lecture à voix haute sur la plateforme Lalilo. Dans le premier cas, les conditions environnementales sont relativement propres : un microphone de bonne qualité est utilisé, et le niveau de bruit est contrôlé. Dans le second cas, cependant, les enseignants laissent généralement un petit groupe d'élèves travailler en autonomie sur la plateforme, ce qui implique inévitablement la présence de bruit de brouhaha sur les enregistrements. Le tableau 1 affiche la moyenne et l'écart-type du RSB pour chaque ensemble de données. Par rapport au corpus Commonvoice, le RSB moyen est significativement plus faible.

Les données d'apprentissage ne contiennent que des histoires, phrases ou mots correctement prononcés et lus avec fluidité. En accord avec la tâche de l'assistant numérique qui vise à détecter les erreurs de déchiffrage et de fluence sur des mots isolés, l'ensemble de test est formé uniquement de mots isolés 3, la durée moyenne des enregistrements est donc plus faible que celle du corpus d'apprentissage. Les phones réellement lus par les élèves ont été transcrits par deux juges humains. Chaque mot a également été classé entre trois catégories :

- Correct : lecture correcte et fluide.

- Erreur de fluence (*Fluence*) : lecture correcte mais non fluide (hésitations, faux départs...)

- Erreur de déchiffrage (*Déchiffrage*) : lecture incorrecte, avec au moins un phone mal lu.

Deux sous-ensembles de test ont été créés à partir de ces catégories : Le test C contient les mots bien lus, et le test I contient les mots qui comportent des erreurs de lecture, c'est-à-dire de fluence ou de déchiffrage. Dans la catégorie *Déchiffrage*, les phones peuvent être soit substitués, soit supprimés, soit insérés. Les erreurs de déchiffrage prévalent sur les erreurs de fluence, car les premières sont plus répréhensibles que les secondes lors de l'évaluation du niveau de lecture d'un enfant. Ainsi, les mots classés comme erreurs de déchiffrage peuvent également contenir des erreurs de fluence.

## 3.2 Système de reconnaissance de phones

Toutes les expériences sont réalisées avec l'outil Kaldi (Povey et al., 2011).

### 3.2.1 Paramètres acoustiques

Pour les modèles GMM-HMM servant à la génération des alignements pour l'entraînement des TDNN, les paramètres sont des Mel-frequency cepstral coefficients (MFCC) de dimension 13 avec une fenêtre de 25 ms et un décalage de 10 ms, auxquels nous ajoutons des dérivées première et seconde. Les TDNN sont alimentés par des MFCC haute résolution de dimension 40. Nous effectuons également de l'augmentation de données en déformant temporellement le son brut avec des facteurs de 0,9, 1,0 et 1,1. Dans la plupart des systèmes de la litérature, des i-vecteurs sont utilisés pour augmenter les paramètres avec des informations spécifiques au locuteur. Il a en effet été observé que cela améliorait les performances de modèles entraînés et testés sur de la parole d'adultes. Cependant, que nous entraînions l'extracteur de i-vecteurs sur des données d'adultes ou d'enfants, les performances étaient toujours détériorées par rapport à celles des modèles sans i-vecteurs. Dans le premier cas, les caractéristiques extraites sur la base de la parole d'adulte ne correspondaient pas à la parole d'enfant. Dans le second cas, les informations extraites à partir de la parole d'enfant n'étaient pas pertinentes de par la faible quantité de données et la faible durée moyenne de parole par locuteur (voir tableau 1). Les résultats présentés dans la section 4 sont donc obtenus sans l'utilisation de i-vecteurs.

<footnote n="3">3. Exemples audio disponibles : https://frama.link/JEP2020-exemples-audio</footnote>
### 3.2.2 Modèles chain-TDNN

Les chain-TDNN, appelés TDNN par la suite, ont été implémentés avec l'architecture présentée dans (Peddinti et al., 2015), et en s'appuyant sur la recette Kaldi du corpus Commonvoice<fnref n="4" />. Nous utilisons dans cet article une architecture de modèle chaîne (Povey et al., 2016), qui diffère d'un DNN-HMM classique par l'utilisation d'une fonction de coût au niveau de la séquence plutôt qu'au niveau de la trame. La procédure d'entraînement est similaire à un entraînement par maximisation de l'information mutuelle sans graphe de phones (Veselý et al., 2013).

Une autre caractéristique du modèle chaîne est sa fréquence de trame divisée par 3 à la sortie du réseau : cela accélère le calcul et permet d'effectuer une augmentation de données en appliquant un décalage de trame de 0, 1 et 2 trames.

Les chain-TDNN présentés dans cet article sont similaires à ceux spécifiés dans (Povey et al., 2016). Ils contiennent une première couche affine LDA prenant comme trames d'entrée les indices -2,-1,0,1,2. Suivent ensuite 9 couches cachées avec ReLU, chacune avec 768 unités, parmi lesquelles les couches 2, 4, 6, 7, 8 sont configurées avec des indices de concaténation -1,0,1 -1,0,1 -3,0,3 -3,0,3 -6,-3,0. La couche de sortie comporte 496 unités.

Le HMM utilisé dans notre système hybride TDNN-HMM est un modèle monophone, car nous avons observé de meilleurs résultats qu'avec des modèles triphones. En effet, notre corpus de parole d'enfant étant très réduit, l'entraînement souffre du faible nombre d'occurrence de chaque triphone. De plus, les erreurs produites par les enfants pourraient correspondre à des triphones non représentés dans la langue française, et donc ne pas être reconnues.

### 3.2.3 Modèles Transfer Learning

Nous avons exploré deux méthodes de TL<fnref n="5" />. La première méthode consiste à supprimer les deux dernières couches du modèle TDNN source et à les remplacer par deux couches initialisées de façon aléatoire. La ré-initialisation doit permettre au réseau de s'adapter rigoureusement aux caractéristiques des enfants. La seconde méthode garde les couches existantes du modèle source, conservant ainsi certaines informations acoustiques de la parole d'adulte. Dans les deux méthodes, les couches finales, ainsi que les autres couches transférées du modèle source sont ré-entraînées avec des facteurs d'apprentissage respectifs de 1 et 0,25. Choisir un facteur d'apprentissage de 0 pour les couches transférées revient à utiliser uniquement les connaissances pré-acquises sur la parole d'adulte. Pour ré-entraîner les modèles TDNN avec des données d'enfants, nous pouvons fournir des alignements soit à partir d'un modèle GMM-HMM, soit à partir d'un modèle TDNN.

### 3.2.4 Vocal Tract Length Normalisation

Nous appliquons la normalisation VTLN aux MFCC extraits du corpus d'entraînement Commonvoice afin d'étendre la gamme de fréquences des adultes vers une gamme proche de celle des enfants. Les facteurs de déformation qui minimisent le PER obtenus par les modèles GMM-HMM sur l'ensemble Lalilo Test C sont de 1,2 pour les femmes et de 1,3 pour les hommes.

## 4 Évaluation

Dans cette section, nous testons plusieurs modèles acoustiques enfant (Lalilo), adulte (Commonvoice), TL et TL + VTLN sur le jeu de test C de Lalilo, c'est-à-dire sur des mots qui ont été correctement lus

<footnote n="4">4. Disponible au lien : https://frama.link/script-TDNN</footnote>

<footnote n="5">5. Inspirées par les recettes Kaldi disponibles au lien : https://frama.link/scripts-TL</footnote>
par des enfants. Les résultats sont affichés dans le tableau 2.

Nous ne visons pas ici à reconstituer et à corriger les mots en fonction des phones détectés, mais à repérer les substitutions, insertions et suppressions de phones chez les enfants qui lisent à voix haute. Par conséquent, nous ne mesurons pas les performances avec un WER, comme le font la plupart des études de RAP, mais avec un taux d’erreurs sur les phones (Phone Error Rate, PER). Le PER est défini comme le ratio entre le nombre d’erreurs (insertions, substitutions et suppressions) et le nombre de phones de la prononciation de référence. Dans cette même optique, nous utilisons un modèle de language unigramme appris sur le corpus d’entraînement de Lalilo pour le décodage.

## 4.1 Modèles chain-TDNN

Nous validons notre système de reconnaissance de phones en entraînant et testant un modèle TDNN sur le corpus Commonvoice. Les résultats sont affichés dans le tableau 2 : on atteint un PER de 28,4%.

<table><caption>TABLE 2 – Caractéristiques des différents modèles acoustiques et PER (%) obtenus</caption><thead><tr><th rowspan="2">Nom du<br>modèle</th><th rowspan="2">Méthode<br>de TL</th><th rowspan="2">Alignements<br>générés par</th><th rowspan="2">VTLN</th><th colspan="2">PER (%)</th></tr><tr><th>Commonvoice</th><th>Lalilo Test C</th></tr></thead><tbody><tr><td>Commonvoice</td><td>—</td><td>GMM-HMM</td><td>Non</td><td>28,4</td><td>72,5</td></tr><tr><td>Commonvoice + VTLN</td><td>—</td><td>GMM-HMM</td><td>Oui</td><td>38,6</td><td>69,6</td></tr><tr><td>Lalilo</td><td>—</td><td>GMM-HMM</td><td>Non</td><td>—</td><td>42,3</td></tr><tr><td>TL 1</td><td>1</td><td>GMM-HMM</td><td>Non</td><td>—</td><td>44,0</td></tr><tr><td>TL 2A</td><td>2</td><td>GMM-HMM</td><td>Non</td><td>—</td><td>43,0</td></tr><tr><td>TL 2B</td><td>2</td><td>TDNN</td><td>Non</td><td>—</td><td>39,1</td></tr><tr><td>TL 2B + VTLN</td><td>2</td><td>TDNN</td><td>Oui</td><td>—</td><td>37,1</td></tr></tbody></table>

Le TDNN enfant (Lalilo), atteignant un PER de 42,3%, est 41,4% relatifs plus performant que le TDNN adulte dans la tâche de reconnaissance de phones sur la parole d’enfant (PER de 72,5%), alors qu’entraîné sur 5 fois moins de données. L’utilisation de la VTLN sur la parole d’adulte permet d’améliorer le PER sur la parole d’enfant, au prix d’une dégradation sur la parole d’adulte.

## 4.2 Modèles Transfer Learning

Les deux méthodes détaillées en section 3.2.3 sont appelées TL 1 et TL 2 dans le tableau 2. Les alignements utilisés sont générés avec les modèles enfant car ils ont montré de meilleures performances que les modèles adultes. Dans le tableau 2, les noms A et B correspondent respectivement aux alignements générés par GMM-HMM et TDNNF.

Le modèle TL 1 donne de moins bons résultats que le modèle TDNN enfant (Lalilo). La méthode TL 2A donne des résultats légèrement meilleurs que l’approche TL 1 précédente, mais toujours sans amélioration par rapport au modèle Lalilo. La meilleure performance de l’approche TL 2 n’était pas attendue, puisque les auteurs de la méthode ont obtenu de meilleurs résultats avec la méthode TL 1, en utilisant le corpus Wall Street Journal comme source et le corpus Resource Managament (3 heures) comme cible. Cela est dû au fait qu’ils adaptent les tâches de reconnaissance (de la parole radio aux commandes vocales) alors que nous adaptons les domaines de reconnaissance : lors de la ré-initialisation des couches proches de la sortie, ils ne perdent que les informations liées à la tâche, qu’ils peuvent remplacer grâce aux données cible. Dans notre cas, nous perdons de précieuses
informations acoustiques et de prononciation qui ne peuvent pas être retrouvées avec uniquement quatre heures de parole d'enfant.

Enfin, la méthode TL 2B, qui utilise des alignements générés par un TDNN enfant, apporte une amélioration substantielle, avec un PER de 39,1 % pour le modèle TL 2B, ce qui correspond à une amélioration relative de 7,6 % par rapport au TDNN enfant.

## 4.3 Impact de la VTLN

La VTLN apportant une amélioration sur le TDNN Commonvoice lorsque testé sur parole d'enfant, une tendance identique est attendue pour le modèle TL 2B +VTLN, obtenu par transfer learning avec le modèle TDNN Commonvoice + VTLN. Le PER diminue, de 39,1% pour le modèle TL 2B, à 37,1% pour le modèle TL 2B VTLN, ce qui correspond à une amélioration relative de 5,1%.

# 5 Analyses & discussion

## 5.1 Analyse d'erreurs en fonction du voisement

Le taux d'erreur de reconnaissance (TER) est défini dans l'équation (1), avec C, S, D référant respectivement aux nombres de détections correctes, substitutions et suppressions. Il mesure la capacité du système à reconnaître correctement un phone donné, et donc ne prend pas en compte les insertions comme le PER.

$$ TER = \frac{S + D}{C + S + D} \qquad (1) $$

La figure 1 montre la capacité des différents modèles à reconnaître les phones voisés et non-voisés.

<figure><img src="image_117.png" /><figcaption>FIGURE 1 – Évolution du TER (%) sur les phones voisés et non-voisés du jeu de test C (Lalilo), pour les modèles adulte, enfant, TL 2B et TL 2B VTLN</figcaption></figure>

La première observation est que les phones voisés sont, en moyenne, 24,6 % relativement mieux reconnus que les phones non-voisés. Les phones voisés, qui correspondent en français à 25 phones sur 31, représentent 79 % de notre corpus de test C, ce qui explique pourquoi la courbe "Tout phones" suit de si près celle des phones voisés. Le modèle enfant (Lalilo) réduit considérablement le TER par rapport au modèle adulte. De même, le modèle TL 2B améliore la reconnaissance des phones voisés et non voisés, avec des améliorations relatives respectives du TER de 4,7 % et 4,5 % par rapport au modèle enfant. Le dernier point, correspondant au modèle TL 2B VTLN, montre que la VTLN a une forte influence sur le TER pour les phones voisés (amélioration relative de 8,2%), mais n'apporte pas d'amélioration significative pour les phones non-voisés. Les phones non-voisés sont
en effet articulés sans aucune vibration des cordes vocales, ce qui signifie qu'ils ne possèdent pas de fréquence fondamentale ni d'harmoniques. Comme la VTLN agit sur les fréquences, il affecte les phones voisés qui sont caractérisés par leurs formants, mais pas les phones non-voisés. La très légère amélioration pourrait être due à la présence habituelle de pics de fréquence dans les consonnes, correspondant à la position des résonateurs, qui pourraient être modérément affectés par la VTLN.

## 5.2 Influence de la parole de lecteurs non-experts

Pour quantifier la difficulté apportée par des lecteurs non-experts par rapport à des lecteurs plus expérimentés dans le cadre d'un système de RAP, nous avons calculé le PER obtenu par le modèle monophone TL 2B VTLN sur les jeux de test C (lecture correcte) et I (lecture incorrecte) du corpus Lalilo, et obtenu les résultats affichés dans le tableau 3. Nous pouvons constater une détérioration relative drastique de 45,0% du PER pour le Test I, relativement au Test C.

<table><caption>TABLE 3 – PER (%) pour le modèle monophone TL 2B VTLN</caption><thead><tr><th>Corpus</th><th>Test C</th><th>Test I (tous)</th><th>Test I (Fluence)</th><th>Test I (Déchiffrage)</th></tr></thead><tbody><tr><th>PER (%)</th><td>37,1</td><td>53,8</td><td>51,1</td><td>56,9</td></tr></tbody></table>

Les catégories d'erreurs de lecture (Fluence et Déchiffrage) sont décrites en section 3.1. Nous observons que la catégorie Fluence obtient un PER relativement 10% meilleur que la catégorie Déchiffrage. En effet, les erreurs de déchiffrage prévalant sur les erreurs de fluence lors du classement des enregistrements, certains mots de la catégorie Déchiffrage contiennent les deux sortes d'erreurs, combinant ainsi les difficultés. Ces deux catégories correspondent à la réalité de notre application, et les résultats présentés démontrent la difficulté à reconnaître de la parole d'enfant apprenant lecteur.

## 6 Conclusion & perspectives

Dans le cadre d'une tâche de détection des erreurs pour l'évaluation de la lecture à haute voix chez les enfants, la précision du système de reconnaissance vocale a une grande incidence sur la pertinence des paramètres qui sont transmis à un classifieur. Dans cet article, nous améliorons la précision de la reconnaissance de phones sur parole d'enfant au moyen d'une méthode de *Transfer Learning*, où des modèles TDNN adultes sont adaptés avec quatre heures de parole d'enfant. Nous obtenons un PER de 39,1 %, ce qui correspond à un gain relatif de 7,6 % par rapport à un TDNN entraîné uniquement sur parole d'enfant. L'application de la VTLN sur le corpus d'entraînement de parole d'adulte pour l'extension de la gamme de fréquences de locuteurs, et l'utilisation de ce modèle adulte adapté au VTLN comme modèle source pour le transfer learning réduit le PER à 37,1 %, ce qui apporte une réduction relative supplémentaire de 5,1 %.

Nous utilisons actuellement une structure de TDNN factorisés qui ont montré de meilleurs résultats sur un petit corpus de parole d'enfant (Wu et al., 2019). Nous pourrions également renforcer notre utilisation de la VTLN en utilisant un DNN pour adapter les facteurs de déformation spécifiquement à chaque locuteur, comme dans (Serizel & Giuliani, 2014b). De futurs travaux porteront sur la pertinence des paramètres MFCCs pour la parole d'enfant, avec l'étude d'une échelle Mel adaptée aux fréquences des enfants, et la recherche de paramètres spécifiques à nos données d'enfants. Enfin, une modélisation linguistique appropriée pourrait combler l'écart de performance entre les mots correctement lus et ceux contenant des erreurs de fluence ou de déchiffrage.
Références

BOLAÑOS D., COLE R., WARD W., BORTS E. & SVIRSKY E. (2011). FLORA : Fluent oral reading assessment of children's speech. *ACM Trans. Speech Lang. Process.*, **7**(4), 16.

ERINGI E., LEHMAN J. F. & RUSSELL M. J. (2015). Evidence of phonological processes in automatic recognition of children's speech. In *INTERSPEECH*.

GODDE E., BAILLY G., ESCUDERO D., BOSSE M.-L. & ESTELLE G. (2017). Evaluation of reading performance of primary school children : Objective measurements vs. subjective ratings. p. 23–27.

LEE S., POTAMIANOS A. & NARAYANAN S. S. Y. (1999). Acoustics of children's speech : developmental changes of temporal and spectral parameters. *The Journal of the Acoustical Society of America*, **105**(3), 1455–1468.

METALLINOU A. & CHENG J. (2014). Using deep neural networks to improve proficiency assessment for children english language learners. In *INTERSPEECH*.

MOSTOW J. & AIST G. (2001). Evaluating tutors that listen : An overview of project listen.

MUGITANI R. & HIROYA S. (2012). Development of vocal tract and acoustic features in children. *The Journal of the Acoustical Society of Japan*, **68**(5), 234–240.

PEDDINTI V., POVEY D. & KHUDANPUR S. (2015). A time delay neural network architecture for efficient modeling of long temporal contexts. In *INTERSPEECH*.

POVEY D., GHOSHAL A., BOULIANNE G., BURGET L., GLEMBEK O., GOEL N., HANNEMANN M., MOTLICEK P., QIAN Y., SCHWARZ P., SILOVSKY J., STEMMER G. & VESELY K. (2011). The kaldi speech recognition toolkit. In *ASRU*.

POVEY D., PEDDINTI V., GALVEZ D., GHAHREMANI P., MANOHAR V., NA X., WANG Y. & KHUDANPUR S. (2016). Purely sequence-trained neural networks for ASR based on lattice-free MMI. In *INTERSPEECH*, p. 2751–2755.

PROENÇA J. D. L. (2018). *Automatic Assessment of Reading Ability of Children*. Thèse de doctorat.

SERIZEL R. & GIULIANI D. (2014a). Deep neural network adaptation for children's and adults' speech recognition. In *CLiC-it*.

SERIZEL R. & GIULIANI D. (2014b). Vocal tract length normalisation approaches to DNN-based children's and adults' speech recognition. In *SLT*, p. 135–140.

SHI L., BAO F., WANG Y. & GAO G. (2018). Research on transfer learning for Khalkha Mongolian speech recognition based on TDNN. In *IALP*, p. 85–89.

SHIVAKUMAR P. G. & GEORGIOU P. G. (2018). Transfer learning from adult to children for speech recognition : Evaluation, analysis and recommendations. *ArXiv*.

VESELÝ K., GHOSHAL A., BURGET L. & POVEY D. (2013). Sequence-discriminative training of deep neural networks. In *INTERSPEECH*.

WAIBEL A., HANAZAWA T., HINTON G., SHIKANO K. & LANG K. J. (1989). Phoneme recognition using time-delay neural networks. *IEEE Transactions on Acoustics, Speech, and Signal Processing*, **37**(3), 328–339.

WU F., GARCÍA-PERERA L. P., POVEY D. & KHUDANPUR S. (2019). Advances in Automatic Speech Recognition for Child Speech Using Factored Time Delay Neural Network. In *INTER-SPEECH*, p. 1–5.

YONG B. & TING H. N. (2011). Speaker-independent vowel recognition for malay children using time-delay neural network. *IFMBE*, **35**.
# Informations segmentales pour la caractérisation phonétique du locuteur : variabilité inter- et intra-locuteurs

Cédric Gendrot¹ Emmanuel Ferragne¹ Thomas Pellegrini²

(1) LPP, UMR 7018 CNRS-Sorbonne Nouvelle, 19 rue des Bernardins, 75005 Paris, France

(2) IRIT, UMR 5505 CNRS-INP, UT1, UT3, UT2J, 118 Route de Narbonne, F-31062 Toulouse Cedex 9
cedric.gendrot@cnrs.fr, emmanuel.ferragne@u-paris.fr,
thomas.pellegrini@irit.fr

## RÉSUMÉ

Nous avons effectué une classification automatique de 44 locuteurs à partir de réseaux de neurones convolutifs (CNN) sur la base de spectrogrammes à bandes larges calculés sur des séquences de 2 secondes extraites d'un corpus de parole spontanée (NCCFr). Après obtention d'un taux de classification moyen de 93,7 %, les différentes classes phonémiques composant chaque séquence ont été masquées afin de tester leur impact sur le modèle. Les résultats montrent que les voyelles orales influent avant toute autre classe sur le taux de classification, suivies ensuite par les occlusives orales. Ces résultats sont expliqués principalement par la représentation temporelle prédominante des voyelles orales. Une variabilité inter-locuteurs se manifeste par l'existence de locuteurs attracteurs qui attirent un grand nombre de faux positifs et qui ne sont pas sensibles au masquage effectué. Nous mettons en avant dans la discussion des réalisations acoustiques qui pourraient expliquer les spécificités de ces locuteurs.

## ABSTRACT

An automatic classification task involving 44 speakers was performed using convolutional neural networks (CNN) on broadband spectrograms extracted from 2-second sequences of a spontaneous speech corpus (NCCFr). We obtained a mean classification rate of 93,7 % and carried out an occlusion experiment afterwards : different phonemic classes were hidden within each sequence so as to test their impact on classification rates. Results show that oral vowels influence the classification much more than the other classes. These results are mainly explained by the prevailing temporal representation of oral vowels. Substantial inter-speaker variability is observed and correlated with the presence of magnet speakers who 'attract' most false positive classifications from other speakers. In the discussion, we display acoustic measurements that may be relevant to explain these speakers' behaviour.

**MOTS-CLÉS** : caractérisation du locuteur, deep learning, segmental.

**KEYWORDS**: speaker characterization, deep learning, segmental.

# 1 Introduction

Il est fréquent de constater que des locuteurs de notre entourage présentent une production particulière de certains phonèmes : on pense par exemple à la réalisation de /ʃ-s/ et /ʒ-z/ en fricatives latérales

<figure><img src="image_118.png" /></figure>
[4] et [5]. Il est donc légitime de se poser la question de l'utilité potentielle de la prononciation spécifique de certains phonèmes dans la caractérisation du locuteur sur la base d'indices acoustiques. La caractérisation du locuteur peut avoir plusieurs objectifs : elle peut se faire dans une optique criminalistique pour la comparaison de voix (Morrison & Thompson, 2017; Ajili et al., 2018). Elle peut également servir la recherche fondamentale en phonétique, qui vise à mieux comprendre la variabilité que l'on observe pour la description de phénomènes tels que la coarticulation, la réalisation des groupes prosodiques, etc. (Keating et al., 2017, par exemple).

Notre travail se concentre sur l'influence du segmental pour la caractérisation du locuteur : certains phonèmes ou certaines classes de phonèmes sont-ils plus pertinents que d'autres ? Et est-ce que ces éventuels phonèmes discriminants sont partagés par l'ensemble des locuteurs ? Si nous nous focalisons sur le segmental, il ne faut pas oublier non plus que les informations prosodiques (valeurs de f0, d'intensité, etc.) peuvent également permettre de caractériser certains locuteurs ; citons notamment Dellwo et al. (2015) et Keating et al. (2017). Plusieurs études ont démontré que les caractéristiques segmentales des locuteurs peuvent être pertinentes pour la classification de ces derniers (Kahn, 2014; Amino et al., 2006). Dans ce cadre, il est fréquent de trouver dans la littérature que les voyelles nasales ont un poids plus important dû à l'ajout de la cavité nasale dans la production (Shriberg & Stolcke, 2008). Mais Ajili et al. (2018), dans une étude plus récente, ont montré que les voyelles orales étaient les plus utiles dans une tâche de reconnaissance du locuteur pour une approche criminalistique, ces résultats contradictoires pouvant être interprétés comme une forte variabilité inhérente à la parole. Les auteurs notent également une forte variabilité inter-locuteurs, qu'il est nécessaire d'approfondir selon eux, et nous tentons ici d'analyser cette variabilité.

Dans une expérience s'appuyant sur l'apprentissage automatique comme pour la présente étude, il existe différents procédés pour déterminer quelles sont les informations mises à profit par le modèle afin de classifier les locuteurs (Ferragne et al., 2019). Sur le même principe que Ajili et al. (2018), nous avons réalisé une expérience de classification avec masquage (occlusion), où une partie de l'information contenue dans le signal acoustique est cachée afin de comparer la classification avant et après masquage. Cette étude se rapproche également des travaux effectuées par Besacier & Bonastre (1998) dans lesquels des blocs temporels de signal sont sélectionnés pour améliorer les taux d'identification du locuteur. Cependant, contrairement aux études citées ci-dessus, nous utilisons des spectrogrammes à bandes larges en entrée, car notre objectif de phonéticien sera à terme de retracer la correspondance acoustique - articulatoire. Après une présentation de la méthode employée, et des résultats de l'influence du masquage, nous nous concentrerons sur la variabilité observée, en insistant notamment sur quelques locuteurs caractéristiques.

## 2 Méthode

Nous avons dans un premier temps mené une tâche de classification de segments de paroles en 44 classes de locuteurs en utilisant un réseau de neurones convolutif (CNN) qui prenait en entrée des spectrogrammes. Nous avons ensuite procédé à une occlusion partielle des spectrogrammes, d'abord par phonème (e.g. tous les phonèmes étaient remplacés tour à tour par un masque noir), puis par classe de phonèmes (e.g. toutes les voyelles orales étaient masquées simultanément) afin d'observer la dégradation du taux de classification conséquente au masquage de l'information.
## 2.1 Corpus et prétraitement

Des séquences de 2 secondes ont été utilisées pour la classification ; elles ont été extraites de 44 locuteurs du corpus NCCFr (Torreira et al., 2010). Ce corpus est constitué de conversations spontanées d'environ une heure entre deux (voire trois) amis ; il a été annoté par des transcripteurs professionnels, puis aligné phonémiquement par le système du LIMSI. Le corpus est composé d'enregistrements de 23 hommes et 21 femmes ; les séquences contenant un minimum de 18 et un maximum de 43 phonèmes ont été retenues, sans autre type de contrainte. Ces séquences, échantillonnées à 16 kHz, ont été converties en spectrogrammes à bandes larges avec des trames de 5 ms, un chevauchement de 90 % et une taille de FFT de 512 points. La dynamique a été fixée à 70 dB et quantifiée sur 8 bits de niveaux de gris dans les images finales. La résolution en fréquence, 257 points pour 8 kHz, a été laissée telle quelle dans les images fournies en entrée du modèle. En revanche, nous avons réduit la résolution temporelle des spectrogrammes (de 3 991 à 400 points) pour des raisons évidentes de mémoire. Nous disposons donc de 15 400 images de spectrogrammes : 350 pour chacun des 44 locuteurs.

## 2.2 Modèle initial

Un réseau de neurones profond de type ResNet-18 (He et al., 2016) a été utilisé pour la classification automatique des spectrogrammes en 44 classes de locuteurs. L'ensemble d'apprentissage contenait 70 % des données ; 10 % servaient pour la validation et 20 % pour l'évaluation. Nous avons utilisé l'optimiseur Adam (Kingma & Ba, 2014) avec une valeur initiale du taux d'apprentissage de 1e-4, divisé par deux après huit itérations complètes sur les données d'apprentissage. Un maximum de 10 itérations en tout a été effectué avec des mini-lots (mini-batchs) de 32 exemples, ce qui fait que le modèle a convergé en 28 minutes sur une carte GPU NVIDIA GTX 1080.

## 2.3 Protocole d'occlusion

Dans un premier temps, afin de quantifier la pertinence des phonèmes pour la caractérisation du locuteur, nous avons effectué le masquage phonème par phonème tout au long de chaque séquence de 2 secondes. L'objectif était d'identifier un ou plusieurs phonèmes susceptibles de faire basculer l'identification du locuteur (i.e. engendrer une classification erronée). Ce type de changement dans la classification n'a été obtenu que pour les séquences dont la probabilité de classification dans la classe correcte avant masquage était faible, inférieure à 50 %. Les taux d'identification étant supérieurs à 90 % avec des probabilités d'identification très élevées, le masquage d'un seul phonème pouvait suffire que très rarement à engendrer une erreur de classification. Au total, à l'issue du masquage par phonème, seules 2.5 % des séquences présentaient un changement de classe de locuteur, ce qui est insuffisant pour effectuer une analyse quantitative. Notons tout de même que les phonèmes /s/ et /ʃ/ ont été identifiés pour deux locuteurs comme particulièrement pertinents, notamment parce que -après écoute des séquences concernées- ceux-ci réalisés avec un chuintement. Pour quelques autres locuteurs, le masquage d'une hésitation longue (>300 ms) pouvait faire basculer la classification en locuteurs sur la séquence testée. Mais ces cas étaient par trop rares et nous avons donc procédé dans un second temps à une occlusion par classes phonémiques, où tous les phones correspondant à une classe phonémique ont été masqués simultanément. Cette occlusion représente ainsi une durée plus importante (293 ms en moyenne, toutes classes confondues) et nous espérions voir augmenter le
nombre de changements d'identifications du locuteur après occlusion.

Les classes phonémiques ont été regroupées de la façon suivante : voyelles orales (ORAVO), consonnes/voyelles nasales (NASAL), occlusives (OCCLU), fricatives (FRICA) et sonantes (SONOR). Les consonnes et voyelles nasales ont été regroupées puisque la nasalité est estimée comme un critère prépondérant mais également afin d'obtenir des groupes plus équilibrés en termes de fréquences pour chaque catégorie.

Dans l'étude de Ajili et al. (2018), un masque est également appliqué de façon aléatoire sur un échantillon de signal de durée équivalente à celle correspondant aux phonèmes de la classe phonémique masquée. Nous avons choisi de ne pas procéder de cette façon mais plutôt de prendre en compte la variation de durée a posteriori dans nos analyses statistiques. Les résultats que nous présenterons dans les sections suivantes seront basés sur les séquences dont la classification du locuteur passe de correcte à incorrecte (3 821 sur 15 029).

## 3 Résultats

Les résultats présentés ci-dessous ont été calculés sur les séquences d'évaluation exclusivement. Le taux moyen des bonnes classifications avant masquage est de 93.7 % (14100/15029). Après masquage, il passe à 68.3 % (10279 / 15029) : pour les occlusives 78.0 % (2236/2867), les fricatives 83.6 % (2347/2805), les nasales 83.9 % (2291/2729), les voyelles orales 36.2 % (1046/2887) et les sonantes 83.9 % (2359/2812). Ces confusions vont vers un autre locuteur du même sexe dans 96.6 % des cas pour les femmes et seulement 61.5 % des cas pour les hommes.

<table><caption>TABLE 1 – Résumé des résultats de classification (taux de bonne classification en %, score de probabilité de classification dans la classe correcte en %, taille du masque en ms) pour les séquences sans masquage puis en fonction chaque classe phonémique masquée.</caption><thead><tr><th></th><th>séquence sans masque</th><th>ORAVO</th><th>OCCLU</th><th>NASAL</th><th>FRICA</th><th>SONOR</th></tr></thead><tbody><tr><th>classif. correct.</th><td>93.8</td><td>36.2</td><td>78.0</td><td>83.9</td><td>83.6</td><td>83.9</td></tr><tr><th>probabilité</th><td>84.9</td><td>27.7</td><td>60.8</td><td>65.4</td><td>66.4</td><td>67.9</td></tr><tr><th>durée masque</th><td>0</td><td>490</td><td>304</td><td>223</td><td>254</td><td>190</td></tr></tbody></table>

En analysant les scores d'identification après masquage, nous déduisons que les voyelles orales ont un effet important sur la classification, loin devant les occlusives puis les autres catégories. Notons également que le niveau de probabilité indiqué par le réseau lors de la classification, qui donne un indice de la certitude du résultat, passe de 84.9 % avant masquage à 57 % en moyenne (et 28 % pour les voyelles orales). Pour la suite de cette étude, nous avons cependant décidé de nous concentrer sur les cas de changements de classification (de correcte à erronée). Ce résultat est surprenant au premier abord puisque la classes des nasales n'est que peu pertinente dans la caractérisation du locuteur ici. Cela pourrait être en partie expliqué par le fait que nous avons combiné voyelles et consonnes nasales dans la même classe (pour des raisons d'homogénéité des classes). En effet, les voyelles nasales sont plus particulièrement mentionnées comme pertinentes dans la littérature, et les consonnes nasales dans une moindre mesure seulement. Nous avons comptabilisé le nombre de voyelles nasales présentes dans chaque séquence afin d'estimer si un nombre plus important de
voyelles nasales pouvait être corrélé à des changements de classifications plus fréquents. Les résultats montrent que lorsque le masquage de la classe des nasales implique 2 voyelles nasales et plus (1.78 en moyenne dans l'ensemble des séquences), le taux de classifications correctes chute à 79%, contre 90% quand il y a moins de 2 voyelles nasales dans les séquences. Ce résultat corrobore l'idée que les voyelles nasales sont plus pertinentes que les consonnes nasales pour la caractérisation du locuteur.

Il est nécessaire de pondérer ces résultats en considérant les fréquences d'apparition inhérentes à chaque classe, la classe des voyelles orales étant par exemple beaucoup plus fréquente que les autres classes. La durée masquée moyenne – en effectuant le calcul pour toutes les occurrences – est de 300 ms, celle des voyelles orales monte à 490 ms. Les occlusives ont une durée masquée (304 ms) supérieure aux nasales (223 ms), puis pour les plus courtes les fricatives (253 ms) et les sonantes (190 ms).

Pour ce faire, nous avons utilisé un modèle mixte linéaire généralisé (GLMM) afin d'évaluer la probabilité d'un changement de classe en fonction de la classe phonémique masquée et de sa durée. Les variables aléatoires utilisées dans ce modèle sont les locuteurs et les différentes séquences testées. Le modèle indique un effet significatif avec une valeur F de 391.4 (p=0.0013) pour la classe phonémique et 1284.6 (p<0.0001) pour la durée, l'interaction entre la classe et la durée est quant à elle non significative avec une valeur F de 3.9 (p=0.11). Ces résultats indiquent que l'importance de la classe phonémique sur la caractérisation du locuteur est bien pertinente, parallèlement à l'influence de la durée occultée au sein de la séquence.

<figure><img src="image_119.png" /><figcaption>FIGURE 1 – Sensibilité des locuteurs au masquage : en abscisse les identifiants des locuteurs et en ordonnée la moyenne des changements de classification</figcaption></figure>
# 4 Variation inter-locuteurs

Nous observons que pour environ 20% des locuteurs, le masquage n'a que peu voire pas d'effet sur le résultat de la classification. Pour quantifier ce phénomène, nous avons calculé la moyenne des occurrences où un changement de classe a lieu (0 si l'identification du locuteur est passée de correcte à incorrecte, 1 si l'identification est restée correcte, et -1 si l'identification passe d'incorrecte à correcte). Comme illustré sur la Figure 1, les locuteurs 14, 18, 26 et 40 ont une moyenne nulle à négative, les locuteurs 7, 15 et 28 ont une moyenne inférieure à 0.05, tandis que les locuteurs 11 et 33 ont une moyenne située entre 0.05 et 0.1. Ces 9 locuteurs ont un score moyen de bonne classification à 92.0%, contre 94.1% pour les 35 autres locuteurs, et 93,7% pour la moyenne, avec des taux de probabilité de 84.9% identiques à ceux des 35 autres locuteurs. Ces résultats montrent que les locuteurs insensibles au masquage ne sont pas des locuteurs plus difficiles (ou faciles) à classifier, et que la source de cette insensibilité au masquage doit être cherchée ailleurs. En considérant les différentes classes phonémiques dans ce résultat sur la Figure 2, on observe qu'après masquage, le taux moyen des bonnes classifications descend seulement à 88% lorsque la classe des voyelles orales est masquée et ne bouge pas pour les autres classes phonémiques, ce qui conforte l'insensibilité de ces locuteurs au masquage pour toutes les classes phonémiques, les différences observées entre celles-ci étant considérablement réduites (Figure 3).

<figure><img src="image_120.png" /><figcaption>FIGURE 2 – Sensibilité au masquage en fonction de la classe phonémique pour les 9 locuteurs peu sensibles au masquage comparés aux 35 autres locuteurs</figcaption></figure>

Nous tentons ici d'approfondir la compréhension de cette variabilité inter-locuteurs en observant la matrice de confusion. Les lignes de la matrice nous renseignent sur les vrais positifs et faux positifs obtenus pour les 44 locuteurs, et les 9 locuteurs mentionnés plus haut reçoivent un nombre important de faux positifs de la part des autres locuteurs. La non sensibilité au masquage d'un locuteur serait donc liée au nombre de faux positifs reçus, et nous donnerons à ces locuteurs le terme de locuteurs attracteurs.
<figure><img src="image_121.png" /><figcaption>FIGURE 3 – Matrice de confusion de la classification des locuteurs après masquage</figcaption></figure>

Afin de valider ce résultat, nous avons calculé une corrélation de Spearman entre le nombre de faux positifs que chaque locuteur a reçu et sa sensibilité au masquage (calculée comme la moyenne du nombre de changements de classes de correct à incorrect). Le coefficient obtenu est de -0.67 (t = -5.8966; p = 5.594e-07) ce qui montre un lien très net entre ces deux variables. Ce taux est plus élevé si l'on considère uniquement la classe phonémique des occlusives (-0.8), des nasales (-0.8), des fricatives (-0.77) et des sonantes (-0.79), mais il est moins élevé que la moyenne pour les voyelles orales (-0.53). Ces résultats confirment un statut particulier de la classe des voyelles orales, qui lorsqu'on les masque, modifie considérablement la classification des locuteurs, mais les erreurs de classification sont moins focalisées sur certains locuteurs que pour les autres classes. Enfin, si l'on effectue une corrélation entre la sensibilité au masquage de chaque locuteur et le nombre de faux positifs qu'il a reçus avant la procédure de masquage, celle-ci tombe à 0.088 (t = -0.57278; p = 0.5698). Cette dernière corrélation montre que le masquage permet de mettre en avant ces locuteurs attracteurs qui n'apparaissent pas lorsque le spectrogramme entier est utilisé (avant la procédure de masquage). Les locuteurs qui au contraire sont très sensibles à l'occlusion ne reçoivent qu'un nombre très limité de faux positifs quelle que soit la classe phonémique masquée.

# 5 Discussion et conclusion

Notre étude a montré que lorsque le masquage est effectué phonème par phonème, certains segments très spécifiques s'avèrent être pertinents pour la caractérisation du locuteur. Il ne s'agit cependant en général que de phonèmes très spécifiques avec des prononciations atypiques tels que /s/ et /ʃ/ ou des
hésitations.

Lorsqu'on procède au masquage par classes de phonèmes, les résultats montrent que les voyelles orales, notamment du fait de leur durée plus importante, jouent un rôle dans la bonne classification des locuteurs puisque leur absence détériore considérablement les résultats. Mais environ 20 % des locuteurs ne sont pas sensibles au masquage, ces locuteurs attirant à eux les prédictions dont le score de probabilité est plus faible. Ces locuteurs que nous avons qualifiés d'attracteurs pourraient être considérés comme les agneaux (lambs) selon la terminologie de Doddington et al. George Doddington & Reynolds (1998) car ces locuteurs pourraient apparaitre comme faciles à imiter. Afin de comprendre pourquoi ces locuteurs recueillent un nombre important de faux positifs, nous avons effectué des mesures acoustiques sur les différentes séquences testées de ces locuteurs et avons pu constater qu'ils étaient caractérisés par une variation acoustique plus importante que les autres locuteurs, notamment pour leurs valeurs de f0 et d'intensité. Nous avons également pu faire ressortir des locuteurs qui se distinguent par leur caractère moyen sur l'ensemble des mesures acoustiques, plutôt qu'extrêmes sur une seule. Une classification de ces 44 mêmes locuteurs a été réalisée sur la base d'indices prosodiques seuls par Chignoli et al. (2020) (soumis à cette conférence) et montre que les informations de f0 et d'intensité peuvent être complémentaires au spectrogramme dans près d'un tiers des classifications des locuteurs.

Il est à noter que lorsqu'une classe phonémique permet de faire basculer la classification du locuteur de correcte à erronée, il est très fréquent que les autres classes phonémiques testées fassent également basculer la classification (25 % de cas où une seule classe phonémique est impliquée dans un changement de catégorie pour une séquence, 24 % de cas où il y a 2 classes, 51 % de cas où il y a entre 3 et 5 classes) Ce résultat indique qu'au delà de la pertinence de la classe phonémique pour la classification du locuteur, c'est la séquence dans son ensemble qui joue un rôle dans le résultat de la classification. Nous avons remarqué après écoute des séquences mal identifiées que celles-ci contenaient des rires, chuchotements, éclats de voix, etc., ce qui rend plus complexe la classification par le réseau dans une expérience de masquage qui a pour effet de faire baisser la probabilité d'appartenance à la classe (certitude du résultat), et donc d'atteindre plus facilement un seuil critique d'identification.

Pour la suite de cette étude, nous envisageons de prendre en compte le vecteur de probabilité d'appartenance à chaque classe afin d'obtenir une analyse plus fine de l'évaluation du masquage en calculant par exemple un classement entre locuteurs. Il est également envisagé de travailler sur la base d'une tâche de discrimination (et non plus de classification) dans un ensemble ouvert de locuteurs afin de pouvoir généraliser les conclusions proposées dans ce travail.

Références

AJILI M., BONASTRE J.-F., BEN KHEDER W., ROSSATO S. & KAHN J. (2018). Comparaison des voix dans le cadre judiciaire : influence du contenu phonétique. In *Proc. XXXIIe Journées d'Études sur la Parole*, p. 28–36. DOI: 10.21437/JEP.2018-4.

AMINO K., SUGAWARA T. & ARAI T. (2006). Idiosyncrasy of nasal sounds in human speaker identification and their acoustic properties. *Acoustical Sciences and Technology*, **27**, 233–235.

BESACIER L. & BONASTRE J.-F. (1998). Time and frequency pruning for speaker identification.
In *Proc. on Speaker Recognition and its Commercial and Forensic Applications (RLA2C)*.
CHIGNOLI G., GENDROT C. & FERRAGNE E. (2020). Caractérisation du locuteur par CNN à l'aide des contours d'intensité et d'intonation : comparaison avec le spectrogramme. In soumis aux Journées d'Etude de la Parole 2020.

DELLWO V., LEEMANN A. & KOLLY M.-J. (2015). Rhythmic variability between speakers : Articulatory, prosodic, and linguistic factors. *The Journal of the Acoustical Society of America*, **137**(3), 1513–1528.

FERRAGNE E., GENDROT C. & PELLEGRINI T. (2019). Towards phonetic interpretability in deep learning applied to voice comparison. In *Proc. ICPhS*.

GEORGE DODDINGTON, WALTER LIGGETT A. M. M. P. & REYNOLDS D. (1998). Sheep, goats, lambs and wolves : a statistical analysis of speaker performance in the NIST 1998 speaker recognition evaluation. In *NIST 1998 Speaker Recognition Evaluation*.

HE K., ZHANG X., REN S. & SUN J. (2016). Deep Residual Learning for Image Recognition. In *2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)*, p. 770–778, Las Vegas, NV, USA : IEEE. DOI : 10.1109/CVPR.2016.90.

KAHN J. (2014). *Parole de locuteur : performance et confiance en identification biométrique vocale*. Thèse de doctorat, Avignon.

KEATING P., KREIMAN J. & VASSELINOVA N. (2017). Acoustic similarities among voices. part 2 : Male speakers. *The Journal of Acoustic Society of America*, **142**.

KINGMA D. P. & BA J. (2014). Adam : A method for stochastic optimization. *arXiv preprint arXiv : 1412.6980*.

MORRISON G. S. & THOMPSON, C. W. (2017). Assessing the admissibility of a new generation of forensic voice comparison testimony. *Columbia Science and Technology Law Review*, **18**, 326–434.

SHRIBERG E. & STOLCKE A. (2008). The case for automatic Higher-Level features in forensic speaker recognition. In *Proc. International Conference on Speech Communication and Technology (Interspeech)*, p. 1509–1512.

TORREIRA F., ADDA-DECKER M. & ERNESTUS M. (2010). The Nijmegen Corpus of Casual French. *Speech Communication*, **52**(3), 201–212. DOI : 10.1016/j.specom.2009.10.004.
# Evaluation de l'intelligibilité de patients avec traitement du cancer des cavités orales et pharyngales

Alain Ghio¹, Muriel Lalain¹, Marie Rebourg¹,
Corinne Fredouille², Virginie Woisard³

(1) Aix-Marseille Univ, CNRS, LPL, UMR 7309, Aix-en-Provence, France

(2) Laboratoire d'Informatique d'Avignon, Avignon, France

(3) Service ORL, CHU Larrey, URI Octogone-Lordat, Toulouse, France

alain.ghio@lpl-aix.fr

## RÉSUMÉ

La perte d'intelligibilité représente une plainte importante des patients atteints de troubles de la parole. Plusieurs batteries de test d'intelligibilité existent mais leurs limitations résident dans la capacité des auditeurs à restaurer les séquences distordues. Nous proposons un nouveau test fondé sur l'utilisation de pseudo-mots en grande quantité afin de complètement neutraliser les effets perceptifs indésirables. Nous avons appliqué ce test à une population de 39 sujets sains et 78 patients post traitement de cancers de la cavité buccale et de l'oropharynx. Chaque locuteur a produit 52 pseudo-mots tirés aléatoirement. 40 auditeurs ont retranscrit ces productions. Les transcriptions orthographiques ont été phonétisées et comparées aux formes phonétiques attendues. Un algorithme fournit un score de déviation phonologique perçue (PPD) fondée sur le nombre de traits différents entre la forme attendue et celle transcrite. Les résultats montrent qu'il existe un seuil PPD de 0.6 traits/phonème au-dessus duquel, la parole produite est dysfonctionnelle. De plus, le score de PPD est bien corrélé au jugement subjectif de la sévérité obtenue auprès d'experts. Ce test semble donc efficace pour mesurer la performance articulatoire des locuteurs.

## ABSTRACT

### Intelligibility Assessment of patients in the Context of Head and Neck Cancers

The loss of intelligibility is a major complaint from patients with speech impairments. Several intelligibility test batteries exist, but their limitations lie in the ability of listeners to restore distorted sequences. We propose a new test based on the use of pseudo-words in large quantities in order to completely neutralize the unwanted perceptual effects. We applied this test to a population of 39 healthy subjects and 78 post-treatment patients for cancers of the oral cavity and pharynx. Each speaker produced 52 pseudo-words drawn at random. 40 listeners transcribed these productions. The orthographic transcriptions were phoneticized and compared to the expected phonetic forms. An algorithm provides a perceived phonological deviation score (PPD) based on the number of different features between the expected form and the transcribed one. The results show that there is a PPD threshold of 0.6 features / phoneme above which the speech produced is dysfunctional. In addition, the PPD score is well correlated with the subjective judgment of severity obtained from experts. This test therefore seems effective in measuring the articulatory performance of speakers.

**MOTS-CLÉS** : phonétique clinique, intelligibilité, troubles de la parole, cancer des VADS

**KEYWORDS**: clinical phonetic, intelligibility, speech disorders, head and neck cancer

<figure><img src="image_122.png" /></figure>
# 1 Une mesure d'intelligibilité privilégiant l'information acoustique

La perception de la parole est une intégration complexe d'informations provenant du signal de parole et d'informations de haut niveau détenues par l'auditeur. L'information extraite du signal de parole est traitée de façon ascendante et correspondant au décodage acoustico-phonétique. L'information de haut niveau est manipulée de manière descendante et correspondant à l'exploitation des connaissances linguistiques, encyclopédiques, situation de communication, contexte psychosocial... Lindblom (1990) définit comme « information dépendante du signal » le résultat de processus ascendant tandis que « l'information indépendante du signal » est liée aux processus descendants. Dans ce cadre, Keintz et al. (2007) définissent l'intelligibilité comme « la quantité de parole comprise à partir du seul signal acoustique ». Inversement, Fontan et al. (2015) définissent la compréhension comme « l'intégration à la fois des informations acoustico-phonétiques et de toutes les informations pertinentes indépendantes du signal afin de comprendre un message parlé dans une situation de communication particulière ». Nous adoptons clairement la définition de Keintz et dans ce cadre, le terme qui devrait être utilisé pour l'intelligibilité est la reconnaissance de la parole et non la compréhension du message. Dans notre définition de l'intelligibilité, la question est la suivante : les auditeurs reconnaissent-ils les sons de la parole qui sont prononcés ? Pour illustrer clairement cette position, nous pouvons rappeler la célèbre phrase composée par Noam Chomsky (1957) « Les idées vertes incolores dorment furieusement » comme exemple syntaxiquement correct, mais sémantiquement absurde. Si cette phrase est clairement produite oralement par un locuteur natif sans trouble de la production de la parole et correctement transcrite par un auditeur natif sans trouble auditif dans un environnement calme, il est raisonnable de dire que l'énoncé est intelligible mais incompréhensible.

Dans son modèle de processus de communication, Lindblom (1990) explique que lorsque les informations dépendant du signal sont précises, l'auditeur est capable de comprendre le message sans information indépendante du signal. En revanche, lorsque les informations dépendant du signal sont insuffisantes, les informations indépendantes du signal deviennent crucales pour comprendre le message du locuteur. Si un locuteur présentant un trouble de la production de la parole fournit aux auditeurs un signal imprécis, il tentera, avec la complicité de son interlocuteur, de compenser en augmentant les informations indépendantes du signal pour combler les lacunes laissées par des informations dépendantes du signal incomplètes ou compromises. Dans la vie de tous les jours, ces processus sont essentiels et doivent être largement utilisés dans la communication par et avec les patients. Mais dans le cadre d'une évaluation de la gravité d'un trouble de la parole, il est nécessaire de concentrer la mesure sur le locuteur lui-même en minimisant les effets liés à l'auditeur dont les variations peuvent être vues comme un bruit de mesure.

De façon classique, les tests d'intelligibilité sont effectués à partir de phrases ou de mots issus de listes de référence. Les limitations de ce type de test résident dans la capacité des auditeurs à restaurer les séquences distordues (Warren et al., 1970). Cet effet est d'autant plus fort que les auditeurs ont une connaissance forte des mots utilisés dans le test et que ces mots sont peu ambigus et donc fortement prédictibles. C'est généralement le cas des orthophonistes qui peuvent faire un usage si important de ces listes qu'ils/elles finissent par les connaître par cœur. On peut citer par exemple la BECD (Auzou et al., 2006) qui ne comporte que 50 mots. Le biais lié à cette connaissance (Rebourg et al, 2020) et donc à la forte influence des mécanismes perceptifs descendants est un score d'intelligibilité surévalué car la restauration phonémique de l'auditeur rend « transparentes » les distorsions de production.
La solution que nous proposons consiste à utiliser des pseudo-mots, c'est-à-dire des logatomes respectant les structures phonotactiques fréquentes du français, en grande quantité de façon à complètement neutraliser les effets de lexicalité ou d'apprentissage des items par les auditeurs. Au final, les auditeurs sont confrontés à une tâche de décodage acoustico-phonétique suivie d'une transcription écrite. Les détails de la construction du test sont donnés dans (Ghio et al., 2018). Le principe du test est de faire prononcer 52 pseudo-mots tirés aléatoirement d'une liste de 89346 formes possibles, sachant que chaque liste est, par construction, phonétiquement équilibrée. Les pseudo-mots ont été construits avec les formes $C(C)_1V_1C(C)_2V_2$ où $C(C)_i$ est une consonne isolée ou un groupe consonantique. Par exemples: stoumo, vurtant, muja, charou, leba, ranto...

Dans le cadre des troubles de la production de la parole, nous partons de l'hypothèse que l'information dépendante du signal est dégradée en raison de l'imprécision articulaire et/ou phonatoire et que cette imprécision contribue à diminuer l'intelligibilité. Dans ce contexte, si le locuteur a l'intention de dire quelque chose mais que l'auditeur entend autre chose, nous émettons le postulat qu'il s'agit d'une erreur de production de parole. Nous supposons que le canal de communication est parfait (pièce silencieuse, lecture audio performante) et que l'auditeur est normo entendant.

# 2 Matériel et méthodes

Le projet C2SI (Carcinologic Speech Severity Index) est un projet financé par l'Institut National du Cancer dont l'objectif est d'obtenir une mesure de l'impact des traitements des cancers de la cavité buccale et du pharynx sur la production de la parole. Cette mesure est explorée à la fois par des méthodes perceptives et par traitement automatique de la parole (Astésano et al., 2018). Dans ce cadre, un certain nombre de patients ont été enregistrés et l'objectif de ce travail est de faire part des résultats de la mesure d'intelligibilité sur cette cohorte de locuteurs.

## 2.1 Locuteurs

117 locuteurs (39 sujets sains et 78 patients) ont été enregistrés dans le service d'oncoréhabilitation de l'Oncopole à Toulouse. Les patients devaient répondre aux critères d'inclusion suivants:

- avoir un cancer T1 à T4 de la cavité buccale et / ou du pharynx;

- avoir bénéficié d'un traitement par chirurgie et / ou radiothérapie et / ou chimiothérapie;

- être à plus de 6 mois après la fin du traitement pour assurer la stabilité du trouble de la parole, qu'il soit audible ou non.

De même, les critères de non-inclusion étaient de présenter une autre source de troubles de la parole (par exemple le bégaiement) ou de présenter des problèmes cognitifs ou visuels incompatibles avec la conception du protocole d'évaluation. Ces critères de non-inclusion ont également été utilisés pour le recrutement de la population témoin.

## 2.2 Le corpus

Pour enregistrer le corpus, les locuteurs étaient confortablement installés dans une salle anéchoïque devant un écran d'ordinateur sur lequel était automatiquement affichée la forme orthographique du pseudo-mot à prononcer et une version audio produite en même temps. Cette double modalité, visuelle et auditive, a permis de limiter les erreurs de lecture ou d'éventuelles difficultés auditives et attentionnelles. Les enregistrements ont été effectués avec un microphone à condensateur cardioïde Neumann TLM 102 connecté à un enregistreur numérique FOSTEX. La fréquence d'échantillonnage était de 48 kHz.
Chaque locuteur prononçait une liste différente de pseudo-mots, tirés aléatoirement du dictionnaire des 89346 formes possibles, tout en intégrant des contraintes phonétiques identiques dans chaque liste. En effet, comme décrit dans (Ghio et al., 2016), le même nombre de phonèmes apparaissent dans chaque liste mais avec des combinatoires différentes, ce qui nous conduit à faire l'hypothèse que les listes sont équivalentes. Une fois le locuteur enregistré, le signal de parole était segmenté afin d'obtenir un fichier audio par pseudo-mot. Le corpus était donc composé de 117 locuteurs x 52 items = 6084 stimuli

## 2.3 Le test de perception

40 auditeurs francophones natifs, sans trouble de l'audition, non spécialistes des troubles de la parole, ont retranscrit ces productions via le logiciel LANCELOT (André et al., 2003). Ils recevaient l'instruction suivante: " Vous allez entendre des non-mots. Un non-mot est une combinaison de sons de la langue française qui n'a pas de signification (ex: gloutu). En respectant les règles de l'orthographe du français, vous devrez transcrire ce que vous entendrez. Certaines prononciations seront difficiles à identifier, mais dans tous les cas, vous devrez fournir une transcription ".

Les différents stimuli étaient répartis dans plusieurs blocs et présentés dans un ordre aléatoire. Chaque stimulus a été transcrit par 3 auditeurs différents, ce qui représente finalement 18 252 réponses (6084 stimuli x 3). Ces tests de perception ont eu lieu au Centre d'Expérimentation sur la Parole (http://cep.lpl-aix.fr/) du Laboratoire Parole et Langage à Aix-en-Provence. Chaque auditeur, portant un casque audiophonique Superlux HD 681B a transcrit sur ordinateur environ 456 stimuli en 3 blocs. L'intensité de la présentation a été préréglée par l'auditeur pour être confortable et optimale pour la tâche. Chaque test a commencé avec quatre stimuli d'entraînement. Chaque élément était présenté une fois automatiquement mais l'auditeur pouvait répéter la lecture deux fois.

## 2.4 Le prétraitement des réponses

Au terme du test de perception, nous avons récupéré 18 252 réponses. Comme détaillé dans (Ghio et al, 2018), ces transcriptions orthographiques ont été phonétisées et comparées aux formes phonétiques attendues des pseudo-mots. Cette comparaison utilise un algorithme de Wagner-Fisher fondé sur un calcul de traits distinctifs déviants entre la forme cible et la forme transcrite. Notre mesure, que nous baptisons PPD (Perceived Phonological Deviation), représente le nombre moyen de traits mal perçus par phonème. Etant donné que le test part du postulat que le canal de communication est parfait (pièce silencieuse, lecture audio performante) et que l'auditeur est normo entendant, l'erreur perçue est directement mise en lien avec une erreur de production.

Puisque chaque pseudo-mot a été transcrit par 3 auditeurs différents, nous obtenons 3 scores pour chaque pseudo-mot. Pour chaque pseudo-mot, nous avons calculé la moyenne des réponses des 3 auditeurs, ainsi que la médiane. Afin d'assurer la cohérence des réponses et l'accord entre les auditeurs, nous avons appliqué une détection des valeurs aberrantes. Nous considérons comme aberrant un résultat qui s'écarte de 2.5 traits de la médiane. Comme +/- 2.5 traits donne une étendue de 5, c'est la moitié de la différence maximale entre 2 phonèmes qui est de 10. À la suite de ce filtrage, nous avons supprimé 1,2% des transcriptions. À cette étape, nous avons un score par pseudo-mot par locuteur.

Dans un deuxième temps, nous avons calculé la moyenne de ces 52 scores par locuteur. Nous obtenons ainsi, pour chacun des 117 locuteurs, un score PPD qui reflète le nombre moyen de traits déviants par phonème.
# 3 Résultats et discussion

Tous les tests statistiques ont été effectués dans l'environnement logiciel R version 3.4.4 (R Core team, 2017). Nous rappelons que le score PPD (Perceived Phonological Deviation) rend compte d'une dégradation et que plus il est bas, plus nous considérons que l'intelligibilité est bonne.

## 3.1 Le score PPD en fonction du groupe de locuteur

Le score PPD des sujets sains est en moyenne à une distance de 0,48 trait / phonème (écart-type = 0.23) alors que cette distance atteint 1,29 pour les patients (écart-type = 0.63) (Figure 1). Les données n'étant pas gaussiennes, nous avons effectué une transformation logarithmique du score. Nous avons obtenu des distributions gaussiennes (test de Shapiro, p> 0,05) et des variances homogènes (test de Bartlett, p> 0,05). L'analyse de la variance (ANOVA) a été réalisée avec le log-score comme variable et le « groupe de locuteurs » comme facteur. La différence entre les deux groupes était significative (F (1,115) = 127.2; p <0,001).

On remarque que même les sujets contrôle ont un score PPD non nul, ce qui s'explique par le fait que les auditeurs perçoivent des exemplaires de phonèmes légèrement altérés y compris par des locuteurs non pathologiques. Nous mesurons là les distorsions « normales » qui se produisent dans la production de la parole et qui sont en général rectifiées par l'accès au lexique et au sens, mécanismes inhibés dans notre tâche de décodage acoustico-phonétique.

<figure><img src="image_123.png" /><figcaption>Figure 1 : score PPD pour le groupe contrôle (Ctrl) et pour les groupe des Patients</figcaption></figure>

## 3.2 Le score PPD par locuteur et son pouvoir classificateur

La Figure 2 illustre la répartition du score PPD par locuteur en fonction du groupe contrôle (CTRL) ou des patients. On remarque une répartition assez distincte entre les sujets sains (faibles scores) et la majorité des patients, ce qui laisse présager un bon pouvoir discriminant de ce test. Certains patients ont un score bas, ce qui peut traduire un faible impact fonctionnel sur la parole du traitement du cancer sur ces sujets. Inversement, quelques locuteurs du groupe contrôle s'illustrent par des scores élevés. En analysant les raisons de ces scores, nous avons observé que ces sujets avaient eu des difficultés ou un manque d'attention à produire les pseudomots. Par exemple, le sujet TTT88 prononce distinctement [mjozo] le pseudomot « minso » ou encore [plɔkso] la séquence « plouco ». Il est donc normal que les auditeurs aient transcrits ces deux items « miozo » ou « plocso », ce qui a généré un PPD important car la cible était « minso » et « plouco ».
<figure><img src="image_124.png" /><figcaption>Figure 2 : score PPD par locuteur.
La ligne pointillée horizontale indique le seuil optimal de distinction patient/ contrôle</figcaption></figure>

Afin de mesurer le pouvoir discriminant du score PPD, nous avons établi une courbe de sensibilité/spécificité, qui permet de mesurer la performance du classificateur binaire, c'est-à-dire le pouvoir de catégorisation des deux groupes de locuteurs sur la base du score PPD. La fonction ROC (Receiver Operating Characteristic) se présente sous la forme d'une courbe qui trace le Taux de Vrais Positifs (patients détectés comme patients) en fonction du Taux de Faux Positifs (fraction des sujets sains qui sont incorrectement détectés comme des patients) pour tous les seuils de classification (Delacour et al., 2005).

Cette courbe (Figure 3) est intéressante car elle permet de prédire la performance de classification par la mesure de l'aire sous la courbe (Area Under the Curve $\Leftrightarrow$ AUC). L'AUC, qui mesure l'intégralité de l'aire à deux dimensions située sous l'ensemble de la courbe ROC, indique la probabilité pour que la fonction PPD place un patient devant un sujet contrôle (dans le meilleur des cas, l'AUC vaut 1). Elle permet d'évaluer l'intérêt diagnostique d'un test. Dans notre cas, l'AUC est égal à 0.94, ce qui correspond à une haute précision. Nous pouvons donc affirmer que nous avons obtenu une validité de construit du test fondé sur le score PPD car il permet de distinguer avec une haute précision les locuteurs sains du groupe des patients.

La courbe ROC permet également de déterminer la valeur seuil qui va optimiser le test. Dans notre cas, la question se pose sur la valeur seuil du PPD en dessous duquel se situe la normalité et au-dessus duquel on entre dans le dysfonctionnement. Intuitivement, celle-ci peut être identifiée comme étant le point de la courbe le plus éloigné de la diagonale représentant le test d'apport nul. Ce point correspond également au maximum de l'indice de Youden (Se + Sp -1) » (Delacour et al., 2005). Dans notre cas, le maximum de l'indice de Youden vaut 0.783, qui correspond à un seuil PPD égal à 0.6, indiqué sur la Figure 2 par la ligne pointillée horizontale..
<figure><img src="image_125.png" /><figcaption>Figure 3 : courbe ROC établie sur le pouvoir classificateur du PPD pour distinguer les sujets sains des patients</figcaption></figure>

## 3.3 La corrélation avec une mesure clinique de jugement subjectif de la sévérité

Dans le cadre du projet C2SI, les patients et les locuteurs sains ont produit de la parole spontanée obtenue avec une tâche de description d'image (Astesano et al., 2018). La première minute de chaque enregistrement a été utilisée pour une évaluation clinique subjective telle que définie par Kent et al. (1989). Cette évaluation globale consiste en un jugement de la sévérité du trouble sur une échelle ordinale entre 0 (altération sévère) et 10 (parole normale). Le score relatif à un locuteur est obtenu par la moyenne de six orthophonistes considérés comme experts en troubles de la parole. Afin d'évaluer la fiabilité inter-juges, un coefficient de corrélation inter-classes (ICC) a été calculé. Le degré de concordance entre les notes du jury est bon (r = 0,77). Le jury est homogène et fait office de « gold standard » (Balaguer et al., 2019). Afin de vérifier la validité concourante du test PPD, nous avons examiné la corrélation entre le score PPD et le jugement clinique de la sévérité (Figure 4). Ces deux grandeurs sont bien corrélées avec un R_spearman = -0.85

<figure><img src="image_126.png" /><figcaption>Figure 4 : corrélation entre score PPD et score clinique de sévérité</figcaption></figure>
# 4 Conclusion

Le test d'intelligibilité que nous proposons est fondé sur des pseudomots ainsi que sur une métrique organisée autour du comptage de traits phonétiques mal identifiés par des auditeurs. Si le test est correctement administré, ces erreurs d'identification peuvent être directement associées aux troubles de la production de la parole. Nous avons conscience de notre définition stricte de l'intelligibilité vue comme « la quantité de parole comprise à partir du seul signal acoustique » Keintz et al. (2007). Un tel test doit être complété par des évaluations de la compréhensibilité comme cela a été fait dans le cadre du projet C2SI par (Nocaudie et al, 2018), pour rendre compte de la réalité du déficit fonctionnel de parole chez ces patients.

Dans ce travail, nous considérons que le score PPD a été validé dans le construit du test dans la mesure où il remplit sa fonction discriminante pour distinguer avec précision les patients des sujets sains. Nous observons aussi une validité concourante puisque cette mesure est corrélée avec le gold standard du jugement subjectif clinique de la sévérité du trouble de la production de la parole. Comparée à cette évaluation subjective de la sévérité, la tâche que nous proposons est une véritable tâche linguistique de décodage et non un processus d'interprétation subjectif. Elle correspond donc plus au processus normal de la communication orale. Grâce au matériel linguistique utilisé (les pseudo-mots), l'évaluation par décodage acoustico-phonétique est moins dépendante des mécanismes top down de la perception et donc moins dépendante de l'auditeur. Cette réduction de la dépendance aux spécificités de l'auditeur pourrait permettre de réduire les phénomènes de variabilité qui fragilisent les résultats des tests subjectifs. De plus, l'utilisation de pseudo-mots présente l'avantage de disposer d'un matériel linguistique bien maîtrisé, standardisé et en très grande quantité. Par conséquent, le score PPD obtenu est moins sujet à un biais d'évaluation. Comme le montrent les résultats, l'évaluation de l'intelligibilité obtenue avec des auditeurs naïfs lors de la tâche de décodage acoustico-phonétique est cohérente avec celle des experts. Bien qu'artificiel dans son matériel, ce test est finalement écologique car il est pertinent avec des auditeurs non experts. Cela représente aussi un avantage supplémentaire, d'un point de vue économique car le recours à des évaluateurs naïfs est moins contraignant que le recrutement de spécialistes.

Au terme de ces travaux, de nouvelles pistes émergent de ces résultats prometteurs. L'obtention de matrices de confusion entre phonèmes permettrait de dépasser la seule valeur scalaire du score PPD. Une analyse plus fine des traits altérés pourrait revêtir une importante valeur d'orientation thérapeutique. Un certain nombre de questions devra être réglé : le tirage aléatoire des listes permet-il une équivalence de résultat ? Autrement dit, un même locuteur confronté à deux listes aura-t-il des résultats identiques avec les 2 listes ? Est-il possible de réduire le nombre d'items (52) de façon à réduire le temps de passation tout en maintenant des résultats robustes ? L'un des axes de recherche prévus dans un avenir proche sera d'appliquer cette méthode sur d'autres pathologies comme par exemple, dans les dysarthries (Projet ANR ANR-18-CE45-0008 Rugbi). Nous travaillons également à évaluer la contribution de cette mesure en la comparant à des méthodes automatiques qui pourraient être utilisées comme un auditeur robot dont les caractéristiques déterministes réduiraient un peu plus la variabilité perceptive humaine. Mais l'approbation de ces techniques passera là encore par une validation concourante.

# Remerciements

Ce travail a été soutenu par la subvention n° 2014-135 de l'Institut National pour le Cancer (INCA) projet C2SI et par la subvention ANR-18-CE45-0008 de l'Agence Nationale de la Recherche en 2018 Projet RUGBI
Références

ANDRÉ C, GHIO A, CAVÉ C, TESTON B. (2003) PERCEVAL: a Computer-Driven Systemfor Experimentation on Auditory and Visual Perception. International Congress of Phonetic Sciences (ICPhS), Barcelona, Spain. pp.1421-1424.

ASTÉSANO C. , BALAGUER M., FARINAS J., FREDQUILLE C., GAILLARD P., GHIO A., GIUSTI L. et al. (2018), Carcinologic Speech Severity Index Project: A Database of Speech Disorders Productions to Assess Quality of Life Related to Speech After Cancer, LREC, 7-12 May 2018, Miyazaki (Japan)

AUZOU P, ROLLAND-MONNOURY V. (2006), Batterie d'évaluation de la dysarthrie, 1st ed. Isbergues:

BALAGUER, M., BOISGUÉRIN, A., GALTIER, A., GAILLARD, N., PUECH, M., & WOISARD, V. (2019). Assessment of impairment of intelligibility and of speech signal after oral cavity and oropharynx cancer. *European Annals of Otorhinolaryngology, Head and Neck Diseases*, 136(5), 355-359

CHOMSKY, N (1957). Syntactic Structures. The Hague/Paris: Mouton. p. 15

DELACOUR H, SERVONNET A, PERROT A, VIGEZZI JF, RAMIREZ JM (2005) La courbe ROC (receiver operating characteristic) : principes et principales applications en biologie clinique. Annales de Biologie Clinique. 2005;63(2):145-154.

FONTAN L, TARDIEU J, GAILLARD P, WOISARD V, RUIZ R. (2015) Relationship Between Speech Intelligibility and Speech Comprehension in Babble Noise, Journal of Speech Language and Hearing Research. 2015 Jun;58(3):977-86. https://doi.org/10.1044/2015_JSLHR-H-13-0335

GHIO A., GIUSTI L., BLANC E., PINTO S., LALAIN M, ROBERT D., FREDQUILLE C., WOISARD V. (2016) Quels tests d'intelligibilité pour évaluer les troubles de production de la parole ?. *Journées d'Etude sur la Parole*, Paris, France, p.589-596

GHIO A, LALAIN M, GIUSTI L, POUCHOLIN G, ROBERT D, et al.(2018). Une mesure d'intelligibilité par décodage acoustico-phonétique de pseudo-mots dans le cas de parole atypique. XXXIe Journées d'Etudes sur la Parole, LPL, 2018, Aix-en-Provence, France. pp.285-293,

KEINTZ, C. K., BUNTON, K., & HOIT, J. (2007). Influence of visual information on the intelligibility of dysarthric speech. American Journal of Speech-Language Pathology, 16, 222–234.

KENT RD, WEISMER G, KENT JF, ROSENBEK JC.(1989) Toward phonetic intelligibility testing in dysarthria. Journal of Speech and Hearing Disorders. 1989 Nov;54(4):482-99.

LAARIDH I, FREDQUILLE C, GHIO A, LALAIN M, et al (2018). Automatic Evaluation of Speech Intelligibility Based on i-vectors in the Context of Head and Neck Cancers. *Interspeech*, 2943-2947

LINDBLOM, B. (1990). On the communication process: Speaker listener interaction and the development of speech. Augmentative and Alternative Communication, 6, 220–230.

NOCAUDIE O, ASTÉSANO C, GHIO A, LALAIN M, WOISARD V (2018). Evaluation de la compréhensibilité et conservation des fonctions prosodiques en perception de la parole de patients post traitement de cancers de la cavité buccale et du pharynx. 32e JEP, pp.196-204,

R CORE TEAM (2017). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria. URL http://www.R-project.org/

REBOURG M, LALAIN M, GHIO A, FREDQUILLE C, FAKHRY N, WOISARD V, (2020), Évaluer l'intelligibilité, mots ou pseudo-mots ? Comparaison entre deux groupes d'auditeurs, JEP, ce volume

WARREN, R.M., WARREN, R.P., (1970). Auditory illusions and confusions. Scientific American. 223(6), 30–36.
# Apprentissage automatique de représentation de voix à l'aide d'une distillation de la connaissance pour le casting vocal

Adrien Gresse Mathias Quillot Richard Dufour Jean-François Bonastre
LIA, Avignon Université, France
prénom.nom@univ-avignon.fr

## RÉSUMÉ

La recherche d'acteurs vocaux pour les productions audiovisuelles est réalisée par des directeurs artistiques (DA). Les DA sont constamment à la recherche de nouveaux talents vocaux, mais ne peuvent effectuer des auditions à grande échelle. Les outils automatiques capables de suggérer des voix présentent alors un grand intérêt pour l'industrie audiovisuelle. Dans les travaux précédents, nous avons montré l'existence d'informations acoustiques permettant de reproduire des choix du DA. Dans cet article, nous proposons une approche à base de réseaux de neurones pour construire une représentation adaptée aux personnages/rôles visés, appelée *p*-vecteur. Nous proposons ensuite de tirer parti de données externes pour la représentation de voix, proches de celles d'origine, au moyen de méthodes de distillation de la connaissance. Les expériences menées sur des extraits de voix de jeux vidéo montrent une amélioration significative de l'approche *p*-vecteur, avec distillation de la connaissance, par rapport à une représentation *x*-vecteur, état-de-l'art en reconnaissance du locuteur.

## ABSTRACT

Learning voice representation using knowledge distillation for automatic voice casting

The search for voice actors for audiovisual productions is carried out by artistic directors (DA). DA are constantly on the lookout for new vocal talent, but are unable to conduct large-scale auditions. Automatic tools able to suggest the most suited voices are of a great interest for audiovisual industry. In previous work, we have shown the existence of acoustic information allowing us to reproduce DA choices. In this article, we propose a neural network-based approach to construct a representation adapted to targeted characters/roles, called *p*-vector. We then propose to take advantage of external data, close the origin one, for the representation of voices, using knowledge distillation methods. Experiments carried out on voice extracts from video games show a significant improvement in the *p*-vector representation, including knowledge distillation, compared to *x*-vectors, state-of-the-art representation in speaker recognition.

**MOTS-CLÉS** : distillation de la connaissance, *p*-vecteur, similarité perceptive, réseaux de neurones profonds.

**KEYWORDS:** knowledge distillation, *p*-vector, perceptual similarity, deep neural network.

# 1 Introduction

Les entreprises visant la diffusion internationale d'oeuvres audiovisuelles (films, séries, jeux vidéo...) atteignent alors un public multilingue et multiculturel. Ainsi, les producteurs de ces créations audiovisuelles accordent de plus en plus d'attention aux voix qu'ils attribuent à un personnage ou à un rôle

<figure><img src="image_127.png" /></figure>
particulier afin de renforcer le sentiment d'immersion du public. Ce processus de changement de la voix originale dans une langue par une nouvelle voix dans un autre langage est appelé *doublage vocal*. Il consiste à remplacer l'intégralité des dialogues de la création originale par de nouveaux acteurs vocaux dans le contexte linguistique et culturel ciblé. Dans ce contexte, la sélection des voix appropriées dans une langue cible en fonction à la fois de la voix d'origine et du rôle, est une tâche cruciale, appelée *casting vocal*. Habituellement, un expert humain, appelé *directeur artistique* (DA), effectue la tâche de casting de voix dans des sociétés de doublage.

Le problème majeur du doublage vocal réside dans le fait que la “similitude” recherchée entre une voix originale et une voix doublée est loin d’être une simple ressemblance acoustique. Il comprend les caractéristiques socioculturelles des langues et des pays sources et cibles. De plus, il n’y a pas de vocabulaire bien établi pour décrire les voix, les personnages et les effets immersifs. Il y a deux limites à la façon dont les DA effectuent la tâche de casting vocal : les choix des DA intègrent un certaine subjectivité, liée à leurs propres caractéristiques socioculturelles, et 2), les DA ne peuvent pas écouter et mémoriser un nombre très élevé de voix. Par conséquent, un DA travaille généralement avec une liste réduite d’acteurs qu’il a écoutés et/ou avec lesquels il a déjà travaillé.

Les outils automatiques capables de mesurer l'adéquation potentielle entre une voix originale dans une langue source et une voix doublée dans une langue et un contexte cibles, présentent un grand intérêt pour l'industrie audiovisuelle. Ils aideront les DA à remédier aux problèmes susmentionnés et à ouvrir la porte à de nouveaux talents de voix, par exemple en pré-sélectionnant un nombre raisonnable de candidats au sein d'un très large ensemble de voix.

La similarité vocale dans le contexte du doublage de voix a été étudié dans (Obin et al., 2014; Obin & Roebel, 2016). Les auteurs ont montré l'importance de certaines caractéristiques para-linguistiques (e.g. âge, genre, état du locuteur, qualité de la voix...). Dans (Gresse et al., 2017), les auteurs proposent d'estimer la proximité de "doublage" entre deux voix (une dans la langue source, et une dans la langue cible) au moyen d'une approche *i*-vecteur/PLDA, inspirée du domaine de la reconnaissance du locuteur. (Gresse et al., 2019) supposent que des informations, ou a minima des indices, liées au casting réalisé par les DA sont présentes dans les voix de doublage choisies. L'approche proposée permet de distinguer les paires *cible* (i.e. une voix dans une langue source associée à la voix du personnage correspondant dans la langue cible) de *non-cible* (i.e. voix qui ne correspond pas au bon personnage). Une limite de ce travail est que l'utilisation de l'apprentissage supervisé binaire donne de faibles capacités de généralisation au modèle, étant donné que l'interpolation ne peut s'appuyer que sur des contre-exemples.

Des travaux récents en reconnaissance du locuteur (Variani et al., 2014; Snyder et al., 2016, 2017, 2018) ont montré que des représentations au moyen de réseaux de neurones profonds, et d'ap-prentissage bout-en-bout (end-to-end), surpassent la représentation de référence *i*-vecteur. Dans cet article, nous proposons d'apprendre une représentation latente originale du personnage/rôle, appelée *p*-vecteur, à partir d'une approche fondée sur les réseaux de neurones. Ces *p*-vecteurs sont conçus pour aider le système à avoir une meilleure assimilation de la dimension du personnage, et par conséquent à mieux gérer les voix inconnues. Cette approche constitue la première contribution de cet article.

Néanmoins, un frein à l'utilisation d'une telle approche s'appuyant sur les réseaux de neurones est la nécessité d'une grande quantité de données dans le domaine considéré. Dans notre contexte, la seule information que nous pouvons utiliser est la sélection vocale de l'opérateur humain (DA). Dans les travaux que nous avons initiés, seul un petit nombre de personnages est mis à notre disposition. Dans cet article, nous proposons de remédier à ce problème en appliquant des méthodes de distillation de la connaissance en utilisant des données supplémentaires, provenant d'un domaine proche, pour
extraire les informations spécifiques au personnage/rôle. Plus généralement, nous pensons que les connaissances extraites, par exemple des jeux vidéo, pourraient être transférées à d'autres contextes, tels que les personnages de voix d'émissions de télévision.

Cet article est organisé comme suit. Nous présentons d'abord l'approche *p*-vecteur et le cadre général de distillation de la connaissance dans la partie 2. Ensuite, nous détaillons le corpus et nous décrivons le protocole expérimental que nous avons mis en place dans la partie 3. Nous présentons nos résultats et les discutons dans la partie 4. Enfin, les conclusions et perspectives sont données dans la partie 5.

# 2 Approche

## 2.1 Représentation dédiée au personnage

Ces dernières années, des architectures à base de réseaux de neurones profonds ont été proposées pour apprendre des espaces de représentation des données (Bengio et al., 2013). Nous proposons d'apprendre une représentation dédiée aux voix jouées, appelée *p*-vecteur. L'espace *p*-vecteur (*p* signifiant "personnage") est optimisé sur une tâche de discrimination personnage/rôle. Il permet de projeter des segments de voix d'une manière qui maximise la variabilité des personnages.

En général, la représentation des données en entrée de méthodes d'apprentissage automatique a un impact fort sur les performances des applications. Ici, nous adoptons la représentation *x*-vecteur, initialement introduite en reconnaissance automatique du locuteur (Snyder et al., 2018). Une grande quantité de données provenant de nombreux locuteurs sont utilisées pour créer l'espace de plongement des locuteurs (*speaker embeddings*). Des segments audio sont projetés dans cet espace et caractérisés par des *x*-vecteurs. Les *x*-vecteurs sont considérés ici comme une représentation compacte et de taille fixe d'une séquence vectorielle de paramètres acoustiques de longueur variable. Nous faisons l'hypothèse que les plongements de locuteurs contiennent des informations intriquées correspondant à la dimension personnage/rôle. Nous proposons donc de construire un nouvel espace de représentation (*p*-vecteur) capable de discriminer les différents personnages.

## 2.2 Distillation de la connaissance

Dans ce travail, nous devons traiter un nombre relativement restreint de données. Nous proposons d'utiliser la distillation de la connaissance afin d'exploiter des données supplémentaires d'un domaine proche pour pallier ce problème.

La distillation (Lopez-Paz et al., 2016) unifie deux techniques qui introduisent toutes deux un maître pour guider un modèle d'élève tout au long de son processus d'apprentissage. La première technique introduit le concept d'information privilégiée (*Privileged Information*) (Vapnik & Izmailov, 2015) en ajoutant un nouvel élément $x_i^*$ à la paire caractéristique-étiquette $(x_i, y_i)$, avec $i \in [1...N]$ où $N$ correspond au nombre d'exemples. La deuxième technique, appelée distillation de la connaissance (*Knowledge Distillation*) (Hinton et al., 2015), permet à un réseau neuronal simple de résoudre une tâche compliquée en distillant les connaissances à partir d'un modèle "lourd". Plus généralement, le maître offre au modèle étudiant la possibilité d'apprendre à partir d'une décision qui n'est pas contenue dans l'échantillon d'entraînement (Lopez-Paz et al., 2016). En règle générale, un réseau neuronal utilisant une fonction d'activation softmax fournit une probabilité pour chaque classe obtenue avec la formule suivante :

$$q_i = \frac{\exp(z_i/T)}{\sum_j \exp(z_j/T)}$$
où T fait référence à la température et $z_i$ désigne la sortie calculée pour chaque classe de la couche finale. Une valeur plus élevée de T donne une distribution de probabilité plus progressive sur toutes les classes. Le fait est que le vecteur de probabilité $q_i$ contient beaucoup plus d'informations qu'un simple codage à chaud (one-hot encoding). La distillation consiste à élever la température jusqu'à ce que le modèle du maître produise des cibles souples (soft-targets) appropriées. Ces dernières correspondent à l'information privilégiée. Comme illustré dans la figure 1, nous adaptons le modèle

<figure><img src="image_128.png" /><figcaption>FIGURE 1 – Le modèle maître est entraîné à prédire des soft-targets afin que le modèle étudiant puisse les utiliser. Les deux modèles peuvent être entraînés sur le même corpus ou sur un corpus différent.</figcaption></figure>

de l'élève aux cibles fixes (hard-targets, i.e. les étiquettes de personnages) et aux cibles souples (soft-targets) provenant du maître. Pour ce faire, nous utilisons un paramètre d'imitation noté $\lambda$ qui contrôle la priorité entre l'imitation des probabilités soft et les prédictions habituelles des étiquettes hard pendant l'entraînement du modèle étudiant. Ceci est rendu possible en minimisant la perte :

$$ \mathcal{L} = \frac{1}{N} \sum_{i=1}^{N} [(1 - \lambda)l(y_i, q_i) + \lambda l(s_i, q_i)] $$

où l désigne la perte d'entropie croisée et $s_i$ fait référence aux soft-targets du modèle du maître. Le cadre maître-élève a été utilisé dans plusieurs travaux (Price et al., 2016; Markov & Matsui, 2016; Li et al., 2017; Watanabe et al., 2017; Asami et al., 2017; Joy et al., 2017) pour une grande variété de tâches telles que la reconnaissance de la parole robuste au bruit, l'adaptation à un domaine, et la normalisation de locuteurs. L'approche proposée étend à l'origine ce cadre aux voix jouées et spécifiquement à la représentation des personnages/rôles.

Étant donné le nombre limité de personnages dans notre corpus, nous entraînons le modèle du maître sur un jeu de données supplémentaires contenant plus d'étiquettes de personnages. Nous supposons que cela pourrait aider le modèle étudiant à apprendre une représentation robuste et plus générale en s'adaptant aux soft-targets du maître.

Dans cet article, nous avons tout d'abord proposé, pour le casting vocal, un nouvel espace de représentation appelé p-vecteur obtenu à partir d'une couche d'embeddings d'un réseau de neurones profonds. Afin de pallier le problème de limitation des données, nous avons proposé une approche par distillation de la connaissance pour améliorer la représentation personnage/rôle.
# 3 Protocole expérimental

## 3.1 Corpus

Les extraits vocaux des personnages du jeu de rôle *Mass Effect 3* constituent notre corpus principal. Initialement édité en anglais, ce jeu a été traduit et doublé dans d'autres langues. Dans nos expériences, nous utilisons les versions anglaise et française des séquences audio, représentant 7, 5 d'heures de parole dans chaque langue. Les segments vocaux durent en moyenne 3 secondes, où chaque segment correspond à une interaction vocale unique. Un personnage est alors défini par un couple unique de voix jouées français-anglais. Pour éviter tout biais en termes d'identité du locuteur, nous considérons uniquement un sous-ensemble restreint de 31 personnages différents (13 féminins et 18 masculins), où nous sommes certains qu'aucun des acteurs ne joue plus d'un personnage. Chaque jeu de données anglais et français contient 10 000 segments vocaux.

Afin de remédier au nombre limité de personnages dans le corpus *Mass Effect 3*, nous utilisons des données supplémentaires d'un autre jeu vidéo multilingue appelé *Skyrim*. Nous limitons ce corpus aux dialogues anglais et français, pour un total de 120 heures de discours. Pour chaque langue, nous avons 50 000 segments annotés avec 30 étiquettes de personnages différents (7 féminins et 23 masculins). Comme nous n'avons pas suffisamment de garantie sur la correspondance français-anglais des segments et que nous ne sommes pas certains qu'un acteur joue un rôle unique, nous n'utilisons pas ce corpus dans l'étape d'évaluation. Il ne sert donc qu'à transférer les connaissances du maître au modèle étudiant dans le processus de distillation. Notons qu'il n'y a pas d'intersection entre les acteurs de *Skyrim* et *Mass-Effect 3*, ce qui évite un biais de locuteur dans l'ensemble de test. Enfin, tous les segments vocaux sont des fichiers audio enregistrés en studio de haute qualité. Tous les segments d'une durée inférieure à 1 seconde ont été supprimés.

## 3.2 Représentation des données

Nous réalisons une paramétrisation acoustique classique des segments audio que nous transformons en une séquence de caractéristiques de dimension 60 contenant 20 MFCCs incluant le log énergie et les dérivées de premier et second ordre ($\Delta + \Delta\Delta$). Nous utilisons une fenêtre glissante de Hamming de 20 ms (chevauchement de 10 ms), pour calculer les paramètres. Nous effectuons une normalisation des moyennes cepstrales et une détection d'activité vocale (VAD) pour supprimer les trames de faible énergie qui correspondent principalement au silence. Un système $x$-vecteur a été construit avec la boîte à outils Kaldi (Povey et al., 2011) et entraîné sur le corpus Voxceleb (Chung et al., 2018).

## 3.3 Protocole d'apprentissage

Le nombre de segments de voix dans le corpus *Mass Effect 3* n'est pas très bien réparti entre les différents personnages, ceux-ci n'ayant pas la même importance au sein du jeu. En conséquence, nous ne sélectionnons que 16 personnages (5 féminins, 11 masculins) qui ont tous, au moins, 90 segments vocaux dans les deux langues (anglais et français). Les segments sont tous choisis au hasard. De plus, nous créons une validation croisée en $k$-parties sur cet ensemble de personnages afin d'en avoir 4 dans chaque pli. Ainsi, nous avons $k = 4$ cas distincts, notés A, B, C et D qui couvrent tous les personnages, chaque cas impliquant 12 personnages pour l'apprentissage et 4 pour l'évaluation. Ces 4 personnages sont donc complètement absents du corpus d'apprentissage (ils ne partagent aucune étiquette ni aucun locuteur avec les données d'apprentissage), ce qui rend la tâche d'appariement de voix décrite dans 3.4 extrêmement difficile. Enfin, 20 % des données d'entraînement sont utilisées
pour la validation. En ce qui concerne le corpus additionnel, nous avons choisi le même nombre de
segments pour chacun des 30 personnages et divisé en deux parties avec le même ratio affecté à la
validation. Comme nous l'avons dit précédemment, aucune donnée de *Skyrim* n'est utilisée pour le
test.

Les deux modèles maître et étudiant suivent la même architecture de réseau de neurones. Nous créons un Perceptron multicouche (MLP) en utilisant la boîte à outils Keras (Chollet et al., 2015). Nous connectons une couche d'entrée avec 512 dimensions à 3 couches cachées de dimension 256 plus une couche d'embedding (i.e. correspondant aux *p*-vecteurs) de dimension 64, enfin une couche de sortie finale avec une fonction d'activation softmax. Les couches cachées sont combinées à une fonction d'activation tangente hyperbolique. Nous appliquons un dropout dans les 4 couches cachées avec les taux suivants : 0, 25, 0, 25, 0, 25, 0, 5. Nous utilisons une initialisation Xavier (Glorot & Bengio, 2010) et nous utilisons l'optimiseur Adadelta avec sa configuration par défaut pour résoudre la minimisation de la fonction de perte d'entropie croisée. De plus, nous utilisons une taille de batch de 12 exemples et nous entraînons le modèle sur 300 époques pendant que nous surveillons la fonction de perte sur l'ensemble de validation pour éviter le sur-apprentissage.

Le modèle du maître est entraîné sur les caractéristiques et étiquettes de l'ensemble de données supplémentaire (*Skyrim*), considéré comme une information privilégiée. Le modèle du maître peut être considéré comme un discriminateur de personnages/rôles. Ensuite, nous utilisons le maître pour calculer les *soft-targets* *Mass Effect 3* et former le modèle de l'élève sur les *hard-* et *soft-targets* de ce corpus. L'élève apprend à ajuster les 12 *hard-targets* et les 30 *soft-targets* en fonction du paramètre $\lambda$ qui contrôle l'influence entre l'imitation des *soft-* et *hard-targets* pendant la phase d'apprentissage. Enfin, les *p*-vecteurs sont extraits de la couche d'embeddings du modèle de l'élève.

## 3.4 Evaluation

Pour évaluer la qualité de la représentation apprise, nous effectuons d'abord une analyse de clustering avec l'algorithme des *k*-moyennes sur les embeddings extraits (*p*-vecteurs). Nous avons expressément défini $k = 4$ pour refléter le nombre de personnages se trouvant dans l'ensemble de test. Tous les segments de voix qui sont ensuite rassemblés dans le même cluster sont affectés au personnage le plus représenté, de sorte qu'un cluster ait une seule étiquette. Ainsi, un score de *F*-mesure est calculé sur les segments sachant l'hypothèse de chaque cluster. Notons que plusieurs clusters peuvent être affectés au même personnage, ce qui pourrait être un problème. Mais nous considérons que cela reste un cas particulier indiquant un mauvais résultat.

De plus, nous évaluons l'approche sur une tâche d'appariement de voix avec le corpus *Mass Effect 3* en utilisant le système proposé dans (Gresse et al., 2019). Ici, nous testons la capacité de faire une distinction significative entre les paires *cible* (i.e. paire de personnages identique en anglais-français) et *non-cible* (i.e. paire de personnages différente en anglais-français) lorsque nous entraînons le modèle de similarité avec les *p*-vecteurs.

# 4 Résultats

Nous utilisons différentes valeurs pour la température de distillation $T \in [1..5]$, les meilleurs résultats étant observés avec $T = 4$ en moyenne ($T = 1$ revient à apprendre sans distillation). De plus, nous vérifions les différentes valeurs dans la plage $[0, 1]$ pour le paramètre d'imitation $\lambda$: nous obtenons les meilleurs résultats en utilisant $\lambda = 0,3$ lors de la moyenne sur A, B, C et D.
## 4.1 Analyse par clustering

Le tableau 1 présente les résultats, en termes de *F*-mesure, de l'analyse par clustering utilisant avec la représentation *p*-vecteur. Nous observons que les *p*-vecteurs ont des scores de *F*-mesure bien meilleurs que les *x*-vecteurs (baseline dans ce travail), ce qui n'est pas surprenant puisque les *x*-vecteurs sont conçus pour se concentrer sur les identités vocales des voix des acteurs anglais et français, plus que sur leur personnage/rôle. Nous observons des résultats relativement bons, jusqu'à 0,78 dans le meilleur des cas, ce qui indique la capacité des *p*-vecteurs à décrire automatiquement des personnages/rôles inconnus. En ce qui concerne le cas *C*, nous émettons l'hypothèse que les faibles scores de *F*-mesure peuvent résulter de la similitude inhérente entre les personnages – tous sont des soldats masculins – impliqués dans ce test particulier. Étonnamment, le système *p*-vecteur sans distillation fonctionne mieux dans ce cas spécifique.

<table><caption>TABLE 1 – *F*-mesures obtenues pour l'analyse par clustering sur les données de test.</caption><thead><tr><th></th><th>A</th><th>B</th><th>C</th><th>D</th></tr></thead><tbody><tr><td>baseline (x-vector)</td><td>0,54</td><td>0,52</td><td>0,36</td><td>0,71</td></tr><tr><td>p-vector (sans distillation)</td><td>0,66</td><td>0,72</td><td><strong>0,59</strong></td><td>0,66</td></tr><tr><td>p-vector + distillation</td><td><strong>0,78</strong></td><td><strong>0,78</strong></td><td>0,40</td><td><strong>0,77</strong></td></tr></tbody></table>

La figure 2 illustre une projection à 2 dimensions de l'espace des *p*-vecteurs grâce à l'algorithme *t*-SNE. Sans surprise, nous voyons une distinction claire entre les personnages masculins et féminins dans les cas *A*, *B* et *D* (*C* ne contient que des soldats masculins). Les personnages de même sexe sont également correctement séparés. En considérant *D*, nous observons que chaque voix d'acteur des deux personnages *Hackett* (bleu) et *Illusive Man* (orange) ont une identité vocale forte, ce qui pourrait faciliter l'analyse par clustering et expliquer le score de *F*-mesure élevé inattendu (0.71) avec le système de référence *x*-vecteur.

## 4.2 Tâche de similarité

Nous évaluons également l'approche *p*-vecteur avec le système de similarité de voix dans le tableau 2. Les résultats sont présentés en termes d'exactitude et de test de Student (*t*-test). Le test statistique confirme la différence significative entre les scores de similitude des paires *cible* et *non-cible* puisque toutes les *p*-valeurs associées sont sous le seuil de rejet. En moyenne, la représentation *p*-vecteur surpasse le système de référence *x*-vecteur sur la tâche de similarité, avec une précision moyenne de 57 % et un *t*-score moyen de 44,79 sur les quatre cas. De plus, nous constatons des variations plus faibles entre les différents cas de test. Compte tenu de la difficulté de cette tâche, nous pensons qu'ils constituent une preuve solide que les *p*-vecteurs contiennent une information personnage/rôle.

# 5 Conclusion

Dans cet article, nous avons tout d'abord proposé, pour le casting vocal, un nouvel espace de représentation appelé *p*-vecteur obtenu à partir d'une couche d'embeddings d'un réseau de neurones profond. Afin de pallier le problème de limitation des données, nous avons proposé une approche par distillation de la connaissance pour améliorer la représentation personnage/rôle. Nous avons observé une amélioration substantielle des résultats au travers de cette représentation *p*-vecteur, en comparaison de l'approche classique *x*-vecteur. Ces résultats démontrent que les *p*-vecteurs contiennent des informations dédiées à la dimension personnage/rôle.
<figure><img src="image_129.png" /><figcaption>FIGURE 2 – Représentation dans l'espace des p-vecteurs pour chaque personnage dans A, B, C et D.</figcaption></figure>

<table><caption>TABLE 2 – Performance sur la tâche d'apparition de voix sur le corpus de test. L'exactitude sur la validation est généralement en dessous de 85 %.</caption><thead><tr><th></th><th></th><th>exactitude</th><th>t-score</th></tr></thead><tbody><tr><td rowspan="4">baseline</td><td>A</td><td>0,60</td><td>64,58</td></tr><tr><td>B</td><td>0,52</td><td>20,63</td></tr><tr><td>C</td><td>0,54</td><td>26,86</td></tr><tr><td>D</td><td>0,49</td><td>-6,19</td></tr><tr><td>x-vecteur</td><td>moyenne</td><td>0,54</td><td>26,47</td></tr><tr><td rowspan="4">p-vecteur<br>(sans<br>distillation)</td><td>A</td><td>0,58</td><td>53,82</td></tr><tr><td>B</td><td>0,54</td><td>20,70</td></tr><tr><td>C</td><td><strong>0,57</strong></td><td><strong>49,86</strong></td></tr><tr><td>D</td><td>0,54</td><td>23,34</td></tr><tr><td></td><td>moyenne</td><td>0,55</td><td>36,93</td></tr><tr><td rowspan="4">p-vecteur +<br>distillation</td><td>A</td><td><strong>0,63</strong></td><td><strong>80,00</strong></td></tr><tr><td>B</td><td><strong>0,55</strong></td><td><strong>36,46</strong></td></tr><tr><td>C</td><td>0,55</td><td>28,33</td></tr><tr><td>D</td><td><strong>0,55</strong></td><td><strong>34,24</strong></td></tr><tr><td></td><td>moyenne</td><td>0,57</td><td>44,79</td></tr></tbody></table>

Les paramètres *T* et *λ*, pour lesquels nous avons obtenu les meilleurs résultats en moyenne, offrent selon nous des perspectives d'analyses intéressantes. En particulier la pondération *λ* entre *soft-* et *hard-targets*, qui pourrait aider à mieux cerner la spécificité vocale des personnages de notre corpus par comparaison à un modèle de voix générique.

En raison des limites de notre corpus et malgré le protocole rigoureux que nous avons conçu, une certaine prudence doit être prise. Les résultats doivent être confirmés sur un corpus plus grand, avec plus de personnages, avant d'être capable de pouvoir généraliser les observations, par exemple à une autre culture. Le cadre maître-élève, pour être plus efficace, pourrait aussi être étendu sur de plus grands ensembles de données d'apprentissage, avec de nombreuses étiquettes de personnages et plusieurs acteurs par étiquette. De plus, les *p*-vecteurs permettent d'initier de nouvelles recherches sur les questions d'explicabilité, notamment dans le cadre des choix des directeurs artistiques. Nous souhaitons confronter les *p*-vecteurs à une simple décision binaire pour observer l'impact potentiel d'une caractéristique particulière sur la dimension du personnage. Les travaux futurs remplaceront le système de similitude, qui fait la distinction entre les paires de caractères identiques et différents, avec des caractéristiques explicatives (par exemple, le genre, la qualité de la voix, le timbre, la prosodie...).

## Références

ASAMI T., MASUMURA R., YAMAGUCHI Y., MASATAKI H. & AONO Y. (2017). Domain adaptation of dnn acoustic models using knowledge distillation. In *International Conference on Acoustics, Speech and Signal Processing (ICASSP)* : IEEE.

BENGIO Y., COURVILLE A. & VINCENT P. (2013). Representation learning : A review and new perspectives. *IEEE transactions on pattern analysis and machine intelligence*, **35**(8), 1798–1828.
CHOLLET F. et al. (2015). Keras.

CHUNG J. S., NAGRANI A. & ZISSERMAN A. (2018). Voxceleb2: Deep speaker recognition. In *INTERSPEECH*.

GLOROT X. & BENGIO Y. (2010). Understanding the difficulty of training deep feedforward neural networks. In *Proceedings of the international conference on artificial intelligence and statistics*.

GRESSE A., QUILLOT M., DUFOUR R., LABATUT V. & BONASTRE J.-F. (2019). Similarity metric based on siamese neural networks for voice casting. In *International Conference on Acoustics, Speech and Signal Processing (ICASSP)*: IEEE.

GRESSE A., ROUVIER M., DUFOUR R., LABATUT V. & BONASTRE J.-F. (2017). Acoustic pairing of original and dubbed voices in the context of video game localization. In *INTERSPEECH*.

HINTON G., VINYALS O. & DEAN J. (2015). Distilling the knowledge in a neural network.

JOY N. M., KOTHINTI S. R., UMESH S. & ABRAHAM B. (2017). Generalized distillation framework for speaker normalization. In *INTERSPEECH*.

LI J., SELTZER M. L., WANG X., ZHAO R. & GONG Y. (2017). Large-scale domain adaptation via teacher-student learning.

LOPEZ-PAZ D., BOTTOU L., SCHÖLKOPF B. & VAPNIK V. (2016). Unifying distillation and privileged information. In *International Conference on Learning Representations*.

MARKOV K. & MATSUI T. (2016). Robust speech recognition using generalized distillation framework. In *INTERSPEECH*.

OBIN N. & ROEBEL A. (2016). Similarity search of acted voices for automatic voice casting. In *IEEE/ACM Transactions on Audio, Speech, and Language Processing, 24*, 1642–1651.

OBIN N., ROEBEL A. & BACHMAN G. (2014). On automatic voice casting for expressive speech: Speaker recognition vs. speech classification. In *International Conference on Acoustics, Speech and Signal Processing (ICASSP)*: IEEE.

POVEY D., GHOSHAL A., BOULIANNE G., BURGET L., GLEMBEK O. et al. (2011). The kaldi speech recognition toolkit. In *IEEE 2011 ASRU*.

PRICE R., ISO K.-I. & SHINODA K. (2016). Wise teachers train better dnn acoustic models. In *EURASIP Journal on Audio, Speech, and Music Processing, 2016*.

SNYDER D., GARCIA-ROMERO D., POVEY D. & KHUDANPUR S. (2017). Deep neural network embeddings for text-independent speaker verification. In *INTERSPEECH*.

SNYDER D., GARCIA-ROMERO D., SELL G., POVEY D. & KHUDANPUR S. (2018). X-vectors: Robust dnn embeddings for speaker recognition. In *ICASSP*: IEEE.

SNYDER D., GHAHREMANI P., POVEY D., GARCIA-ROMERO D., CARMIEL Y. & KHUDANPUR S. (2016). Deep neural network-based speaker embeddings for end-to-end speaker verification. In *Spoken Language Technology Workshop (SLT)*: IEEE.

VAPNIK V. & IZMAILOV R. (2015). Learning using privileged information: similarity control and knowledge transfer. In *Journal of machine learning research, 16*, 2023–2049.

VARIANI E., LEI X., MCDERMOTT E., MORENO I. L. & GONZALEZ-DOMINGUEZ J. (2014). Deep neural networks for small footprint text-dependent speaker verification. In *ICASSP*.

WATANABE S., HORI T., LE ROUX J. & HERSHEY J. R. (2017). Student-teacher network learning with enhanced features. In *Acoustics, Speech and Signal Processing (ICASSP)*: IEEE.
Lénition et fortition des occlusives en coda finale
dans deux langues romanes : le français et le roumain

Mathilde Hutin¹, Adèle Jatteau², Ioana Vasilescu¹, Lori Lamel¹, Martine Adda-Decker¹,³

(1) Université Paris-Saclay, CNRS, LIMSI, Bât. 507, rue du Belvédère, 91405 Orsay, France

(2) Université de Lille, CNRS, UMR 8163, STL, Lille, France

(3) Université Paris 3 Sorbonne Nouvelle, CNRS, UMR 7018, LPP, 19 rue des Bernardins,
75005 Paris, France

{mathilde.hutin, ioana.vasilescu, lori.lamel, martine.adda}@limsi.fr,
adele.jatteau@univ-lille.fr

RÉSUMÉ

L'exploration automatisée de grands corpus permet d'analyser plus finement la relation entre motifs de variation phonétique synchronique et changements diachroniques : les erreurs dans les transcriptions automatiques sont riches d'enseignements sur la variation contextuelle en parole continue et sur les possibles mutations systémiques sur le point d'apparaître. Dès lors, il est intéressant de se pencher sur des phénomènes phonologiques largement attestés dans les langues en diachronie comme en synchronie pour établir leur émergence ou non dans des langues qui n'y sont pas encore sujettes. La présente étude propose donc d'utiliser l'alignement forcé avec variantes de prononciation pour observer les alternances de voisement en coda finale de mot dans deux langues romanes : le français et le roumain. Il sera mis en évidence, notamment, que voisement et dévoisement non-canoniques des codas françaises comme roumaines ne sont pas le fruit du hasard mais bien des instances de dévoisement final et d'assimilation régressive de trait laryngal, qu'il s'agisse de voisement ou de non-voisement.

ABSTRACT

Lenition and fortition of word-final stops in two Romance languages: French and Romanian.

Automatic transcription and speech-text alignment of large corpora enables a fine investigation of the relationship between synchronic phonetic variation and diachronic change: errors in automatic transcripts can provide valuable insights about indicative possible systemic change that is in the process of appearing. It ensues that such automatic processing can be useful to investigate cross-linguistic attested phonological phenomena to establish whether or not they are occurring in languages that are not yet subject to them. The present study proposes to use forced alignment to explore voicing alternation in word-final position in two Romance languages: French and Romanian. It will be shown that non-canonical voicing and devoicing of French and Romanian coda stops are not random but are instances of final devoicing and regressive assimilation of voicing and voicelessness.

MOTS-CLÉS : Grands corpus, alignement automatique, alignement forcé, lénition, fortition, voisement, dévoisement, français, roumain

KEYWORDS: Large corpora, automatic alignment, forced alignment, lenition, fortition, voicing, devoicing, French, Romanian

<figure><img src="image_130.png" /></figure>
# 1 Introduction

Les études sur la variation phonétique et sur la relation entre motifs de variation synchronique et changements diachroniques connaissent récemment un nouvel essor grâce à l'exploration automatisée de corpus toujours plus grands. D'autres études ont montré que les erreurs dans les transcriptions automatiques sont riches d'enseignements sur la variation contextuelle en parole continue, et plus généralement sur les possibles mutations systémiques sur le point d'apparaître (Adda-Decker, 2006; Ohala, 1997). Dans ce cadre, il est intéressant de se pencher sur des phénomènes phonologiques largement attestés dans les langues du monde en diachronie comme en synchronie pour établir leur émergence ou non dans des langues qui n'y sont pas encore sujettes.

Les processus de lénition et de fortition figurent parmi ces phénomènes. Un segment est considéré comme subissant une lénition si sa transformation suit un chemin aboutissant à sa syncope pure et simple ; un segment est considéré comme subissant une fortition s'il suit le chemin inverse (bien que cette définition soit débattue ; Honeybone, 2008). On sait grâce à l'observation du changement diachronique dans les langues romanes (Brandão de Carvalho, 2008) qu'un segment non-voisé devra d'abord devenir voisé, par exemple, avant de disparaître, et qu'ainsi le premier est « plus fort » que le second. Il s'ensuit qu'un segment non-voisé qui devient voisé est un segment lénifié, tandis qu'un segment voisé qui devient non-voisé est un segment fortifié. En synchronie, de tels phénomènes de lénition et fortition consonantiques peuvent avoir lieu à divers degrés dans les langues romanes occidentales (Ryant & Liberman, 2016 ; Vasilescu & al., 2018 pour l'espagnol ; Hualde & Prieto, 2014 pour l'espagnol et le catalan ; Hualde & Nadeu, 2011 pour l'italien ; Jatteau et al. 2019a,b,c pour le français). Pour les langues romanes orientales en revanche, la situation est plus délicate : Chitoran et al. (2015), observant la lénition en roumain chez 8 locuteurs natifs, ne fait état que de quelques rares cas d'affaiblissement consonantique ; Niculescu et al. (soumis), étudiant lénition et fortition dans des grands corpus du roumain, ne montre que peu de variation, si ce n'est en coda, mais n'entre pas davantage dans le détail. La position finale de mot, désormais coda, est en effet, à travers les langues du monde, connue pour être une position sensible aux phénomènes d'assimilation ou de neutralisation (Keating et al. 1983 ; Blevins, 2006 ; Myers, 2012), et c'est pourquoi elle est au centre de cette étude.

Le français et le roumain sont toutes deux des langues romanes, la première appartenant à la branche occidentale, la seconde à la branche orientale. Ces deux langues sont notables, dans leur famille, pour permettre à la totalité de leurs occlusives, d'apparaître en coda, y compris en toute fin de mot, comme le montrent les bandes noires dans les tableaux 1.a et 1.b.

<figure><img src="image_131.png" /><figcaption>FIGURE 1.a : Répartition des occlusives du français selon leur position dans le mot (Adda-Decker, 2019 ; Vasilescu et al., soumis)</figcaption></figure>

<figure><img src="image_132.png" /><figcaption>FIGURE 1.b : Répartition des occlusives du roumain selon leur position dans le mot (Adda-Decker, 2019 ; Vasilescu et al., soumis)</figcaption></figure>
De plus, français (1) comme roumain (2) ont une opposition phonologique de voisement, c'est-à-dire que les oppositions p~b, t~d, k~g... donnent lieu à des paires minimales.

(1) Français : /pu/, pou ~ /bu/, boue ; /tu/, tout ~ /du/, doux ; /ku/, cou ~ /gu/, goût

(2) Roumain : /palə/, lame ~ /balə/, bave ; /talə/, rassemblement ~ /dalə/, dalle ; /kalə/, cale ~ /galə/, gala

Dans la mesure où cette opposition est canoniquement maintenue en coda, ces deux langues sont idéales pour observer les alternances de voisement dans cette position.

La présente étude se propose donc d'observer les alternances de voisement en coda dans deux langues romanes : le français et le roumain. Dans la Section 2, nous présenterons les données et la méthode utilisées. La Section 3 sera consacrée aux phénomènes de fortition, la Section 4 aux phénomènes de lénition. La Section 5 conclut et propose un regard critique sur les résultats.

## 2 Données et méthode

Pour examiner la variation de voisement en coda, nous proposons ici une étude des occlusives non-voisées et voisées dans des grands corpus du français et du roumain. Des phénomènes aussi spécifiques et multifactoriels que la variation accidentelle de voisement peuvent être observés de façon plus fiable grâce à de très grands corpus (Coleman et al. 2016). Outre l'observation à grande échelle qui permet des résultats statistiquement significatifs, l'avantage des grands corpus repose sur le fait que la parole y est plus naturelle que dans des enregistrements opérés lors d'expériences ou d'enquêtes car récoltée à partir de conversations réelles.

Pour ce qui est du français, nous avons utilisé trois grands corpus transcrits manuellement. Le corpus ESTER (Galliano et al. 2005) comprend originellement 80 heures de discours semi-préparé récoltées en 2003, 2005 et 2009, mais nous l'avons filtré pour enlever les données en français non-métropolitain (RFI et RTM) et ne retenir que les quelque 40 heures en français standard. Le corpus bipartite ETAPE 1 et 2 (Gravier et al. 2012) contient 13,5 heures de radio et 29 heures de télévision en français, notamment des débats et des conversations, récoltées dans les années 2010. Enfin, NCCFr (Torreira et al. 2010) contient 31 heures d'interaction en face-à-face, spontanée, entre amis, enregistrées entre 2007 et 2008.

Pour ce qui est du roumain, nous avons utilisé le corpus bipartite Quaero qui illustre la variante standard (dialecte daco-roumain du sud de la Roumanie). Il consiste en 3,5 heures de parole journalistique et 3,5 heures de débats et d'interviews du début des années 2010. La première partie a été récoltée sur des chaînes de télévision et des émissions radiophoniques roumaines provenant essentiellement des antennes radio RFI Journal et RRA (Radio România Actualități) et de l'agence de presse Euranet, et est représentative d'un discours plutôt préparé, voire lu. La deuxième partie consiste en débats et interviews récoltés sur la chaîne de télévision nationale roumaine Antena 3 et est plutôt représentative d'un discours spontané, non-préparé. Les émissions contenant trop de chevauchement de parole ou de bruit de fond ont été enlevées des données.

Comme ces données ne sauraient être segmentées à la main en raison de leur quantité, elles ont été traitées suivant la méthode décrite dans Gauvain et al. (2002, 2005) et Hallé & Adda-Decker (2007, 2011). Deux systèmes de reconnaissance automatique de la parole, un pour le français et un pour le roumain, ont été utilisés pour forcer un alignement pour lequel des variantes de prononciation ont été introduites pour les codas voisées et non-voisées (cf. Jatteau et al, 2019a,c pour le français ; Vasilescu et al. 2014 pour le roumain). Les systèmes ont été autorisés à sélectionner la coda dite
canonique (celle qu'on trouve dans la forme sous-jacente) ou sa variante altérée si la réalisation acoustique correspondait mieux à cette dernière. Par exemple /p/ peut être étiqueté [p] ou [b], et /b/ [b] ou [p]. Ainsi, selon ce que le système estimait correspondre le mieux à l'audio, un mot français comme *soupe* pouvait être aligné avec les transcriptions [sup], [supə], [sub] ou [subə] et un mot roumain comme *grup* avec les transcriptions [grup] ou [grub] ; de même, un mot français comme *tube* pouvait être aligné avec les transcriptions [tyb], [tybə], [typ] ou [typə] et un mot roumain comme *dialog* avec les transcriptions [dialog] ou [dialok].

Dans la mesure où il a été montré que schwa avait tendance à bloquer les effets d'adjacence (Hutin et al., 2020, soumis), nous avons décidé de ne pas conserver les items réalisés avec un schwa final en français dans nos analyses. Cela permet aussi une comparaison plus fiable avec le roumain, où il n'y a pas de schwa final optionnel. De plus, dans les 7 heures de parole en roumain, 37 items étaient considérés comme étant suivis du mot -ul, qui est en fait un morphème ici mal segmenté pour des raisons graphiques après les sigles (ex. *SMURD-ul*, « le SAMU » segmenté [smurd + ul] et non [smurdul] à cause du tiret). Ces 37 items ont été enlevés de la base de données finale.

Ainsi, les corpus du français utilisés dans la présente analyse comprennent 58911 occlusives en coda et les corpus du roumain 4529. Leur répartition est donnée dans le Tableau 1.

<table><caption>TABLEAU 1. Répartition des occlusives en coda en français et en roumain.</caption><thead><tr><th></th><th>p</th><th>t</th><th>k</th><th>b</th><th>d</th><th>g</th><th>Total</th></tr></thead><tbody><tr><td>Français</td><td>3178</td><td>23113</td><td>21701</td><td>2024</td><td>7827</td><td>1068</td><td>58911</td></tr><tr><td>Roumain</td><td>110</td><td>3288</td><td>486</td><td>60</td><td>487</td><td>98</td><td>4529</td></tr></tbody></table>

On constate entre autres que /t/ est sur-représenté dans les deux langues. On remarque aussi que les données du roumain sont beaucoup moins nombreuses que celles du français, ce qui signifie que les analyses pour cette langue risquent de ne pas toujours être significatives.

# 3 Phénomènes de fortition

Le dévoisement en position finale de mot peut être considéré comme une instance de fortition. Elle peut typiquement avoir deux manifestations : l'assimilation régressive de non-voisement due à un segment non-voisé dans l'environnement immédiat (dans le cas des codas, à droite), ou le dévoisement en fin de domaine prosodique, attendu notamment en fin d'énoncé devant pause (Myers 2012, Jatteau et al. 2019b). Dans nos données, 22,29% des occlusives voisées /b, d, g/ sont réalisées dévoisées en français et 51,78% en roumain. De telles proportions de dévoisement méritent une étude plus poussée.

## 3.1 Dévoisement final vs assimilation de non-voisement

Ce que nous entendons par dévoisement final ici consiste en la réalisation non-voisée d'une obstruante canoniquement voisée lorsque celle-ci apparaît devant pause ; l'assimilation de non-voisement consiste en la réalisation non-voisée d'une obstruante canoniquement voisée lorsqu'elle est dans l'environnement immédiat d'une autre obstruante non-voisée. Il a été démontré que le français a une tendance variable au dévoisement des obstruantes devant pause (Jatteau et al. 2019a,b,c) comme à l'assimilation de non-voisement (Snoeren et al., 2006) : étant donnée la proportion de dévoisement des codas roumaines, il est intéressant de voir si ces deux phénomènes pourraient avoir lieu aussi en roumain.
Pour démontrer qu'il y a bien une tendance au dévoisement final, il faut montrer qu'il y a significativement plus de codas dévoisées devant pause que dans tout autre contexte ; pour démontrer qu'il y a bien de l'assimilation de trait laryngal, il faut montrer qu'il y a significativement plus de codas dévoisées devant obstruante non-voisée. Pour ce faire, les données ont été réparties en cinq catégories, selon que le mot contenant la coda d'intérêt était suivi d'une pause ou d'un autre mot commençant par une voyelle, une sonante, une obstruante voisée ou une obstruante non-voisée.

Les Figures 2.a et 2.b présentent les proportions de codas non-canoniquement dévoisées selon leur contexte de droite en français et en roumain respectivement.

<figure><img src="image_133.png" /><figcaption>FIGURE 2.a : Proportion de /b, d, g/ en fin de mot réalisés dévoisés selon le contexte de droite en français.</figcaption></figure>

<figure><img src="image_134.png" /><figcaption>FIGURE 2.b : Proportion de /b, d, g/ en fin de mot réalisés dévoisés selon le contexte de droite en roumain.</figcaption></figure>

Il est intéressant de constater que le français et le roumain montrent les mêmes tendances. Dans les deux langues, les occlusives voisées /b, d, g/ ont tendance à être largement dévoisées devant pause (48,59% en français, 67,69% en roumain) et devant obstruante non-voisée (53,51% en français et 80,48% en roumain). Inversement, dans les deux langues, le dévoisement est en moins grande proportion devant voyelle (8,03% en français, 22,05% en roumain), sonante (9,58% en français, 19,23% en roumain) et obstruante voisée (5,67% en français et 42,68% en roumain), avec néanmoins des différences de proportions qui pourront faire l'objet d'investigations ultérieures.

Les résultats semblent moins nets pour le roumain, où on trouve des proportions importantes de dévoisement dans des contextes où ce dernier n'est pas du tout attendu – ce qui est peut-être dû à la présence avant la coda d'une sonante, voisée par défaut, qui propagerait son trait laryngal à droite (ex. *scurt*, « court » ; *presimt*, « pressentiment » ; *moment*, « moment ») ou encore à l'accent lexical, qui n'a pas été pris en compte ici. Cependant, les différences de voisement selon le contexte de droite sont significatives en roumain (χ²=183.19, p<.0001) comme en français (χ²=2876.7, p<.0001), ce qui nous permet de conclure que ces deux langues sont sujettes à dévoisement final proprement dit et à assimilation de non-voisement.

## 3.2 L'effet du lieu d'articulation

La littérature existante pointe du doigt les facteurs phonétiques en jeu dans le dévoisement final. Entre autres, comme il est plus difficile de maintenir le différentiel de pression nécessaire à la vibration des plis vocaux dans un tractus vocal plus court (Ohala, 1997), on suppose que les vélaires auront davantage tendance à être dévoisées.

Les Figures 3.a et 3.b montrent les proportions d'occlusives canoniquement voisées qui se trouvent dévoisées devant pause (cas de dévoisement final) selon leur lieu d'articulation.
<figure><img src="image_135.png" /><figcaption>FIGURE 3.a : Proportion de réalisation dévoisée de /b, d, g/ devant pause en français</figcaption></figure>

<figure><img src="image_136.png" /><figcaption>FIGURE 3.b : Proportion de réalisation dévoisée de /b, d, g/ devant pause en roumain</figcaption></figure>

Le dévoisement final en roumain semble toucher davantage les alvéolaires (70,00%) que les labiales (66,67%) et les vélaires (63,64%). La tendance attendue des vélaires à favoriser le dévoisement est ici compromise mais la différence n'est pas significative ($\chi^2=0.26$, p=0.88). Pour le français, labiales et alvéolaires sont également plus souvent dévoisées (52,11% et 50,43% respectivement) que les vélaires (34,69%). L'hypothèse que les vélaires devraient dévoiser plus spontanément que les autres occlusives est mise à mal cette fois-ci de façon significative ($\chi^2=8.91$, p=.01).

Les Figures 4.a et 4.b montrent les proportions d'occlusives canoniquement voisées qui se trouvent dévoisées devant obstruante non-voisée (cas d'assimilation de non-voisement) selon leur lieu d'articulation.

<figure><img src="image_137.png" /><figcaption>FIGURE 4.a : Proportion de réalisation dévoisée de /b, d, g/ devant obstruante non-voisée en français</figcaption></figure>

<figure><img src="image_138.png" /><figcaption>FIGURE 4.b : Proportion de réalisation dévoisée de /b, d, g/ devant obstruante non-voisée en roumain</figcaption></figure>

Dans le cas de l'assimilation régressive de non-voisement, c'est-à-dire quand les codas /b, d, g/ sont réalisées dévoisées devant une obstruante non-voisée, on constate qu'en roumain, le dévoisement touche en priorité, comme pour le dévoisement final, les alvéolaires (87,50%) puis les labiales (80,00%) et en dernier lieu les vélaires (40,63%). Cette fois cependant, les résultats sont statistiquement significatifs ($\chi^2=38.13$, p<.0001). En français, là aussi, les tendances sont les mêmes que pour le dévoisement final : les labiales sont les plus dévoisées (56,45%), puis les alvéolaires (53,15%) et enfin les vélaires (51,15%), mais ces résultats ne sont pas significatifs ($\chi^2=2.33$, p=.31).

L'assimilation régressive de non-voisement semble donc corroborer les tendances observées pour le dévoisement final dans chacune des langues étudiées. Cependant, les effets du point d'articulation sont peu significatifs pour le dévoisement final en roumain et pour l'assimilation de non-voisement en français. Dans le premier cas, on peut supposer que le peu d'occurrences d'occlusives labiales en coda en roumain soit en cause. Dans le second, on peut supposer qu'il n'y a simplement pas de
différence selon le lieu d'articulation. En tous cas, l'hypothèse des vélagires favorisant le dévoisement est mise à mal dans les deux langues.

# 4 Phénomènes de lénition

Le voisement non-canonique d'une obstruante sous-jacemment non-voisée peut être considéré comme une instance de lénition. Si le voisement final spontané, c'est-à-dire devant pause, est largement controversé, l'assimilation régressive de voisement, due à un segment voisé dans son environnement immédiat (dans le cas des codas, à droite) est largement attesté. Dans nos données, 23,87% des occlusives non-voisées /p, t, k/ sont réalisées voisées en français et 16,45% en roumain.

## 4.1 L'assimilation régressive de voisement

L'assimilation de voisement consiste en la réalisation voisée d'une obstruante canoniquement non-voisée lorsqu'elle est dans l'environnement immédiat d'une obstruante voisée, ou éventuellement d'une sonante, voisée par défaut. Il a été démontré que le français pouvait être sujet à assimilation de voisement (Snoeren et al. 2006, Hallé & Adda-Decker 2007, 2011) : étant donnée la proportion de voisement des codas roumaines et leur propension, par ailleurs, à l'assimilation de non-voisement, il est intéressant de voir si cette langue est également sujette à assimilation de voisement.

Pour démontrer qu'il y a bien de l'assimilation de trait laryngal, en l'occurrence de voisement, il faut montrer qu'il y a significativement plus de codas non-canoniquement voisées devant obstruante voisée ou encore sonante. Pour ce faire, les données ont été réparties en cinq catégories, selon que le mot contenant la coda d'intérêt était suivi d'une pause ou d'un autre mot commençant par une voyelle, une sonante, une obstruante voisée ou une obstruante non-voisée.

Les Figures 5.a et 5.b présentent les proportions de codas non-canoniquement voisées selon leur contexte de droite en français et en roumain respectivement.

<figure><img src="image_139.png" /><figcaption>FIGURE 5.a : Proportion de /p, t, k/ en fin de mot réalisés voisés selon le contexte de droite en français.</figcaption></figure>

<figure><img src="image_140.png" /><figcaption>FIGURE 5.b : Proportion de /p, t, k/ en fin de mot réalisés voisés selon le contexte de droite en roumain.</figcaption></figure>

Dans ces figures, on voit que le voisement de /p, t, k/ en coda de mot a lieu essentiellement devant obstruante voisée, en français (76,84%) comme en roumain (37,00%). L'effet est moins marqué en roumain, mais dans cette langue on trouve aussi du voisement devant sonante (35,19%), qui est un autre contexte favorisant l'assimilation de voisement. De plus, la différence n'est pas seulement significative pour le français ($\chi^2$=17046, p<.0001) mais aussi pour le roumain ($\chi^2$=456.57, p<.0001),
ce qui nous permet de conclure que le voisement non-canonique de /p, t, k/ en fin de mot est bien
dans ces deux langues, une instance d'assimilation régressive de voisement.

4.2 L'effet du lieu d'articulation

En français, les études sur l’assimilation de voisement proposent que les labiales seraient les plus propices au voisement, puis les alvéolaires et enfin seulement les vélaires (Hallé & Adda-Decker 2007). Les Figures 6.a et 6.b indiquent les proportions de voisement de /p, t, k/ dans nos corpus.

<figure><img src="image_141.png" /><figcaption>FIGURE 6.a : Proportion de réalisations voisées de /p, t, k/ devant obstruante voisée en français</figcaption></figure>

<figure><img src="image_142.png" /><figcaption>FIGURE 6.b : Proportion de réalisations voisées de /p, t, k/ devant obstruante voisée et sonante en roumain</figcaption></figure>

Les figures 6a et 6b montrent que les labiales sont les plus enclines à subir une assimilation de
voisement en roumain (51,35%) comme en français (84,66%). En revanche, les vélaires sont, en
roumain, assez sujettes à l'assimilation de voisement (47,69%) tandis qu'en français, elles y sont le
moins sujettes (75,11%). Nos données confirment donc l'échelle proposée par Hallé & Adda-
Decker (2007).

Enfin, il est intéressant de voir qu’en roumain, la coda la moins couramment voisée est l’alvéolaire (34,05%), alors que sa contrepartie voisée était la plus couramment dévoisée. Il s’agit là peut-être d’un effet de la grande fréquence de /t/ en coda en roumain. Dans tous les cas, les différences sont significatives pour le roumain (χ²=13.05, p=.002) comme pour le français (χ²=40.42, p<.0001).

5 Conclusion et discussion

Dans cette étude, il a été mis en évidence que le voisement et le dévoisement non-canoniques des
codas du français comme du roumain ne sont pas le fruit du hasard mais bien des instances de
dévoisement final et d'assimilation régressive de trait laryngal, qu'il s'agisse de voisement ou de
non-voisement, surtout en français. Le point d'articulation, pour sa part, a un effet significatif pour
l'assimilation de voisement dans les deux langues, l'assimilation de non-voisement en roumain et le
dévoisement final en français. De plus, plusieurs points intéressants sont à noter. Tout d'abord, en
français comme en roumain, le dévoisement final semble défavoriser la vélaire, alors que l'état de
l'art nous invitait à postuler le contraire. Par ailleurs, les deux phénomènes de dévoisement, le
dévoisement final et l'assimilation de non-voisement, ne se comportent pas de la même façon selon
la langue, mais montrent les mêmes tendances à l'intérieur d'une même langue – tendances qui
s'opposent systématiquement à celles observées pour l'assimilation de voisement.
Malheureusement, certaines des observations proposées reposent sur des différences statistiquement non-significatives. La cause en est le plus souvent un effectif de données roumaines trop peu élevé. Il serait intéressant de confirmer les résultats avec de plus grands corpus du roumain.

Maintenant que la présence de dévoisement final et d'assimilation de trait laryngal a été montrée en roumain et en français, et l'effet du lieu d'articulation de la coda exploré, de plus amples recherches s'imposent sur le comportement des fricatives, ou encore sur divers paramètres sociolinguistiques comme le style de parole ou le sexe du locuteur.

## Remerciements

Cette recherche a été en partie financée par le labex DigiCosme (projet ANR-11-LABEX-0045DIGICOSME) opéré par l'ANR dans le cadre du programme « Investissement d'Avenir » Idex Paris Saclay (ANR-11-IDEX-0003-02).

## Références

ADDA-DECKER, M. (2006). De la reconnaissance automatique de la parole à l'analyse linguistique des corpus oraux. Papier présenté aux Journées d'Étude sur la Parole (JEP2006), Dinard, France, 12-16 juin

ADDA-DECKER, M. (2019). Variation in Romance languages: insights from large corpora. Invited speech at 49th Linguistic Symposium on Romance Languages – LSRL 49.

BLEVINS, J. (2006). Theoretical synopsis of Evolutionary Phonology, *Theoretical Linguistics*, vol.32, no. 2, pp.117–166

BRANDÃO DE CARVALHO, Joaquim. (2008). Western Romance. In BRANDÃO DE CARVALHO, J., SCHEER, T. & SÉGÉRAL, P. (eds) *Lenition and Fortition*. Berlin: Mouton de Gruyter.

CHITORAN, I., HUALDE, J. & NICULESCU, O. (2015). Gestural undershoot and gestural intrusion – from perceptual errors to historical sound change. *Proceedings of 2nd ERRARE Worskhop* (Sinaia, Romania)

COLEMAN, J., RENWICK, M. E.L. & TEMPLE, R.A.M. (2016). Probabilistic underspecification in nasal place assimilation. *Phonology*, 33(3), 425-458

GALLIANO, S., GEOFFROIS, E., MOSTEFA, D., CHOUKRI, K., BONASTRE, J.-F. & GRAVIER, G. (2005). The ESTER phase II evaluation campaign for the rich transcription of French broadcast news. *9th European Conference on Speech Communication and Technology*

GAUVAIN, J.-L., LAMEL, L. & ADDA, G. (2002). The LIMSI broadcast news transcription system. *Speech communication* 37 (1-2), 89–108

GAUVAIN, J.-L., ADDA, G., ADDA-DECKER, M., ALLAUZEN, A., GENDNER, V., LAMEL, L. & SCHWENK, H. (2005). Where Are We in Transcribing French Broadcast News? *Proceedings of ISCA Eurospeech'05*, Lisbon, Sep 2005.

GRAVIER, G., ADDA, G., PAULSON, N., CARRÉ, M., GIRAUDEL, A. & GALIBERT O. (2012). The ETAPE corpus for the evaluation of speech-based TV content processing in the French language. *LREC–8th International Conference on Language Resources and Evaluation*

HALLÉ, P. & ADDA-DECKER, M. (2007). Voicing assimilation in journalistic speech. *16th International Congress of Phonetic Sciences*, 2007, 493–496.

HALLÉ, P. & ADDA-DECKER, M. (2011). Voice assimilation in French obstruents: A gradient or a categorical process? *Tones and features: A festschrift for Nick Clements*, De Gruyter, 149–175
HONEYBONE, P. (2008). Lenition, weakening and consonantal strength: tracing concepts through the history of phonology. In BRANDÃO DE CARVALHO, J., SCHEER, T. & SÉGÉRAL, P. (eds) *Lenition and Fortition*. Berlin: Mouton de Gruyter.

HUALDE, J. & NADEU, M. (2011). Lenition and phonemic overlap in Rome Italian. *Phonetica*, 68, 215–242

HUALDE, J. & PRIETO, P. (2014). Lenition of intervocalic alveolar fricatives in Catalan and Spanish. *Phonetica*, 71, 109–127

HUTIN, M., JATTEAU, A., VASILESCU, I., LAMEL, L. & ADDA-DECKER, M. (Soumis). Overview of word-final schwa in Standard French and its shielding effect from fortition and lenition. *Linguistic Vanguard*.

HUTIN, M., JATTEAU, A., VASILESCU, I., LAMEL, L. & ADDA-DECKER, M. (2020). Le schwa final en français standard est-il un lubrifiant phonétique ? *Actes du Congrès Mondial de Liguistique française, CMLF 2020*.

JATTEAU, A., VASILESCU, I., LAMEL, L. & ADDA-DECKER, M. (2019a). "Gra[f] ! Le dévoisement final dans les grands corpus de français". Paper presented at the SRPP seminar, Université Sorbonne Nouvelle, Feb. 15th 2019

JATTEAU, A., VASILESCU, I., LAMEL, L., ADDA-DECKER, M. & AUDIBERT, N. (2019b). "Gra[f]e!" Word-final devoicing of obstruents in Standard French: An acoustic study based on large corpora. *Proceedings of Interspeech*, 1726–1730. Graz, Austria.

JATTEAU, A., VASILESCU, I., LAMEL, L. & ADDA-DECKER, M. (2019c). Final devoicing of fricatives in French : Studying variation in large corpora with automatic alignment. *International Congress of Phonetic Sciences*, Melbourne, Australie.

KEATING, P., LINKER, P. & HUFFMANN, M.-K. (1983). Patterns in allophone distribution for voiced and voiceless stops. *Journal of Phonetics* 11(3). 277–290.

MYERS, S. (2012). Final devoicing: Production and perception studies. In T. BOROWSKY, S. KAWAHARA, T. SHINYA, M. SUGAHARA (Eds.), *Prosody matters: Essays in honor of Elisabeth Selkirk*, Equinox, pp.148–180.

NICULESCU, O., VASILESCU, I., CHITORAN, I., ADDA-DECKER, M. & LAMEL, L. (Soumis). Romanian obstruents still strong after all these years: Obstruent voicing and devoicing in a large corpus study of Romanian. *Labphon* 17, 2020.

OHALA, J. J. (1997). Aerodynamics of phonology. *Proceedings of the Seoul International Conference on Linguistics*. Seoul: Linguistic Society of Korea, pp. 92–97

RYANT, N. & LIBERMAN, M. (2016). Large-scale analysis of Spanish /s/-lenition using audiobooks. *Proceedings of the 22nd International Congress on Acoustics* (Buenos Aires, Argentina)

SNOEREN, N., HALLÉ, P. & SEGUI, J. (2006). A voice for the voiceless: Production and perception of assimilated stops in French. *Journal of Phonetics*, vol.34, pp. 241–268

TORREIRA, F., ADDA-DECKER, M. & ERNESTUS, M. (2010). The Nijmegen corpus of casual French. *Speech Communication*, vol. 52, no. 3, pp.201–212.

VASILESCU, I., HERNANDEZ, N., VIERU, B. & LAMEL, L. (2018). Exploring Temporal Reduction in Dialectal Spanish: A Large-scale Study of Lenition of Voiced Stops and Coda-s. *Proceedings of Interspeech* (Hyderabad, India)

VASILESCU, I., VIERU, B. & LAMEL, L. (2014). Exploring Pronunciation Variants for Romanian Speech-to-text Transcription. *Proceedings of SLTU* (St. Petersburg, Russia)

VASILESCU, I., WU, Y., JATTEAU, A., ADDA-DECKER & LAMEL, L. (Soumis). Alternances de voisement et processus de lénition et de fortition : une étude automatisée de grands corpus en cinq langues romanes. *Revue TAL*.
# Sur l'utilisation de la reconnaissance automatique de la parole pour l'aide au diagnostic différentiel entre la maladie de Parkinson et l'AMS

Imed Laaridh¹ Julie Mauclair¹

(1) IRIT, Université de Toulouse, CNRS, Toulouse, France
imed.laaridh@irit.fr, julie.mauclair@irit.fr

## RÉSUMÉ

Cet article présente une étude concernant l'apport du traitement automatique de la parole dans le cadre du diagnostic différentiel entre la maladie de Parkinson et l'AMS (Atrophie Multi-Systématisée). Nous proposons des outils de reconnaissance automatique de la parole pour évaluer le potentiel d'indicateurs de la parole dysarthrique caractérisant ces deux pathologies. Dans ce cadre, un corpus de parole pathologique (projet ANR Voice4PD-MSA) a été enregistré au sein des Centres Hospitaliers Universitaires (CHU) de Toulouse et Bordeaux. Les locuteurs sont des patients atteints de stades précoces de la maladie de Parkinson et d'AMS ainsi que des locuteurs témoins.

Des mesures automatiques caractérisant la qualité de la reconnaissance automatique de la parole ainsi que la prosodie des patients ont montré un intérêt pour la caractérisation des pathologies étudiées et peuvent être considérées comme un outil potentiel pour l'aide à leur diagnostic différentiel.

## ABSTRACT

**On using automatic speech recognition for the differential diagnosis of Parkinson's Disease and MSA**

This article presents a study regarding the contribution of automatic speech processing in the differential diagnosis between Parkinson's disease and MSA (Multi-System Atrophies). We propose to adapt automatic speech recognition tools for the evaluation and study of the dysarthric speech of these two pathologies. A corpus of pathological speech (Voice4PD-MSA) has been recorded at both Toulouse and Bordeaux university hospitals. Speakers are patients with early cases of Parkinson's disease and MSA as well as healthy controls.

Automatic measures characterizing the quality of the automatic speech recognition as well as the prosody of the patients speech have shown an interest for the characterization of the studied pathologies and can be considered as a potential tool for automatic assistance in their differential diagnosis.

**MOTS-CLÉS** : Dysarthrie, traitement automatique de la parole, parole pathologique, diagnostic différentiel, aide au diagnostique.

**KEYWORDS:** Dysarthria, automatic speech processing, pathological speech, differential diagnosis, Assistive diagnosis.

<figure><img src="image_143.png" /></figure>
# 1 Introduction

La Maladie de Parkinson (MP) est la maladie neuro-dégénérative la plus courante après la maladie d'Alzheimer, touchant environ 1,5% de la population de plus de 65 ans et environ 170 000 Français (Tison et al., 1994). Son diagnostic clinique se base sur la présence d'une lenteur de mouvement associée à une manifestation motrice de rigidité, tremblement au repos et instabilité posturale (Hughes et al., 1992). Il est souvent confirmé par une réponse positive à la thérapie de remplacement de la dopamine et à l'absence de signes qui suggèrent la présence d'un autre trouble parkinsonien tel que l'Atrophie Multi-Systématisée (AMS). Cependant, le diagnostic définitif ne peut être confirmé que par la découverte de certaines protéines suite à une autopsie (post-mortem). L'apparition d'une dysarthrie de type hypokinétique (parole monotone avec des difficultés à initier l'articulation, un débit variable et une voix rauque et soufflée), est souvent associée à la MP (Darley et al., 1975). Ces troubles de la parole apparaissent au début de la MP et même pendant la période pré-symptomatique ; cette observation peut aider à un diagnostic précoce, comme l'a démontré (Harel et al., 2004) dans une étude analysant rétrospectivement des enregistrements de patients atteints de la MP.

L'AMS est une maladie neuro-dégénérative rare d'étiologie inconnue. Elle se caractérise par une combinaison variable de parkinsonisme, atteinte cérébelleuse, troubles dysautonomiques et syndromes pyramidaux. Les premiers symptômes de l'AMS apparaissent généralement à partir de 60 ans (Tison et al., 2000) et le pronostic vital des patients est rapidement engagé. La survie médiane des patients se situe entre 5,8 et 9,5 ans après le diagnostic (Schrag et al., 2008). Le diagnostic clinique de l'AMS présente un degré de confiance limité et il nécessite une confirmation post-mortem (Gilman et al., 2008). Comme pour la MP, les patients atteints d'AMS souffrent assez tôt d'une dysarthrie de type mixte présentant des composantes hypokinétiques, spastiques (parole lente et laborieuse avec une articulation imprécise) et ataxiques (parole brusque, ralentie, irrégulière, explosive et scandée) (Darley et al., 1975).

Dans le domaine médical, plusieurs méthodes ont été étudiées pour le diagnostic de l'AMS. L'imagerie par résonance magnétique (IRM) du cerveau aide le clinicien en révélant la présence d'anomalies distinctes chez les patients atteints d'AMS (Barbagallo et al., 2016). Cependant, l'IRM du cerveau peut être normale, en particulier chez les patients dont le diagnostic différentiel entre la MP et l'AMS est difficile. D'autres techniques d'imagerie telles que la tomographie permettent d'identifier des schémas métaboliques distincts entre la MP et l'AMS (Niethammer & Eidelberg, 2012). Mais cette technique est très coûteuse et n'est pas disponible en routine clinique. Au-delà de l'imagerie, plusieurs études sont en cours pour comparer les niveaux de certains marqueurs de dégénérescence axonale dans le plasma des patients atteints de la MP et d'AMS.

L'analyse de voix et de la parole est souvent utilisée pour aider le diagnostic médical des troubles affectant les patients atteints de MP ou d'AMS. L'analyse acoustique automatique, méthode non invasive par excellence, a fait l'objet de plusieurs études afin de fournir une évaluation plus objective de la pathologie et de la voix dysphonique aux orthophonistes. Ont ainsi été étudiés les prononciations de voyelles soutenues (Dibazar et al., 2002), de mots (Fredouille et al., 2019) ou du texte (Laaridh et al., 2015) au travers de mesures telles que le rapport harmonique/bruit, l'énergie (Shama et al., 2006), des mesures aérodynamiques (J. Holmes et al., 2000), la durée des phonèmes, l'étranglement de la voix et l'altération de la prosodie (Ma et al., 2010; Whitehill, 2010).

Peu de travaux se concentrent sur l'identification de la pathologie et la majorité porte sur l'évaluation de la qualité de la parole et la mesure automatique de l'intelligibilité. Dans (Rusz et al., 2015), la comparaison entre les patients atteints de MP et d'AMS a révélé des différences significatives