<table><caption>Table 2 : Nombre d'occurrences des consonnes dans le corpus</caption><thead><tr><th colspan="3">occlusives sourdes</th><th colspan="3">occlusives voisées</th><th colspan="2">Fricatives sourdes</th><th colspan="3">fricatives voisées</th><th colspan="4">Sonorantes</th><th rowspan="2">Cons</th></tr><tr><th>p</th><th>t</th><th>k</th><th>b</th><th>d</th><th>g</th><th>f</th><th>s</th><th>ʃ</th><th>v</th><th>z</th><th>ʒ</th><th>m</th><th>n</th><th>l</th><th>r</th></tr></thead><tbody><tr><td>77</td><td>110</td><td>77</td><td>67</td><td>72</td><td>30</td><td>30</td><td>112</td><td>68</td><td>28</td><td>62</td><td>45</td><td>57</td><td>85</td><td>187</td><td>71</td><td>Control</td></tr><tr><td>75</td><td>104</td><td>75</td><td>67</td><td>73</td><td>28</td><td>29</td><td>93</td><td>69</td><td>22</td><td>54</td><td>44</td><td>54</td><td>78</td><td>172</td><td>54</td><td>MDP</td></tr></tbody></table>

## 2.3 Auditeurs

Les 2280 stimuli ont été divisés aléatoirement en 20 blocs. Un bloc était composé de 114 éléments qui pouvaient provenir de tous les locuteurs. Ces stimuli ont été soumis à 20 auditeurs francophones naïfs (non spécialistes dans l'écoute des troubles de la parole) recrutés pour l'expérience. La consigne était la suivante : « Vous allez entendre des extraits de parole assez courts (ex: ati). En respectant les règles de l'orthographe du français, vous devrez transcrire ce que vous entendrez. Certaines prononciations seront difficiles à identifier mais dans tous les cas, vous devrez proposer une transcription ». Ces tests ont eu lieu au Centre d'Expérimentation sur la parole (http://cep.lpl-aix.fr/) au Laboratoire Parole et Langage à Aix-en-Provence. La présentation des stimuli et le recueil des réponses étaient automatisés grâce au dispositif Perceval-Lancelot (André et al., 2003).

Chaque auditeur, portant un casque audiophonique Superlux HD 681B, a transcrit 3 blocs de 114 éléments, soit 342 stimuli. L'intensité de lecture du son a été préréglée par l'auditeur pour être confortable et optimale pour la tâche. Chaque test a commencé avec quatre stimuli d'entraînement. Chaque élément était présenté une fois automatiquement mais l'auditeur pouvait répéter la lecture deux fois. L'auditeur a eu une pause de 5 minutes entre les blocs. Un total de 6840 réponses a été collectée car chaque bloc a été soumis à 3 auditeurs différents.

## 2.4 Prétraitement des données

Une fois les transcriptions recueillies, les réponses orthographiques ont été analysées manuellement afin d'obtenir la structure phonotactique de la réponse et surtout d'identifier la consonne perçue. En termes de structure, 67% des VCV ont été rapportés comme VCV, 13% des VCV ont été signalés comme CV, 2% comme VCCV (dans ce cas, le /d/ ou /t/ a été palatalisé dz ou ts) et 2% comme VCVC. Dans certains cas, les auditeurs percevaient les VCV comme des mots. Par exemple, la séquence [eʃɛ] était signalée comme [eʃɛl] ("échelle"), la séquence [ãʒe] comme [mãʒe] ("manger"). Dans d'autres cas, les auditeurs n'ont pas pu identifier la consonne et n'ont rien écrit.

Nous n'avons pas analysé la transcription des voyelles. Nous nous sommes concentrés uniquement sur les consonnes. La forme orthographique a été simplifiée en tant que forme phonétique. Par exemple, la séquence orthographique "ph" a été phonétisée comme /f/, "g" + "e" a été phonétisée comme /ʒ/. La conversion graphème/phonème en français étant cohérente, nous ne gardons que les données où il n'y avait pas d'ambiguïté (nous effaçons seulement 18 réponses ambiguës sur 6819).

La consonne transcrite a été examinée par rapport à la consonne cible. Nous appelons « score de déviation phonétique perçue » (Perceived Phonological Deviation) le nombre de traits phonétiques qui diffèrent de la consonne prototypique à la réponse. Un score de 0 signifie que la consonne a été correctement identifiée. Un score de N signifie qu'il y avait N traits phonétiques mal identifiées. La décomposition en traits que nous avons choisie est celle publiée dans (Ghio et al., 2018). Ainsi, une consonne cible /p/ perçue /b/ induira un score PPD de 1 (trait de voisement) ; un /p/ perçu /m/ fournira un score PPD de 2 (voisement + nasalité). Plus le score PPD est faible, meilleure peut être considérée l'intelligibilité (taux d'identification des consonnes) du locuteur.
# 3 Résultats

Le score PPD d'un locuteur est la moyenne des scores obtenue sur les 114 séquences VCV produite en moyenne par chaque locuteur et évaluées perceptivement. Tous les tests statistiques ont été effectués dans l'environnement logiciel R version 3.4.4 Des modèles linéaires à effets mixtes (package lme) ont été utilisés pour analyser les scores PPD considérés comme une variable continue.

## 3.1 Résultats généraux

Comme prévu, le score PPD est significativement plus faible (p <0,01) pour les locuteurs du groupe contrôle (CTRL) que pour les locuteurs parkinsoniens (PARK). Le score moyen pour les CTRL est de 0.72 avec un écart-type de 0.21, les valeurs correspondantes pour les PARK étant de 1.18 et 0.42 d'écart-type (Figure 1).

<figure><img src="image_86.png" /><figcaption>Figure 1 : score PPD (perceived phonological deviation) global pour les sujets contrôle (CTRL) vs parkinsoniens (PARK))</figcaption></figure>

## 3.2 Les résultats par locuteur

Comme on peut le voir sur la Figure 2, les scores PPD obtenus pour les locuteurs témoins CTRL sont regroupés et inférieurs à 1; en revanche, les patients PARK se divisent en deux groupes. Les quatre premiers patients ont un score proche de celui des témoins (inférieur à 1) tandis que les six derniers patients ont un score PPD élevé (supérieur à 1,25). Fait intéressant, il existe un lien entre le premier groupe qui correspond aux patients avec un score de sévérité de la dysarthrie égal à 1 (voir Table 1) alors que ceux dont le score PPD est supérieur à 1.25 correspond aux patients avec un score de sévérité clinique de 2 ou 3 (voir Table 1).

<figure><img src="image_87.png" /><figcaption>Figure 2 : score PPD pour chaque locuteur</figcaption></figure>
## 3.3 Les résultats par consonnes cible

Comme le montre la Figure 3, il existe une hétérogénéité entre les consonnes. Les consonnes sourdes telles que /t, s,ʃ/ ont le meilleur taux d'identification tandis que les sonorantes /m, n, l, r/ ont des scores de déviation importants. La labiovelaire /v/ et la sonorante /r/ ont les taux d'identification les plus bas. Si les patients ont des scores de distorsion supérieurs à ceux des témoins, il est intéressant de noter que cette distribution est à peu près la même pour les témoins et les patients.

<figure><img src="image_88.png" /><figcaption>Figure 3 : score PPD en fonction de chaque consonne cible</figcaption></figure>

## 3.4 L'effet du contexte prosodique

La Figure 4 présente les scores PPD obtenus en fonction de la position prosodique des consonnes dans l'énoncé. On observe que la plus mauvaise identification concerne les consonnes situées en position interne (NF) du groupe prosodique que ce soit pour le groupe témoin (μ = 0,92; sd = 0,30) et pour le groupe de patients (μ = 1,35, sd = 0,48). Lorsque les consonnes sont dans les syllabes finales (FF ou FP), les scores sont meilleurs en cas de pause finale (FP ; CTRL: μ = 0,41, sd = 0,30; PD: μ = 0,82, sd = 0,53) qu'en l'absence de pause (FF ; pour CTRL μ = 0,51, sd = 0,36; pour PD μ = 1,01, sd = 0,59). Les scores obtenus pour les consonnes en position initiale (IP) sont intermédiaires pour les témoins (μ = 0,62, sd = 0,32) et les patients (μ = 1,16, sd = 0,60).

Pour résumer, deux tendances émergent des résultats actuels: 1) les consonnes situées en position de frontière (IP, FF, FP) ont un score d'identification significativement plus élevé (p <0,0001) que les consonnes situées dans les phrases et 2) les scores d'identification sont significativement plus élevés pour le groupe témoin que pour le groupe de patients (p = 0,0035). Il n'y a pas d'interaction (p = 0.7653).
<figure><img src="image_89.png" /><figcaption>Figure 4 : score PPD en fonction de la position prosodique de la consonne cible</figcaption></figure>

## 3.5 L'effet du contexte lié à la classe du mot contenant la consonne

Les consonnes situées dans les mots lexicaux (CW) ont un score d'identification significativement meilleur que celles situées dans les mots grammaticaux (FW) dans les deux groupes (p = 0,0003). Dans le groupe témoin, les scores PPD moyens sont plus faibles pour les consonnes situées dans les mots lexicaux (μ = 0,65, sd = 0,20) que pour celles situées dans les mots grammaticaux (μ = 0,86, sd = 0,35). Dans le groupe de patients, les scores moyens sont significativement plus élevés (p = 0,0054), les scores correspondants pour les mots lexicaux et les mots grammaticaux sont respectivement de 1,28 (sd = 0,5) et 1,12 (sd = 0,45). Il n'y a pas d'interaction (p = 0,55)

<figure><img src="image_90.png" /><figcaption>Figure 5 : score PPD en fonction de la classe du mot contenant la consonne</figcaption></figure>

# 4 Discussion

Les résultats obtenus sont totalement conformes aux résultats rapportés dans la littérature sur l'imprécision des consonnes: les différences reflètent les problèmes articulatoires qui caractérisent la maladie de Parkinson. Le deuxième résultat est l'hétérogénéité des scores selon la consonne: certaines d'entre elles ont un score d'identification élevé, d'autres un score faible. Différentes hiérarchies ont été proposées avec une force consonantique en relation inverse avec l'échelle de sonorité, comme la hiérarchie élaborée suivante avec des occlusives et fricatives sourdes en tête suivies par les obstruantes voisées, les nasales les latérales et le R au plus bas.

Fait intéressant observé sur les locuteurs du groupe contrôle, certaines consonnes ont des caractéristiques mal identifiées. Il est bien connu que les locuteurs adaptent leurs gestes phonétiques de manière adaptative aux différents besoins des situations de parole et qu'ils maintiennent un contraste perceptif suffisant (c'est-à-dire un contraste suffisamment riche) pour être compris. Dans la présente étude, les consonnes ont été extraites de leur contexte et les informations conservées dans la
consonne peuvent ne pas avoir été suffisamment riches pour l'identification de toutes les caractéristiques. De plus, il a été démontré que la coarticulation est fréquente dans les séquences VCV et que de nombreux locuteurs témoins sains spirantisent parfois les occlusives. Par conséquent, on peut supposer que certaines caractéristiques mal identifiées sont le résultat d'une assimilation contextuelle. Concernant la parole MPD, il y a probablement des anomalies dues à la rigidité des muscles ce qui conduit à une diminution de l'amplitude et / ou de la force des mouvements articulatoires.

Le 3ième point examiné était l'impact de la structure prosodique sur la perception des consonnes dans les deux groupes de locuteur. Il a été montré que les consonnes situées dans les syllabes à l'intérieur d'un groupe prosodique avaient un score d'identification significativement plus bas que les consonnes situées dans les syllabes finales pré-pausales ou pas, suggérant ainsi que les premières étaient produites moins clairement que les secondes. Il a été démontré que les patients atteints de MP produisent un allongement final normal de la même manière que les locuteurs sains. On peut supposer que, comme les locuteurs contrôle, les patients articulent plus clairement les segments des syllabes terminales qui sont des points clés de la structure prosodique et ont un rôle important dans la perception. Fait intéressant, un effet de la proéminence initiale sur l'identification des consonnes a également été observé. La proéminence initiale a été étudiée acoustiquement et s'est révélée être caractérisée par un allongement plus important de l'onset par rapport à la proéminence finale qui présente un noyau et une rime plus longue. Cela explique pourquoi les consonnes initiales des mots ont un meilleur score d'identification que les consonnes situées dans les phrases. Dans tous les cas, ces résultats indiquent que la fonction syntaxique et démarcative de la prosodie est maintenue chez les patients souffrant de la maladie de Parkinson.

L'impact de la classe de mots sur l'identification des consonnes a été le quatrième point principal examiné. Il a été constaté que dans le discours de contrôle sain ainsi que dans le discours parkinsonien, les consonnes avaient plus de caractéristiques identifiées dans les mots de contenu que dans les mots de fonction. Ceci est en accord avec les études sur la phonétique des mots de contenu et de fonction. Ce fait est intéressant car il suggère que les patients, tout comme les locuteurs sains de contrôle, ont tendance à conserver les informations sémantiques contenues dans les mots lexicaux.

# 5 Conclusion

La présente étude est basée sur la perception des consonnes extraites de la parole lue par dix hommes souffrant de la maladie de Parkinson et par dix témoins. L'imprécision des consonnes a été confirmée dans la production des locuteurs MDP. De plus, deux groupes de patients ont été observés: le premier avec un faible degré de sévérité de la dysarthrie et des scores d'identification des consonnes proches de ceux des témoins; le second groupe avec un degré moyen ou élevé de sévérité de la dysarthrie et un faible score d'identification. Il semble donc que le score PPD puisse être un indicateur du degré de gravité de la maladie. Des études longitudinales sur la parole parkinsonienne pourraient nous indiquer si la production de consonnes est sensible à la progression de la maladie et pourrait être utilisée comme un outil d'évaluation.

La méthode utilisée dans cette étude nous a permis de prendre en compte l'effet des facteurs linguistiques et de montrer comment ils affectent la production et la perception des consonnes. L'intelligibilité semble optimale lorsque les consonnes appartiennent à des mots de contenu, à des syllabes initiales de mots ou à des syllabes de phrases finales.
Remerciements

Cette recherche a été financée en partie par un BQR labo (LPL) et par l'Agence nationale de la recherche ANR-18-CE45-0008. Les auteurs tiennent à remercier Alain Purson et Ludovic Jankowksi pour leur assistance lors de l'enregistrement des patients ainsi que le personnel du CEP, Laura Reynaud et Carine André pour leur assistance dans l'expérience perceptive.

Références

ACKERMANN H AND ZIEGLER W (1992) Articulatory deficits in parkinsonian dysarthria: an acoustic analysis, J Neurol Neurosurgery Psychiatry, 54 (12) 1093-1098.

ANDRÉ C, GHIO A, CAVÉ C, TESTON B. (2003) PERCEVAL: a Computer-Driven Systemfor Experimentation on Auditory and Visual Perception. International Congress of Phonetic Sciences (ICPhS), Barcelona, Spain. pp.1421-1424.

CHENERY H, MURDOCH B. AND INGRAM J (1988) Studies in Parkinson’s disease : Perceptual speech analyses, Australian Journal of Human Communication disorders; 16(2), 17-29.

DARLEY FL, ARONSON AE, BROWN J (1969) Differential diagnostic patterns of dysarthria, Journal of speech and hearing research; 246-269.

DUEZ D (2001) Restoration of deleted or assimilated consonant sequences in conversational French speech : effects of preceding and following contexts, Journal of International Phonetic Association; 31, 101-114.

DUEZ D (2014) Some segmental and prosodic aspects of speech motor disorders. In Motor Speech Disorders : a Cross-language perspective.; Eds N.Miller and AL Lowit, Multilingual matters, Bristo, Buffalo, Toronto, 168-195

GHIO A, POUCHOLIN G, TESTON B, PINTO S, FREDQUILLE C, DE LOOZE C, ROBERT D, VIALLET F, GIOVANNI A (2012) How to manage sound, physiological and clinical data of 2500 dysphonic and dysarthric speakers? Speech Communication, Elsevier: North-Holland, 54 (5), pp.664-679.

GHIO A, LALAIN M, GIUSTI L, POUCHOLIN G, ROBERT D, REBOURG M et al. (2018) Une mesure d'intelligibilité par décodage acoustico-phonétique de pseudo-mots dans le cas de parole atypique, XXXIIe JEP. pp.285-293, https://dx.doi.org/10.21437/jep.2018-33

GREMY F (1958) Contribution à l'étude oscillographique de certaines dysarthries. Thèse de Médecine 1958 ; Paris.

HO AAK, IANSEK R, MARIGLIANI C, BRADSHAW JL, GATES S (1999) Speech Impairment in a large sample of patients with Parkinson's disease. Behavioural Neurology; 11 (3), 131-137.

KENT RD. AND NETSELL (1971) Effects of stress contrasts on certain articulatory parameters. Phonetica 1971 ; 24, 23-44.

KENT RD, ROSENBEK JC (1982) Prosodic disturbance and neurologic lesion, Brain and Language; 15(2) 259-291.

LOGEMANN JA, FISHER HB (1981) Vocal tract control in Parkinson's disease:phonetic feature analysis of misarticulations, J Speech Hear Disord; 46 (4), 348-52

PLOWMAN-PRINE EK, OKUNA MS., C.M. SAPIENZA CM, R. SHRIVASTAV R, et al (2009) Perceptual characteristics of Parkinsonian speech: A comparison of the pharmacological effects of levodopa across speech and non-speech motor systems, NeuroRehabilitation; 131-144.

UZIEL A, BOHE M, CADILHAC J AND PASSOUANT P (1975): Les troubles de la voix et de la parole dans les syndromes parkinsoniens, Folia Phoniatrica Logopaedica ; 27, 166-176

WARREN RM., WARREN RP. (1970), Auditory illusions and confusions. *Sci. Am.*; 223, 30-36

WEISMER G (1984) Articulatory characteristics of Parkinsonian dysarthria: Segmental and phrase-
level timing, spirantization, and glottal-supraglottal coordination. In M.R. McNeil, J.C. Rosenbek &
A.E. Aronson (Eds.), The dysarthrias: Physiology, acoustics, perception, management; (pp. 101-
130). San Diego: College-Hill Press.
# Statistiques des sons naturels et hypothèse du codage efficace pour la perception de la musique et de la parole : Mise en place d'une méthodologie d'évaluation.

Agnieszka Duniec¹ Olivier Crouzet¹,² Elisabeth Delais-Roussarie¹

(1) Laboratoire de Linguistique de Nantes, LLING - UMR6310, Université de Nantes / CNRS chemin de la Censive du Tertre, 44312 Nantes Cedex, France

(2) ENT Department - University Medical Center Groningen, Rijksuniversiteit Groningen, Pays-Bas
agnieszka.duniec@etu.univ-nantes.fr, olivier.crouzet@univ-nantes.fr, elisabeth.delais-roussarie@univ-nantes.fr

## RÉSUMÉ

L'hypothèse du codage efficace prédit que les systèmes perceptifs sont optimalement adaptés aux propriétés statistiques des signaux naturels. Ce caractère optimal a été récemment évalué sur la base d'analyses statistiques réalisées sur des décompositions spectrales de signaux de parole représentés comme des modulations d'énergie. Ces travaux pourraient trouver des applications directes dans l'amélioration du codage des signaux acoustiques par des implants cochléaires. Cependant, les recherches sur la perception de la musique par des personnes sourdes portant un implant cochléaire mettent en avant des limites qui semblent discordantes avec les performances observées concernant certaines propriétés fondamentales de la parole. Nous comparons les résultats d'analyses statistiques de signaux musicaux avec ceux qui ont été réalisés sur de la parole dans le but d'évaluer les impacts respectifs de ces deux gammes de signaux sonores pour évaluer leurs contributions à cette proposition théorique. Des résultats préliminaires et les perspectives futures sont discutés.

## ABSTRACT

Natural sound statistics and the efficient coding hypothesis for music and speech perception : setting-up an evaluation methodology.

The efficient coding hypothesis predicts that perceptual systems are optimally adapted to natural signal statistics. Such optimal characterization has recently been evaluated on the basis of statistical analyses that were performed on spectral decompositions of speech signals. Speech signals were decomposed into energy envelopes and these results may find applications in the improvement of acoustic signal coding for cochlear implants. However, research on music perception in cochlear implanted deaf listeners sheds light on potential limits associated with music perception that seem to be in contradiction with how some of the fundamental properties of speech sounds are processed. Our aim is to compare the statistical analysis of natural music signals with previous work on speech in order to evaluate their respective contributions to this theoretical proposal. Preliminary results along with future perspectives are discussed.

**MOTS-CLÉS** : perception, implants cochléaires, statistiques des signaux naturels, hypothèse du codage efficace.

**KEYWORDS**: perception, cochlear implants, natural signal statistics, efficient coding hypothesis.

<figure><img src="image_91.png" /></figure>
# 1 Introduction

La perception de l'environnement sonore est un mécanisme particulièrement complexe. Les travaux princeps de Bregman (1994) ont mis en évidence que les mécanismes impliqués dans l'analyse des scènes auditives reposent en partie sur des processus cognitifs généraux. Si l'on considère en général que des mécanismes fondamentaux d'analyse auditive doivent être impliqués dans les traitements liés aux différents systèmes de communication (langage oral et musique par exemple), il semble par contre raisonnable de considérer que ces deux catégories de signaux restent au moins en partie fondamentalement différentes du point de vue de leur organisation sonore et des informations acoustiques qui les composent (rythmique, mélodique, harmonique).

En outre, on observe des performances très différentes entre la perception de la parole et celle de la musique par des auditeurs sourds portant un implant cochléaire. Si une grande partie des informations associées aux sons de parole peut donner lieu à des performances de reconnaissance satisfaisantes dans des environnements non-dégradés (Bouton et al., 2012), la capacité de ces auditeurs à apprécier ou à identifier un certain nombre d'aspects liés à la musique (mélodie, accords par exemple) reste limitée (Galvin et al., 2009). Ainsi, parole et musique semblent porter des informations qui ne sont pas propices à donner lieu à des traitements perceptifs similaires lorsqu'on les étudie du point de vue de personnes sourdes portant un implant cochléaire.

## 1.1 L'hypothèse du codage efficace

Proposée initialement par Smith & Lewicki (2006) pour le système auditif sur la base de travaux ayant plutôt porté leur attention sur le système visuel (Simoncelli & Olshausen, 2001), la théorie du « codage efficace » (*efficient coding hypothesis*) postule que les systèmes perceptifs sont optimalement adaptés aux propriétés des signaux naturels de manière à transmettre un maximum d'information en recourant à une consommation minimale de ressources. Cette hypothèse a des implications fortes concernant (1) la nature des représentations sensorielles impliquées dans la perception de notre environnement et (2) les mécanismes perceptifs qui sont mis en œuvre : On s'attend à trouver des correspondances entre propriétés physiques des signaux et caractéristiques des systèmes sensoriels.

Même si cette hypothèse peut paraître aller de soi, elle débouche sur une prédiction qui n'est pas si évidente, laquelle consiste à envisager une réduction maximale de la « granularité » des représentations perceptives permettant aux observateurs d'être parfaitement efficaces sans mettre en oeuvre de représentations « trop » fines qui demanderaient plus de complexité de traitement que nécessaire. Ainsi, les systèmes sensoriels pourraient procéder à une analyse peu précise si elle est « optimale ». L'une des prédictions qui découlent de l'hypothèse du codage efficace est que les signaux naturels développés par les espèces animales auraient évolué de manière à être compatibles avec cette caractéristique et ne requerraient donc pas de contenir plus d'information que nécessaire. De ce point de vue, aussi bien les stimuli naturels que les systèmes sensoriels seraient *optimalement économies* en information, tant que cette économie garantit une analyse perceptive efficace. C'est de ces prédictions que l'hypothèse du codage efficace tire son nom.

Si l'on considère cette hypothèse à l'aune des travaux réalisés ces 30 dernières années sur la perception de la parole par des personnes sourdes portant un implant cochléaire aussi bien que par des personnes normo-entendantes soumises à des simulations d'implants cochléaires (parole vocodée à canaux), la plupart des résultats observés semblent aller dans ce sens. Ainsi, certaines informations linguistiques
sont accessibles avec une résolution spectrale très limitée (4 bandes de fréquence suffisent à percevoir avec une performance élevée le voisement ou le mode d'articulation d'une consonne, Shannon et al., 1995). Par contre, d'autres informations acoustiques semblent beaucoup plus problématiques : informations tonales associées à la prosodie de la phrase ou aux tons phonémiques (Milczynski et al., 2012; Gaudrain et al., 2008; Everhardt et al., 2020), genre du locuteur (Fuller et al., 2014), nasalité vocalique (Borel, 2015) par exemple. De même, la perception de la musique, du genre du locuteur, ou de la parole en environnement bruité semblent résister à des conditions plus fines de résolution spectrale (Galvin et al., 2009; Fuller et al., 2014). Les travaux actuels sur la parole vocodée montrent de manière générale qu'un accroissement du nombre de canaux spectraux n'est pas suffisant pour améliorer significativement les performances de perception de ces informations et une grande partie des enjeux théoriques actuels est sous-tendue par cette limite.

## 1.2 Analyse statistique de signaux naturels

Les signaux naturels présentent des propriétés statistiques qui ont conduit certains auteurs à explorer plus précisément le rôle que jouent ces régularités dans leur reconnaissance. Par exemple, les « textures sonores » (bruit du vent, vol d'insectes...) sont associées à des propriétés statistiques spécifiques qui sont corrélées entre les bandes de fréquence (McDermott & Simoncelli, 2011). La synthèse de sons qui respectent ces régularités corrélées conduit à une reconnaissance de ces textures, ce qui semble indiquer que certains types de « statistiques des signaux naturels » jouent un rôle crucial dans les mécanismes d'identification perceptive.

Certains travaux ont également décrit l'existence de similarités entre des propriétés statistiques observées dans des langues orales et dans de la musique. Ces similitudes porteraient notamment sur la structure énergétique du spectre des harmoniques (Schwartz et al., 2003) ainsi que sur la taille des intervalles tonaux (Han et al., 2011). Ces observations tendent à argumenter en faveur de l'existence de propriétés structurelles parallèles dans la parole et la musique.

Les travaux qui reposent sur l'hypothèse du codage efficace s'inspirent de principes relativement proches tirés des travaux sur les statistiques des signaux naturels : les signaux de communication seraient caractérisés par des propriétés sonores statistiques qui seraient régulières malgré la diversité apparente des réalisations acoustiques. Ces travaux se sont notamment centrés sur le caractère optimal (1) du nombre de canaux spectraux pour représenter des langues orales mais aussi (2) de la localisation des frontières entre ces canaux.

Ming & Holt (2009) ont montré que, sans changer le nombre de canaux spectraux (6 en l'occurrence) les changements de localisation des frontières spectrales en parole vocodée ont des effets massifs sur les taux de reconnaissance de mots et de segments phonétiques. Ueda & Nakajima (2017), capitalisant sur ces résultats, ont développé une méthode d'analyse inspirée des travaux de Plomp et al. (1967) sur les voyelles : ils étendent cette approche à l'étude d'un corpus de phrases. Ils procèdent, sur la base de signaux acoustiques de parole codés sur environ 100 canaux de représentation spectrale répartis en « bandes critiques » étroites, à diverses Analyses en Composantes Principales (ACP, en anglais PCA) portant sur les enveloppes d'énergie de ces canaux et varient le nombre de facteurs associés à la sortie de l'ACP (2, 3, 4, 5, 6). Leur travail aboutit à la conclusion que 4 facteurs suffiraient à représenter optimalement des signaux de parole, et ce pour chacune des 8 langues de leur échantillon. Ils constatent par ailleurs que les 3 frontières fréquentielles découlant de chacune des ACP à 4 facteurs réalisées sur ces 8 langues sont parfaitement appariées (env. 540, 1720, 3300 Hz), ce qui les amène à conclure que les langues seraient de manière générale fondées sur des indices qui seraient
parfaitement adaptés à un traitement perceptif « parcimonieux » de la parole.

Récemment, Grange & Culling (2018) ont répliqué l'étude de Ueda & Nakajima (2017) en la mettant en rapport avec des données de perception de parole vocodée (simulations d'implants cochléaires) et ont abouti à des conclusions assez similaires. Leurs résultats suggèrent néanmoins que, pour rendre compte de manière appropriée des propriétés acoustiques de la parole vocodée, il faudrait 6 à 7 canaux spectraux pour représenter optimalement ces signaux. Cette limite correspond dans leurs données, à un point d'inflexion au-delà duquel la performance de reconnaissance mesurée chez les auditeurs ne s'améliore plus.

Si Ming & Holt (2009) se positionnent en faveur d'un traitement efficace relevant de représentations équivalentes quels que soient les signaux envisagés (parole, musique, sons de l'environnement), les données de la littérature concernant les patients sourds qui utilisent un implant cochléaire pourraient amener à nuancer cette position. Ainsi, les performances observées aussi bien chez des auditeurs normo-entendants écoutant des signaux vocodés que chez des patients sourds portant un implant cochléaire sont systématiquement meilleures pour de la parole que pour de la musique (Galvin et al., 2009; Crew et al., 2015), notamment si l'on compare les performances mesurées dans le silence en environnement non-réverbérant. Du point de vue de l'hypothèse du codage efficace, on pourrait être amené à envisager que parole et musique requièrent des niveaux de résolution spectrale très différents pour que leur analyse perceptive soit appropriée. Si tel était le cas, une telle constatation aurait un impact crucial sur les fondements ou la compréhension de cette hypothèse du codage efficace.

L'objet de notre travail est d'évaluer cette contradiction potentielle en mettant en place une série d'analyses qui chercheront dans un premier temps à évaluer les *propriétés statistiques de signaux naturels* de musique et à les comparer à des répliques des analyses réalisées par Ueda & Nakajima (2017) sur de la parole naturelle.

# 2 Analyse des propriétés statistiques de signaux de musique

## 2.1 Méthode

L'ensemble des analyses acoustiques et statistiques est réalisé dans l'environnement Matlab. Les scripts d'analyse sont disponibles sur un dépôt github (https://github.com/crouzet-o/naturalSignalStats).

### 2.1.1 Base de données d'enregistrements musicaux

Dans un souci de réplicabilité des analyses et des résultats qui en découleront, nous avons choisi d'utiliser des extraits musicaux issus d'une base de données en *open source* : FMA (Free Music Archive, Defferrard et al., 2017). FMA offre la possibilité d'accéder légalement à une bibliothèque d'enregistrements de musique sous licence libre. Elle est constituée de 4 versions, lesquelles contiennent de 8000 à 106574 morceaux musicaux qui sont disponibles soit en extraits de 30 s (les 3 premières versions) soit dans leur intégralité (la 4ème version).

Tous les morceaux musicaux sont au format MP3 et sont associés à des informations qualitatives (*tags*) : numéro d'identification du morceau, titre, artiste, genre (et sous-genres), ainsi qu'à des traits
musicaux (*features*) automatiquement déterminés par la bibliothèque librosa (McFee et al., 2015, traits spectraux, rythmiques...).

Les données présentées ici concernent la base de données la moins volumineuse. Elle est composée de 8000 extraits de 30 secondes de 8 genres musicaux différents en format MP3 (taux de compression entre 128 et 256 kbits/s, fréq. d'échantillonnage 44.1 kHz). Les 8 genres musicaux sont en proportions équilibrées dans cette version de la base.

## 2.1.2 Paramétrage acoustique des signaux

Préalablement à l'analyse statistique des signaux, nous procédons à une paramétrisation acoustique équivalente à celles qui ont été utilisées dans les travaux précédents (Ueda & Nakajima, 2017; Grange & Culling, 2018). On notera que les travaux antérieurs ayant porté sur de la parole, ils se sont restreints à des fréquences supérieures d'environ 8000 Hz. En ce qui nous concerne, nous manipulons ce paramètre afin de comparer les résultats obtenus en fonction de la limite supérieure de fréquence, laquelle pourrait comporter des informations acoustiques essentielles pour les signaux de musique.

Nous avons analysé une durée totale de signal audio équivalente à celle qui a été étudiée pour les langues les plus fournies de l'échantillon étudié par Ueda & Nakajima (2017, env. 4000 s). Pour celà, nous extrayons pour chaque enregistrement musical disponible les 10 premières secondes. Au total 471 stimuli musicaux ont été exploités, parmi lesquels 71 n'étaient pas lisibles par l'algorithme de décompression MP3 utilisé. L'échantillon final est composé de 400 enregistrements audio fournissant une durée totale de 4000 s (soit environ 1h) d'audio.

Les enregistrements sélectionnés sont ensuite convertis en monophonique par combinaison des deux canaux stéréophoniques et concatenés les uns aux autres. Les enveloppes de modulation temporelle des signaux sont extraites à partir d'un banc de filtres dont la largeur croît de manière logarithmique avec la fréquence centrale (canaux de largeur $\frac{1}{4}$ d'ERB, ce qui correspond à 106 canaux spectraux allant jusqu'à la fréquence supérieure maximale de 8000 Hz et à 129 canaux pour une fréquence maximale de 22000 Hz). Ces enveloppes subissent une rectification demi-onde puis un filtrage passif bas avec une fréquence de coupure de 50 Hz. Les signaux d'enveloppe résultants sont ensuite élevés au carré et convertis en notes centrées réduites (*z-scores*). Cette chaîne de paramétrage permet de procéder à une analyse des co-modulations entre les bandes de fréquence sur une base d'analyse des corrélations entre les informations d'enveloppe.

Le signal résultant, composé de 106 / 129 canaux en fonction de la fréquence maximale, correspond aux modulations temporelles de l'enveloppe de chaque canal au cours du temps. Cette matrice de modulations d'amplitude est alors transférée vers un outil statistique d'analyse en composantes principales (Principal Components Analysis).

## 2.1.3 Analyse en Composantes Principales

L'Analyse en Composantes Principales est une méthode descriptive d'analyse de données qui permet une étude simultanée de plus de 2 dimensions (analyse multivariée). L'objectif est de représenter l'essentiel de l'information contenue dans un tableau de données quantitatif en réduisant le nombre de facteurs explicatifs. Le principe est de transformer des variables liées (ayant des corrélations statistiques) en nouvelles variables synthétiques (composantes principales) en perdant le moins d'information possible. Cette analyse permet non seulement de réduire le nombre de variables à
mesurer, et ainsi améliorer la caractérisation des données, mais aussi d'identifier les facteurs non corrélés utiles pour procéder à une analyse discriminante. Concrètement, les variables initiales sont représentées dans un nouvel espace de facteurs définis par les vecteurs propres de la matrice de corrélations. L'hypothèse sous-jacente à l'application de cette méthode sur des signaux sonores est que certains canaux spectraux contiendraient des informations redondantes et qu'il serait alors économe de restreindre l'analyse perceptive à une séparation en zones de fréquences étant maximalement informatives (donc minimalement redondantes). En celà, l'ACP nous permettrait d'identifier les canaux de fréquence optimaux pour différencier de manière parcimonieuse les enregistrements d'un corpus.

L'analyse préliminaire des résultats porte essentiellement sur la description des graphiques indiquant les valeurs des coefficients de saturation pour chaque composante principale en fonction du canal de fréquence (Fig. 1), ce qui permet de décrire l'empan de fréquences qui corrèle avec une même composante.

<figure><img src="image_92.png" /><figcaption>FIGURE 1 – Coefficients de saturation (factor loadings) issus des ACP réalisées sur un échantillon des signaux de musique de la base de données FMA (Free Music Archive, Defferrard et al., 2017), durée totale 4000 s, fréquence maximale supérieure de (a) 8000 Hz, (b) 22000 Hz</figcaption></figure>

## 2.2 Résultats

Les travaux antérieurs ayant porté sur de la parole, ils se sont restreints à des fréquences supérieures autour de 8000 Hz. En ce qui nous concerne, nous manipulons ce paramètre afin de comparer les
résultats obtenus en fonction de la limite supérieure de fréquence, à savoir 22000 Hz car cette gamme supérieure pourrait comporter des informations acoustiques essentielles pour les signaux de musique.

On peut dans un premier temps observer que la prise en compte des fréquences supérieures à 8000 Hz se justifie totalement puisque la deuxième composante principale (en rouge sur la fig. 1) s'étend approximativement sur la gamme 12000 à 16000 Hz. La figure 1a représente la distribution des coefficients de saturation des composantes principales sur la gamme de fréquences s'étendant jusqu'à 8000 Hz en fonction du nombre de facteurs étudiés. Le nombre de facteurs augmente de bas en haut (de 2 à 12). La figure 1b représente l'analyse réalisée sur une plus large gamme de fréquences mais pour les mêmes signaux et le même nombre de composantes principales.

Dans l'analyse réalisée par Ueda & Nakajima (2017), les frontières entre canaux optimaux sont placées aux croisements des courbes de saturation, délimitant ainsi des zones de fréquences. Les frontières que nous avons utilisées dans nos analyses sont celles de Ueda & Nakajima (2017, les traits verticaux de couleur orange sur les graphiques de la fig. 1). Dans l'analyse réalisée par les auteurs, ces frontières délimitent quatre zones de fréquence principales : 'low' centrée à 300 Hz, 'mid-low' centrée autour de 1000 Hz, 'mid-high' centrée à 2200 Hz et 'high' centrée autour de 4500 Hz. Dans l'analyse que nous avons réalisée jusqu'à 22000 Hz, les 3 zones inférieures identifiées par les auteurs ('low', 'mid-low' et 'mid-high') semblent peu représentées. Même la zone supérieure ('high') autour de 4500 Hz n'apparaît qu'à partir de la 8ème CP même si la zone de hautes fréquences de notre analyse (à partir de 5000 Hz) est largement représentée par les 5 à 6 premières CP. Néanmoins, la 3ème CP peut-être décrite comme s'étendant sur les 3 zones inférieures identifiées par Ueda & Nakajima (2017). Ces observations reflètent également les données obtenues en se limitant à la gamme de fréquences inférieure à 8000 Hz. Dans nos analyses, un découpage plus fin associé aux 3 zones de basse fréquence identifiées par Ueda & Nakajima (2017) apparaît seulement à partir de la huitième CP, particulièrement si l'on s'intéresse à l'analyse jusqu'à 22000 Hz.

# 3 Discussion

À la lueur de ces premières explorations, ont peut identifier deux points centraux : (1) si les données musicales ne coincident pas avec les données de parole décrites dans la littérature, certains principes similaires semblent ressortir (répartition des coefficients de saturation sur des gammes de fréquence spécifiques; correspondance possible mais encore à l'état de conjecture entre les zones de fréquence décrites en parole et en musique, cependant sur des composantes très différentes –composantes de plus grande contribution / de plus bas niveau pour la parole que pour la musique). (2) il semble probable (et pas surprenant) que les signaux de musique requièrent un plus grand nombre de composantes principales pour être caractérisés que les signaux de parole mais il restera à identifier dans quelle mesure les frontières fréquentielles pertinentes pourraient entrer en correspondance.

Les résultats présentés ici sont préliminaires et constituent seulement une ébauche des analyses à venir. Nous développons actuellement une amélioration des scripts d'analyse afin de mettre en place une rotation orthogonale des facteurs qui permettra de faciliter la description des résultats issus des ACP. En outre, à partir des principes d'extraction de données présentés ici, nous nous orienterons vers des analyses plus objectives (1) des composantes principales à prendre en compte à partir des mesures d'inertie (2) ainsi que des frontières de fréquence correspondantes.

Du point de vue des perspectives générales de ce travail, l'hypothèse du codage efficace prédit qu'un
nombre réduit de dimensions devrait permettre de caractériser les signaux de musique au même titre que les signaux de parole. Cette hypothèse pourra donc être évaluée de manière *interne* : en étudiant les résultats obtenus pour des signaux de musique indépendamment des résultats antérieurs sur la parole. Nous chercherons à établir dans quelle mesure l'analyse statistique de signaux musicaux permet de retrouver certains *patterns* observés pour la parole : nombre réduit de canaux optimaux par rapport au nombre total de canaux de codage en enveloppe d'énergie, correspondance des résultats quel que soit le genre musical, comparaison des résultats en fonction de certains paramètres qualitatifs (présence majoritaire d'informations à large bande comme des percussions vs. caractéristiques tonales).

Parallèlement à cette évaluation interne, certains résultats devront nécessairement être discutés dans une perspective comparative articulant les données observées sur la parole et sur la musique : il est tout à fait possible que les détails de ces analyses fassent ressortir (1) que les signaux de musique requièrent un plus grand nombre de canaux spectraux que la parole, et (2) que les frontières entre les canaux (à nombre de canaux équivalent ou pas) soient divergentes si l'on compare les analyses qui reposent sur la parole et celles qui reposent sur la musique.

Afin de pouvoir s'assurer que d'éventuelles divergences de résultats entre d'une part nos analyses réalisées sur de la musique et, d'autre part ceux de Ueda & Nakajima (2017) et Grange & Culling (2018), ne seraient pas le fait de différences fines qui interviendraient dans la mise en œuvre des algorithmes, nous comparerons nos résultats obtenus sur des signaux de musique avec une base de données de parole. Ceci permettra de s'assurer que nous répliquons les observations des travaux antérieurs (Ueda & Nakajima, 2017; Grange & Culling, 2018). Dans le souci de s'approcher au mieux des conditions des études précédentes, nous utiliserons une base de données de phrases collectées en laboratoire et contenant un nombre suffisamment large de phrases différentes pour chaque locuteur.

Les résultats observés constitueront une source précieuse d'information, d'une part pour évaluer les fondements de l'hypothèse du codage efficace et ses impacts sur la modélisation perceptive des signaux naturels, d'autre part pour envisager dans quelle mesure cette hypothèse pourrait conduire à développer des solutions permettant d'améliorer le codage de signaux sonores par des dispositifs comme les implants cochléaires.

## Remerciements

Ce travail a reçu le soutien du programme Recherche – Formation – Innovation « Ouest Industries Créatives » (RFI-OIC, Région Pays de la Loire) par une allocation doctorale attribuée à AD.

## Références

BOREL S. (2015). *Perception auditive, visuelle et audiovisuelle des voyelles nasales par les adultes devenus sourds*. Lecture labiale, implant cochléaire, implant du tronc cérébral. Thèse de doctorat, Université de la Sorbonne Nouvelle – Paris 3.

BOUTON S., SERNICLAES W., BERTONCINI J. & COLÉ P. (2012). Perception of Speech Features by French-Speaking Children With Cochlear Implants. *Journal of Speech Language and Hearing Research*, **55**(1), 139–153. DOI: 10.1044/1092-4388(2011/10-0330).

BREGMAN A. S. (1994). *Audirory scene analysis : the perceptual organization of sound*. A Bradford book, Cambridge, Mass. : MIT Press., 2nd édition.
CREW J. D., GALVIN J. J. & FU Q.-J. (2015). Melodic contour identification and sentence recognition using sung speech. *The Journal of the Acoustical Society of America, 3*(138).

DEFFERRARD M., BENZI K., VANDERGHEYNST P. & BRESSON X. (2017). Fma : Dataset for music analysis. *18th International Society for Music Information Retrieval Conference*.

EVERHARDT M. K., SARAMPALIS A., COLER M., BAŞKENT D. & LOWIE W. (2020). Meta-Analysis on the Identification of Linguistic and Emotional Prosody in Cochlear Implant Users and Vocoder Simulations : *Ear and Hearing*, p. in press. DOI: 10.1097/AUD.0000000000000863.

FULLER C. D., GAUDRAIN E., CLARKE J. N., GALVIN J. J., FU Q.-J., FREE R. H. & BAŞKENT D. (2014). Gender categorization is abnormal in cochlear implant users. *Journal of the Association for Research in Otolaryngology, 6*(15).

GALVIN J. J., FU Q.-J. & SHANNON R. V. (2009). Melodic contour identification and music perception by cochlear implant users. *Annals of the New York Academy of Sciences, 1*(1169), 518-533.

GAUDRAIN E., GRIMAULT N., HEALY E. W. & BÉRA J.-C. (2008). Streaming of vowel sequences based on fundamental frequency in a cochlear-implant simulation. *The Journal of the Acoustical Society of America, 124*(5), 3076-87. DOI: 10.1121/1.2988289.

GRANGE J. & CULLING J. (2018). The factor analysis of speech : Limitations and opportunities for cochlear implants. *Acta Acustica united with Acustica, 104*, 835-838.

HAN S. E., SUNDARARAJAN J., BOWLING D. L., LAKE J. & PURVES D. (2011). Co-Variation of Tonality in the Music and Speech of Different Cultures. *PLOS ONE, 6*(5), e20160. DOI: 10.1371/journal.pone.0020160.

MCDERMOTT J. H. & SIMONCELLI E. P. (2011). Sound Texture Perception via Statistics of the Auditory Periphery : Evidence from Sound Synthesis. *Neuron, 71*(5), 926-940. DOI: 10.1016/j.neuron.2011.06.032.

MCFEE B., RAFFEL C., LIANG D., ELLIS D., MCVICAR M., BATTENBERG E. & NIETO O. (2015). librosa : Audio and Music Signal Analysis in Python. In *The 14th Python in Science Conference (scipy 2015)*, p. 18-24, Austin, Texas. DOI: 10.25080/Majora-7b98e3ed-003.

MILCZYNSKI M., CHANG J. E., WOUTERS J. & VAN WIERINGEN A. (2012). Perception of Mandarin Chinese with cochlear implants using enhanced temporal pitch cues. *Hearing Research, 285*(1-2), 1-12. DOI: 10.1016/j.heares.2012.02.006.

MING V. L. & HOLT L. L. (2009). Efficient coding in human auditory perception. *The Journal of the Acoustical Society of America, 3*(126), 1312-1320.

PLOMP R., POLS L. C. W. & VAN DE GEER J. P. (1967). Dimensional analysis of vowel spectra. *The Journal of the Acoustical Society of America, 3*(41), 707-712.

SCHWARTZ D. A., HOWE C. Q. & PURVES D. (2003). The Statistical Structure of Human Speech Sounds Predicts Musical Universals. *Journal of Neuroscience, 23*(18), 7160-7168. DOI: 10.1523/JNEUROSCI.23-18-07160.2003.

SHANNON R., ZENG F., KAMATH V., WYGONSKI J. & EKELID M. (1995). Speech recognition with primarily temporal cues. *Science, 270*, 303-304.

SIMONCELLI E. P. & OLSHAUSEN B. A. (2001). Natural Image Statistics and Neural Representation. *Annual Review of Neuroscience, 24*(1), 1193-1216. DOI: 10.1146/annurev.neuro.24.1.1193.

SMITH E. C. & LEWICKI M. S. (2006). Efficient auditory coding. *Nature, 7079*, 978-982.

UEDA K. & NAKAJIMA Y. (2017). An acoustic key to eight languages/dialects : Factor analyses of critical-band-filtered speech. *Scientific Reports, 7*, 42468. DOI: 10.1038/srep42468.
# Adaptation de domaine non supervisée pour la reconnaissance de la langue par régularisation d'un réseau de neurones

Raphaël Duroselle¹ Denis Jouvet¹ Irina Illina¹

(1) Université de Lorraine, CNRS, Inria, LORIA, F-54000 Nancy, France

raphael.duroselle@loria.fr denis.jouvet@inria.fr irina.illina@loria.fr

## RÉSUMÉ

Les systèmes automatiques d'identification de la langue subissent une dégradation importante de leurs performances quand les caractéristiques acoustiques des signaux de test diffèrent fortement des caractéristiques des données d'entraînement. Dans cet article, nous étudions l'adaptation de domaine non supervisée d'un système entraîné sur des conversations téléphoniques à des transmissions radio. Nous présentons une méthode de régularisation d'un réseau de neurones consistant à ajouter à la fonction de coût un terme mesurant la divergence entre les deux domaines. Des expériences sur le corpus OpenSAD15 nous permettent de sélectionner la *Maximum Mean Discrepancy* pour réaliser cette mesure. Cette approche est ensuite appliquée à un système moderne d'identification de la langue reposant sur des *x-vectors*. Sur le corpus RATS, pour sept des huit canaux radio étudiés, l'approche permet, sans utiliser de données annotées du domaine cible, de surpasser la performance d'un système entraîné de façon supervisée avec des données annotées de ce domaine.

## ABSTRACT

**Unsupervised domain adaptation for language identification by regularization of a neural network**

Automatic spoken language identification systems suffer from a performance drop when acoustic characteristics of the test signal differ in a significative way from the characteristics of the training data. In this paper, we study the unsupervised domain adaptation of a system trained on conversational telephone speech to radio transmission channels. We present a regularization method for a neural network which consists in adding to the cost function a term that measures the discrepancy between domains. Based on experiments on the corpus OpenSAD15, we select the *Maximum Mean Discrepancy* loss to perform this measure. This approach is then applied to a state-of-the-art x-vector system. On the RATS corpus, for seven of the eight studied radio channels, our approach achieves a better performance on the target domain than a system trained in a supervised way using labelled data from this domain.

**MOTS-CLÉS** : adaptation de domaine non supervisée, identification de la langue, régularisation, maximum mean discrepancy, robustesse.

**KEYWORDS:**: unsupervised domain adaptation, language identification, regularization, maximum mean discrepancy, robustness.

<figure><img src="image_93.png" /></figure>
# 1 Introduction

Un système d'identification de la langue est habituellement entraîné sur un corpus d'apprentissage spécifique à un environnement. Si les données de test ne proviennent pas de la même distribution que les données d'entraînement (et ont donc des caractéristiques différentes), les performances du système peuvent chuter significativement. Dans cet article, nous étudions l'effet du changement de canal de transmission entre les données d'entraînement et de test. Les données d'entraînement sont des conversations téléphoniques. Nous voulons appliquer un tel système à des communications radio, pour lesquelles nous ne disposons pas de données annotées. Ce problème est appelé adaptation de domaine non supervisée.

La possibilité d'adapter un système de classification fonctionnant sur un domaine source à un domaine cible repose sur l'hypothèse que les distributions des données des deux domaines partagent des caractéristiques communes pouvant être utilisées pour la classification (Ben-David et al., 2010). Par conséquent l'adaptation de domaine peut être réalisée en utilisant des représentations invariantes entre les domaines. Dans ce but, deux types d'approche ont émergé (Bousquet & Rouvier, 2019) : les méthodes feature-based, qui transforment les représentations des données du domaine source afin de les rendre similaires au domaine cible, et les méthodes model-based.

Lors d'une adaptation *model-based*, les paramètres du modèle sont déterminés en prenant en compte l'objectif de généralisation au domaine cible. Nous proposons une approche *model-based* s'appliquant à un réseau de neurones dont les paramètres sont obtenus par minimisation d'une fonction de coût. Un terme de régularisation est ajouté à la fonction de coût afin de prendre en compte la contrainte d'invariance entre les domaines. Différentes fonctions de régularisation ont été proposées dans la littérature en traitement de l'image et analyse de texte : *deep CORAL* (Sun & Saenko, 2016) *Maximum Mean Discrepancy* (Long et al., 2015), des fonctions de coût antagonistes (Ganin et al., 2016). Jusqu'à présent aucune de ces approches n'a été appliquée à la reconnaissance de la langue.

Dans ce travail, nous comparons d'abord trois fonctions de coût pour l'adaptation à des canaux radio d'un réseau de neurones entraîné pour la tâche d'identification de la langue : la distance entre les moyennes des distributions, *deep CORAL* et la *Maximum Mean Discrepancy*. Nous montrons que cette dernière permet d'annuler la baisse de performance due à l'absence de données annotées sur le domaine cible.

Dans un second temps, nous étudions un système d'identification de la langue correspondant à l'état de l'art (Snyder et al., 2018; Plchot et al., 2018), constitué d'un extracteur de *features*, d'un extracteur de vecteurs représentatifs des segments audio et d'un classifieur final. Un tel système subit bien une dégradation importante de performance due au changement de canal de transmission entre les données d'entraînement et de test. Notre approche appliquée au module d'extraction de vecteurs représentatifs du segment audio permet de réduire cette dégradation et conduit même à des performances meilleures que celles d'un système entraîné de façon supervisée sur le domaine cible.

# 2 Méthode d'adaptation de domaine non supervisée d'un réseau de neurones

Nous nous plaçons dans le cadre d'une adaptation de domaine non supervisée. Nous disposons de données annotées $(x_S, y_S)$ provenant d'un domaine source défini par sa distribution $D_S$, et de
données non annotées $x_T$ d'un domaine cible défini par sa distribution $D_T$. Les $x_S$ et $x_T$ sont les données audio et les $y_S$ les étiquettes de langue associées. L'objectif de la tâche d'adaptation de domaine est l'entraînement d'un système d'identification de langue performant sur le domaine cible.

## 2.1 Régularisation de la fonction de coût

Nous nous intéressons à un modèle de classification pour la tâche d'identification de la langue. C'est un réseau de neurones $f_\theta$ de paramètres $\theta$. Ses paramètres sont appris de façon supervisée en minimisant l'entropie croisée $L_{CE}$ sur le domaine source :

$$ \min_{\theta} \mathbb{E}[L_{CE}(f_{\theta}, x_S, y_S)] \quad (1) $$

Fondée sur le constat que l'erreur du modèle sur le domaine cible peut être contrôlée par la somme de l'erreur sur le domaine source et d'une mesure de divergence entre les domaines (Ben-David et al., 2010), notre méthode *model-based* d'adaptation de domaine non supervisée consiste à ajouter une fonction de régularisation $L_R$ à la fonction de coût. Le problème d'optimisation devient :

$$ \min_{\theta} \mathbb{E}[L_{CE}(f_{\theta}, x_S, y_S)] + \lambda L_R(f_{\theta}, D_S, D_T) \quad (2) $$

$L_R$ est une mesure de la divergence des représentations du réseau entre les distributions $D_S$ et $D_T$. $\lambda$ est un paramètre représentant le compromis entre bonne performance de classification sur le domaine source et invariance des représentations entre les domaines. En pratique, on choisit une couche du réseau et la fonction de coût $L_R$ est mesurée pour les activations de celle-ci. Nous utilisons la notation $\Phi_f(x)$ pour les valeurs des activations de cette couche pour un réseau $f$ et une donnée d'entrée $x$. Dans nos expériences, nous nous plaçons sur la couche de sortie du réseau.

Différentes fonctions de régularisation $L_R$ ont été introduites : *deep CORAL* (Sun & Saenko, 2016), *Maximum Mean Discrepancy* (Long et al., 2015; Lin et al., 2018), ainsi que des fonctions de coût antagonistes (*adversarial*) (Ganin et al., 2016). Dans ce travail, nous comparons trois fonctions de régularisation, basées sur la distance entre les moyennes des distributions, sur la distance entre les seconds moments (*deep CORAL*) et sur la *Maximum Mean Discrepancy*.

## 2.2 Fonctions de régularisation

Une correction simple à appliquer à deux distributions de probabilité pour les rapprocher serait de leur faire partager la même moyenne. Par conséquent, notre première fonction de régularisation est le carré de la **distance euclidienne entre les moyennes** des distributions des deux domaines :

$$ L_{moy} = \left\| \mathbb{E}[\Phi_f(x_S)] - \mathbb{E}[\Phi_f(x_T)] \right\|_2^2 \quad (3) $$

Dans le même esprit, la fonction de coût **deep CORAL** (Sun & Saenko, 2016) vise à aligner les seconds moments des deux distributions. Elle correspond au carré de la distance euclidienne entre les matrices de covariance des distributions de chacun des deux domaines :

$$ L_{CORAL} = \left\| C_S - C_T \right\|_2^2 \quad (4) $$
où $C_S$ et $C_T$ sont les matrices de covariance des activations $\Phi_f(x)$ sur les domaines $D_S$ et $D_T$.

Enfin, la **Maximum Mean Discrepancy** (MMD) est une mesure de divergence entre les domaines basée sur une mesure de similarité entre paires d'échantillons définie par un noyau semi-défini positif $k$. Elle prend la valeur :

$$L_{MMD} = \mathbb{E}[k(\Phi_f(x_S), \Phi_f(x'_S))] + \mathbb{E}[k(\Phi_f(x_T), \Phi_f(x'_T))] - 2\mathbb{E}[k(\Phi_f(x_S), \Phi_f(x_T))] \quad (5)$$

Lorsque le noyau est le produit scalaire usuel alors $L_{MMD}$ est équivalente à $L_{moy}$, présentée précédemment. Pour prendre en compte de façon plus fine l'écart entre les distributions, nous utilisons un noyau gaussien, de variance notée $\sigma^2$ :

$$k(\Phi_f(x), \Phi_f(x')) = \exp\left(-\frac{\|\Phi_f(x) - \Phi_f(x')\|^2}{2\sigma^2}\right) \quad (6)$$

La régularisation MMD est une mesure de divergence entre deux distributions de probabilité, pouvant être estimée à partir d'un nombre fini d'échantillons, y compris dans des espaces de haute dimension (Peyré & Cuturi, 2019). Dans le domaine du traitement de la parole, elle a été utilisée pour l'adaptation de domaine feature-based d'un système de reconnaissance du locuteur (Lin et al., 2018). De plus, l'estimation de la Maximum Mean Discrepancy peut être réalisée de façon efficace sur un GPU (Feydy et al., 2019).

Au cours de l'apprentissage, ces trois fonctions de régularisation seront simplement estimées par moyenne empirique sur chaque minibatch, puis ajoutées au coût de classification, voir Équation (2).

# 3 Sélection de la fonction de régularisation

Pour isoler l'effet de la méthode de régularisation proposée, nous comparons les trois fonctions de régularisation sur un système end-to-end constitué d'un seul réseau de neurones, avec le corpus OpenSAD15.

## 3.1 Architecture du système end-to-end

L'identification de la langue peut être directement réalisée avec un réseau de neurones convolutionnel (Lozano-Diez et al., 2015). Nous utilisons une architecture similaire décrite dans le Tableau 1. Les features d'entrée de notre système sont des MFCC de dimension 12, calculés pour des trames de 10 ms. Nous réalisons la classification en utilisant directement les probabilités a posteriori renvoyées par la couche de sortie pour chaque langue. Le système est entraîné et évalué avec des segments de parole de trois secondes.

## 3.2 Le corpus OpenSAD 2015

Pour étudier l'effet du changement de canal de transmission, nous avons réalisé nos expériences préliminaires sur quatre langues du corpus OpenSAD15 (NIST, 2016) : anglais, arabe, pashto et urdu.
<table><caption>TABLE 1 – Architecture du réseau de neurones convolutionnel</caption><thead><tr><th colspan="4">Convolutions selon l'axe temporel</th></tr><tr><th>nom de la couche</th><th>taille du noyau / du max pooling</th><th>nombre de filtres</th><th>fonction d'activation</th></tr></thead><tbody><tr><td>conv. 1</td><td>5 / 2</td><td>1024</td><td>ReLU</td></tr><tr><td>conv. 2</td><td>5 / 2</td><td>1024</td><td>ReLU</td></tr><tr><td>conv. 3</td><td>5 / 2</td><td>128</td><td>ReLU</td></tr></tbody></table><table><thead><tr><th colspan="2">Agrégation statistique des moyennes et écarts-types (pooling)</th></tr><tr><th colspan="2">dimension de sortie : 2 × 128 = 256</th></tr></thead><tbody><tr><th colspan="2">Couches connectées</th></tr><tr><th>nom de la couche</th><th>dimension</th><th>fonction d'activation</th></tr><tr><td>fc. 1</td><td>256 × 128</td><td>ReLU</td></tr><tr><td>fc. 2</td><td>128 × 4</td><td>Softmax</td></tr></tbody></table>

Il s'agit d'un corpus créé à partir de conversations téléphoniques, canal *src* du corpus, qui ont ensuite été transmises par six systèmes radio différents : B, F, G (UHF), E (VHF), D et H (HF).

Afin d'éviter un biais lors de l'apprentissage, nous n'utilisons que la moitié des données d'entraînement. La moitié des fichiers audio d'origine sont utilisés pour le domaine source (canal *src*) et l'autre moitié, correspondant à des phrases différentes, est utilisée pour les domaines cibles (canaux radio). De cette façon, le même contenu linguistique n'est pas présent sur les deux domaines lors de l'apprentissage.

## 3.3 Résultats des expériences préliminaires

Nous réalisons différents entraînements du réseau de neurones convolutionnel sur le corpus OpenSAD15. La performance de chacun des systèmes sur les canaux d'intérêt est présentée dans le Tableau 2. Les performances sont mesurées avec un *Equal Error Rate* (EER) moyen pour des segments de parole de trois secondes. Un EER est calculé pour chacune des quatre langues du corpus et le score obtenu est la moyenne arithmétique des taux de chaque langue.

<table><caption>TABLE 2 – Résultats en taux d'égale erreur de différentes méthodes d'entraînement du réseau convolutionnel pour le corpus OpenSAD15 (segments de 3 secondes). Le domaine source est le canal téléphonique (*src*).</caption><thead><tr><th rowspan="2">Méthode<br>d'apprentissage</th><th colspan="6">EER sur le domaine cible (%)</th></tr><tr><th>B</th><th>D</th><th>E</th><th>F</th><th>G</th><th>H</th></tr></thead><tbody><tr><td>supervisé sur <i>source</i></td><td>57</td><td>52</td><td>48</td><td>51</td><td>30</td><td>50</td></tr><tr><td>supervisé sur <i>cible</i></td><td><b>18</b></td><td>15</td><td>19</td><td>15</td><td>14</td><td>22</td></tr><tr><td>distance moyennes</td><td>53</td><td>44</td><td>38</td><td>35</td><td>12</td><td>41</td></tr><tr><td><i>deep CORAL</i></td><td>32</td><td>32</td><td>26</td><td>18</td><td>11</td><td>20</td></tr><tr><td><i>MMD</i></td><td>19</td><td><b>11</b></td><td><b>16</b></td><td><b>13</b></td><td><b>9</b></td><td><b>18</b></td></tr></tbody></table>

Le réseau est d'abord entraîné avec des données du canal téléphonique. Ce système, qui obtient un EER moyen de 8% sur le canal *src* est totalement inopérant sur les canaux cibles. Cependant, lorsqu'un système est entraîné de façon supervisée sur chacun des canaux cibles, alors nous obtenons un EER moyen compris entre 14% et 22%.
Les trois dernières lignes du Tableau 2 présentent les performances de l'apprentissage avec chacune des fonctions de régularisation proposées, en utilisant des données annotées du canal *src* et des données non annotées sur le domaine cible. Le paramètre $\lambda$ (ainsi que $\sigma^2$ pour la *MMD*) est sélectionné pour chaque fonction de coût en fonction de la performance obtenue sur un ensemble de validation. Les résultats de tous les domaines cibles sont cohérents : les méthodes de régularisation permettent d'améliorer les EER moyens sur le domaine cible par rapport à un apprentissage sur le domaine source. Une hiérarchie claire apparaît : la *MMD* avec noyau gaussien est plus efficace que *deep CORAL*, qui est elle-même supérieure à la contrainte sur la distance entre les moyennes. Ce résultat signifie que, pour supprimer la distorsion due au changement de canal, le système ne peut se limiter aux deux premiers moments des distributions mais doit prendre en compte une géométrie plus complexe.

Pour cinq des six domaines cibles testés, la régularisation avec la fonction de coût *MMD* permet d'obtenir une meilleure performance sur le domaine cible que l'apprentissage supervisé sur ce domaine, alors même que l'entraînement n'a pas utilisé de données annotées du domaine cible.

# 4 Application à un système à l'état de l'art

Les expériences préliminaires ont permis de sélectionner la fonction de régularisation basée sur la *Maximum Mean Discrepancy* pour l'adaptation d'un réseau de neurones convolutionnel. Nous appliquons donc cette méthode d'apprentissage à un système d'identification de la langue correspondant à l'état de l'art pour cette tâche.

## 4.1 Architecture du système

Un système moderne de reconnaissance de la langue (Snyder et al., 2018; Plchot et al., 2018) est en règle générale formé de trois modules : un extracteur de représentations pour des trames localisées dans le temps, un extracteur de représentations pour l'ensemble du segment audio et un classifieur final.

Dans notre système, le premier module extrait des *stacked multilingual bottleneck features*. Il s'agit des activations d'une couche intermédiaire (*bottleneck*) d'un réseau de neurones ayant été entraîné à reconnaître des triphones pour dix-sept langues du corpus Babel. Nous utilisons les réseaux entraînés *BUT/PHONEXIA bottleneck feature extractor* (Fer et al., 2017), ayant donné de bons résultats pour l'évaluation NIST LRE 2017 (Plchot et al., 2018). Ils génèrent des *bottleneck features* de dimension 80, pour chaque trame de 10 ms.

Le deuxième module extrait un vecteur représentatif par segment. C'est un réseau de neurones prenant en entrée la séquence des *bottleneck features* et entraîné de façon supervisée à prédire la langue utilisée dans le segment. Nous utilisons l'architecture du système *x-vector* (Snyder et al., 2018), constituée de cinq couches procédant à des traitements par trame, suivies d'une couche d'agrégation (*pooling*) statistique et de trois couches pleines. Les *x-vectors* issus de cette architecture sont des vecteurs de dimension 512.

Enfin le classifieur final prend en entrée un *x-vector* et produit un score pour chacune des langues cibles. Notre classifieur final est composé d'une *LDA* (*Linear Discriminant Analysis*), utilisée pour réduire la dimension, d'un blanchiment par multiplication matricielle et d'un *SVM* (*Support Vector Machine*).
Nous appliquons la méthode de régularisation basée sur la *Maximum Mean Discrepancy* au réseau *x-vector*, dans le but de produire des *x-vectors* invariants au changement de canal. Pour des systèmes similaires consacrés à la tâche de reconnaissance du locuteur, l'adaptation *model-based* du réseau *x-vector* a permis de réduire la distorsion due à la langue (Rohdin et al., 2019) et aux conditions acoustiques (Bhattacharya et al., 2019), avec des fonctions de coût antagonistes.

## 4.2 Le corpus RATS

Nous entraînons ce système sur le corpus RATS (Walker & Strassel, 2012). Nous utilisons les livraisons LDC2015S02 et LDC2017S20 qui comptent cinq langues : anglais, arabe, farsi, pashto et urdu. Ce corpus présente les mêmes caractéristiques que le corpus OpenSAD15 qui en est un sous-ensemble. Il contient deux canaux UHF supplémentaires : A et C. Comme pour le corpus OpenSAD15, nous n'utilisons que la moitié du corpus afin qu'un même contenu linguistique ne soit pas présent à la fois sur les domaines source et cible.

L'identification de la langue a été étudiée sur le corpus RATS (Matějka et al., 2014; Lei et al., 2014; Han et al., 2013) avec la livraison LDC2018S10, contenant également cinq langues : arabe, dari, farsi, pashto et urdu. Pour des segments de trois secondes et pour tous les canaux, le meilleur EER moyen obtenu est de 9.59% (Matějka et al., 2014).

## 4.3 Expériences

Tout d'abord, nous entraînons le système sur tous les canaux, nous obtenons un EER moyen de 9.36% comparable à l'état de l'art sur le corpus RATS.

Ensuite nous procédons à l'entraînement du réseau *x-vector* de façon supervisée sur le domaine source (canal téléphonique) puis sur chacun des canaux cibles. Enfin, pour chacun des domaines cibles, nous appliquons la régularisation basée sur la *Maximum Mean Discrepancy*. Rappelons que le réseau de neurones n'est pas utilisé directement pour réaliser la classification mais pour extraire un *x-vector* représentatif du segment audio. Pour évaluer les propriétés des *x-vectors* ainsi extraits, nous réalisons plusieurs systèmes en entraînant le classifieur final avec des données annotées, soit du domaine source, soit du domaine cible. Les performances de chacun de ces systèmes sont présentées dans le Tableau 3.

<table><caption>TABLE 3 – Résultats en taux d'égale erreur de différentes méthodes d'entraînement du réseau *x-vector* et du classifieur final pour huit canaux radio du corpus RATS (segments de 3 secondes)</caption><thead><tr><th colspan="2">Méthode d'entraînement</th><th colspan="8">EER moyen sur le domaine cible (%)</th></tr><tr><th>x-vector</th><th>classifieur final</th><th>A</th><th>B</th><th>C</th><th>D</th><th>E</th><th>F</th><th>G</th><th>H</th></tr></thead><tbody><tr><td>supervisé sur source</td><td>supervisé sur source</td><td>50,2</td><td>42,3</td><td>34,4</td><td>39,6</td><td>48,5</td><td>45,1</td><td>17,4</td><td>43,6</td></tr><tr><td>supervisé sur source</td><td>supervisé sur cible</td><td>15,8</td><td>15,0</td><td>14,1</td><td>14,3</td><td>21,8</td><td>20,5</td><td>9,8</td><td>18,8</td></tr><tr><td>supervisé sur cible</td><td>supervisé sur cible</td><td>14,6</td><td>12,5</td><td>12,6</td><td>6,7</td><td>13,6</td><td>13,5</td><td>8,6</td><td>14,2</td></tr><tr><td>MMD</td><td>supervisé sur source</td><td>12,7</td><td>10,6</td><td>11,7</td><td>7,6</td><td>13,3</td><td>11,9</td><td>5,5</td><td>12,2</td></tr><tr><td>MMD</td><td>supervisé sur cible</td><td><strong>10,2</strong></td><td><strong>9,2</strong></td><td><strong>11,3</strong></td><td><strong>6,0</strong></td><td><strong>11,8</strong></td><td><strong>10,3</strong></td><td><strong>5,1</strong></td><td><strong>10,0</strong></td></tr></tbody></table>

Notons d'abord qu'un système entraîné sur le domaine source, qui obtient pourtant un EER moyen de 6.0% sur ce domaine, atteint une très mauvaise performance sur les canaux radio. À l'opposé,
l'entraînement supervisé du système sur le domaine cible atteint des EER moyens compris entre 6.7% et 14.6%. D'autre part, nous observons que l'entraînement supervisé du classifieur final sur le domaine cible avec des *x-vectors* entraînés sur le domaine source (ligne 2 du Tableau 3) ne suffit pas à atteindre la performance d'un système totalement entraîné sur le domaine cible (ligne 3). Ce constat justifie la nécessité de développer une méthode d'adaptation de domaine pour le réseau *x-vector*.

La régularisation du réseau *x-vector* avec la *Maximum Mean Discrepancy* est un succès. Les *x-vectors* produits par ce réseau ont acquis une robustesse au changement de canal puisqu'un classifieur final entraîné sur le domaine source avec ces *x-vectors* (ligne 4 du Tableau 3) obtient une bonne performance sur le domaine cible. En fait, pour tous les canaux à l'exception du canal D, l'adaptation de domaine du réseau *x-vector* avec un classifieur final entraîné sur le domaine source est plus performante que l'entraînement de tout le système sur le domaine cible (ligne 3). Ce résultat confirme nos expériences préliminaires : non seulement les valeurs de sortie mais aussi les activations de la couche *x-vector* du réseau acquièrent une invariance au domaine grâce à la méthode de régularisation.

Finalement, l'entraînement d'un classifieur final sur le domaine cible avec les *x-vectors* obtenus par régularisation (ligne 5 du Tableau 3) conduit à des EER moyens significativement inférieurs à un système totalement entraîné sur le domaine cible (ligne 3). C'est donc que la régularisation a un intérêt pour améliorer la qualité des *x-vectors*, même lorsqu'on dispose d'étiquettes de langues sur le domaine cible. D'autre part, pour ces *x-vectors* régularisés avec la *MMD*, un entraînement du classifieur final sur le domaine cible (ligne 5) améliore la performance de classification par rapport à un entraînement sur le domaine source (ligne 4). Les *x-vectors* ne sont donc pas totalement invariants entre les domaines et notre approche pourrait être combinée avec une adaptation du classifieur final.

# 5 Conclusion

Nous avons introduit une méthode d'adaptation de domaine non supervisée d'un réseau de neurones pour un système d'identification de la langue. Cette méthode consiste en une modification de la fonction de coût utilisée lors de l'entraînement du réseau de neurones par l'ajout d'un terme de régularisation. Par des expériences préliminaires avec un réseau de neurones convolutionnel, nous avons sélectionné une fonction de coût basée sur la *Maximum Mean Discrepancy*. Dans un second temps, nous avons appliqué cette approche à un système récent d'identification de la langue, constitué d'un extracteur de *features*, d'un extracteur de *x-vectors* et d'un classifieur final.

Les résultats démontrent l'efficacité de la méthode proposée pour prendre en compte la distorsion due au canal de transmission du signal. Lorsque la régularisation est appliquée au réseau *x-vector*, elle produit des vecteurs ayant acquis une robustesse au changement de domaine et permettant donc le transfert d'un apprentissage entre le domaine source et le domaine cible. De plus, la régularisation proposée améliore notablement la capacité de discrimination des *x-vectors* ainsi produits par rapport à un apprentissage supervisé. Elle est donc pertinente même dans le cas où on disposerait de données annotées sur le domaine cible.

# Références

BEN-DAVID S., BLITZER J., CRAMMER K., KULESZA A., PEREIRA F. & VAUGHAN J. W. (2010). A theory of learning from different domains. In *Machine learning*, volume 79, p. 151–175 : Springer.
BHATTACHARYA G., ALAM J. & KENNY P. (2019). Adapting end-to-end neural speaker verification to new languages and recording conditions with adversarial training. In *Proc. ICASSP*, p. 6041–6045.

BOUSQUET P.-M. & ROUVIER M. (2019). On robustness of unsupervised domain adaptation for speaker recognition. In *Proc. INTERSPEECH*, p. 2958–2962.

FER R., MATĚJKA P., GRÉZL F., PLCHOT O., VESELÝ K. & ČERNOCKÝ J. H. (2017). Multilingually trained bottleneck features in spoken language recognition. In *Computer Speech & Language*, volume 46, p. 252–267 : Elsevier.

FEYDY J., SÉJOURNÉ T., VIALARD F.-X., AMARI S.-I., TROUVÉ A. & PEYRÉ G. (2019). Interpolating between optimal transport and MMD using Sinkhorn divergences. In *Proc. The Twenty-second International Conference on Artificial Intelligence and Statistics*, p. 2681–2690.

GANIN Y., USTINOVA E., AJAKAN H., GERMAIN P., LAROCHELLE H., LAVIOLETTE F., MARCHAND M. & LEMPITSKY V. (2016). Domain-adversarial training of neural networks. In *The Journal of Machine Learning Research*, volume 17, p. 2096–2030.

HAN K. J., GANAPATHY S., LI M., OMAR M. K. & NARAYANAN S. (2013). TRAP language identification system for RATS phase II evaluation. In *Proc. INTERSPEECH*, p. 1502–1506.

LEI Y., FERRER L., LAWSON A., MCLAREN M. & SCHEFFER N. (2014). Application of convolutional neural networks to language identification in noisy conditions. In *Proc. Odyssey*, volume 41, p. 1–8.

LIN W.-W., MAK M.-W., LI L. & CHIEN J.-T. (2018). Reducing domain mismatch by maximum mean discrepancy based autoencoders. In *Proc. Odyssey*, p. 162–167.

LONG M., CAO Y., WANG J. & JORDAN M. I. (2015). Learning transferable features with deep adaptation networks. In *Proc. ICML 2015*, p. 97–105.

LOZANO-DIEZ A., ZAZO CANDIL R., GONZÁLEZ DOMÍNGUEZ J., TOLEDANO D. & GONZÁLEZ-RODRÍGUEZ J. (2015). An end-to-end approach to language identification in short utterances using convolutional neural networks. In *Proc. INTERSPEECH*, p. 403–407.

MATĚJKA P., ZHANG L., NG T., MALLIDI S. H., GLEMBEK O., MA J. & ZHANG B. (2014). Neural network bottleneck features for language identification. In *Proc. Odyssey*, p. 299–304.

NIST (2016). Evaluation plan for the NIST open evaluation of speech activity detection (OpenSAD15). In www.nist.gov/itl/iad/mig/nist-open-speech-activity-detection-evaluation.

PEYRÉ G. & CUTURI M. (2019). Computational optimal transport. In *Foundations and Trends® in Machine Learning*, volume 11, p. 355–607 : Now Publishers, Inc.

PLCHOT O., MATĚJKA P., NOVOTNÝ O., CUMANI S., LOZANO-DIEZ A., SLAVICEK J., DIEZ M., GRÉZL F., GLEMBEK O., MOUNIKA K. V., SILNOVA A., BURGET L., ONDEL L., KESIRAJU S. & ROHDIN J. (2018). Analysis of BUT-PT submission for NIST LRE 2017. In *Proc. Odyssey*, p. 47–53.

ROHDIN J., STAFYLAKIS T., SILNOVA A., ZEINALI H., BURGET L. & PLCHOT O. (2019). Speaker verification using end-to-end adversarial language adaptation. In *Proc. of ICASSP*, p. 6006–6010.

SNYDER D., GARCIA-ROMERO D., McCREE A., SELL G., POVEY D. & KHUDANPUR S. (2018). Spoken language recognition using x-vectors. In *Proc. Odyssey*, p. 105–111.

SUN B. & SAENKO K. (2016). Deep CORAL : Correlation alignment for deep domain adaptation. In *Proc. ECCV 2016*, p. 443–450 : Springer.

WALKER K. & STRASSEL S. (2012). The RATS radio traffic collection system. In *Proc. Odyssey*, p. 291–297.
# Modifications des flux aérodynamiques de la parole après chirurgie naso-sinusienne

Amélie Elmerich, Angélique Amelot, Lise Crevier-Buchman

Laboratoire de Phonétique et Phonologie
19 rue des Bernardins 75005 Paris

amelie.elmerich@sorbonne-nouvelle.fr, angelique.amelot@sorbonne-nouvelle.fr, lise.buchman1@gmail.com

## RÉSUMÉ

Cette étude a pour but de déterminer dans quelle mesure la polypose naso-sinusienne impacte l'aérodynamique des flux oral et nasal. Ainsi, nous avons enregistré des patients atteints de cette pathologie avant et après chirurgie. Plusieurs éléments ont pu être mis en lumière : une modification du passage de l'air dans la cavité nasale et une meilleure coordination des flux d'air oral et nasal après chirurgie.

## ABSTRACT

Speech aerodynamic airflow modifications after sinonasal surgery

The purpose of this study is to determine how much nasal polyposis impact the aerodynamics of the nasal and oral airflow. Thus, we recorded patients with this pathology before and after the surgery. Several elements have been highlighted: a modification of the airflow passage in the nasal cavity and a coordination of the nasal and oral airflow after surgery.

MOTS-CLÉS : Sinus, Nasalité, Polypose Naso-Sinusienne, Aérodynamique, Chirurgie.

KEYWORDS: Sinus, Nasality, Nasal Polyposis, Aerodynamics, Surgery

# 1 Introduction

## 1.1 Cavités nasales et sinusiennes

La cavité nasale fait partie des résonateurs de la parole. Elle permet la réalisation des phonèmes nasals par l'ouverture du port vélo-pharyngé. Acoustiquement, ce phénomène de nasalité s'observe par la présence d'anti-formants et aérodynamiquement par un débit d'air nasal positif. Autour de la parole est controversé. Certains auteurs (Lindqvist-Gauffin et Sunberg, 1976 ; Proctor, 1980 ; Maeda, 1982) les considèrent comme des résonateurs de la parole leur donnant la fonction de résonateur d'Helmholtz (Masuda, 1992) et pour d'autres (Bunch, 1992), les sinus n'ont pas de rôle dans la parole ou un rôle extra-linguistique (allègement de la masse crânienne, réchauffement de l'air inspiré etc.).

<figure><img src="image_94.png" /></figure>
## 1.2 La polypose naso-sinusienne

Il peut arriver que certaines pathologies comme la polypose naso-sinusienne (PNS), qui correspond à une inflammation chronique de la muqueuse tapissant les cavités nasales et sinusiennes et aboutissant à la formation de petites tumeurs bénignes (Bonfils et al., 2017), viennent perturber la résonance en obstruant les voies nasales. Il existe plusieurs stades de gravité selon le degré d'obstruction des cavités allant du stade I au stade IV (sévère). Cela va interférer sur la configuration et la circulation du flux d'air au sein des cavités en affectant la résonance mais aussi la qualité des sons nasals (Hong et al., 1997). Il s'agit de la forme la plus sévère de sinusite chronique. Selon le degré de sévérité et en réponse à un traitement médicamenteux non efficace, une chirurgie des sinus peut s'avérer nécessaire. Celle-ci consiste à enlever les polypes pour permettre un passage conséquent de l'air mais aussi à modifier la structure anatomique des cavités naso-sinusiennes. En effet, la chirurgie augmente la communication entre cavités nasales et sinusiennes ce qui impacte la résonance nasale et la production des phonèmes nasals. Borel (2005) a montré qu'elle permettait d'augmenter les capacités de production des consonnes nasales. Giron et Mas (2016) ont montré que la différence majeure entre préopératoire et postopératoire se situait au niveau aérodynamique. Nous avons donc voulu approfondir ce niveau.

L'objectif de ce travail est de déterminer l'impact de la PNS mais aussi de la chirurgie sur le plan aérodynamique de la parole. Notre première hypothèse serait qu'il y a une modification du passage de l'air dans la cavité nasale dans le cadre d'une polypose naso-sinusienne c'est-à-dire un débit d'air nasal beaucoup moins important en préopératoire en raison de l'encombrement des cavités par les polypes. Et par compensation, un débit d'air oral plus important en préopératoire (Giron et Mas, 2016). L'air ayant des difficultés à traverser la cavité nasale en préopératoire, il se répartirait donc plus vers la cavité orale. Notre seconde hypothèse serait qu'il y a une meilleure coordination entre le flux d'air oral et nasal durant la production de la consonne nasale après une chirurgie des sinus. La coordination des flux peut se définir par une simultanéité de l'extinction du débit d'air oral et l'initialisation du débit d'air nasal en début de la réalisation de la consonne nasale.

## 2 Méthode

Ce travail cible 4 patients âgés de 48 à 63 ans (2 hommes et 2 femmes) atteints d'une polypose naso-sinusienne (Table 1). Ils ont été pris en charge au sein de l'Hôpital Européen Georges Pompidou à Paris en vue d'une chirurgie des sinus. Les patients recrutés devaient avoir un âge minimum de 20 ans, être francophone, présenter une obstruction de la cavité naso-sinusienne par polypes et opter pour l'intervention chirurgicale. Ils ont été enregistrés dans un environnement silencieux à l'hôpital la veille de leur chirurgie puis, 3 mois plus tard. Aux patients ont été appariés selon leur sexe 4 témoins. Nous avons fait un appariement par groupe féminin/masculin en raison de la grande variabilité anatomique des cavités naso-sinusiennes entre individus. La station d'Evaluation Vocale Assistée (EVA2™, SQLab) nous a permis de recueillir les données aérodynamiques (débit d'air oral et nasal en litre/seconde (l/s)). Une calibration de l'appareil était réalisée avant chaque enregistrement, pour faire un ré-étalonnage. Une fois le patient installé, nous lui demandions de
respirer par le nez et la bouche afin de vérifier que l'appareil détectait les flux et que les embouts nasals étaient correctement positionnés. En effet, ils doivent être positionnés à l'entrée de chaque narine de manière verticale afin de suivre l'écoulement naturel du flux d'air nasal. Le débit d'air oral était recueilli à l'aide d'un masque en silicone souple. La segmentation et l'étiquetage des données en phonème et phrase ont été faits manuellement grâce au logiciel Praat à partir des enregistrements acoustiques obtenus à l'aide d'un microphone AKG C240 relié à la pièce à main de la station EVA2TM (Teston et Galindo, 1995). Notre corpus était composé de phrases et d'un texte contenant un nombre important de consonnes nasales ([m] et [n]). Nos 4 phrases provenaient du corpus AUPELF-UREF (Vaissière et al., 1998) et le texte est une composition personnelle de Mme Hélène Villet. Les phrases alliaient consonnes nasales et les voyelles orales ([a] et [i]), par exemple : « Nana a nagé naguère à nadi », « Nini ne nie les nids ni les anis ». Le texte était composé de 6 phrases, par exemple : « La panique se lut dans les yeux de la jeune Catherine quand elle remarqua la magnifique tarentule qui traînait sur le meuble de cuisine. ». Ce corpus a l'avantage de présenter les consonnes nasales [m] et [n] dans des contextes variés : Voyelle-Consonne Nasale-Voyelle (VNV), Voyelle-Consonne Nasale-Consonne (VNC), Consonne-Consonne Nasale-Voyelle (CNV), Consonne-Consonne Nasale-Semi-Voyelle (CNSV), Consonne Nasale-Voyelle (NV). En somme, notre corpus était composé de 29 [m] et 40 [n] et a été produit une seule fois par chaque locuteur.

<table><caption>TABLE 1 : Tableau récapitulatif de nos 4 patients</caption><thead><tr><td>Patient</td><td>Sexe</td><td>Age</td><td>Diagnostic</td></tr></thead><tbody><tr><td>M1</td><td>M</td><td>62</td><td>PNS Stade II</td></tr><tr><td>F1</td><td>F</td><td>48</td><td>PNS Stade II</td></tr><tr><td>M2</td><td>M</td><td>51</td><td>PNS Stade III<br>Gauche<br>PNS Stade II Droite</td></tr><tr><td>F2</td><td>F</td><td>63</td><td>PNS Stade IV</td></tr></tbody></table>

## 3 Résultats

Les statistiques ont été réalisées grâce au logiciel R. Nous avons réalisé des analyses de variance (ANOVA). Le seuil de significativité a été considéré comme suit : p<0,05.

Les abréviations utilisées ci-dessous (NAF, OAF) correspondent respectivement à Nasal Air Flow (débit d'air nasal) et Oral Air Flow (débit d'air oral).
Notre première hypothèse s'est trouvée vérifiée. En effet, nous avons observé une augmentation significative du débit d'air nasal en postopératoire sur nos deux consonnes nasales [m] (p = 3.72e-14) et [n] (p < 2e-16) ainsi qu'une baisse significative du débit d'air oral sur la consonne [n] (p = 0.0426).

<figure><img src="image_95.png" /><figcaption>FIGURE 1 : Graphique présentant les moyennes en l/s de NAF et OAF sur [m] et [n] en préopératoire (bleu), postopératoire (rouge) pour les 4 patients et pour les témoins (vert)</figcaption></figure>

Nous avons à présent souhaité observer ce résultat au cas par cas. En effet, nous avons des stades de gravité différents dans notre cohorte, il est intéressant de voir les degrés d'altérations selon le stade de gravité et le sexe.

<figure><img src="image_96.png" /><figcaption>FIGURE 2 : a) Graphique des moyennes en l/s de NAF et OAF sur [m] et [n] en préopératoire (bleu), postopératoire (rouge) pour la patiente F1 et pour les témoins T2 et T3 (vert et violet), b) Graphique des moyennes en l/s de NAF et OAF sur [m] et [n] en préopératoire (bleu), postopératoire (rouge) pour la patiente F2 et pour les témoins T2 et T3 (vert et violet)</figcaption></figure>

Pour la patiente F1 (Figure 2), l'augmentation du NAF est significative pour [m] (p=8.15e-14) et [n] (p=7.05e-16). Or, la baisse d'OAF n'est significative que pour [m] (p=0.00845). La patiente F2 (Figure 2) connaît une amélioration de son débit d'air nasal des plus importantes : passant de 0,0017 l/s pour [m] en préopératoire à 0,033 l/s en postopératoire. Il en va de même pour [n] : 0,0009 l/s à
0,035 l/s. Ces augmentations sont significatives (p<2e-16). Nous pouvons corréler ce constat au fait que c'était la patiente qui avait le stade de gravité le plus élevé (stade IV). De ce fait, les cavités naso-sinusiennes étaient complètement encombrées par les polypes. C'est aussi la patiente qui a le plus compensé oralement en préopératoire pour [m] : une moyenne de 0,007 l/s contre 0,005 l/s pour F1, -0,023 et -0,007 l/s pour M1 et M2. Mais aussi pour [n] : 0,026 l/s en préopératoire (environ 0,01 l/s pour M1 et M2, -0,0003 l/s pour F1). La baisse de l'OAF est significative en postopératoire sur [n], p= 4.12e-06. Pour les patients masculins M1 et M2 (Figure 3), les différences préopératoires et postopératoires relevées chez les patientes féminines F1 et F2, n'apparaissent pas de manière aussi marquée :

<figure><img src="image_97.png" /><figcaption>FIGURE 3 : a) Graphique des moyennes en l/s de NAF et OAF sur [m] et [n] en préopératoire (bleu), postopératoire (rouge) pour le patient M1 et pour les témoins T1 et T4 (vert et violet), b) Graphique des moyennes en l/s de NAF et OAF sur [m] et [n] en préopératoire (bleu), postopératoire (rouge) pour le patient M2 et pour les témoins T1 et T4 (vert et violet)</figcaption></figure>

Concernant M1, son débit d'air nasal baisse en postopératoire sur les deux consonnes nasales : 0,030 l/s pour [m] et 0,028 l/s pour [n] contre respectivement 0,038 l/s et 0,037 l/s en préopératoire. Ces baisses sont significatives : [n] : p=0.000301 et [m] : p=0.00334. Concernant le débit d'air oral, il est quasiment identique pour [m] avant et après chirurgie et pour [n] il baisse légèrement (baisse de 0,006 l/s). Pour M2, le débit d'air nasal est identique sur [m] avant et après chirurgie et augmente légèrement pour [n] (+0,003 l/s). Au niveau du débit d'air oral, il diminue pour [m] (-0,007 l/s en préopératoire et -0,009 l/s en postopératoire) mais augmente pour [n] (+0,01 l/s).

Ce sont aussi nos deux locuteurs masculins qui ont le plus de débit d'air nasal en préopératoire : une moyenne de 0,038 l/s pour M1 et 0,032 l/s pour M2 contre 0,02 l/s pour F1 et une absence de débit d'air nasal pour F2. Nos locuteurs masculins vont à l'encontre de notre hypothèse c'est-à-dire qu'ils n'augmentent pas leur débit d'air nasal en postopératoire. Le facteur "sexe" pourrait être pris en compte (variables anatomiques notamment dues au volume des cavités nasales, par exemple) mais il est impossible de l'affirmer avec seulement 2 patients masculins de stade de gravité différente, et un groupe féminin hétérogène au niveau du stade de gravité. Il faudrait pouvoir observer cela sur une cohorte plus nombreuse de patients. La caractéristique articulatoire de la bilabiale [m] et de l'apico-alvéodentale [n] ne semblent pas avoir d'effet sur l'aérodynamique : il y a une certaine homogénéité
pour ces deux consonnes dans l'augmentation du débit d'air nasal (hormis pour M1 et M2) et la baisse du débit d'air oral.

Notre seconde hypothèse reposait dans le fait qu'une chirurgie des sinus entraînerait une meilleure coordination des flux oral et nasal. Nous envisageons ici la coordination dans une approche spatiale en tant que répartition des flux entre la sortie nasale et orale. Ce n'est pas le résultat d'un contrôle volontaire de la part du locuteur mais plutôt le résultat de la résistance ou non du passage de l'air dans une cavité nasale plus ou moins encombrée. Pour illustrer cette coordination, nous pouvons nous reporter à la figure 4 et plus particulièrement aux courbes NAF (4) et OAF (5) sur le segment [+Nasal]. Ce cas idéal de coordination des flux serait attendu chez les témoins et chez les patients en postopératoire.

<figure><img src="image_98.png" /><figcaption>FIGURE 4 : Représentation schématique de la coordination aérodynamique et articulatoire de la réalisation d'une nasale (Clements *et al.* (2014))</figcaption></figure>

Nous nous reporterons aux figures 1 à 3 présentes dans la première hypothèse. On peut constater grâce à la figure 1 que la coordination des flux se trouve améliorée : elle est meilleure pour [m] où le flux d'air oral est plus négatif (-0,0008 l/s en postopératoire contre -0,0002 l/s en préopératoire) mais ce dernier reste positif pour [n] mais tout de même à un volume moins important qu'en préopératoire (baisse de 0,007 l/s). Il serait attendu d'avoir un flux d'air oral nul au moment de la consonne nasale, la présence de flux d'air négatif peut refléter un léger flux d'air oral ingressif lié à l'abaissement du voile. Pour [m], la coordination était déjà visible en préopératoire, elle s'avère plus difficile pour [n]. Quant au flux d'air nasal, il est positif sur les consonnes nasales en préopératoire et postopératoire. Enfin, nous avons voulu observer si la coordination était plus ou moins aggravée selon le stade de gravité. En effet, un stade de gravité élevé (par exemple, stade IV) pourrait impacter de manière plus importante la coordination qu'un stade moyen (stade II à III). En préopératoire, la patiente F2 (Figure 2) a du mal à coordonner les flux oral et nasal : au niveau du flux d'air nasal, on trouve très peu d'air au moment de la consonne nasale (une moyenne générale de 0,0009 l/s pour les consonnes nasales) dû à l'encombrement des cavités naso-sinusiennes. Au niveau du flux d'air oral, la moyenne est très élevée sur les consonnes nasales (0,007 l/s pour [m] et 0,026 l/s pour [n]). En postopératoire, on observe une nette amélioration avec un flux nasal de 0,033 l/s
pour [m] et 0,035 l/s pour [n]. Par ailleurs, le flux d'air oral est fortement réduit. Le schéma idéal de la coordination se retrouve en postopératoire. Pour les patients M1 et M2 (Figure 3), la coordination se réalise en préopératoire notamment de manière idéale pour [m], [n] présentant un flux d'air oral positif. En postopératoire, la coordination du flux d'air oral reste toujours problématique pour [n] : la moyenne augmente même pour M2 de 0,01 l/s. Quant à F1 (Figure 2), c'est le phonème [m] au niveau du flux d'air oral qui s'est le plus amélioré en postopératoire (0,005 l/s en préopératoire et -0,006 l/s en postopératoire) puisqu'il devient négatif au moment de la consonne nasale.

# 4 Discussion

Notre première hypothèse se trouve en partie vérifiée. En effet, l'augmentation du débit d'air nasal est significative sur les consonnes nasales après chirurgie mais la baisse du flux d'air oral ne l'est que pour [n]. Cependant pour dresser des généralités sur la différence aérodynamique entre le préopératoire et le postopératoire, il nous faudrait plus de données. L'augmentation du NAF, en plus d'être liée à l'opération peut aussi traduire un volume d'air expiré plus important dans le cas d'un accent d'insistance par exemple. Ladefoged (1963) et Van Hattum (1952, cité par Van Hattum, 1967) ont montré qu'il pouvait y avoir des variations importantes de débit d'air expiré dans le cas où l'intensité, la hauteur de la voix et la durée n'étaient pas contrôlées, ce qui est le cas dans cette étude. En regardant au cas par cas, des différences ont été relevées : les patients F1, F2 et M1 ont baissé leur débit d'air oral sauf M2. F1, F2 et M2 ont augmenté leur débit d'air nasal sauf M1. Nos résultats ont convergé avec l'étude de Giron et Mas (2016). En effet, nous avons pu observer un débit d'air nasal beaucoup plus important dû à l'ablation des polypes. Cette augmentation s'est beaucoup plus remarquée chez la patiente F2, qui avait le stade de gravité le plus élevé. De ce fait l'augmentation de son débit d'air nasal est beaucoup plus saillante car c'est elle qui a le moins de débit d'air nasal en préopératoire et donc progresse le mieux en postopératoire. On peut mettre en relation cette augmentation du flux d'air nasal avec la nasalance. Elle est liée à l'obstruction du flux d'air nasal. Des auteurs comme Hong *et al.* (1997), Soneghet *et al.* (2002) ont montré une augmentation du score de nasalance en postopératoire. Nous n'avons pas utilisé cette mesure dans notre étude mais ces résultats rejoignent les nôtres. Le faible débit d'air nasal chez les témoins pourrait s'expliquer par la méthode d'enregistrement non systématisée. Les contraintes techniques devraient trouver des améliorations à l'avenir afin d'obtenir des données consistantes. En effet, le protocole d'enregistrement (placement de l'embout dans la narine) doit être réalisé de la même manière à chaque enregistrement. Ces données étant acquises par une tierce personne il est difficile de pouvoir s'assurer que toutes les précautions pour les enregistrements ont été effectuées. Nous avons pu remarquer que c'est plutôt dans un premier temps, le stade de gravité que le sexe qui joue un rôle. Constat qui rejoint celui de Thompson et Hixon (1979), les différences anatomiques, structurelles et fonctionnelles, entre hommes et femmes sont avérées, mais les conséquences sur la variabilité du débit d'air nasal sont peu significatives sur des tâches de parole.

Grâce à notre seconde hypothèse, nous cherchions à connaître l'impact de la modification du passage de l'air durant la production de phonèmes nasals. L'amélioration générale de la coordination des flux met en lumière une augmentation des capacités de production des consonnes nasales, ce qui
rejoint la conclusion émise par Borel (2005). Cependant, il convient de rester prudent face à
certaines mesures de flux qui sont à un niveau très faible, il peut être délicat d'interpréter des flux de
ce niveau. La question de la coordination pourrait être orientée aussi vers la coarticulation nasale
c'est-à-dire l'anticipation ou la propagation de la nasalisation de la consonne nasale sur les voyelles
adjacentes. En comparant les voyelles orales entourant une consonne nasale et celles entourant une
consonne orale, nous pourrions voir la différence entre les deux du point de vue de la moyenne de
flux d'air nasal et du pourcentage nasalisé de la voyelle, et ainsi voir la potentielle amélioration en
postopératoire.

5 Conclusion

Cette étude avait pour ambition de se demander quel serait l'impact d'une pathologie des sinus et de sa chirurgie sur le niveau aérodynamique de la parole. Nous pouvons à présent répondre qu'elle a permis, pour certains patients, d'augmenter le flux d'air nasal, de réduire le phénomène de compensation orale mais aussi de faciliter la coordination des consonnes nasales.

6 Perspectives

Ce travail pourrait être enrichi en augmentant notre cohorte de patients en ayant des groupes
conséquents avec des stades de gravité similaires. Mais aussi en adoptant une approche
multiparamétrique de la problématique. Aborder le côté articulatoire en utilisant l'imagerie médicale
serait une piste innovante : cela nous permettrait de rendre compte de la variabilité interindividuelle
du volume des sinus et fosses nasales en lien avec le phénomène de résonance nasale. Au niveau de
la perception, il serait intéressant de voir comment est caractérisée la voix des patients en
préopératoire et postopératoire. Il est donc primordial d'approfondir les problématiques liées à cette
pathologie : la littérature scientifique actuelle ne permet pas de répondre aux questionnements
relatifs à la voix des patients. Très peu d'études se rapportant à la parole se sont souciées jusqu'à
présent de l'impact d'une PNS sur la parole. En outre, un tel approfondissement permettrait aussi
d'en apprendre plus sur le phénomène de nasalité qui reste encore méconnu de nos jours et sur la
contribution ou non des sinus dans la parole. Nous n'avons pas de modèles qui permettent
d'envisager les répercussions possibles d'une telle chirurgie sur la voix des patients.

Remerciements

Ce travail est soutenu par le Labex EFL (ANR-10-LABX-0083). Nous remercions les patients qui ont accepté de participer aux enregistrements avant et après leur chirurgie. Ainsi que les relecteurs anonymes pour leurs précieux commentaires.
Références

BONFILS, P., HALIMI, P., GAULTIER, A.-L. ET LISAN,Q. (2017). Polypose nasosinusienne. Rhinosinusite chronique avec polypes. *EMC Oto-Rhino-Laryngologie*, 12(2):1-21. DOI : 10.1016/S0246-0351(16)76892-9.

BOREL, S. (2005). *Analyse perceptive et acoustique des consonnes nasales dans la polypose nasosinusienne avant et après chirurgie des sinus*. Mémoire de l'Université de la Sorbonne nouvelle-Paris III.

BUNCH, MA. (1992) *Dynamics of the Singing Voice*. Vienna: Springer-Verlag.

CLEMENTS, N. (2014). The feature nasal. Dans Rialland et al. (dir), *Features in Phonology and Phonetics : Posthumous Writings by Nick Clements and Coauthors* (p.195-217). Berlin, Allemagne : De Gruyter Mouton

GIRON, M. ET MAS, B. (2016). *Evaluation de la qualité vocale avant et après chirurgie naso-sinusienne*. Mémoire d'orthophonie de l'Université Paris VI Pierre et Marie Curie.

HONG, K. H., KWON, S. H. ET JUNG, S. S. (1997). The Assessment of Nasality with a Nasometer and Sound Spectrography in Patients with Nasal Polyposis. *Otolaryngology-Head and Neck Surgery*, 117(4), 343-348. DOI: 10.1016/S0194-5998(97)70124-4.

LADEFOGED, P. (1963). Some physiological parameters in speech. *Language and speech, 6*(3), 109-119. DOI: 10.1177/002383096300600301

LINDQVIST-GAUFFIN, J. ET SUNBERG, J. (1976). Acoustic properties of the nasal tract. *Phonetica*, 33 (3):161-8. DOI:10.1159/000259720.

MAEDA, S. (1982). The role of the sinus cavities in the production of nasal vowels. In ICASSP '82. IEEE International Conference on Acoustics, Speech, and Signal Processing, 7, 911-914. DOI : 10.1109/ICASSP.1982.1171561

MASUDA, S. (1992). Role of the maxillary sinus as a resonant cavity. *Nihon Jibiinkoka Gakkai Kaiho*, 95(1), 71-80.

PROCTOR DF. (1980) *Breathing, Speech and Song*. Vienna: Springer-Verlag.

SONEGHET, R., SANTOS, R. P., BEHLAU, M., HABERMANN, W., FRIEDRICH, G. ET STAMMBERGER, H. (2002). Nasalance changes after functional endoscopic sinus surgery. *Journal of Voice*, 16(3), 392-397. DOI: 10.1016/S0892-1997(02)00110-8

TESTON, B., et GALINDO, B. (1995). A diagnostic and rehabilitation aid workstation for speech and voice pathologies. In *Fourth European Conference on Speech Communication and Technology*.

THOMPSON, A. E. ET HIXON, T. J. (1979). Nasal air flow during normal speech production. *Cleft Palate Journal*, 16, 412-420. PMID: 290432

VAISSIERE, J., BASSET, P., SU, T., AMELOT, A., CORBIN, O. ET MICHAUD, A., (1998). Corpus AUPELF-UREF. Récupéré sur la plateforme COCOON, <http://purl.org/poi/crdo.vjf.cnrs.fr/cocoon-e61f60b2-f20c-3b62-81ba-b286f1fb8de4>.

VAN HATTUM, R. J., & WORTH, J. H. (1967). Air flow rates in normal speakers. *The Cleft palate journal*, 4(2), 137-147.
Reconnaissance de parole beatboxée à l'aide d'un système
HMM-GMM inspiré de la reconnaissance automatique de la
parole

Solène Evain<fnref n="1" /> Adrien Contesse² Antoine Pinchaud³ Didier Schwab<fnref n="1" />
Benjamin Lecouteux<fnref n="1" /> Nathalie Henrich Bernardoni⁴

(1) Univ. Grenoble Alpes, CNRS, Grenoble INP, LIG, 38000 Grenoble, France

(2) http://www.vocalgrammatics.fr/

(3) ÉSAD Amiens, De-sign-e Lab, 80080 Amiens, France

(4) Univ. Grenoble Alpes, CNRS, Grenoble INP, GIPSA-lab, 38000 Grenoble, France

solene-evain@univ-grenoble-alpes.fr, AdrienContesse@gmail.com,
APinchaud@gmail.com, Didier.Schwab@imag.fr, Benjamin.Lecouteux@imag.fr,
nathalie.henrich@gipsa-lab.fr

RÉSUMÉ

Le human-beatbox est un art vocal utilisant les organes de la parole pour produire des sons percussifs et imiter les instruments de musique. La classification des sons du beatbox représente actuellement un défi. Nous proposons un système de reconnaissance des sons de beatbox s'inspirant de la reconnaissance automatique de la parole. Nous nous appuyons sur la boîte à outils Kaldi, qui est très utilisée dans le cadre de la reconnaissance automatique de la parole (RAP). Notre corpus est composé de sons isolés produits par deux beatboxers et se compose de 80 sons différents. Nous nous sommes concentrés sur le décodage avec des modèles acoustiques monophones, à base de HMM-GMM. La transcription utilisée s'appuie sur un système d'écriture spécifique aux beatboxers, appelé Vocal Grammatics (VG). Ce système d'écriture s'appuie sur les concepts de la phonétique articulatoire.

ABSTRACT

BEATBOX SOUNDS RECOGNITION USING A SPEECH-DEDICATED HMM-GMM BA-
SED SYSTEM<fnref n="1" />

Human beatboxing is a vocal art making use of speech organs to produce percussive sounds and imitate musical instruments. Beatbox sounds classification is a current challenge. We propose a beatbox sounds recognition system with an adaptation of the Kaldi toolbox, widely used for automatic speech recognition (ASR). Our corpus is composed of isolated sounds produced by two beatboxers and is composed of 80 different sounds. We focused on decoding with monophones acoustic models, trained with a HMM-GMM model. One type of transcription was used : a beatbox specific writing system named Vocal Grammatics (VG) which uses concepts of articulatory phonetics.

MOTS-CLÉS: human-beatbox, reconnaissance automatique de la parole, Kaldi, reconnaissance de sons isolés.

KEYWORDS: Human beatbox, automatic speech recognition, Kaldi, isolated sounds recognition.

<figure><img src="image_99.png" /></figure>

<footnote n="1">1. Cet article a été publié en anglais dans le Workshop international MAVEBA http://maveba.dinfo.unifi.it/</footnote>
# 1 Introduction

Le human-beatbox est apparu durant les années 80, dans le Bronx, un quartier de New York, et est associé à la culture hip-hop. Il consiste à produire des percussions vocales ainsi que des imitations d'instruments de musique, comme la trompette ou la guitare. La classification des sons de Beatbox peut être utilisée pour la recherche d'information musicale, comme une requête, pour la recherche de différents types de musique (Kapur et al., 2004) ou pour des applications à commande-vocale avec un nombre de classes défini par l'utilisateur (Hipke et al., 2014) afin de composer des morceaux de beatbox. Le beatbox est aussi utilisé dans le cadre de rééduction orthophonique : un système de reconnaissance peut permettre de travailler les exercices. Dans la littérature, des taux de classification corrects ont été obtenus sur un éventail limité de classes, c'est-à-dire cinq principaux sons de beatbox : bass drum, open hi-hat, closed hi-hat, k-snare et p-snare (Sinyor et al., 2005). À notre connaissance, la reconnaissance automatique des sons de beatbox à l'aide d'un système de reconnaissance vocale n'a été explorée que par (Picart et al., 2015). Leur base de données se compose de 5 sons percussifs de beatbox : cymbal, hi-hat, kick, rimshot, snare et 8 imitations d'instruments. Les performances étaient faibles pour les imitations d'instruments (taux d'erreur de reconnaissance de 41 %), mais plutôt correctes pour les classes se limitant aux sons percussifs (taux d'erreur de reconnaissance de 9 %).

En orientant nos efforts vers le développement d'un système de reconnaissance automatique des sons de beatbox efficace et fiable, nous visons à étendre le nombre de classes de sons et à permettre la reconnaissance de variantes subtiles dans la production de sons de beatbox. Nous considérons le human-beatbox comme un langage musical composé d'unités sonores que nous appellerons boxèmes en référence aux phonèmes de la parole. Par ailleurs, ce travail a été réalisé dans le but de créer un dispositif artistique interactif qui fournit des retours visuels lors de la production de sons de beatbox.

Le document est structuré comme suit : La section II présente la base de données. Le système de reconnaissance est présenté dans la section III. Différentes expériences sont décrites dans la section IV et leurs résultats sont donnés dans la section V. Les sections VI et VII présentent une discussion puis une conclusion, ainsi que les perspectives de nos travaux. Par ailleurs, ce travail a été présenté lors du workshop international MAVEBA (Evain et al., 2019).

# 2 Corpus et matériel utilisé

Notre corpus de sons de beatbox appelé beatbox-VG2019 a été enregistré par deux beatboxeurs masculins : un beatboxeur professionnel (troisième auteur, nom de scène Andro) et un amateur (deuxième auteur). Il est composé de 80 boxèmes et peut être considéré comme un vaste corpus par rapport aux corpus précédemment présentés dans la littérature (et utilisés pour de la classification). Seuls les sons isolés sont considérés dans nos travaux, les séquences rythmiques étant écartées dans un premier temps.

Un système d'écriture pictographique basé sur l'articulation, développé par le deuxième auteur et s'appelant Vocal Grammatics (Contesse & Pinchaud, 2019) a été utilisé pour l'annotation. Dans cette écriture, les glyphs sont composés de deux informations : l'une sur les organes de la parole
<table><caption>TABLE 1: Récapitulatif des différents microphones</caption><thead><tr><td>Microphone</td><td>Distance de la bouche</td><td>Spécifications</td></tr></thead><tbody><tr><td>Brauner VM1 (braun)</td><td>10 cm</td><td>condensateur + filtre pop</td></tr><tr><td>DPA 4006 (ambia)</td><td>50 cm</td><td>condensateur, micro d'ambiance</td></tr><tr><td>DPA 4060 (tie)</td><td>10 cm</td><td>condensateur</td></tr><tr><td>Shure SM58 (sm58p)</td><td>10 cm</td><td>dynamique</td></tr><tr><td>Shure SM58 (sm58l)</td><td>15 cm</td><td>dynamique</td></tr><tr><td>Shure beta 58 (beta)</td><td>1 cm</td><td>dynamique + encapsulé</td></tr></tbody></table>

utilisés, l'autre sur la manière dont les sons sont produits (plosives, fricatives...). La Figure 1 illustre ce système d'écriture dans le cas d'un son plosif bilabial avec un glyphe morphologique représentant deux lèvres et un glyphe symbolique en forme de croix représentant la plosion.

<figure><img src="image_100.png" /><figcaption>FIGURE 1: Représentation d'un son plosif bilabial avec le système d'écriture *Vocal Grammatics*.</figcaption></figure>

Notre corpus de *boxèmes* a été enregistré avec six microphones. Cinq d'entre eux enregistraient simultanément et le dernier était encapsulé (une ou deux mains recouvrent la capsule du microphone). Les microphones différaient en termes de spécificités (par exemple, à condensateur ou dynamique) et de placement. Le tableau 1 donne les détails des microphones alors que le tableau 2 récapitule la composition du corpus.

L'apprentissage des modèles acoustiques a été réalisé avec la boîte à outils Kaldi (Povey et al., 2011). En ce qui concerne les données de test, il s'agit de répétitions de différents sons de beatbox (pas toujours les même à la suite), dont la production est relativement lente (on peut percevoir une légère pause entre chaque son). Dans ce cadre de test, l'utilisation d'un système de reconnaissance automatique de la parole continue révèle son intérêt.

## 3 Reconnaissance du beatbox

Notre approche part de l'hypothèse que le *human-beatbox* est structuré comme un langage musical, utilisant les organes de la parole pour produire des unités sonores qui peuvent être distinguées les unes
<table><caption>TABLE 2: Caractéristiques du corpus beatbox-VG2019</caption><tr><td>Beatboxers</td><td>Adrien (amateur), Andro (professionnel)</td></tr><tr><td>Nom du corpus</td><td>beatbox-VG2019</td></tr><tr><td>Nombre de boxèmes (= taille du vocabulaire)</td><td>80</td></tr><tr><td>Nombre de boxèmes par beatboxeur</td><td>Adrien : 56/80 Andro : 80/80</td></tr><tr><td>Transcription</td><td>Vocal Grammatics</td></tr><tr><td>Microphone</td><td>5 simultanés + 1 encapsulé</td></tr><tr><td>Fréquence d'échantillonnage et précision</td><td>44100 Hz, 16 bits, mono</td></tr><tr><td>Durée totale d'enregistrement</td><td>~206 min</td></tr><tr><td><strong>Apprentissage</strong></td><td></td></tr><tr><td>Durée d'enregistrement</td><td>~92 min</td></tr><tr><td>Nombre de répétitions des boxèmes</td><td>6 ou 2</td></tr><tr><td><strong>Test</strong></td><td></td></tr><tr><td>Durée d'enregistrement</td><td>~114 min</td></tr><tr><td>Nombre de répétitions des boxèmes</td><td>7 en moyenne</td></tr></table>

des autres et qui ont chacune une signification musicale spécifique pour le beatboxer. Dans ce contexte, un système de reconnaissance initialement dédié à la parole pourrait permettre de reconnaître les productions du beatbox. Généralement, dans le cadre de la reconnaissance automatique de la parole, les mots sont décomposés en unités (phonèmes, syllabes etc.) qui permettent de définir un lexique associant chaque mot à sa représentation sous forme d'unités atomiques. Les modèles acoustiques sont alors entraînés pour reconnaître ces unités.

Dans ce travail préliminaire, nous avons considéré chaque son de beatbox comme étant atomique : nous partons sur une approche de reconnaissance de mots isolés. La co-articulation ou la frontière extra-boxèmes ont été écartées, tout en conservant les contraintes de traitement du bruit, de variabilité intra et inter-locuteur. À terme nous souhaitons travailler sur des sous-unités au niveau des sons, mais nous manquons encore de données pour généraliser ces sous-unités.

Les paramètres utilisés sont de type MFCC. Ces paramètres se basent sur le système auditif périphérique humain (Tiwari, 2010) et sont largement utilisées dans les systèmes de reconnaissance automatique de la parole. Chaque son de beatbox a été associé à un modèle de Markov caché (HMM). Nous nous sommes limités à une approche HMM-GMM car les quantités de données d'apprentissage sont très faible (quelques dizaines de minute) et la parole beatboxée est tellement spécifique qu'il nous semblait difficile d'exploiter des méthodes neuronales (par apprentissage direct ou même par transfert d'apprentissage).

Notre objectif est avant tout d'appliquer les principes d'un système de reconnaissance de la parole continue avec la constitution d'unités acoustiques (nos boxèmes), d'un lexique (nos 80 sons pour l'instant) et d'un modèle de langage (qui n'est pas traité ici, mais qui représenterait la rythmique des séquences beatboxées).

Dans nos expériences, l'apprentissage a été réalisé avec une sélection du nombre de Gaussiennes automatique en fonction de la quantité de données (cependant, nous avons essayé différentes quantités de Gaussiennes, sans observer le moindre impact). Par ailleurs, au niveau du modèle de langage,
la probabilité d'émission d'un boxème est identique pour chacun d'eux étant donné que dans ces
expériences préliminaires nous ne prenons pas en compte les séquences. Le système est donc capable
de reconnaître de manière continue les boxèmes produits sans avoir de connaissance a priori sur la
rythmique.

4 Méthode

Plusieurs systèmes ont été conçus dans le but de tester divers paramètres. L'influence dans l'appren-
tissage de chaque microphone avec différents placements et sensibilités a été étudiée afin de savoir
si tous les enregistrements pouvaient être utilisés ensemble pour former un système plus robuste.
Pour chaque microphone, nous avons découpé les enregistrements en une base d'apprentissage (6
répétitions de boxèmes) et une base de test (1 à 12 répétitions de boxèmes). Les résultats nous
permettent de classer les microphones du plus efficace au moins efficace.

Pour cette première étude, nous avons souhaité nous concentrer sur les boxèmes produits de façon non-encapsulée. Le fait d'encapsuler le microphone (le recouvrir de la main) modifie le résultat sonore pour un boxème donné. Comme cinq des six microphones étudiés ont été utilisés de façon non-encapsulée par les beatboxeurs, le nombre d'enregistrements disponibles est plus conséquent que celui des boxèmes produits de façon encapsulés.

L'impact de différents paramètres sur la reconnaissance a été testé : le nombre d'états des HMM, les paramètres MFCC, la probabilité d'apparition d'un silence, ainsi que l'ajout ou non d'un phonème de pause dans le lexique. Certains choix ont été basés sur l'article de (Picart et al., 2015). Nous présentons ici les résultats pour quatre configurations du système de reconnaissance :

- configuration A : les quatre paramètres cités ci-dessus sont par défaut, à savoir 3 états HMM, 13 paramètres MFCC, la probabilité d'apparition d'un silence à 0.5 et l'absence de phonème pause dans le lexique;

- configuration B : une pause a été ajoutée dans le lexique et la probabilité d'apparition d'un silence est fixée à 0.8;

- configuration C : même base que la configuration B. Le nombre de coefficients MFCC passe à 22;

- configuration D : même base que la configuration B. Le nombre d'états HMM passe à 5.

Le lexique d'un système de reconnaissance de la parole est de la forme 'mot : transcription phonétique'.
Ici, le mot est un boxème. La pause indiquée dans les systèmes ci-dessus a été ajoutée dans le lexique
de la façon suivante : 'boxème : pause transcription_phonétique pause'. Cette pause n'est pas présente
dans la transcription manuelle des corpus de test et n'est pas présente dans l'hypothèse de décodage.
Les systèmes B, C et D sont donc comparables au système A puisque la valeur de dénominateur du
BER est la même.

La mesure d'évaluation 'BER' -*Boxeme Error Rate*- est utilisée pour évaluer le système. Elle est directement inspirée du taux d'erreur sur les mots (WER) puisqu'il est calculé en additionnant le nombre de substitutions, d'insertions et de suppressions divisé par le nombre de boxèmes dans la référence. Plus la reconnaissance est bonne, plus la valeur du BER est faible. Le CBR (taux de boxèmes correct) est également utilisé en table 3 afin d'avoir une deuxième mesure de l'efficacité du système. Il indique le pourcentage de boxèmes correctement reconnus.
# 5 Résultats

Les figures 2 et 3 donnent le BER pour différents décodages. La ligne "but" sur l'axe horizontal représente notre objectif : obtenir un BER de 10 % ou moins, a priori fixé pour garantir une utilisation intéressante de notre système par le public.

<figure><img src="image_101.png" /><figcaption>FIGURE 2: BER obtenu avec des modèles acoustiques monophones pour les six microphones</figcaption></figure>

<figure><img src="image_102.png" /><figcaption>FIGURE 3: Évolution du BER pour les configurations A, B, C et D du système</figcaption></figure>

A : par défaut / B : prob. silence=0.8 + pause / C : B + MFCC=22 / D : B + états HMM=5

En figure 2 nous pouvons observer l'efficacité de chacun des six microphones. Nous avons constaté que les microphones à condensateur DPA et les microphones dynamiques Shure SM58, placés à proximité ou loin de la bouche du beatboxer, offrent des performances similaires. Des taux de reconnaissance plus faibles sont constatés pour les enregistrements avec le microphone dynamique Shure beta 58 encapsulé et le microphone à condensateur Brauner VM1.

Nous avons ensuite voulu tester l'incidence de certains paramètres sur la reconnaissance. Nous avons sélectionné un microphone pour ces tests : le Shure SM58 - 'sm58p' - utilisé proche de la bouche. Notre choix s'est porté sur celui-ci particulier car c'est un des microphones le plus utilisé par les beatboxeurs à l'échelle mondiale et que l'utilisation du microphone dans cette discipline est le plus souvent effectuée proche de la bouche. Un premier test a été de faire varier la probabilité de silence de 0,5 (par défaut) à 0,9 avec un pas fixé à 0,1. Notre meilleur modèle a été obtenu avec une probabilité de silence de 0,9, ce qui a donné un BER de 26,94 %. En spécifiant en plus un phonème de "pause" avant et après chaque boxème dans le lexique, nos meilleurs résultats sont de 16,97% de BER. Ceux-ci sont obtenus avec une probabilité de silence de 0,8. Cela s'explique par la configuration de nos expériences : nous avons demandé aux beatboxers de répéter un même son ; des pauses ont donc artificiellement été ajoutées en début ou fin de chaque son.

La figure 3 montre l'évolution des résultats avec différents paramètres : probabilité de silence plus élevée, ajout d'une pause dans le lexique, 22 paramètres MFCC au lieu de 13 par défaut et 5 états par HMM au lieu de 3 par défaut. Pour rappel, la configuration A est représentative d'un système avec les quatre paramètres laissés 'par défaut'. L'ensemble d'apprentissage a été réalisé avec des enregistrements de microphones non encapsulés.
Notre meilleur modèle est obtenu avec la configuration C et donne un BER de 15,13 %. Les configurations B et D sont très proches avec des BER de 16,97% et 16,24% respectivement (voir tableau 3 pour les détails concernant les substitutions, les insertions, les suppressions et les taux de boxèmes corrects).

Dans la figure 3 et le tableau 3, nous observons que chaque changement de paramétrage est bénéfique pour les substitutions, les insertions, les suppressions et les taux de boxèmes corrects. Le bénéfice le plus évident est pour le taux d'insertion qui passe à zéro. Le taux de boxème correct atteint 85% avec la configuration C.

<table><caption>TABLE 3: Insertions, substitutions, suppressions et taux de boxème correct (CBR) pour les configurations A B C D</caption><thead><tr><th></th><th>A</th><th>B</th><th>C</th><th>D</th></tr></thead><tbody><tr><th>Substitutions</th><td>19.19%</td><td>12.73%</td><td>10.70%</td><td>12.36%</td></tr><tr><th>Insertions</th><td>9.41%</td><td>0.18%</td><td>0.18%</td><td>0%</td></tr><tr><th>Deletion</th><td>5.72%</td><td>4.06%</td><td>4.24%</td><td>3.87%</td></tr><tr><th>CBR</th><td>75.09%</td><td>83.21%</td><td>85.06%</td><td>83.76%</td></tr></tbody></table>

A : par défaut / B : probabilité de silence 0.8 + pause / C : B + 22 MFCC / D : B + HMM à 5 états

# 6 Discussion

Comme nous l'avons vu précédemment, l'impact des différents microphones est assez faible, à l'exception des microphones Shure beta 58 et Brauner VM1 qui sont moins performants. Nous supposons que c'est à cause de la façon dont nous les avons utilisés (proximité par rapport au locuteur). En effet, le microphone Shure beta 58 est encapsulé et cette utilisation affecte les performances du microphone. Quant au microphone à condensateur Brauner VM1, nous pouvons observer qu'il fonctionne moins bien que l'autre microphone à condensateur de notre test (DPA 4060) et supposons qu'il a été placé trop près de la bouche du beatboxer. Enfin, ni le nombre de paramètres MFCC ni le nombre d'états dans le HMM n'apportent une nette amélioration. Nous suppositions qu'augmenter le nombre d'états HMM était intéressant pour les sons complexes qui sont composés de deux ou plusieurs boxèmes. Ces aspects seront analysés dans des études ultérieures.

# 7 Conclusion et perspectives

Notre approche démontre qu'utiliser un système de reconnaissance vocale pour reconnaître les sons de beatbox isolés est pertinent. Cela ouvre des perspectives pour la reconnaissance vocale de phrases beatboxées.

Jusqu'à présent, notre meilleur modèle a été obtenu avec une augmentation de la probabilité de silence (0,8 au lieu de 0,5), l'insertion d'un phonème de silence "pause" étant ajouté dans les contextes droits et gauche du vocabulaire et 22 paramètres pour les MFCC. Le meilleur BER obtenu est alors de 15,13%.

Nous avons pu observer que le type de microphone utilisé pour l'enregistrement ne semble pas avoir
d'influence sur le système. Il dépend plutôt de leur utilisation (encapsulé ou non). Mettre de côté le microphone encapsulé pour l'apprentissage donne de meilleurs résultats.

Quant aux différents types de production, lorsqu'ils sont mélangés, ils semblent dégrader fortement les performances. Pour l'instant, en ce qui concerne les substitutions, nous ne pouvons rien conclure car le système semble mélanger des sons qui sont assez semblables à l'oreille ou qui ont une articulation assez similaire, et des sons qui sont très différents. Nous supposons que la division du corpus en fonction de la longueur du son et l'adaptation du nombre d'états HMM pourraient améliorer le système.

Diviser chaque son en plus petits morceaux, comme on le fait pour les langues comportant des phonèmes ou des syllabes, est une perspective. En effet, à mesure que le vocabulaire du corpus augmentera, nous serons confrontés à un manque d'exemples pour l'apprentissage. Le fait de disposer d'un modèle basé sur des boxèmes réduirait le nombre de modèles nécessaires au système et permettrait le traitement de la coarticulation. De plus, il reste à explorer les séquences rythmiques (que nous pourions apparenter à un modèle de langage) et la reconnaissance des sons encapsulés. Enfin, il serait intéressant de voir si la reconnaissance des voix des femmes ou des enfants pose des problèmes dans le cadre des sons de beatbox.

Des perspectives plus techniques visent à résoudre le fait que les données annotées de beatbox sont pour l'instant très précieuses et rares. En effet, dans les expériences décrites nos ensembles d'apprentissage ne représentent tout au plus que quelques dizaines de minutes. Pour cette raison nous sommes restés concentrés sur des modèles de type HMM-GMM qui sont moins gourmands en données que des modèles à base de réseaux de neurones profonds : nous envisageons d'exploiter des techniques d'augmentation de données, de synthèse de données et l'utilisation d'outils non supervisés tels que wav2vec.

## Références

CONTESSE A. & PINCHAUD A. (2019). *vocal grammatics*. Web page, www.vocalgrammatics.fr, Last consulted : 2019-08-29.

EVAIN S., CONTESSE A., PINCHAUD A., SCHWAB D., LECOUTEUX B. & HENRICH BERNARDONI N. (2019). Beatbox sounds recognition using a speech-dedicated hmm-gmm based system.

HIPKE K., TOOMIM M., FIEBRINK R. & FOGARTY J. (2014). BeatBox : End-user Interactive Definition and Training of Recognizers for Percussive Vocalizations. p. 121–124, Como, Italy : ACM.

KAPUR A., TZANETAKIS G. & BENNING M. (2004). Query-by-Beat-Boxing : Music Retrieval For The DJ. Barcelona, Spain.

PICART B., BROGNAUX S. & DUPONT S. (2015). Analysis and automatic recognition of Human BeatBox sounds : A comparative study. In *2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*, p. 4255–4259, Brisbane, QLD, Australia. DOI : 10.1109/ICASSP.2015.7178773.

POVEY D., GHOSHAL A., BOULIANNE G., BURGET L., GLEMBEK O., GOEL N., HANNEMANN M., MOTLICEK P., QIAN Y., SCHWARZ P., SILOVSKY J., STEMMER G. & VESELY K. (2011). The Kaldi Speech Recognition Toolkit. p.4, Hilton Waikoloa, Big Island, Hawaii, US.
SINYOR E., MCKAY C., FIEBRINK R., MCENNIS D. & FUJINAGA I. (2005). Beatbox classification using ACE. p.4, London, UK.

TIWARI V. (2010). MFCC and its applications in speaker recognition. *International Journal on Emerging Technologies*, p. 19–22.
# Perception et production du trait de nasalité vocalique chez l'enfant porteur d'implants cochléaires.

Sophie Fagniart¹, Brigitte Charlier²,³, Véronique Delvaux¹,⁴, Anne Huberlant³, Kathy Huet¹, Myriam Piccaluga¹, Isabelle Watterman² et Bernard Harmegnies¹

(1) Institut de Recherche en Sciences et Technologie du Langage UMONS, Belgique

(2) Université Libre de Bruxelles, Avenue Franklin Roosevelt 50, 1050 Bruxelles, Belgique

(3) Centre « Comprendre et Parler », Rue de la Rive 101, 1200 Woluwe-Saint-Lambert, Belgique

(4) Fond National de la Recherche Scientifique, Belgique
sophie.fagniart@umons.ac.be

## RÉSUMÉ

L'implant cochléaire, malgré une amélioration considérable de la perception auditive, ne fournit qu'une information acoustique partielle, pouvant donner lieu à des difficultés de perception de certains contrastes phonétiques. L'étude présentée vise à déterminer les compétences de perception et de production des voyelles nasales et orales d'enfants porteurs d'implants cochléaires en comparaison aux compétences d'enfants normo-entendants. Malgré des résultats très satisfaisants dans les deux groupes, on observe des patterns d'erreurs spécifiques au groupe d'enfants implantés dans les tâches perceptives, ainsi que certaines particularités dans la réalisation phonétique des voyelles nasales, portant notamment sur les valeurs de bande passante.

## ABSTRACT

**Perception and production of the nasal vowels in cochlear implanted children.**

Cochlear implant, despite a considerable improvement of the auditory perception, provides only partial acoustic information, which can lead to difficulties in perceiving some phonetic contrasts. The present study aimed to determine the skills in perception and production of nasal and oral vowels between children with cochlear implants and normal hearing children. Despite very satisfactory results in both groups, there are patterns of errors specific to the group of children implanted in perceptual tasks, as well as some characteristics in the phonetic realization of nasal vowels, in particular with the bandwidth values.

MOTS-CLÉS : Implant cochléaire, nasalité vocalique, phonétique, perception, production

KEYWORDS: Cochlear implant, vocalic nasality, phonetics, perception, production

## 1 Introduction

Les voyelles nasales, du fait de leur réalisation articulaire impliquant le couplage de trois systèmes de résonance, donnent lieu à un signal acoustique riche et complexe. Dans ce cadre, il y a lieu de s'interroger sur la perception de cette classe de phonèmes auprès des personnes atteintes de surdité, dont l'accès à l'information acoustique est limité, la lecture labiale ne permettant pas de distinguer la nasalité vocalique (Borel, 2015). En ce qui concerne plus particulièrement la population atteinte de

<figure><img src="image_103.png" /></figure>
surdité et porteuse d'un implant cochléaire, il y a lieu, qui plus est, de se questionner sur la représentativité du signal émis par le dispositif – celui-ci étant composé de 12 à 22 électrodes de transmission contre des milliers de cellules ciliées dans l'oreille saine. Hawks, Fourakis, Skinner, Holden & Holden (1997) ont notamment mis en évidence des difficultés à discriminer des voyelles orales aux bandes passantes plus larges auprès d'une population implantée. Borel (2015) a centré différentes recherches sur la perception de la nasalité auprès d'une population adulte implantée (76 implantations unilatérales, 6 implantations bilatérales), au sein de différents paradigmes expérimentaux. Les 82 sujets testés ont présenté, dans une tâche d'identification phonémique, des performances significativement inférieures à celles de leurs pairs entendants en ce qui concerne la perception des voyelles nasales, qu'ils perçoivent comme des voyelles orales, et ce même après un délai post-implantation d'un an. Dans son étude de 2018, Crouzet a investigué la perception des consonnes et voyelles nasales auprès de 19 participants normo-entendants, en traitant les phonèmes utilisés via un vocodeur permettant de simuler la déformation sonore liée à l'implant en faisant varier différents paramètres permettant de moduler la résolution spectrale du son. Les résultats sont très marqués : tandis que les sujets ne présentent pas de difficulté accrue à traiter la nasalité au sein des consonnes – avec une tendance à l'amélioration des performances avec l'augmentation de la résolution spectrale - les voyelles nasales sont significativement moins bien perçues, quel que soit le paramétrage sélectionné pour les synthétiser. Ces différentes études corroborent l'hypothèse de difficultés accrues dans la perception des voyelles nasales chez les individus porteurs d'implant(s) cochléaire(s). Toutefois, nous notons l'absence d'études portant sur les compétences de production de cette distinction entre voyelles orales et nasales chez les individus porteurs d'implant(s) cochléaire(s) : est-ce que les déficits perceptifs se manifestent par une distinction moins marquée des voyelles orales/nasales en production ? De plus, la perception de la distinction des voyelles orales/nasales n'a été évaluée que chez l'adulte implanté. Qu'en est-il de l'enfant atteint de surdité pré-linguale porteur d'implants cochléaires ?

Par ailleurs, les études de la perception du son au travers d'un vocodeur par des sujets normo-entendants, outre le fait qu'elles peuvent ne pas représenter précisément l'input auditif perçu au travers de l'implant, ne permettent pas de rendre compte des stratégies perceptuelles mises en place par la population implantée. L'étude décrite ci-après vise à répondre à ces interrogations, en investiguant les capacités de perception et de production de voyelles orales et nasales auprès d'enfants atteints de surdité pré-linguales et porteurs d'implants cochléaires.

# 2 Méthodologie

## 2.1 Participants

L'étude a été menée auprès de deux groupes d'enfants âgés entre 5 et 12 ans : un groupe d'enfants atteints de surdité et porteurs d'implants cochléaires (groupe IC) et un groupe témoin d'enfants normo-entendants (groupe NE). Le groupe IC était constitué de 13 enfants (7 filles et 6 garçons), âgés entre 5;8 ans et 11;6 ans, présentant une surdité de perception pré-linguale profonde bilatérale, tous porteurs d'implants cochléaires bilatéraux de la marque « Cochlear » (implantation entre 9 et 30 mois), recrutés grâce aux logopèdes du centre « Comprendre et Parler » de Bruxelles (n=9) et au « Centre Médical d'Audiophonologie (CMAP) » de Montegnée (n=4). Ils ont tous reçu une rééducation auditive de type « oraliste », aussi bien dans le contexte de leur centre de réhabilitation que dans leur contexte familial. Le « Langage parlé complété », soutien à la discrimination phonologique et à la lecture labiale, est couramment utilisé auprès de ces enfants avec les orthophonistes et aidants de leur centre de réhabilitation, et certains le pratiquent également en contexte familial (n=7). Leur courbe d'audiométrie vocale en répétition de mots/pseudo-mots se situe de 88 à 100% à 55/60dB. Le groupe
NE était constitué de 25 enfants (11 filles et 14 garçons) âgés de 5 à 12 ans (moyenne : 8;6 ans – écart-type : 2;4 ans), scolarisés dans l'enseignement général, ayant pour langue maternelle le français (familles monolingues), notons que certains sont toutefois en enseignement néerlandophone (n= 7). Les sujets ayant reçu ou suivant une prise en charge orthophonique ont été exclus lors du recrutement.

## 2.2 Tâches

Trois tâches ont été administrées : une tâche d'identification de mots-cible (pseudo-mots C1V1C2V2 avec C1=C2=/t/ et V1=V2 parmi /ã, õ, ë/ ou /a, o, ε, u/ : /tãtã/, /tõtõ/, /têtê/, /tata/, /toto/, /tɛtɛ/, /tutu/) en contexte phrastique, une tâche de discrimination et une tâche de répétition de ces pseudo-mots. La tâche d'identification consistait à présenter une phrase au sein de laquelle se trouvait un mot-cible contenant une voyelle orale ou nasale. Nous avons choisi d'utiliser des pseudo-mots afin d'éviter tout effet de fréquence lexicale, et afin de pouvoir utiliser une structure commune pour tous les items. Les pseudo-mots cibles ont ainsi été construits de telle façon qu'il soit nécessaire de traiter l'information spectrale des voyelles orales et nasales, en limitant des effets de coarticulation, de longueur de segments ou encore d'indices prosodiques. Les voyelles orales sélectionnées présentent soit une proximité phonologique, soit une proximité phonétique avec une des voyelles nasales du français. Par exemple, l'opposition phonologique de la voyelle nasale /ã/ est constituée par la voyelle orale /a/, tandis que la réalisation phonétique de cette même voyelle nasale sans nasalité est davantage proche phonétiquement de la voyelle orale /ɔ/ / (français parisien : Borel, 2015 ; français de Belgique : Delvaux, 2012). La consonne /t/ a été choisie afin de limiter des effets de variabilité liés à la coarticulation. Les pseudo-mots ont été construits sur base de stimuli naturels, produits par un locuteur masculin. La durée de V1 et V2 a été contrôlée et fixée à 100ms afin d'éviter des biais de réponse liés à la longueur des voyelles – celle-ci étant un indice perceptif important dans la discrimination des voyelles orales et nasales (Delattre & Monnot, 1968). Huit phrases (produites de façon naturelle par un locuteur masculin) ont été construites de sorte que le pseudo-mot soit placé en position intermédiaire (« J'ai vu tantan près du bus ») ou en position finale (« Près du bus, j'ai vu tantan »), pour un total de 56 items (8 phrases*7 mots-cible).

Lors de la tâche d'identification, chaque pseudo-mot était associé à un personnage représenté sur une carte disposée sur la table. Durant une phase d'apprentissage, l'expérimentateur apprenait à l'enfant le nom des personnages par l'association d'un geste et d'une phrase mnémotechnique afin de faciliter leur rétention. Ensuite, il était demandé à l'enfant de prendre la carte correspondante au personnage cité au sein d'une phrase qu'il entendait, pour la placer sur une image correspondant à la phrase produite (pour exemple : « J'ai vu tonton près du bus », l'enfant prend la carte « Tonton » et la place à côté de l'image du bus). La tâche de discrimination (même/différent) a consisté en la présentation de 63 paires de pseudo-mots (5*9 paires différentes et 1*18 paires identiques, écart inter stimuli = 100ms) constituées de façon à évaluer si les voyelles orales étaient moins aisément discriminées si elles étaient présentées avec une voyelle orale proche phonétiquement ou phonologiquement (tableau 1).

<table><caption>TABLEAU 1 : Tâche de discrimination : paires de stimuli présentés.</caption><tr><td rowspan="3">nasales/orales –<br/><b>correspondant</b><br/><b>phonologique</b></td><td>Tantan – Tata (5x)</td><td>Tintin – Tètè (5x)</td><td>Tonton – Toutou (5x)</td></tr><tr><td>Tantan – Tantan</td><td>Tintin – Tintin</td><td>Tonton – Tonton</td></tr><tr><td>Tata – Tata</td><td>Tètè – Tètè</td><td>Toutou – Toutou</td></tr><tr><td rowspan="3">nasales/orales –<br/><b>correspondant</b><br/><b>phonétique</b></td><td>Tantan – Toto (5x)</td><td>Tintin – Tata (5x)</td><td>Tonton – Toto (5x)</td></tr><tr><td>Tantan – Tantan</td><td>Tintin – Tintin</td><td>Tonton – Tonton</td></tr><tr><td>Toto – Toto</td><td>Tata – Tata</td><td>Toto – Toto</td></tr><tr><td rowspan="3">Orales/orales</td><td>Tata – Toto (5x)</td><td>Tètè – Tata (5x)</td><td>Toutou – Toto (5x)</td></tr><tr><td>Tata – Tata</td><td>Tètè – Tètè</td><td>Toutou – toutou</td></tr><tr><td>Toto – Toto</td><td>Tata – Tata</td><td>Toto – Toto</td></tr></table>
Les réponses des enfants étaient récoltées via une application informatique développée par le laboratoire de phonétique de l'UMONS sur tablette tactile (Microsoft Surface Pro3). Afin de faciliter la rétention des consignes, des pictogrammes étaient placés sur les zones de réponses. Pour les deux tâches (identification et discrimination), les stimuli sonores étaient présentés aux enfants en champ libre via haut-parleurs (Bose Soundlink II) dont le volume sonore moyen était contrôlé grâce à un sonomètre et ajusté à 60dB, placés à 1 mètre du sujet.

Lors de la tâche de répétition, il était demandé aux enfants de produire une partie des stimuli-phrases de la tâche d'identification : les 4 phrases avec le pseudo-mot placé en position finale, soit 28 items (7 mots-cibles*4 phrases). Lors de cette tâche, afin de laisser au sujet la possibilité de capter les mouvements faciaux, l'expérimentateur produisait les phrases, tout en plaçant la carte du pseudo-mot cible sur la scène correspondante afin d'illustrer la phrase-cible produite. L'enfant était alors invité à produire oralement la phrase (production enregistrée via un magnétophone portable Zoom H5 posé à 25cm du sujet).

## 2.3 Traitement et analyse des données

Pour la tâche d'identification, nous avons analysé les pourcentages de bonnes réponses de chaque sujet pour chacun des phonèmes-cibles testés. Pour la tâche de discrimination, nous avons analysé les scores *d'*, calculés selon la méthode de MacMillan & Creelman (1991). Pour la tâche de répétition de phrases, nous avons calculé les pourcentages des différents mots-cibles correctement produits au sein des phrases. Un mot-cible était jugé comme correct lorsqu'il était identifié de façon univoque par l'expérimentateur lors de la réécoute attentive des enregistrements.

Par ailleurs, une analyse acoustique a été menée sur les productions de la tâche de répétition : segmentation manuelle des voyelles et, extraction de leur durée, mesures des valeurs des trois premiers formants et des bandes passantes grâce à une procédure automatique via le logiciel PRAAT (paramétrage : 5 formants, fréquence maximale = 5500Hz et fenêtre temporelle = 0,025s).

Les analyses acoustiques, plus spécifiquement de certains paramètres acoustiques liés à la distinction voyelles orales/nasales, doivent nous permettre de qualifier objectivement les patterns de réalisations acoustiques de nos sujets. Ainsi, nous avons mesuré la durée des différentes voyelles produites, afin de voir si l'allongement caractéristique des voyelles nasales (Delattre, 1968) se retrouvait davantage dans un de nos groupes. Nous avons également mesuré les valeurs des trois premiers formants, afin d'observer si les réalisations acoustiques des deux groupes d'enfants étaient similaires sur les voyelles orales et nasales. D'autre part, nous avons utilisé ces valeurs afin de situer chaque production d'enfants dans le plan F1/F2 et de procéder à différentes comparaisons entre les paires de voyelles orales et nasales nous intéressant. Enfin, nous avons aussi extrait les valeurs des bandes passantes des trois formants de chacune des productions. En effet, certains auteurs ont rapporté que les bandes passantes des deux premiers formants pourraient être impliquées dans la perception de la nasalité (Hawks, Fourakis, Skinner & Holden, 1997 ; House & Stevens, 1956 ; Delvaux, 2013).

# 3 Résultats

Pour la tâche d'identification, on observe tout d'abord significativement (U(1) =462084 ; p<.001) de moins bonnes performances chez les enfants IC (88,5%) que chez les enfants NE (97,8%). Une analyse des comparaisons spécifiques indique que les différences de performance sont associées aux phonèmes /ã/ avec une performance de 90% pour le groupe NE contre 75% pour le groupe IC (U(1) = 79,5 ; p=.009) ; aux phonèmes /a/ avec une performance de 98% pour le groupe NE contre 87,5%
pour le groupe IC (U(1) = 88,5 ; p=.021) et aux phonèmes /u/ avec une performance de 100% pour le groupe NE contre 76,92% pour le groupe IC (U(1) = 37,5 ; p<.001).

<table><caption>TABLEAU 1 : Matrice de confusions des enfants normo-entendants (NE) et implantés (IC) pour chacun des phonèmes-cibles.</caption><thead><tr><th rowspan="2" colspan="2"></th><th colspan="7">Réponse</th></tr><tr><th>ã</th><th>ñ</th><th>ñ̃</th><th>a</th><th>o</th><th>u</th><th>ɛ</th></tr></thead><tbody><tr><th rowspan="6">Stimulus</th><th>ã</th><td>NE : 90%<br>IC : 76%</td><td>NE : 10%<br>IC : 22,1%</td><td>NE : /<br>IC : 0,9%</td><td>NE : /<br>IC : /</td><td>NE : /<br>IC : 1%</td><td>NE : /<br>IC : /</td><td>NE : /<br>IC : /</td></tr><tr><th>ñ</th><td>NE : /<br>IC : 5,8%</td><td>NE : 97,5%<br>IC : 92,3%</td><td>NE : /<br>IC : 1%</td><td>NE : /<br>IC : /</td><td>NE : 2%<br>IC : 1%</td><td>NE : 0,5%<br>IC : /</td><td>NE : /<br>IC : /</td></tr><tr><th>ñ̃</th><td>NE : /<br>IC : /</td><td>NE : /<br>IC : /</td><td>NE : 98,5%<br>IC : 90,4%</td><td>NE : 1,5%<br>IC : 9,6%</td><td>NE : /<br>IC : /</td><td>NE : /<br>IC : /</td><td>NE : /<br>IC : /</td></tr><tr><th>a</th><td>NE : 0,5%<br>IC : 1,9%</td><td>NE : /<br>IC : /</td><td>NE : 1%<br>IC : 9,6%</td><td>NE : 98,5%<br>IC : 87,5%</td><td>NE : /<br>IC : /</td><td>NE : /<br>IC : /</td><td>NE : /<br>IC : 1%</td></tr><tr><th>o</th><td>NE : /<br>IC : /</td><td>NE : /<br>IC : 1,9%</td><td>NE : /<br>IC : /</td><td>NE : /<br>IC : /</td><td>NE : 100%<br>IC : 98,1%</td><td>NE : /<br>IC : /</td><td>NE : /<br>IC : /</td></tr><tr><th>u</th><td>NE : /<br>IC : /</td><td>NE : /<br>IC : 1%</td><td>NE : /<br>IC : /</td><td>NE : /<br>IC : /</td><td>NE : /<br>IC : 15,4%</td><td>NE : 100%<br>IC : 76,9%</td><td>NE : /<br>IC : 6,7%</td></tr><tr><th rowspan="2">ε</th><th>ã</th><td>NE : /<br>IC : /</td><td>NE : /<br>IC : /</td><td>NE : /<br>IC : /</td><td>NE : /<br>IC : /</td><td>NE : /<br>IC : 1,9%</td><td>NE : /<br>IC : /</td><td>NE : 100%<br>IC : 98,1%</td></tr><tr><th>ñ</th><td>NE : /<br>IC : /</td><td>NE : /<br>IC : /</td><td>NE : /<br>IC : /</td><td>NE : /<br>IC : /</td><td>NE : /<br>IC : /</td><td>NE : /<br>IC : /</td><td>NE : /<br>IC : 1%</td></tr></tbody></table>

Lorsque l'on examine la matrice de confusion (tableau 2), on voit que l'erreur la plus fréquente aussi bien chez les enfants IC que les enfants NE sont les substitutions des phonèmes /ã/ par /ð/. Chez les enfants IC, les erreurs les plus fréquentes et peu/pas observées chez les enfants NE sont des substitutions des phonèmes /u/ par /o/, et de /ɛ̃/ par /a/, et de /a/ par /ɛ̃/, de /u/ par /ɛ/ et de /ð/ par /ã/.

Pour la tâche de discrimination, la moyenne des scores d' des enfants NE (4,41 – ce qui correspond à 98,45%) est significativement plus élevée que celle des enfants IC (4,12 – ce qui correspond à 94,87%), témoignant de moins bonnes capacités de discrimination chez ces derniers (U(1) = 11421 ; p=.04). En analysant plus spécifiquement les scores d', nous voyons des différences significatives entre les deux groupes pour /ɛ̃/-/a/-/ɛ/ (IC = 4.21 ; NE=4.47 ; U(1)=1233.5 ; p=.027), et /ð/-/u/-/o/ (IC = 3.86 ; NE=4.39 ; U(1)=1153 ; p=.013), les enfants IC commettant davantage d'erreurs que les enfants NE. On observe des performances équivalentes des deux groupes pour /ã/-/a/-/o/ (U(1) = 1434 ; p=.808).

Pour la tâche de répétition, on observe que les deux groupes ont des performances élevées, le taux d'erreurs étant très bas pour ce qui est de l'adéquation des deux voyelles produites au sein de chaque pseudo-mot, les enfants IC étant néanmoins globalement significativement meilleurs (U(1) =469694 ; p=.01). En ce qui concerne les mesures de durées des phonèmes en fonction du type de voyelle (figure 1), on constate : (1) que les voyelles nasales sont significativement plus longues lors de la production (orales= 0,097s – nasales = 0,135s - (U)=808056 ; p<.001), et (2) que les enfants du groupe IC produisent des segments significativement plus longs que ceux du groupe NE, et ce aussi bien pour les voyelles orales (NE = 0,093s - IC = 0,105s - (U)=193408 ; p<.001) que nasales (NE = 0,129s – IC = 0,147s - (U)=11262,5 ; p<.001).

L'analyse des valeurs de F1, F2 et F3 au sein des deux groupes, indique : (1) que les deux groupes présentent des valeurs formantiques similaires pour les voyelles nasales sauf pour le phonème /ɛ̃/ dont la valeur de F2 est significativement plus élevée au sein du groupe IC, (2) qu'en ce qui concerne les voyelles orales, il existe des différences significatives pour les valeurs de F1 de /a/ et /o/ qui sont plus élevées chez les enfants du groupe IC, et pour les valeurs du F2 du /o/ et /u/ qui sont cette fois moins élevées chez le groupe IC. Nous avons également comparé, entre les deux groupes, les distances euclidiennes dans le plan F1/F2 entre les paires de phonèmes associés selon leur proximité phonétique
ou phonologique. On constate que les groupes diffèrent significativement pour les valeurs de distances euclidiennes de /ã/ et /o/, la distance relative entre ces deux phonèmes étant plus faible chez les IC par rapport aux NE.

<figure><img src="image_104.png" /></figure>

FIGURE 1 (gauche) : Moyennes des durées segmentales, en fonction du groupe et du type de voyelle
- FIGURE 2 (droite) : Moyennes des valeurs moyennes de bandes passantes des trois premiers formants, en fonction du groupe et du type de voyelle.

Enfin, nous avons comparé, entre les deux groupes, les moyennes des bandes passantes des trois premiers formants (Figure 2), pour chaque type de voyelle (orales/nasales). On observe une différence significative entre les valeurs de bande passante de F1 : (1) pour les voyelles orales ((U)=80056 ; p=.030), les enfants IC ayant des valeurs supérieures (IC= 212,44 Hz; NE= 147,00 Hz), et (2) pour les nasales ((U)=170372,5 ; p=.006), les enfants IC ayant des valeurs plus basses (IC= 268,24 Hz; NE =312,14 Hz), mais également des différences significatives sur les valeurs de bande passante de F3 uniquement pour les nasales ((U)=176371 ; p<.001), les enfants IC ayant alors des valeurs plus élevées (IC = 763,9 Hz; NE = 711,77 Hz).

Par ailleurs, un effet d'interaction significatif entre la variable groupe et la variable nasalité sur les valeurs de bande passante de F1 (F(1, 2064)= 14,919 : p<.001) a été mis en évidence : les enfants NE marquent de façon nette la nasalité par une augmentation de 212%, correspondant à une augmentation de 168 Hz, l'augmentation de bande passante des nasales pour le groupe IC n'est que de 126%, correspondant à une augmentation de 56 Hz.

## 4 Discussion

Tout d'abord, en ce qui concerne la première tâche perceptive (identification de pseudo-mots au sein de phrases), notons que les enfants IC, malgré des performances moins élevées que le groupe NE, présentent des performances assez satisfaisantes de presque 90% de réponses correctes. Lors de la tâche de discrimination, les enfants IC ont à nouveau présenté des scores inférieurs aux NE. En outre, l'erreur la plus fréquente lors de la tâche d'identification au sein du groupe IC porte sur le phonème nasal /ã/ confondu avec une autre nasale /ð/, et davantage d'erreurs au sein du triplet /ã/-/a/-/o/ lors de la tâche de discrimination, erreurs qui sont également les plus fréquentes dans le groupe NE, ne semblant pas témoigner de difficultés spécifiques au groupe IC. Par ailleurs, on note certaines erreurs chez les IC qui sont très peu présentes voire totalement absentes chez les enfants NE, à savoir : (1) des erreurs de confusion entre les phonèmes /ɛ/ et /a/, ou sur le phonème /u/, confondu avec /o/ et /ɛ/ lors de la tâche d'identification, et (2) davantage d'erreurs pour /ɛ/-/a/-/u/ et /ð/-/o/-/u/ en discrimination. Des confusions entre voyelles nasales /ɛ/, /ð/ avec les orales /a/, /o/, /u/ proches phonétiquement avaient déjà été rapportées comme une erreur fréquente dans la population implantée
adulte (Borel, 2015), ce qui corrobore l'hypothèse d'une difficulté à percevoir la nasalité de certains phonèmes, alors confondus avec une voyelle orale proche phonétiquement. Pour ce qui est du phonème /u/, nous n'avions pas connaissance d'études ayant rapporté de difficultés de perception de ce phonème chez l'enfant implanté. Nous pouvons évoquer comme piste explicative la compacité de ce phonème, ayant des valeurs formantiques plus basses et très rapprochées par rapport aux autres voyelles orales du français. Du fait du manque relatif de finesse des informations spectrales par l'implant, notamment en basses fréquences les informations spectrales liées à ce phonème pourraient être moins bien perçues et donner lieu à des confusions. Le phonème /o/, ayant des valeurs spectrales proches de ce phonème, est un parfait candidat pour le substituer. De plus, /u/ et /o/ ont une configuration articulaire proche, du moins sur la dimension la plus visible, à savoir l'arrondissement des lèvres.

Au niveau de la production, on a remarqué des performances similaires entre les deux groupes d'enfants, les enfants IC n'ayant donc pas de difficultés à répéter adéquatement des pseudo-mots contenant des voyelles orales ou nasales. Toutefois, nous remarquons des différences se marquant au niveau acoustique. Tout d'abord, les enfants IC présentent des durées phonémiques plus élevées que les NE, cet allongement étant davantage marqué sur les voyelles nasales. Sachant que l'allongement de la durée des segments aide à la perception de la nasalité (Delattre, 1968), il est possible que cet allongement témoigne de l'utilisation d'indices temporels dans la perception et la production de segments vocaliques. Pour ce qui est des valeurs formantiques, on remarque que les valeurs sont pratiquement similaires au sein des trois premiers formants pour la production des voyelles orales et nasales, traduisant un geste articulaire très proche entre les deux groupes. Les quelques différences portent sur les voyelles orales /a/ et /o/ ayant des valeurs de F1 plus élevées, pouvant traduire une aperture plus importante, et /o/, /u/ dont les valeurs de F2 sont plus faibles, peut-être donc davantage antériorisées. La voyelle nasale /ɛ/ présente quant à elle des valeurs de F2 plus élevées, témoignant d'une antériorisation de cette voyelle. Par ailleurs, nous avons mesuré les distances euclidiennes entre chaque voyelle nasale et son correspondant phonétique et phonologique au sein des deux groupes. On a remarqué une tendance générale à produire de façon plus proche des paires dites « phonétiques » (/ã/ et /o/, /ɛ/ et /a/, /ð/ et /o/) montrant à nouveau que ces paires de phonèmes semblent plus proches perceptuellement et qu'il y a donc lieu de les voir comme les principaux correspondants de l'opposition « orale/nasale ». Cette observation corrobore celle de différents auteurs ayant rapporté davantage de proximité perceptuelle et acoustique entre ces différentes paires (Delvaux, 2013 ; Carignan, 2014). Par ailleurs, nous avons noté que les distances euclidiennes de l'opposition /ã/ et /o/ étaient plus faibles au sein des productions des enfants IC, signifiant encore davantage de proximité dans la réalisation acoustique de ces deux phonèmes.

Enfin, les analyses réalisées sur les bandes passantes des formants nous ont permis de montrer, d'une part, une augmentation significative généralisée de la bande passante de F1 et F3 pour les voyelles nasales au sein des deux groupes, et, d'autre part, une augmentation moindre pour les enfants IC par rapport aux enfants NE sur les valeurs de bande passante de F1. L'augmentation de la bande passante pour les voyelles nasales avait déjà été rapportée dans la littérature. Les auteurs justifient cette augmentation par un amortissement du pic fréquentiel liée à la mise en résonance des cavités nasales, dont la surface plus étendue et surmontée d'une muqueuse absorbante va amortir le son, augmentant sa bande passante et diminuant son intensité (Bernthal & Beuckelman, 1977 ; Delvaux, 2012). Nos résultats confirment que la nasalité est bien associée à des valeurs de bande passante augmentées, du moins pour F1 et F3. Par ailleurs, nous avons vu que cette augmentation liée à la nasalité se réalisait de façon moins importante pour les valeurs de F1 dans notre groupe IC, d'une part car les valeurs de bande passante étaient plus élevées pour les voyelles orales, et d'autre part car ces valeurs étaient beaucoup plus faibles pour les voyelles nasales, donnant une augmentation très faible liée à la production de la nasalité (d'environ 120% contre 210% pour les NE). Ces différences suggèrent une
production atypique des voyelles, avec une faible différenciation des voyelles nasales et orales concernant les valeurs de bande passante. Or, si cette augmentation de bande passante traduit la mise en résonance de la cavité nasale, il est ainsi possible que les mouvements du port vélo-pharyngé soient imprécis, incomplets ou encore absents lors de la transition entre résonance orale et nasale. Cette proposition serait congruente avec les résultats de l'étude de Baudonck, Van Lierde, D'haeseleer et Dhooge (2015), observant en nasalance davantage de nasalité dans le timbre des enfants IC. Si les enfants IC ont des difficultés à gérer le contrôle entre nasalité et oralité via les mouvements de leur port vélo-pharyngé, il est normal que ceux-ci présentent une résonance nasale plus proche lors de sons oraux et nasaux. Notons toutefois que ces différences n'ont pas été perçues lors des productions qui ont été identifiées comme adéquates à plus de 95%, pouvant laisser penser à l'emploi de stratégies alternatives permettant la production de variantes phonétiques adéquates pour permettre de distinguer les voyelles orales des voyelles nasales. L'allongement des segments oraux et nasaux observé chez les enfants IC, combiné à une configuration articulaire orale très proche de la réalisation phonétique des voyelles nasales, pourrait ainsi constituer une stratégie efficace de marquage de la nasalité vocalique.

Les erreurs observées lors des tâches de perception et les particularités relevées lors des productions de segments oraux et nasaux peuvent être mises en lien. En effet, si l'implant cochléaire transmet incomplètement et de manière atypique les informations spectrales nécessaires à la perception de certains indices acoustiques, comme la nasalité vocalique, l'enfant présentera, dès lors, des difficultés à traiter ces phonèmes mais aussi à les produire, du fait du fonctionnement imprécis de la boucle audio-phonatoire. Le fonctionnement de cette boucle permet un feedback auditif à l'enfant de ses propres productions, permettant lors de son développement de les ajuster afin de maîtriser les sons de sa langue. Or, si le système auditif est défaillant, la boucle audio-phonatoire fonctionnera de manière imprécise, donnant un feedback biaisé de l'enfant sur ses propres productions. On peut donc aisément imaginer que si certains traits phonologiques ne sont pas perçus adéquatement, ils seront également sujets à des imprécisions au niveau articulaire. Ceci pourrait expliquer les particularités acoustiques relevées dans notre groupe d'enfants implantés concernant la production des voyelles nasales.

# 5 Conclusion

Ces résultats semblent intéressants à prendre en compte pour le diagnostic et la prise en charge des enfants porteurs d'implants cochléaires. En effet, malgré des performances en apparence très satisfaisantes, les patterns d'erreurs en perception et les particularités en production laissent à penser que le signal acoustique n'est pas traité de la même manière chez l'enfant implanté et chez l'enfant normo-entendant. Par ailleurs, bien que les résultats obtenus par les enfants implantés de notre étude soient en apparence très proches de ceux obtenus par les enfants normo-entendants, il faut garder à l'esprit que les tâches administrées ne reflètent peut-être pas le fonctionnement perceptif et productif de l'enfant dans sa vie de tous les jours, où il sera confronté à du bruit, différents locuteurs, des états de fatigue et de santé variables, ou tout autre facteur pouvant limiter la mise en place de stratégies de compensation pour percevoir adéquatement un input auditif dégradé. De plus, notons que le trait phonétique de nasalité a été ici évalué dans un contexte lexical. Bien que les mots-cible aient été des pseudo-mots, l'association préalable avec des personnages les ont lexicalisés, et, en outre, ces mots-cible étaient présentés aussi bien en perception qu'en production comme des éléments saillants au sein de phrases. De plus, les possibilités de réponse étaient restreintes aux choix proposés à l'enfant, on peut se demander, en contexte d'identification libre des phonèmes, comment les enfants implantés classifient les sons de parole perçus. Si l'on remarque certaines particularités perceptives et productives dans des contextes privilégiés comme ceux-ci, qu'en est-il du traitement de ce type de contraste phonétique au sein de segments moins saillants et plus abstraits du langage, comme les morphèmes grammaticaux ? Les morphèmes grammaticaux sont davantage vulnérables à des
difficultés de traitement cognitif et/ou perceptif. L'investigation du lien entre le développement phonétique-phonologique et les composantes langagières dites de niveaux supérieurs, comme la morphosyntaxe, nous semble être du plus grand intérêt au sein de la population d'enfants implantés, et fera l'objet de nos travaux de thèse.

Références

BAUDONCK, N., VAN LIERDE, K., D'HAESELEER, E., & DHOOGE, I. (2015). Nasalance and nasality in children with cochlear implants and children with hearing aids. International journal of pediatric otorhinolaryngology, 79(4), 541-545. doi.org/10.1016/j.ijporl.2015.01.025

BERNTHAL, J. E., & BEUKELMAN, D. (1977). The effect of changes in velopharyngeal orifice area on vowel intensity. Cleft Palate Journal, 14(1), 63-77.

BOERSMA, P. (2001). Praat, a system for doing phonetics by computer. Glot International 5:9/10, 341-345.

BOERSMA, P. & WEENINK, D. (2019). Praat: doing phonetics by computer [Computer program]. Version 6.0.56, retrieved 13 March 2019 from http://www.praat.org/

BOREL, S. (2015). Perception auditive, visuelle et audiovisuelle des voyelles nasales par les adultes devenus sourds. Lecture labiale, implant cochléaire, implant du tronc cérébral (Doctoral dissertation). Université de Sorbonne Nouvelle.

CARIGNAN, C. (2014). An acoustic and articulatory examination of the “oral” in “nasal” : The oral articulations of French nasal vowels are not arbitrary. Journal of phonetics, 46, 23-33. doi.org/10.1016/j.wocn.2014.05.001

CORRETGE, R. (2019). Praat Vocal Toolkit. http://www.praatvocaltoolkit.com

CROUZET, O. (2018). Perception des consonnes et voyelles nasales en parole vocodée: Analyse de la contribution des niveaux de résolution spectrale et temporelle. Actes des XXXIIèmes Journées d'Études sur la Parole-JEP2018, Aix-en-Provence, France, 4-8.

DELATTRE, P., & MONNOT, M. (1968). The role of duration in the identification of French nasal vowels. IRAL-International Review of Applied Linguistics in Language Teaching, 6(1-4), 267-288.

DELVAUX, V., METENS, T., & SOQUET, A. (2002). Propriétés acoustiques et articulatoires des voyelles nasales du français. XXIVèmes Journées d'étude sur la parole, Nancy, 1, 348-352.

DELVAUX, V., DEMOLIN, D., SOQUET, A., & KINGSTON, J. (2004). La perception des voyelles nasales du français. Actes des XXVèmes JEP, 157-160.

DELVAUX, V. (2012). Les voyelles nasales du français. Aérodynamique, articulation, acoustique et perception. Presses Interuniversitaires de Bruxelles, Belgique : GRAMM-R.

HAWKS, J. W., FOURAKIS, M. S., SKINNER, M. W., HOLDEN, T. A., & HOLDEN, L. K. (1997). Effects of formant bandwidth on the identification of synthetic vowels by cochlear implant recipients. Ear and hearing, 18(6), 479-487.

MACMILLAN, N. A., & CREELMAN, C. D. (1991). Detection theory: A user's guideCambridge University Press. New York.

MAEDA, S. (1993). Acoustics of vowel nasalization and articulatory shifts in French nasal vowels. In Huffman, M.K. & Krakow, R.A. (Eds.) *Phonetics and phonology : Nasals, nasalization, and the velum* (pp. 147-167). New York : Academic Press. doi.org/10.1016/B978-0-12-360380-7.50010-7
# Une nouvelle mesure de la réverbération pour prédire les performances a priori de la transcription de la parole

Sébastien Ferreira¹,², Jérôme Farinas¹, Julien Pinquier¹, Julie Mauclair¹ et Stéphane Rabant²

(1) IRIT, Université de Toulouse, CNRS, Toulouse, France

(2) Authôt, 52 Avenue Pierre Semard, 94200, Ivry-sur-Seine, France

prenom.nom@irit.fr¹, sferreira@authot.com, srabant@authot.com

## RÉSUMÉ

Dans cette étude, nous explorons la prédiction *a priori* de la qualité de la transcription automatique de la parole dans le cas de la parole réverbérée enregistrée avec un seul microphone. Cette prédiction est faite avant le décodage pour informer les utilisateurs de la qualité de la transcription attendue. Dans cette étude, nous nous concentrons uniquement sur les pertes de performance liées à la réverbération. Une nouvelle mesure de réverbération appelée « Excitation Behavior » est introduite. Cette mesure exploite le résidus de la prédiction linéaire sur les fenêtres voisées du signal de parole. L'expérience a été menée sur le corpus Wall Street Journal, réverbéré par des réponses impulsionnelles provenant du REVERB Challenge. Par rapport aux autres mesures de réverbération testées, notre mesure obtient une amélioration relative de 20% de la prédiction du taux d'erreur (aussi bien au niveau des phonèmes que des mots).

## ABSTRACT

### A new reverberation measure to predict *a priori* ASR performance

In this study, we explore the *a priori* prediction of the quality of automatic speech transcription in the case of reverberant speech recorded with a single microphone. This prediction is made before decoding to inform users of the expected transcription quality. We studied only the performance losses related to reverberation. A new reverberation measure called "Excitation Behavior" is introduced. This measure exploits the residuals of the linear prediction on the voiced windows of the speech signal. The experiment was conducted on the Wall Street Journal corpus, reverberated with impulse responses from the REVERB Challenge. Compared to the other reverberation measurements tested, our measurement obtains a relative prediction improvement of more than 20% (both at phone and word level).

**MOTS-CLÉS** : prédiction de performance, reconnaissance automatique de la parole, réverbération.

**KEYWORDS**: performance prediction, automatic speech recognition, reverberation.

# 1 Introduction

Au cours de la dernière décennie, les systèmes de Reconnaissance Automatique de la Parole (RAP) ont atteint de bonnes performances sur de la parole « propre ». L'amélioration de la robustesse des systèmes de RAP par rapport aux différents environnements acoustiques est un problème de recherche toujours d'actualité. Même si actuellement les systèmes de RAP sont de plus en plus

<figure><img src="image_105.png" /></figure>
robustes, la qualité de la transcription reste fortement dépendante de la qualité du signal de parole. Dans les systèmes commerciaux de RAP, les enregistrements soumis à une tâche de transcription ont généralement (voir même quasi-exclusivement) un seul canal audio. Ce constat limite les méthodes pouvant être employées afin d'améliorer la robustesse des systèmes car les algorithmes exploitant plusieurs microphones, comme les traitements par faisceaux (« beamforming » en anglais), ne peuvent pas être utilisés (Kinoshita et al., 2016).

Comme nous l'avions fait précédemment lors d'une étude sur la parole bruitée (Ferreira et al., 2018), l'objectif de cet article est de prédire *a priori* la qualité de la transcription des systèmes de RAP pour la parole réverbérée. L'analyse est *a priori* car elle est entièrement effectuée avant le décodage de la parole. L'avantage de cette prédiction est d'informer au plus tôt un utilisateur de la qualité de la transcription attendue. Nous avons choisi de traiter uniquement le cas de la réverbération afin d'isoler les sources de dégradation de la qualité de la parole. Ces travaux ont vocation à être utilisés par des systèmes commerciaux de transcription automatique de la parole (comme par exemple dans le modèle économique de la société Authôt), donc certaines contraintes ont été fixées :

- la mesure doit être non-intrusive,

- la réponse impulsionnelle de la pièce d'enregistrement est inconnue,

- la prédiction doit être réalisée avant le décodage : aucun score de confiance ou hypothèse de transcription ne peuvent être utilisés,

- le signal est mono-canal,

- le système de RAP doit être considéré comme une boîte noire.

Afin de créer cette prédiction, nous cherchons des mesures qui quantifient l'impact de la réverbération sur la qualité de la transcription automatique de la parole. Nous cherchons un score d'« intelligibilité de la parole » pour les systèmes de RAP lorsque le signal de parole est réverbéré.

Les méthodes d'estimation de la réverbération qui satisfont l'ensemble de nos contraintes se répartissent en deux catégories : l'estimation aveugle du T60 (temps de réverbération) et les scores d'intelligibilité de la parole non-intrusive. Le temps de réverbération ou T60 est défini comme le temps nécessaire pour que le niveau de pression acoustique diminue de 60 dB après extinction de la source d'excitation sonore (ISO 3382, 1997). Dans de nombreuses situations, le T60 est estimé (et non calculé) car la réponse impulsionnelle de la pièce (RIR pour Room Impulse Response) est inconnue. Il existe deux méthodes pour estimer le T60 : la distribution de décroissance spectrale (SDD pour Spectral Decay Distribution) qui estiment la distribution de la décroissance de l'enveloppe de puissance du signal dans le temps afin d'estimer le temps de réverbération (Dumortier & Vincent, 2014) et l'analyse des résidus de la Prédiction Linéaire (PL) (Keshavarz et al., 2012). Les méthodes orientées vers l'intelligibilité de la parole reposent sur la quantification des déformations du signal de parole. Par exemple, dans cet article (Falk et al., 2010), ce sont les caractéristiques spectrales de modulation qui sont exploitées. Les méthodes qui estiment le T60 n'ont pas été conçu pour informer de la distance entre le locuteur et le microphone : il s'agit pourtant d'une variable importante de la qualité de la parole. Les méthodes orientées vers l'intelligibilité de la parole ont été conçu pour prédire l'intelligibilité humaine. Les tests que nous avons effectués sur la prédiction *a priori* de la qualité de la transcription avec ces mesures n'ont pas été satisfaisants. Pour ces raisons, nous avons décidé de créer une nouvelle mesure, que nous appelons Excitation Behaviour (EB), qui quantifie l'impact de la réverbération sur les performances des systèmes de RAP.

Le calcul de cette mesure est détaillée en section 2. Dans la section 3, le protocole d'expérimentation est décrit afin d'évaluer l'EB : le taux d'erreur mots (WER pour Word Error Rate) et le taux d'erreur phonèmes (PER pour Phone Error Rate) sont prédits sur différentes conditions de réverbération et discutés en section 4.
# 2 La mesure Excitation Behaviour

## 2.1 Architecture

L'Excitation Behaviour (EB) est un paramètre qui appartient aux méthodes d'analyse des résidus de la Prédiction Linéaire (PL). Les résidus de la PL ou le signal d'erreur de prédiction $e(n)$ est la différence entre la parole d'entrée et la parole estimée (Makhoul, 1975).

$$e(n) = s(n) + \sum_{k=1}^{p} a_k s(n-k) \quad (1)$$

où $a_k$ correspond aux coefficients de la prédiction linéaire (LPC pour Linear Prediction Coefficient), $p$ l'ordre du filtre et $s(n)$ l'échantillon de parole.

Sur les fenêtres voisées de la parole, le résidu de la PL contient des informations sur l'instant de fermeture glottale et sur la source d'excitation (Ananthapadmanabha & Yegnanarayana, 1979). Lorsque la parole est réverbérée, la différence entre les impulsions glottales et la source d'excitation est plus faible (voir figure 1). C'est cette distorsion des résidus de la PL qui sera exploitée par l'EB. L'architecture de l'extraction de l'EB se fait en trois étapes : la sélection automatique des fenêtres de parole voisées, l'extraction du résidu de la PL et le calcul d'une valeur statistique basée sur des ratio entre percentiles de la distribution de ce résidu.

<figure><img src="image_106.png" /><figcaption>FIGURE 1 – Résidus de la PL d'un signal de parole. En haut signal propre. En bas version réverbérée</figcaption></figure>

## 2.2 Sélection des fenêtres voisées

Pour sélectionner les fenêtres voisées de la parole, nous analysons la différence entre la racine quadratique moyenne (RMS pour Root Mean Square) et le taux de passage par zéro (ZCR pour Zero Crossing Rate) du signal. Une fenêtre de 16 ms est sélectionnée comme parole prononcée lorsque :

$$\frac{RMS_{trame}}{\max RMS_{global}} - \frac{ZCR}{2} > 0 \quad (2)$$
Un exemple de sélection de fenêtres est présenté dans la figure 2. Pour filtrer d'avantage cette sélection, seules les fenêtres voisées suivies de deux autres fenêtres voisées sont considérées comme voisées.

<figure><img src="image_107.png" /><figcaption>FIGURE 2 – En haut, le signal avec en vert les zones voisées sélectionnées automatiquement (équation 2). En bas, les valeurs du RMS normalisés et du ZCR correspondantes.</figcaption></figure>

## 2.3 Calcul de la mesure

Après avoir sélectionné les fenêtres voisées, le signal est préaccentué. Pour calculer les LPC du signal, un modèle autorégressif est estimé avec l’algorithme de Levinson-Durbin pour minimiser l’erreur de prédiction (résidus de la PL). Les résidus de la PL sont calculés avec une fenêtre de 10ms et un ordre de 21. Pour chaque succession de 4 trames voisées, la transformée de Hilbert est utilisée sur les résidus de la PL et est normalisée par la valeur maximale : le maximum correspond à l’impulsion glottal la plus grande. La distribution de la transformée de Hilbert normalisée des résidus de la PL est affectée par la réverbération. Si nous observons les valeurs $p_{90}$, $p_{50}$ ou $p_{10}$ seules, la réverbération augmente ces valeurs. Cependant, ces valeurs de percentile sont très variables, selon le locuteur. C’est pourquoi le rapport défini dans l’équation 4 est calculé pour définir la mesure de l’EB, tel que :

$$p_{90}p_{50} = p_{90} - p_{50} \quad \text{et} \quad p_{50}p_{10} = p_{50} - p_{10} \qquad (3)$$

où $p_x$ définit les percentiles $x^{th}$. Avec la liste des $p_{90}p_{50}$ et des $p_{50}p_{10}$ obtenues pour la phrase, nous calculons le score EB avec :

$$EB = \frac{\overline{p_{90}p_{50}}}{\overline{p_{50}p_{10}}} \qquad (4)$$
L'EB est proche de 1,8 lorsque la réverbération provoque beaucoup d'erreur par les systèmes de RAP, et supérieur à 2,8 lorsque la réverbération est négligeable par les systèmes de RAP.

# 3 Expériences

## 3.1 Corpus

Le corpus Wall Street Journal est largement utilisé en RAP : WSJ0 (Garofalo et al., 1993) et WSJ1 (Garofolo et al., 1994). Ce corpus a été choisi pour limiter les erreurs induites par les modèles de langage, les accents et les disfluences. Les données *train si284* (sans ajout de réverbération) sont utilisées pour entraîner le système de RAP. Pour travailler avec la parole réverbérée, les sous-ensembles *dev93* et *eval92* ont été convolués avec des réponses impulsionnelles des pièces (RIR pour Room Impulse Responses) mesurées dans différentes conditions. Les RIR proviennent du REVERB challenge (Kinoshita et al., 2013). Les RIR enregistrées permettent de simuler 12 conditions de réverbération différentes : 6 pièces de tailles différentes (2 petites, 2 moyennes et 2 grandes) avec 2 types de distances entre un haut-parleur et un réseau de microphones (proche = 50 cm et loin = 200 cm). Les temps de réverbération des petites, moyennes et grandes pièces sont respectivement d'environ 0,25, 0,5 et 0,7s. Les sous-ensembles *Dev93* et *eval92* ont donc 13 conditions de réverbération différentes (le +1 vient du cas sans réverbération). Ces deux sous-ensembles sont respectivement utilisés pour entraîner et tester le modèle de régression.

## 3.2 Architecture du système de prédiction

Les systèmes de prédiction des performances des systèmes de RAP sont souvent appris avec une méthode de régression supervisée (voir Figure 3). L'objectif de cette régression est de modéliser le lien entre les caractéristiques extraites et la performance du système RAP : les systèmes de RAP sont plus ou moins robustes à certaines distorsions. Cette régression nous permet d'évaluer à quel point les différentes mesures de réverbération testées permettent de prédire l'impact de la réverbération sur les performances du système de RAP.

<figure><img src="image_108.png" /><figcaption>FIGURE 3 – Architecture du système de prédiction de la qualité de la transcription.</figcaption></figure>
## 3.3 Vérité terrain

Afin d'établir une vérité terrain pour notre système de prédiction, un système de RAP a été entraîné. Nous avons utilisé la recette de Karel Vesely avec Kaldi (Veselý et al., 2013). Le système est hybride avec un réseau de neurones profond et des modèles de Markov cachés (DNN-HMM) entraîné par entropie croisée. Dans des conditions propres (train et test), le système de RAP entraîné avec *train si 284* obtient 5,84% de WER sur *dev 93* et 3,42% sur *eval 92*.

Pour construire le décodeur acoustico-phonétique utilisé pour prédire le PER, nous phonétisons au préalable les corpus d'entraînement et de test. Le dictionnaire de prononciation est modifié pour être composé uniquement des phonèmes possibles. Le modèle de langage est remplacé par un 1-gram appris sur un corpus de texte phonétisé. Ces changements permettent d'obtenir au décodage, une séquence de phonèmes sans aucun impact du modèle de langage. Une fois ces modifications apportées, le décodeur acoustico-phonétique est entraîné de la même manière que celle décrite au paragraphe précédent pour le système de RAP.

Pour calculer les modèles de régression, nous utilisons un perceptron multi-couche (MLP pour Multi-Layer Perceptron) que nous avons entraîné avec Scikit-learn. La MLP est assez simple et utilise une seule couche composée de 3 neurones. Le but de la regression MLP est seulement d'obtenir une régression non linéaire.

## 3.4 Mesures de réverbération testées

Pour comparer la mesure de l'EB décrite dans la section 2, nous avons utilisé plusieurs mesures de l'état de l'art (voir le tableau 1) :

- SRMR+ : SRMR et SRMR normalisés (Falk et al., 2010),

- Slope : ici c'est la valeur de "floored ratio of spectral subtraction" (Tachioka et al., 2013),

- Neg-side : une méthode de SDD qui utilise la variance négative et le skewness (Dumortier & Vincent, 2014),

- LP-kurto : moyenne des kurtosis des résidus de la PL d'ordre 10 (trame de 32ms) (Gillespie et al., 2001).

# 4 Résultats & discussion

Afin d'évaluer la performance de la prédiction du WER, nous avons calculé l'erreur de prédiction absolue moyenne (MAE pour Mean Average Error) et l'écart-type (SD pour Standard Deviation). Dans (Willmott & Matsuura, 2005), les auteurs indiquent que le MAE est une mesure plus naturelle que le RMSE, et qu'elle est non ambiguë. Le MAE et le SD sont indiqués pour toutes les conditions de réverbération testées. Les résultats de la prédiction sont présentés dans le tableau 1.

En ce qui concerne la prédiction *a priori* du WER, l'EB obtient une meilleure précision de prédiction que les autres mesures de réverbération testées. Une amélioration relative de 23% de la prédiction de l'erreur moyenne de WER est obtenue avec EB par rapport à SRMR+. De plus, l'erreur de prédiction est moins dispersée.

Sachant que notre méthode de prédiction n'utilise pas d'informations linguistiques, nous avons voulu
<table><caption>TABLE 1 – Resultats de prédiction (WER et PER) avec une régression MLP.</caption><thead><tr><th></th><th>SRMR+</th><th>Slope</th><th>Neg-side+</th><th>LP-kurto</th><th>EB</th></tr></thead><tbody><tr><th colspan="6">WER (%)</th></tr><tr><th>MAE</th><td>17,75</td><td>18,44</td><td>17,45</td><td>18,33</td><td><strong>13,66</strong></td></tr><tr><th>SD</th><td>14,26</td><td>14,95</td><td>13,75</td><td>15,69</td><td><strong>12,63</strong></td></tr><tr><th colspan="6">PER (%)</th></tr><tr><th>MAE</th><td>10,76</td><td>12,59</td><td>10,82</td><td>11,43</td><td><strong>7,86</strong></td></tr><tr><th>SD</th><td>8,14</td><td>9,04</td><td>7,75</td><td>9,15</td><td><strong>6,25</strong></td></tr></tbody></table>

observer les performances de prédiction du PER d'un système de décodage acoustico-phonétique : cela permet de retirer l'influence du modèle de langage. Le but est de savoir si la prédiction caractérise bien les distorsions acoustiques de la parole réverbérée. Nous pouvons voir, comme prévu, que la prédiction du PER est plus précise que la prédiction du WER. La précision de la prédiction de PER par notre méthode est meilleure que celle des autres mesures de réverbération testées. Une amélioration relative de 27% de la prédiction de l'erreur moyenne de PER est obtenue avec EB par rapport à SRMR+.

La mesure EB permet d'obtenir une prédiction des performances des systèmes de RAP plus précise. Cependant, la précision reste insatisfaisante à l'échelle des phrases. La durée d'énonciation des phrases du corpus utilisé varie de 3 à 16 secondes, avec une moyenne de 7 secondes. Pour une tâche aussi difficile que la prédiction *a priori* des performances d'un système de RAP, une fenêtre temporelle plus longue est nécessaire. Dans la grande majorité des cas, les enregistrements soumis à une tâche de transcription automatique par les utilisateurs des services de RAP commerciaux dépassent 3 minutes. Nous avons donc analysé l'évolution de la prédiction en cumulant le nombre de phrases dans les même condition pour le même locuteur.

Dans la figure 4, la précision de la prédiction du WER devient plus précise, en fonction du nombre de tours de parole utilisés. Ainsi, la prédiction du WER atteint 7,13 d'erreur absolue moyenne avec 20 énoncés utilisés (durée d'environ 140 s). La prédiction de PER atteint 5,04 d'erreur absolue moyenne avec 20 énoncés utilisés (voir figure 5).

<figure><img src="image_109.png" /><figcaption>FIGURE 4 – Moyenne des erreurs de prédiction du WER en fonction du nombre de phrases utilisées.</figcaption></figure>
<figure><img src="image_110.png" /><figcaption>FIGURE 5 – Moyenne des erreurs de prédiction du PER en fonction du nombre de phrases utilisées.</figcaption></figure>

# 5 Conclusions

Lorsqu'un signal de parole réverbéré est transcrit par un système de RAP, un grand nombre d'erreurs de transcription est possible. Dans les systèmes de RAP commerciaux, les fichiers audio sont principalement enregistrés avec un seul microphone : les méthodes exploitant plusieurs microphones ne peuvent pas être utilisées pour améliorer la robustesse des systèmes. Il est difficile de savoir dans quelle mesure la réverbération affecte les systèmes de RAP car le comportement de ces systèmes est très différent de celui des humains (lorsque la parole est réverbérée). Le principal objectif de ce papier est de prédire la qualité de la transcription *a priori* de la parole réverbérée, tout en respectant les contraintes des systèmes commerciaux de transcription automatique de la parole.

Nous avons contribué à l'élaboration de la mesure que nous appelons EB, pour quantifier l'impact de la réverbération sur les systèmes de RAP. L'EB extrait une mesure statistique sur le résidu de la PL, qui est bien corrélu à la performance des systèmes de RAP. Pour évaluer l'EB, nous avons prédit le WER et le PER obtenus avec les différentes mesures de réverbération testées. Au niveau d'une phrase, la mesure EB fournit une amélioration relative de la précision de prédiction du WER et du PER qui est de 20% supérieure aux autres mesures testées. La mesure EB obtient une erreur moyenne de prédiction de WER de 7,13 lorsque 140 secondes sont analysées, et une erreur moyenne de prédiction de PER de seulement 5,04. Dans tout les cas, la mesure de l'EB fournit une prédiction plus précise que les autres mesures testées.

Pour prédire *a priori* plus précisément la qualité de transcription des systèmes de RAP, d'autres analyses acoustiques du signal de parole pourraient être réalisées. Il serait intéressant d'observer l'influence du bruit et de la musique superposée. D'autre part, certaines variabilités au niveau des locuteurs, comme le débit de parole, le sexe ou l'âge, pourraient également améliorer la précision de la prédiction *a priori* de la qualité de la transcription automatique de la parole.

# Références

ANANTHAPADMANABHA T. & YEGNANARAYANA B. (1979). Epoch extraction from linear
prediction residual for identification of closed glottis interval. *IEEE Transactions on Acoustics, Speech, and Signal Processing*, **27**(4), 309–319.

DUMORTIER B. & VINCENT E. (2014). Blind rt60 estimation robust across room sizes and source distances. In *2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*, p. 5187–5191 : IEEE.

FALK T. H., ZHENG C. & CHAN W.-Y. (2010). A non-intrusive quality and intelligibility measure of reverberant and dereverberated speech. *IEEE Transactions on Audio, Speech, and Language Processing*, **18**(7), 1766–1774.

FERREIRA S., FARINAS J., PINQUIER J. & RABANT S. (2018). Prédiction a priori de la qualité de la transcription automatique de la parole bruitée. *JEP*.

GAROFALO J. et al. (1993). CSR-I (WSJ0) complete LDC93S6A. Linguistic Data Consortium, Philadelphia, USA.

GAROFOLO J., GRAFF D., PAUL D. & PALLETT D. (1994). CSR-II (WSJ1) Complete. Linguistic Data Consortium, Philadelphia, USA.

GILLESPIE B. W., MALVAR H. S. & FLORÊNCIO D. A. (2001). Speech dereverberation via maximum-kurtosis subband adaptive filtering. In *2001 IEEE International Conference on Acoustics, Speech, and Signal Processing. Proceedings*, volume 6, p. 3701–3704 : IEEE.

ISO 3382 (1997). *Acoustics: measurement of the reverberation time of rooms with reference to other acoustical parameters*. Standard, International Organization for Standardization, Genève, Suisse.

KESHAVARZ A., MOSAYYEBPOUR S., BIGUESH M., GULLIVER T. A. & ESMAEILI M. (2012). Speech-model based accurate blind reverberation time estimation using an lpc filter. *IEEE Transactions on Audio, Speech, and Language Processing*, **20**(6), 1884–1893.

KINOSHITA K., DELCROIX M., GANNOT S., P. HABETS E. A., HAEB-UMBACH R., KELLERMANN W., LEUTNANT V., MAAS R., NAKATANI T., RAJ B., SEHR A. & YOSHIOKA T. (2016). A summary of the REVERB challenge : state-of-the-art and remaining challenges in reverberant speech processing research. *EURASIP Journal on Advances in Signal Processing*, **2016**(1). DOI: 10.1186/s13634-016-0306-6.

KINOSHITA K., DELCROIX M., YOSHIOKA T., NAKATANI T., SEHR A., KELLERMANN W. & MAAS R. (2013). The verb challenge : A common evaluation framework for dereverberation and recognition of reverberant speech. In *Applications of Signal Processing to Audio and Acoustics (WASPAA)*, 2013 IEEE Workshop on, p. 1–4 : IEEE.

MAKHOUL J. (1975). Linear prediction : A tutorial review. *Proceedings of the IEEE*, **63**(4), 561–580.

TACHIOKA Y., HANAZAWA T. & IWASAKI T. (2013). Dereverberation method with reverberation time estimation using floored ratio of spectral subtraction. *Acoustical Science and Technology*, **34**(3), 212–215.

VESELÝ K., GHOSHAL A., BURGET L. & POVEY D. (2013). Sequence-discriminative training of deep neural networks. In *Interspeech*, volume 2013, p. 2345–2349.

WILLMOTT C. J. & MATSUURA K. (2005). Advantages of the mean absolute error (mae) over the root mean square error (rmse) in assessing average model performance. *Climate research*, **30**(1), 79–82.
# Analyse de l'effet de la réverbération sur la reconnaissance automatique de la parole

Sébastien Ferreira¹,², Jérôme Farinas¹, Julien Pinquier¹, Julie Mauclair¹ et Stéphane Rabant²

(1) IRIT, Université de Toulouse, CNRS, Toulouse, France

(2) Authôt, 52 Avenue Pierre Semard, 94200, Ivry-sur-Seine, France

prenom.nom@irit.fr¹, sferreira@authot.com, srabant@authot.com

## RÉSUMÉ

La Reconnaissance Automatique de la Parole (RAP) est moins performante lorsque le signal de parole est de mauvaise qualité. Dans cette étude, nous analysons les erreurs commises par les systèmes de RAP lorsque la parole transcrite est réverbérée afin de mieux comprendre les raisons de ces erreurs. Notre analyse permet de mettre en valeur les erreurs dues notamment à un mauvais alignement phonétique. Nous avons pu constater que les phonèmes de courte durée sont majoritairement supprimés lors du décodage phonétique. De plus, les phonèmes détectés, qu'ils soient corrects ou pas, ont tendance à avoir la même durée, ce qui est anormal pour certaines classes phonétiques comme les voyelles courtes ou les plosives. Nous avons aussi analysé les principales confusions entre les différentes classes phonétiques. Finalement, nous avons pu montrer que les erreurs lors de l'alignement phonétique des systèmes de transcription automatique entraînent beaucoup d'erreurs de détection.

## ABSTRACT

### Analyzing how reverberation affects Automatic Speech Recognition

Automatic Speech Recognition (ASR) is less effective when the speech signal is of poor quality. In this study, we analyze the errors made by ASR systems when the transcribed speech is reverberated in order to better understand the reasons for these errors. Our analysis allows us to highlight errors due to phonetic misalignment. We have found that short duration phonemes are mostly suppressed during phonetic decoding. Moreover, the detected phonemes, whether they are correct or not, tend to have the same duration. This is abnormal for certain phonetic classes such as short vowels or plosives. We also analyzed the main confusions between the different phonetic classes. We were able to show that errors in the phonetic alignment of automatic transcription systems lead to many detection errors.

**MOTS-CLÉS** : reconnaissance automatique de la parole, réverbération, analyse d'erreur.

**KEYWORDS:** automatic speech recognition, reverberation, error analysis.

## 1 Introduction

Au cours de la dernière décennie, les systèmes de Reconnaissance Automatique de la Parole (RAP) ont atteint de bonnes performances. Néanmoins, la robustesse de ces systèmes reste insatisfaisante par rapport aux humains (Kinoshita et al., 2016), notamment lorsque le signal de parole est réverbéré (surtout pour les fichiers enregistrés avec un seul microphone). Pour la parole réverbérée, le comportement des systèmes de RAP semble être différent de celui des humains (Lippmann, 1996).

<figure><img src="image_111.png" /></figure>
Dans (Sehr et al., 2010), nous pouvons apprendre que les 50 premières millisecondes de la réponse impulsionelle de la salle d'enregistrement (RIR pour Room Impulse Response) affectent peu les performances des systèmes de RAP, contrairement aux millisecondes suivantes (réverbération tardive). Dans (Junqua, 1997), les auteurs présentent une tentative de caractériser la sensibilité d'un dispositif de reconnaissance de phonèmes en fonction de la source de distorsion du canal. On peut voir que les grandes classes phonétiques ne sont pas affectées de la même manière par la réverbération. Dans (Parada et al., 2014), les auteurs montrent la robustesse relative à la réverbération de chaque phonème, et proposent un modèle pour estimer la confusion de chaque phonème. La méthode utilise l'indice de clarté C50, qui est bien corrélé avec les performances de la RAP (Parada et al., 2016).

Nous proposons d'analyser les erreurs des systèmes de RAP dues à la réverbération. Les résultats détaillés de la substitution des phonèmes et de la durée des phonèmes détectés (ou supprimés) permettront d'observer les raisons des mauvaises performances de la RAP pour la parole réverbérée. Plutôt que TIMIT (Fisher, 1986), nous avons choisi de travailler sur un autre corpus, le "Wall Street Journal" (WSJ) (Paul & Baker, 2003), avec une recette plus récente que les précédentes études sur le sujet pour créer notre système de RAP : utilisation de DNN (Deep Neural Network) et adaptation fMLLR (feature space Maximum Likelihood Linear Regression).

Dans la section 2, nous présentons le contexte de cette étude et nous rappelons le mécanisme de réverbération et ses différentes formes. Dans la section 3, nous exposons notre plan d'expérimentation, le matériel et les systèmes utilisés dans cette étude. Dans la section 4, nous présentons les résultats que nous discuterons dans la section 5.

## 2 Contexte

Supposons qu'un signal $s$ qui est traité dans un environnement acoustique réaliste soit modélisé par :

$$y(t) = s(t) \circled{\circled{}} h(t) + n(t)$$

où $t$ représente le temps, $h$ la RIR et $n$ le bruit de fond. Le RIR correspond à l'enregistrement d'un bruit impulsif (un clap) afin d'enregistrer les résonances. Dans ce modèle, nous pouvons remarquer que le bruit de fond est indépendant de la parole (distorsion additive), et la réverbération est fortement corrélée à la parole (distorsion convolutionnelle). La RIR décrit de manière précise la propriété de réverbération d'une pièce. La figure 1 présente un exemple schématique tiré de l'article (Valimaki et al., 2012).

Le RIR est composé de trois parties :

- **Trajet direct** (« Direct Path ») : l'onde sonore est directement capturée par le microphone.

- **Réverbération précoce** (« Early Reverberation ») : les ondes sonores sont réfléchies une fois. La coloration spectrale du signal de parole est due à cette réverbération précoce. Cela n'affecte que très peu les performances de la RAP.

- **Réverbération tardive** (« Late Reverberation ») : les ondes sonores sont réfléchies plusieurs fois. Le flou temporel du signal de parole est dû à la réverbération tardive. Ceci affecte grandement les performances de la RAP.

La distorsion principalement gênante, provoquée par la réverbération, est le flou temporel. Le flou temporel provoque un chevauchement du phonème précédent sur le phonème actuel. Sur la figure 2, tirée de l'article (Petrick et al., 2008), nous pouvons voir l'énergie des phonèmes qui se chevauchent. Dans cette illustration, **v** correspond au phonèmes voisés, **u** au phonèmes non-voisés et **r** à la
système, nous phonétisons au préalable les corpus d'entraînement et de test. Le dictionnaire de prononciation est modifié pour être composé uniquement des phonèmes possibles. Le modèle de langage est remplacé par un 1-gram appris sur un corpus de texte phonétisé.

# 4 Résultats

## 4.1 Décodage par le système de RAP

Nous avons décodé les sous-ensembles *dev93* et *eval92* pour les 7 conditions décrites dans la section 3. Les WER (Word Error Rate) et les PER (Phone Error Rate), liés à la taille de la pièce et à la distance au microphone, sont indiqués dans le tableau 1. Le terme « propre » correspond au fichier original (sans convolution avec une réponse impulsionnelle).

<table><caption>TABLE 1 – Résultats de WER et PER en fonction des différentes conditions de réverbération : moyenne, écart-type et pourcentages de substitution, insertion, délétion de phonèmes.</caption><thead><tr><th>Taille salle</th><th rowspan="2">Propre</th><th colspan="2">Petite</th><th colspan="2">Moyenne</th><th colspan="2">Grande</th></tr><tr><th>Distance</th><th>proche</th><th>loin</th><th>proche</th><th>loin</th><th>proche</th><th>loin</th></tr></thead><tbody><tr><th colspan="8">WER en %</th></tr><tr><th>Moyenne</th><td>4,9</td><td>6,9</td><td>12,9</td><td>16,5</td><td>52,1</td><td>20,1</td><td>78,4</td></tr><tr><th>Écart-type</th><td>8,1</td><td>9,2</td><td>13,7</td><td>15,8</td><td>24,4</td><td>16,8</td><td>17,5</td></tr><tr><th colspan="8">PER en %</th></tr><tr><th>Moyenne</th><td>9,8</td><td>14,1</td><td>24,2</td><td>28,5</td><td>50,6</td><td>31,7</td><td>63,8</td></tr><tr><th>Écart-type</th><td>5,6</td><td>6,7</td><td>8,9</td><td>9,2</td><td>8,9</td><td>9,5</td><td>7,4</td></tr><tr><th colspan="8">Ratio des erreurs des phonèmes en %</th></tr><tr><th>Substitution</th><td>61,2</td><td>59,8</td><td>60,8</td><td>60,7</td><td>56,2</td><td>61,1</td><td>53,8</td></tr><tr><th>Insertion</th><td>15,3</td><td>15,5</td><td>11,4</td><td>9,4</td><td>4,0</td><td>9,2</td><td>2,1</td></tr><tr><th>Délétion</th><td>23,5</td><td>24,9</td><td>27,8</td><td>29,9</td><td>39,8</td><td>29,7</td><td>44,1</td></tr><tr><th colspan="8">C50</th></tr><tr><th>Moyenne</th><td></td><td>42,20</td><td>20,29</td><td>16,43</td><td>6,84</td><td>13,34</td><td>5,91</td></tr></tbody></table>

Dans les même conditions, nous pouvons constater que l'écart-type du WER est plus importante que l'écart-type du PER. Nous remarquons aussi, que passé un certain seuil de PER (environ 50%), le modèle de langage a plus de difficultés à retrouver les mots correct : une fois les 50% de PER atteint le WER est supérieur au PER.

Nous voyons que deux facteurs impactent fortement les performances des systèmes de transcriptions :

- la **taille de la pièce**. Plus le T60 est important et plus l'énergie provenant de la réverbération est importante.

- la **distance au microphone**. Plus la distance au microphone augmente et plus l'énergie de parole provenant du trajet direct est atténué.

Ces deux facteurs ont une influence directe sur la mesure du C50, qui est fortement corrélée avec les performances des systèmes de RAP (Parada et al., 2016).

Comme la réverbération est une distorsion acoustique, nous allons dans la suite de cet article observer uniquement les erreurs du décodage phonétique car il est difficile de comprendre les erreurs commises
par les systèmes de RAP sans dissocier le modèle de langage.

Nous avons aussi observé, parmi les erreurs commises par le décodeur acoustico-phonétique, les ratios d'erreur provenant des substitutions, des insertions et des délétions des phonèmes dont les résultats sont visibles dans le tableau 1. Nous pouvons observer que la contribution des insertions est plus faible lorsque la réverbération augmente. Par contre, le nombre de délétions augmente. Les substitutions restent relativement stables, sauf dans les conditions les plus réverbérées où elles diminuent. Dans tous les cas testés, les substitutions restent la cause principale d'erreurs.

## 4.2 Durée des phonèmes

Comme la réverbération provoque un flou temporel du signal, nous avons décidé d'observer la durée des phonèmes transcrit par le décodeur acoustico-phonétique. Pour obtenir la durée de chaque phonème, nous avons utilisé les résultats issus de Kaldi. Cela implique que la durée des phonèmes est obtenue automatiquement (sans annotation manuelle) : les durées des phonèmes de référence seront les durées obtenues sur le décodage des tours de parole n'ayant pas été réverbérés artificiellement (condition propre)<fnref n="1" />. Dans un souci de lisibilité, nous avons choisi de regrouper les phonèmes par classe phonétique pour l'affichage des résultats.

Nous avons observé la durée des phonèmes corrects et incorrects (substitution et délétion) dans des conditions réverbérées que nous comparons avec la durée des phonèmes dans des conditions propres (non-réverbérées) (voir figure 3).

<figure><img src="image_112.png" /><figcaption>FIGURE 3 – Durée des phonèmes dans des conditions propre et réverbéré. Dans le cas réverbéré, les phonèmes correctement reconnus et les phonèmes erronés sont affichés séparément.</figcaption></figure>

Sur la condition de réverbération salle moyenne et longue distance au microphone, la durée des

<footnote n="1">1. À noter que seuls les phonèmes correctement détectés dans des conditions propres sont pris en compte !</footnote>