CRESTI E., BACELAR DO NASCIMENTO F., MORENO SANDOVAL A., VERONIS J., MARTIN P. & KALID C. (2005). *The C-ORAL-ROM Corpus. A Multilingual Resource of Spontaneous Speech for Romance Languages*. John Benjamins Publishing Company.

ÉQUIPE DELIC (2004). *Autour du Corpus de référence du français parlé*. Publications de l'université de Provence. Recherches sur le français parlé No 18, 265 pp.

ESKENAZI M. (1993). *Trends in speaking styles research*. In *Proceedings of Eurospeech*, p. 501–509.

GOLDMAN J.-P., PRŠIR T., CHRISTODOULIDES G. & AUCHLIN A. (2014). Speaking style prosodic variation : an 8-hour 9-style corpus study. In *7th International Conference on Speech Prosody, May 20–23, Dublin, Ireland, Proceedings*, p. 105–109.

HATHOUT N., SAJOUS F. & CALDERONE B. (2014). GLÀFF, a Large Versatile French Lexicon. In *LREC 2014 – 9th International Conference on Language Resources and Evaluation, May 26–31, Reykjavik, Iceland, Proceedings*.

KOCH P. & ÖSTERREICHER W. (2012). Language of immediacy – language of distance : Orality and literacy from perspective of language theory and linguistic history. In C. LANGE, B. WEBER & G. WOLF, Éds., *Communicative spaces : Variation, contact, and change*, p. 441–473. Frankfurt : Peter Lang.

LLISTERRI J. (1992). Speaking styles in speech research. In *ELSNET/ESCA/SALT Workshop on Integrating Speech and Natural Language, Dublin, Ireland, 15–17 July 1992*, p. 15–17.

LÉON P. (1993). *Précis de phonostylistique, Parole et expressivité*. Paris : Nathan Université.

MARTIN L., DEGAND L. & SIMON A. (2014). Forme et fonction de la périphérie gauche dans un corpus oral multigenres annoté. *Corpus, 13*, 243–265.

MERTENS P. (2004). The Prosogram : Semi-automatic transcription of prosody based on a tonal perception model. In *Proc. of Speech Prosody 2004, March 23–26, Nara, Japan*, p. 549–552.

POVEY D., GHOSHAL A., BOULIANNE G., BURGET L., GLEMBEK O., GOEL N., HANNEMANN M., MOTLICEK P., QIAN Y., SCHWARZ P., SILOVSKY J., STEMMER G. & VESELY K. (2011). The Kaldi speech recognition toolkit. In *IEEE 2011 Workshop on Automatic Speech Recognition and Understanding* : IEEE Signal Processing Society. IEEE Catalog No. : CFP11SRW-USB.

R CORE TEAM (2017). *R : A Language and Environment for Statistical Computing*. R Foundation for Statistical Computing, Vienna, Austria.

VEIGA A., CELORICO D., PROENÇA J., CANDEIAS S. & PERDIGÃO F. (2012). Prosodic and phonetic features for speaking styles classification and detection. In D. TORRE TOLEDANO, Éd., *Advances in Speech and Language Technologies for Iberian Languages. Communications in Computer and Information Science*, volume 328, p. 15–17. Berlin, Heidelberg : Springer.

WAGNER P., TROUVAIN J. & ZIMMERER F. (2015). In defense of stylistic diversity in speech research. *Journal of Phonetics, 48*, 1–12. DOI: 10.1016/j.wocn.2014.11.001.
Proximité rythmique entre apprenants et natifs du français
Évaluation d'une métrique basée sur le CEFC

Sylvain Coulange<fnref n="1" /> Solange Rossato<fnref n="2" />

(1) LIDILEM, Université Grenoble Alpes, France

(2) LIG, Université Grenoble Alpes, France

{sylvain.coulange, solange.rossato}@univ-grenoble-alpes.fr

RÉSUMÉ

Cette étude a pour objectif de proposer une quantification de l'accent étranger se basant sur des mesures rythmiques. Nous avons utilisé le Corpus pour l'Étude du Français Contemporain, qui propose plus de 300 heures de parole aux profils de locuteurs et aux situations variés. Nous nous sommes concentrés sur 16 paramètres temporels estimés à partir des durées de voisement et de syllabes. Un mélange gaussien a été appris sur les données de 1 340 natifs du français, puis testé sur des extraits de 146 natifs tirés au hasard (NS), sur ceux des 37 non-natifs présents dans le corpus (NNS), ainsi que sur des enregistrements de 29 apprenants japonais de niveau A2 d'un autre corpus. La probabilité que les NNS aient une log-vraisemblance inférieure aux NS ne dépasse pas la tendance (p = 0,067), mais celle pour les apprenants japonais est beaucoup plus significative (p < 0,0001). L'étude de la répartition des paramètres entre les différents groupes met en avant l'importance du débit de parole et des durées de voisement.<fnref n="1" />

ABSTRACT

Rhythmic Proximity Between Natives And Learners Of French – Evaluation of a metric based
on the CEFC corpus

This work aims to quantify foreign accent in French based on rhythmic measurements. We used the Corpus pour l’Étude du Français Contemporain, which contains +300 hours of speech from a wide variety of speaker profiles and situations. We focused on 16 temporal parameters computed from voicing and syllables intervals. A Gaussian mixture model was trained on 1,340 native speakers of French, then tested with 146 natives (NS) and 37 non-native speakers (NNS) from the same corpus, as well as 29 A2-level Japanese learners of French from another corpus. The probability of NNS having inferior log-likelihood to NS was only a tendency (p = .067), but a much bigger probability was obtained for Japanese learners (p < .0001), where all speakers were A2 level. Parameter efficiency analysis reveals the importance of speech rate and voicing duration. <fnref n="2" />

MOTS-CLÉS : Modélisation du rythme, Accent étranger, Prononciation de la L2, Débit de parole, séquences voisées et non voisées.

KEYWORDS: Rhythm modelling, Foreign accent, L2 pronunciation, Speech rate, Voiced and Unvoiced sequences.

<figure><img src="image_61.png" /></figure>

<footnote n="1">1. Une version anglaise de cet article est également parue dans les actes de la conférence internationale LREC 2020.</footnote>

<footnote n="2">2. An English version of this article was also published in the proceedings of LREC 2020.</footnote>
# 1 Introduction

La perception de l'accent étranger est principalement due aux différences de prononciation entre ce que le locuteur dit et une norme attendue et partagée par les natifs de la langue cible (Alazard, 2013). Cette différence a été largement décrite au niveau segmental, à travers les théories de l'acquisition du langage, et le rôle de la prosodie a été amplement démontré, notamment par des études de perception (De Meo et al., 2012; Pellegrino, 2012). Aujourd'hui, il est reconnu que le segmental et le suprasegmental jouent tous les deux un rôle important dans la perception de cette différence par les locuteurs natifs. Parmi les paramètres prosodiques, nous nous intéressons à des paramètres rythmiques, le rythme étant défini ici comme une récurrence de patterns de marquages forts ou faibles d'éléments dans un environnement temporel (Gibbon & Gut, 2001). Ces éléments peuvent être des alternances de syllabes longues et courtes, ou de segments vocaliques et consonantiques. Beaucoup d'études tentent d'ailleurs de classifier les langues en se basant sur les durées vocaliques et consonantiques, et nécessitent donc une transcription alignée. Des études ont toutefois montré des résultats similaires à partir des durées de voisement ou des durées de syllabes (Fourcin & Dellwo, 2013; Dellwo et al., 2015), paramètres qui peuvent être quant à eux détectés automatiquement directement à partir du signal audio, sans recours à une transcription. C'est ce qui nous intéresse étant donné que la transcription automatique de la parole non-native reste encore difficile.

Les catégories rythmiques des langues sont cependant peu distinctes et la plupart des études font part de limites, dues à de trop petits effectifs de locuteurs, ou à des biais d'élicitation, facteurs qui influent aussi sur les caractéristiques rythmiques (Fourcin & Dellwo, 2013; Ramus et al., 1999; Gibbon & Gut, 2001; Grabe & Low, 2002). Il est donc nécessaire d'utiliser un corpus volumineux, prenant en compte la variation selon les situations et les locuteurs, et notamment lors de production spontanée (Bhat et al., 2010). Cela inclue également les enregistrements provenant de différents pays francophones, et de milieux sociaux variés.

Dans cette étude, nous proposons de modéliser le rythme du français à travers le récent Corpus d'Étude pour le Français Contemporain (CEFC, Benzitoun et al. 2016). Afin de modéliser l'ensemble de ces variations, nous avons entraîné un modèle de mélange gaussien sur 16 paramètres rythmiques. La log-vraisemblance obtenue avec ce modèle global pour un nouvel extrait de parole est comparée pour des locuteurs natifs et locuteurs non-natifs que nous avons réservés pour le test, ainsi qu'avec un corpus indépendant d'apprenants japonais du français. Nous avons également étudié la distribution de chaque paramètre entre les extraits de parole des locuteurs natifs et non-natifs.

# 2 Méthodologie

## 2.1 Corpus

Le corpus CEFC regroupe, uniformise et complète les annotations d'un ensemble ou de partie de 13 corpus, tels que Valibel<fnref n="3" /> ou encore Clapi<fnref n="4" />. Les enregistrements peuvent provenir de différentes régions de France, de Belgique ou de Suisse. Les situations d'énonciation varient de conversations entre amis aux réunions professionnelles, en passant par des repas de famille, des débats médiatiques, des lectures de contes traditionnels ou encore des conversations enregistrées dans des magasins. Les

<footnote n="3">3. Valibel: https://uclouvain.be/fr/instituts-recherche/ilc/valibel/corpora.html.</footnote>

<footnote n="4">4. Clapi: http://clapi.icar.cnrs.fr.</footnote>
extraits de parole sont constitués de dialogues (481 enregistrements sur 900), d'interactions à plus de 2 locuteurs (277) et des monologues (144). Ce corpus totalise environ 4 million de mots, avec 300 heures d'enregistrement. Tous les enregistrements sont transcrits et alignés, ce qui nous a permis d'identifier les extraits de parole de chaque locuteur. Sur un total de 2 587 locuteurs, les femmes représentent la majorité des locuteurs avec 1 373 locutrices, contre seulement 1 048 locuteurs, et 166 dont le genre n'est pas renseigné.<fnref n="5" />

Le corpus contient également la parole d'une cinquantaine de locuteurs non-natifs : ils ont été réservés pour la partition de test de notre modèle et exclus en totalité des enregistrements utilisés pour construire le modèle. En effet, les seules contraintes pour que l'extrait de parole soit inclus dans les données d'apprentissage du modèle est que la langue parlée soit le français, et que le locuteur soit natif. Le corpus de test est constitué d'environ 10% de l'ensemble des enregistrements de locuteurs natifs, choisis au hasard et mis de côté comme base de comparaison avec les locuteurs non-natifs.

Le niveau de français des locuteurs non-natifs n'étant pas précisé dans les métadonnées, nous avons inclus un second corpus de parole de locuteurs non-natifs, pour lequel nous connaissons la langue maternelle et le niveau de compétence en français de chaque locuteur. Ce corpus est constitué des enregistrements d'une évaluation en production orale pour 29 étudiants de l'Université de Langues Étrangères de Kyōto, de la même classe et tous de langue maternelle japonaise. Nous disposons également de leurs résultats à l'examen de fin de semestre, évaluant les 4 habiletés langagières : compréhension de l'oral et de l'écrit, production orale et écrite, et dont les enregistrements constituent une partie de l'évaluation.

## 2.2 Les paramètres acoustiques

Nous avons mesuré 16 paramètres largement utilisés soit pour la classification des langues (White & Mattys, 2007; Fourcin & Dellwo, 2013; Pettorino et al., 2013, entre autres), la caractérisation des locuteurs (Rossato et al., 2018), ainsi que la perception de l'accent étranger (Bhat et al., 2010; Fontan et al., 2018). Les paramètres rythmiques sont basés sur les segments voisés détectés par Praat<fnref n="6" />, et les noyaux syllabiques détectés grâce à un script de De Jong & Wempe (2009) :

- Le débit de parole, ratio entre le nombre de noyaux syllabiques et la durée du segment *SR*;

- Le pourcentage de voisement %V;

- La moyenne $\mu V$, l'écart type $\sigma V$ et le coefficient de variation $\rho V$ des durées des intervalles voisés $V_i$;

- La moyenne $\mu U$, l'écart type $\sigma U$ et le coefficient de variation $\rho U$ des durées des intervalles non-voisés $U_i$;

- La moyenne $\mu P$, l'écart type $\sigma P$ et le coefficient de variation $\rho P$ des durées de la paire $P_i = V_i + U_i$;

- L'indice de comparaison brut $rPVI$ et normalisé $nPVI$ de couples successifs d'intervalles voisés (Grabe & Low, 2002; Fourcin & Dellwo, 2013);

- La moyenne $\mu \Delta NV$, l'écart type $\sigma \Delta NV$ et le coefficient de variation $\rho \Delta NV$ des durées $\Delta NV_i$ entre deux noyaux syllabiques successifs.

Les paramètres rythmiques sont calculés sur des segments constitués par la concaténation d'unités

<footnote n="5">5. Des statistiques plus détaillées sur les locuteurs du CEFC sont présentées dans Coulange (2019), mémoire de master de Sciences du langage parcours industries de la langue, Université Grenoble Alpes dirigé par Solange Rossato.</footnote>

<footnote n="6">6. Praat : doing phonetics by computer. Version 6.0.37, téléchargée en mars 2019 depuis http://www.praat.org/.</footnote>
entre pauses (UEP) <fnref n="7" /> consécutives d'un même locuteur, jusqu'à atteindre une durée minimale de 30 secondes. Aucune UEP n'est coupée avant sa fin, il arrive donc que certains segments soient assez longs. Nous pensons que cette durée permet d'avoir suffisamment de parole pour obtenir des mesures fiables. Nous ne gardons que les locuteurs ayant au moins un segment et pour lesquels le statut de la langue française est connu (natif ou non). Le corpus d'apprentissage contient 16 884 segments de 1 340 locuteurs natifs. Les trois partitions de test sont constituées comme suit : 146 locuteurs natifs NS, 37 locuteurs non-natifs NNS et le corpus de 29 apprenants japonais JpNNS. Le tableau 1 récapitule ce partitionnement.

<table><caption>TABLE 1 – Constitution du corpus d'apprentissage et des 3 corpus de test</caption><thead><tr><th>Set</th><th>Training</th><th>Test NS</th><th>Test NNS</th><th>Test JpNNS</th></tr></thead><tbody><tr><td>French status</td><td>native</td><td>native</td><td>non-native</td><td>non-native</td></tr><tr><td>Corpus</td><td>CEFC</td><td>CEFC</td><td>CEFC</td><td>Jp learners</td></tr><tr><td>#speakers</td><td>1,340</td><td>146</td><td>37</td><td>29</td></tr><tr><td>#segments</td><td>16,884</td><td>1,919</td><td>268</td><td>96</td></tr></tbody></table>

## 2.3 Modèle de mélanges gaussiens

Selon Ferrer et al. (2015), les modèles de mélanges gaussiens (GMM) sont réputés pour modéliser la variation. Un GMM est une densité de probabilité calculée à partir d'une somme de gaussiennes pondérées. Cette fonction suit au mieux la distribution des données. L'apprentissage du modèle revient à trouver les meilleurs paramètres de ces gaussiennes (moyennes et matrices de covariance) et leur pondération pour représenter les données grâce à l'algorithme d'espérance-maximisation EM. La probabilité d'un vecteur $\vec{x}$, étant donné un GMM de paramètres $\{w_k, \vec{\mu}_k, \Sigma_k\}_{k=1}^K$ est alors :

$$p(\vec{x}) = \sum_{k=1}^{K} w_k \mathcal{N}(\vec{x} | \vec{\mu}_k, \Sigma_k) \quad (1)$$

où $K$ est le nombre de gaussiennes, $w_k$ est le poids de la gaussienne $k$, tel que $\sum_{k=1}^K w_k = 1$, et $\mathcal{N}(\vec{x}|\vec{\mu}_k, \Sigma_k)$ la fonction normale de $\vec{x}$ de moyenne $\vec{\mu}$ et de covariance $\Sigma$ de $k$. Nous utilisons la covariance diagonale pour alléger l'apprentissage, même si certains paramètres acoustiques sont corrélés entre eux. Nous avons également choisi de limiter notre GMM à 1 024 gaussiennes. L'apprentissage du modèle a été implémenté en Python grâce à la librairie SciKit Learn Gaussian Mixture<fnref n="8" />.

Pour calculer la proximité de la parole d'un locuteur $X$ au modèle, nous avons utilisé le produit de la vraisemblance du modèle pour chacun de ses segments de parole $\vec{x}_n$. Pour simplifier ces calculs, nous avons transformé le produit en somme en utilisant la log-vraisemblance $\log p(X)$, et normalisé celle-ci par le nombre $N$ de segments de chaque locuteur qui peut varier beaucoup en fonction des locuteurs :

$$\log p(X) = \frac{1}{N} \sum_{n=1}^{N} \log p(\vec{x}_n) \quad (2)$$

<footnote n="7">7. Toute pause supérieure à 1 seconde ou tout changement de locuteur mettant fin à une UEP.</footnote>

<footnote n="8">8. https://scikit-learn.org/stable/modules/generated/sklearn.mixture.GaussianMixture.html</footnote>
Nous avons calculé la log-vraisemblance moyenne de chaque locuteur natif de la partition de test (NS), et l'avons comparée à celle des locuteurs des corpus non-natifs (NNS ou JpNNS) avec un test de Wilcoxon-Mann-Whitney. Pour les locuteurs non-natifs, la log-vraisemblance obtenue par le modèle gaussien est interprétée comme un score de proximité rythmique au français et elle est comparée aux performances de l'apprenant évaluées par l'enseignant de français pour les locuteurs du Test JpNNS.

## 2.4 Comparaison des paramètres rythmiques entre natifs et non-natifs

Nous comparons la distribution de chacun des 16 paramètres entre les locuteurs natifs et les locuteurs non-natifs du test NNS ou ceux du test JpNNS. Or, le nombre de segments sur lesquels sont extraits ces paramètres est bien supérieur parmi les locuteurs natifs (1 919) par rapport à celui des segments disponibles pour les non-natifs du CEFC (268) et plus encore à celui des japonophones (96). La comparaison est faite sur un échantillon de 96 segments de paroles par corpus, sélectionnés aléatoirement. Pour les natifs, plusieurs tirages aléatoires sont effectués. Les comparaisons entre chaque paramètre mesuré s'effectuent donc sur 96 valeurs pour chaque groupe natif et non-natif. Un test t permet de tester si la différence observée entre les deux groupes est significative. Nous avons également calculé la valeur de l'êta-carré $\eta^2$ qui rend compte de la proportion de variance du paramètre expliquée par la variable natif/non-natif.

# 3 Résultats

## 3.1 Proximité rythmique des locuteurs

<figure><img src="image_62.png" /><figcaption>FIGURE 1 – Distribution des scores des locuteurs natifs NS (bleu), des non-natifs NNS (orange) et des apprenants japonais JpNNS (vert) (supérieurs à -50)</figcaption></figure>

Nous avons d'abord comparé les scores de proximité rythmique des locuteurs natifs (NS) avec ceux des non-natifs du CEFC (NNS). Il s'avère que l'hypothèse selon laquelle les locuteurs non-natifs obtiennent un score de proximité rythmique inférieur à celui des natifs (et sont donc plus éloignés du modèle) ne dépasse pas la tendance ($p = 0.067$).
Nous avons ensuite comparé le score des natifs à celui des non-natifs du corpus d'apprenants japonais (JpNNS). Cette fois-ci, la différence est très significative ($p < 0.001$). L'écart entre les scores de proximité des locuteurs natifs et ceux des locuteurs non-natifs est bien plus net.

La figure 1 présente une distribution de ces scores, zoomée sur les scores supérieurs à -50 (ce qui correspond à 96,6% des NS, 94,6% des NNS et 79,3% des JpNNS). Les NS et les NNS sont majoritairement entre 20 et 40, tandis qu'on ne trouve aucun JpNNS avec un score supérieur à 22,48 (la majorité d'entre eux se situe en 0 et 10). La proximité moyenne de chaque population est respectivement de 25,0, 21,48 et 0,74, si on ignore les scores inférieurs à -50 qui pourraient être dus à de mauvaises détections de voisement ou de noyaux syllabiques à cause de voix trop faibles <fnref n="9" />. Dans cette figure, nous avons également fait apparaître le score de l'enseignant, francophone natif de la classe d'apprenants japonais, dont la voix a également été enregistrée. Son score est de 19,96.

## 3.2 Corrélation avec le niveau de compétence en langue

<figure><img src="image_63.png" /><figcaption>(a) Scores de proximité rythmique des apprenants en fonction de leur note globale à l'examen</figcaption></figure>

<table><caption>(b) Tests de corrélation entre les scores de proximité rythmique et les notes globales (gauche), de production orale (milieu) et de fluence (droite)</caption><thead><tr><th></th><th>Global</th><th>Oral</th><th>Fluency</th></tr></thead><tbody><tr><th>r</th><td>.598 (p = .003)</td><td>.257 (p = .237)</td><td>.410 (p = .052)</td></tr><tr><th>r<sup>2</sup></th><td>.358 (p = .003)</td><td>.066 (p = .237)</td><td>.168 (p = .052)</td></tr><tr><th>ρ</th><td>.478 (p = .021)</td><td>.315 (p = .144)</td><td>.228 (p = .295)</td></tr></tbody></table>

<caption>FIGURE 2 – Corrélation entre scores de proximité rythmique et niveau de français</caption>

Avec les enregistrements du corpus d'apprenants japonais, nous disposons également de 3 notes pour chaque étudiant : la note globale obtenue à l'examen de fin de semestre, type DELF, évaluant les 4 habiletés langagières (compréhension et production, orale et écrite), la note obtenue en production orale (PO) pour ce même examen, et le nombre de points obtenus spécifiquement pour la fluence du discours. La fluence est évaluée sur 5 points dans la partie de production orale, qui représente elle-même $\frac{1}{4}$ de la note globale sur 100 points. Les enregistrements du corpus sont ceux de la production orale des étudiants lors de l'examen, sur laquelle sont les notes de production orale et de fluence.

Nous avons mesuré la corrélation entre ces 3 notes et le score de proximité rythmique obtenu par chaque étudiant. Le tableau 2b donne le coefficient de corrélation de Spearman ($r$), le coefficient de détermination ($r^2$) et le coefficient de Pearson ($\rho$) pour chaque type de note : globale, production orale, et fluence ; avec les p-values associées. La note globale est assez bien corrélée avec le score de proximité rythmique ($r = .598, p < .005$; $r^2 = .358, p < .005$ et $\rho = .478, p < .05$). Les notes de production orale et de fluence sont quant à elles trop proches les unes des autres (17 à 24 pour la PO et 3 à 5 pour la fluence), et la corrélation n'est pas significative. La figure 2a montre les scores de proximité rythmique des 29 étudiants en fonction de leur note globale lors de l'évaluation.

<footnote n="9">9. Ces scores vont de -57,83 à -12 544,14; deux seulement sont compris entre -50 et -100.</footnote>
## 3.3 Analyse des paramètres rythmiques

<figure><img src="image_64.png" /><figcaption>FIGURE 3 – Distribution de $(\mu V)$, $(\sigma V)$, $\rho V$ des durées d'intervalles voisés; et de $(\mu\Delta NV)$, $(\sigma\Delta NV)$ et $\rho\Delta NV$ des écarts entre noyaux syllabiques (respectivement NS, NNS et JpNNS).</figcaption></figure>

La figure 3 illustre les distributions de certains paramètres en fonction des groupes NS, NNS et JpNNS. Pour certains paramètres, comme le débit de parole *SR*, on observe un comportement proche entre le groupe NS, et le groupe NNS avec respectivement 4,0 syll/s et 3,9 syll/s mais seulement 1,3 syll/s pour les JpNNS. De même, le pourcentage de voisement %V est de 57% pour les natifs, 58% pour les NNS et seulement 15% pour les JpNNS.

La durée moyenne des intervalles voisés $\mu V$ est plus longue pour les locuteurs NS (190 ms) et pour les NNS (210 ms) que pour les JpNNS (130 ms). Les écarts de durée de ces intervalles sont toutefois plus importants chez les NS et les NNS que chez les apprenants japonais ($\sigma V$ à respectivement 180, 190 et 90 ms). $\rho V$ permet une mesure indépendante du débit de parole, il varie de 0,93 chez les natifs et 0,90 chez les NNS à 0,70 chez les JpNNS.

En ce qui concerne les métriques faisant intervenir les durées d'intervalles non-voisés, on constate des valeurs de $\mu U$ d'environ 150 ms pour les NS et NNS, et de 580 ms pour JpNNS. $\sigma U$ reflète un même ordre de grandeur pour les NS et NNS (190 ms) et des variations très importantes pour les JpNNS (730 ms). $\rho U$ montre peu de différence entre les groupes : 1,21 pour les NS, 1,27 pour les NNS et 1,22 pour les JpNNS.

Les indices de comparaisons *nPVI* et *rPVI* de durée entre couples successifs d'intervalles voisés présentent des valeurs très proches pour NS et NNS, et plus basses pour JpNNS (NS = 78,54% et NNS = 79,14%; JpNNS = 64,57%), indiquant que les locuteurs JpNNS ont tendance à avoir moins d'écart de durée entre deux intervalles voisés successifs, ce qui est cohérent avec une valeur de $\sigma V$ plus faible. Lorsque l'on s'intéresse à l'écart temporel entre deux noyaux syllabique $\Delta NV$, la valeur moyenne des durées séparant les noyaux syllabiques varie peu entre les groupes, avec 166 ms pour NS, 176 ms pour NNS et 180 ms pour JpNNS. Les écart-types et les coefficients de variations varient

<table><caption>FIGURE 4 – $\eta^2$ et p-value entre les NS et les JpNNS pour le 1er rééchantillonnage, et la moyenne et l'écart type des $\eta^2$ sur les 3 rééchantillonnages</caption><thead><tr><th>Paramètre</th><th>η<sup>2</sup></th><th colspan="2">P-value</th><th>μ(η<sup>2</sup>)</th><th>σ(η<sup>2</sup>)</th></tr></thead><tbody><tr><td>SR</td><td>.745</td><td>3.07e-58</td><td>&lt;.0001</td><td>.705</td><td>.038</td></tr><tr><td>%V</td><td>.673</td><td>5.63e-48</td><td>&lt;.0001</td><td>.647</td><td>.039</td></tr><tr><td>ρV</td><td>.415</td><td>7.23e-24</td><td>&lt;.0001</td><td>.391</td><td>.028</td></tr><tr><td>σV</td><td>.373</td><td>4.79e-21</td><td>&lt;.0001</td><td>.359</td><td>.029</td></tr><tr><td>nPVI</td><td>.360</td><td>3.81e-20</td><td>&lt;.0001</td><td>.339</td><td>.030</td></tr><tr><td>rPVI</td><td>.349</td><td>1.99e-19</td><td>&lt;.0001</td><td>.327</td><td>.035</td></tr><tr><td>μV</td><td>.281</td><td>2.64e-15</td><td>&lt;.0001</td><td>.246</td><td>.033</td></tr><tr><td>μU</td><td>.125</td><td>4.78e-07</td><td>&lt;.0001</td><td>.123</td><td>.003</td></tr><tr><td>μP</td><td>.118</td><td>1.11e-06</td><td>&lt;.0001</td><td>.116</td><td>.002</td></tr><tr><td>σU</td><td>.085</td><td>3.94e-05</td><td>&lt;.0001</td><td>.084</td><td>.002</td></tr><tr><td>μΔNV</td><td>.084</td><td>4.37e-05</td><td>&lt;.0001</td><td>.066</td><td>.017</td></tr><tr><td>σP</td><td>.082</td><td>5.46e-05</td><td>&lt;.0001</td><td>.081</td><td>.001</td></tr><tr><td>ρΔNV</td><td>.046</td><td>.003</td><td>&lt;.01</td><td>.029</td><td>.015</td></tr><tr><td>ρU</td><td>.012</td><td>.124</td><td>&gt;.05</td><td>.012</td><td>.010</td></tr><tr><td>σΔNV</td><td>.011</td><td>.157</td><td>&gt;.05</td><td>.006</td><td>.004</td></tr><tr><td>ρP</td><td>.008</td><td>.206</td><td>&gt;.05</td><td>.008</td><td>.008</td></tr></tbody></table>
peu entre les groupes mais montrent une dispersion plus importante pour les JpNNS (cf. les 2 derniers graphiques de la figure 3).

Nous avons donc voulu comparer NS et JpNNS afin de déterminer si, pour chaque paramètre, les différences observées étaient significatives ou non et calculé les êta-carrés. La figure 4 présente les êta-carrés ($\eta^2$) du premier rééchantillonnage, avec les p-values associées, ainsi que la moyenne des $\eta^2$ sur 3 rééchantillonnages successifs et leur écart type. On remarque que la variance du débit de parole *SR* est expliquée à 75% par le facteur natif/non-natif, suivi de près par le pourcentage de voisement (%V, 67%). Arrivent ensuite les métriques impliquant les durées d'intervalles voisés : le coefficient de variation des durées d'intervalles voisés ($\rho V$), l'écart type et la moyenne de durée de ces intervalles ($\sigma V$, $\mu V$), comme les indices de comparaison brut et normalisé de leur paires successives ($nPVI$, $rPVI$). La variance de ces paramètres est expliquée pour 28 à 42% par le facteur natif/non-natif.

# 4 Discussion

Nous avons proposé une modélisation informatique du rythme du français, apprise sur un corpus volumineux de parole variée, et basée sur les mesures de 16 paramètres rythmiques détectés de manière entièrement automatique. Ce modèle a permis de mesurer un score de proximité rythmique à partir d'extraits de parole de minimum 30s. La comparaison des scores de proximité rythmique entre des locuteurs natifs et des locuteurs non-natifs du CEFC n'a pas montré de différence significative. Plusieurs raisons peuvent expliquer ce phénomène, comme l'hétérogénéité probable des niveaux de français chez les non-natifs du CEFC, la diversité de leurs langues maternelles ou encore les conditions d'enregistrement. Nous savons que les 37 locuteurs viennent d'au moins 18 pays différents, or le rythme de la langue maternelle (ou des langues maternelles) influence grandement l'acquisition des autres langues, tout comme d'autres facteurs individuels que la durée de séjour dans un pays où la langue cible est dominante, ou encore l'âge de première exposition à la langue (Piske et al., 2001; Flege, 1988).

La comparaison d'un groupe plus homogène d'apprenants japonophones de niveau A2 a permis de montrer des différences significatives entre les scores de proximité rythmiques des apprenants et ceux des locuteurs natifs, avec une corrélation, certes peu élevée, avec le niveau global de français des étudiants japonais. Les notes de production orale et de fluence des étudiants ne nous ont pas permis de tirer de conclusion. Il nous faudrait réitérer l'expérience avec des notes plus détaillées, et plus hétérogènes entre les étudiants. Il serait également intéressant de mesurer la corrélation entre les scores rythmiques et les résultats d'un test de perception de l'accent étranger sur ces mêmes locuteurs.

Une étude plus fouillée des 16 paramètres confirme que le débit de parole est bien plus faible chez les apprenants, avec une diminution de la proportion de voisement, sans doute due à une augmentation des pauses intra UEP, inférieures à 1s. L'écart-type des intervalles voisés $\sigma V$ et sa version normalisée $\rho V$ ainsi que l'indice de comparaison des durées entre couples d'intervalles voisés successifs $rPVI$ et sa version normalisée $nPVI$ ne dépendent pas du débit pour leur version normalisée et montrent une tendance à uniformiser la durée des intervalles voisées chez les apprenants par rapport aux locuteurs natifs. Ces résultats corroborent les connaissances des enseignants qui savent que la parole des apprenants doit être accélérée, avec moins de pauses et plus de variation de durées de voisement pour se rapprocher de la parole native. Il serait intéressant maintenant de réitérer l'expérience avec différents niveaux de compétence en langue, et des langues maternelles appartenant à différentes familles rythmiques, pour voir comment varient les paramètres rythmiques en fonction de ces facteurs.
Références

ALAZARD C. (2013). *Rôle de la prosodie dans la fluence en lecture oralisée chez des apprenants de Français Langue Étrangère*. Thèse de doctorat, Université Toulouse 2. Thèse de doctorat dirigée par Michel Billières et Corine Astesano.

BENZITOUN C., DEBAISIEUX J.-M. & DEULOFEU H.-J. (2016). Le projet ORFÉO : un corpus d'études pour le français contemporain. *Corpus, 15*, 91–114.

BHAT S., HASEGAWA-JOHNSON M. & SPROAT R. (2010). Automatic fluency assessment by signal-level measurement of spontaneous speech. *Second Language Studies : Acquisition, Learning, Education and Technology*.

DE JONG N. & WEMPE T. (2009). Praat script to detect syllable nuclei and measure speech rate automatically. *Behavior Research Methods, 41*(2), 385–390.

DE MEO A., PETTORINO M. & VITALE M. (2012). Comunicare in una lingua seconda. Il ruolo dell'intonazione nella percezione dell'interlingua di apprendenti cinesi di italiano. In *La voce nelle applicazioni. Proceedings of the 7th Congress of Italian Association of Speech Sciences AISV*, p. 117-129.

DELLWO V., LEEMAN A. & KOLLY M.-J. (2015). Rhythmic variability between speakers : Articulatory, prosodic and linguistic factors. *The Journal of the Acoustical Society of America, 137*(3).

FERRER L., BRATT H., RICHEY C., FRANCO H., ABRASH V. & PRECODA K. (2015). Classification of lexical stress using spectral and prosodic features for computer-assisted language learning systems. *Speech Communication, 69*(C), 31–45.

FLEGE J. (1988). Factors affecting degree of perceived foreign accent in English sentences. *The Journal of the Acoustical Society of America, 84*(1), 70–79.

FONTAN L., LE COZ M. & DETEY S. (2018). Automatically measuring l2 speech fluency without the need of ASR : A proof-of-concept study with Japanese learners of French. In *Interspeech 2018*, p. 2544–2548.

FOURCIN A. & DELLWO V. (2013). Rhythmic classification of languages based on voice timing. *Tranel Review*, p. 87–107.

GIBBON D. & GUT U. (2001). Measuring speech rhythm. In *EUROSPEECH 2001*, p. 95–98.

GRABE E. & LOW E. L. (2002). Durational variability in speech and the rhythm class hypothesis. *Papers in Laboratory Phonology, Vol. 7*, 515–546.

PELLEGRINO E. (2012). The perception of foreign accented speech. Segmental and suprasegmental features affecting degree of foreign accent in italian l2. *Mello H. et al. (Eds.) Proceeding of the 8 GSCP Conference*, p. 261–267.

PETTORINO M., MAFFIA M., PELLEGRINO E., VITALE M. & DE MEO A. (2013). *VtoV : a perceptual cue for rhythm identification*. University of Leuven (KU Leuven).

PISKE T., MACKAY I. & FLEGE J. (2001). Factors affecting degree of foreign accent in an l2 : a review. *Journal of Phonetics, 29*(2), 191 – 215.

RAMUS F., NESPOR M. & MEHLER J. (1999). Correlates of linguistic rhythm in the speech signal. *Cognition, 73*, 265–292.

ROSSATO S., ZHANG D., AJILI M. & BONASTRE J.-F. (2018). Suivre le rythme de tes paroles. In *Proc. XXXIIe Journées d'Études sur la Parole*, p. 37–45.

WHITE L. & MATTYS S. (2007). Calibrating rhythm : First language and second language studies. *J. Phonetics, 35*, 501–522.
# Étude comparative des paramètres d'entrée pour la synthèse expressive audiovisuelle de la parole par DNNs

Sara Dahmani¹ Vincent Colotte¹ Slim Ouni¹

(1) Université de Lorraine, CNRS, Inria, LORIA, F-54000 Nancy, France
sara.dahmani@loria.fr, vinvent.colotte@loria.fr, slim.ouni@loria.fr

## RÉSUMÉ

Dans le passé, les descripteurs contextuels pour la synthèse de la parole acoustique ont été étudiés pour l'entraînement des systèmes basés sur des HMMs. Dans ce travail, nous étudions l'impact de ces facteurs pour la synthèse de la parole audiovisuelle par DNNs. Nous analysons cet impact pour les trois aspects de la parole : la modalité acoustique, la modalité visuelle et les durées des phonèmes. Nous étudions également l'apport d'un entraînement joint et séparé des deux modalités acoustique et visuelle sur la qualité de la parole synthétique générée. Finalement, nous procédons à une validation croisée entre les résultats de la synthèse des différentes émotions. Cette validation croisée, nous a permis de vérifier la capacité des DNNs à apprendre des caractéristiques spécifiques à chaque émotion.

## ABSTRACT

### Comparative study of input parameters for DNN-based expressive audiovisual speech synthesis

In the past, contextual descriptors for acoustic speech synthesis have been studied for training systems based on HMMs. In this work, we study the impact of these factors for DNN-based audiovisual speech synthesis. We analyze this impact on the three aspects of speech : the acoustic modality, the visual modality and the duration of the phonemes. We also study the contribution of a joint and separate training of the acoustic and visual modalities in the quality of the generated synthetic speech. Finally, we cross-validate the results of the synthesis of the different emotions. This cross validation allowed us to analyze the ability of DNNs to learn characteristics specific to each emotion.

**MOTS-CLÉS** : Synthèse audiovisuelle expressive, tête parlante expressive, émotion, expression faciale, réseau de neurones profond récurrent à mémoire court-terme et long terme.

**KEYWORDS**: Expressive audiovisual speech synthesis, Expressive talking head, emotion, facial expression, deep bidirectional long short-term memory neural network (DBLSTM).

## 1 Introduction

De nos jours, l'animation automatique des têtes parlantes virtuelles expressives est en gain constant d'attention. Elle peut être utilisée dans plusieurs domaines, tel que le domaine des jeux vidéo, des films d'animation ainsi que dans le domaine médical et celui de l'éducation (Sproull et al., 1996; Pandzic et al., 1999; Ostermann & Millen, 2000). L'expressivité dans les systèmes de synthèse de la parole est très demandée puisqu'elle permet d'améliorer l'expérience des utilisateurs et de rendre l'interaction plus naturelle (Eyben et al., 2012; Charfuelan & Steiner, 2013). La synthèse paramétrique statistique de la parole a connu des améliorations ces dernières années, notamment en terme d'intelligibilité (King, 2014), grâce aux techniques paramétriques statistiques allant des HMMs

<figure><img src="image_65.png" /></figure>
(Hidden Markov Models) aux réseaux de neurones (Ze et al., 2013; Zen & Senior, 2014), notamment les réseaux BLSTM (Bidirectional Long Short-Term Memory) qui sont capables de prendre en compte les informations passées et futures d'une séquence. Il a été démontré que les BLSTMs donnent de meilleurs résultats de synthèse que les HMMs et les DNNs standards (Fan et al., 2014, 2015; Klimkov et al., 2018). Par ailleurs, le choix des paramètres et la configuration de ces réseaux sont cruiaux pour que la parole synthétique soit naturelle et intelligible. Il faut donc étudier et choisir minutieusement les différents paramètres et architectures impliqués dans l'entraînement des modèles de la parole.

Plusieurs travaux et systèmes se basent sur des descripteurs linguistiques pour des fins de synthèse vocale que ça soit avec des HMMs (Pouget, 2017; Baumann & Schlangen, 2012) ou par DNNs (Wu et al., 2016; Houdhek et al., 2018; Ribeiro et al., 2016). Nous présentons dans cet article une étude bien nécessaire qui regroupe un ensemble d'expériences permettant d'apporter des réponses et des éclaircissements sur le comportement des DNNs face aux données linguistiques et audiovisuelles. Des études similaires ont été menées dans le passé sur des systèmes HMMs (Watts et al., 2010; Le Maguer et al., 2013; Cernak et al., 2013) mais peu d'études se sont intéressées à l'impact des paramètres linguistiques sur un système basé sur les DNNs et encore moins leur impact sur la modélisation de la parole visuelle.

Le Maguer et al. (2013) ont étudié l'apport des différents paramètres linguistiques à la qualité de la synthèse du système HTS basé sur des HMMs. Cette étude menée sur un corpus acoustique de langue française a montré que l'utilisation du contexte phonétique améliore la modélisation du spectre de la parole et des durées, et que l'utilisation des informations sur les syllabes améliore la modélisation de la F0. Toutefois, le reste des facteurs contextuels ne semblent pas apporter une amélioration significative à la modélisation acoustique avec HTS. Cernak et al. (2013) ont également étudié les facteurs contextuels des données linguistiques pour la synthèse vocale par HMMs pour l'anglais. Cette étude confirme que le contexte syllabique fait partie des facteurs contextuels les plus importants et que le contexte relatif aux mots de la phrase a peu d'importance comme préalablement établie dans l'étude de Yu et al. (2010).

Pour la synthèse vocale par DNNs, Ribeiro et al. (2016) utilisent différents niveaux de contextes linguistiques pour entraîner un réseau de neurones à propagation vers l'avant (DNN-Feed-Forward ou DNN-FF) pour l'anglais. Les paramètres suprasegmentaux ont été traités par un DNN agissant au niveau des syllabes, et la sortie (sous forme de paramètres acoustiques) de ce dernier a été intégrée en tant qu'entrée supplémentaire à un DNN standard agissant au niveau des *frames*. Cette étude montre que l'ajout d'une représentation pré-entraînée des paramètres suprasegmentaux est bénéfique pour la modélisation acoustique. Par ailleurs, l'ajout des vecteurs de plongement (*embedding*) appris sur des mots ne montre aucune amélioration des performances du DNN. Récemment, Mametani et al. (2019) ont présenté une étude des paramètres contextuels appris automatiquement par un système de synthèse *End-to-End* pour l'anglais. Ce genre de système se base sur des DNNs et prend en entrée un texte brut (ou sa représentation phonétique) pour le convertir en paramètres vocaux. Les résultats expérimentaux montrent que le réseau arrive à tirer parti de l'information implicite contenue dans la représentation phonétique du texte comme la réduction des voyelles ou le stress sur les syllabes dans le mot.

Notre étude s'ajoute au travail d'exploration des paramètres d'entrée pour la modélisation de la parole dans la synthèse par DNNs pour la langue française. De plus, dans ce travail nous étudions différents aspects relatifs à la parole, partant des données linguistiques, passant par la modélisation des durées et des données acoustiques et visuelles jusqu'à la modélisation des émotions. Nous effectuons aussi une comparaison objective entre les performances d'un modèle audiovisuel entraîné sur les données
acoustiques et visuelles conjointement puis séparément. Dans le passé, Schabus et al. (2013) ont entraîné un système HMMs pour la modélisation audiovisuelle de la parole. Cette étude a montré que les modèles joints offrent une meilleure synchronisation entre les modalités acoustique et visuelle et que la qualité des paramètres acoustiques prédits ne subit pas de dégradation par rapport au modèle acoustique indépendant. Dans une étude similaire, effectuée sur des données audiovisuelles provenant d'une caméra, Filntisis et al. (2017) ont déclaré n'avoir trouvé aucune différence significative entre les résultats des deux modèles DNNs (joints et séparés) concernant le réalisme de la vidéo de synthèse. Toutefois, les résultats acoustiques du modèle séparé ont été significativement plus appréciés que ceux du modèle joint. Cette étude s'est basée sur des résultats de tests perceptifs, dans notre étude nous voulons quantifier avec un test objectif l'apport ou la dégradation de la qualité due à l'utilisation d'un modèle joint. De plus, les données visuelles que nous utilisons proviennent d'un système de capture de mouvements et contiennent les informations en 3D. Finalement, nous effectuons une validation croisée sur les résultats obtenus pour les différentes émotions, pour vérifier si les modèles des durées, acoustique et visuel, arrivent à se spécialiser dans la modélisation des différentes émotions.

## 2 Données utilisées

Dans ce travail nous utilisons le corpus de langue française présenté dans Dahmani et al. (2019). Ce corpus a été joué par une actrice semi-professionnelle et contient six émotions plus l'état neutre. Des marqueurs rétro-réflectifs ont été collés sur le visage de l'actrice pour suivre les mouvements de son visage. 2000 phrases ont été enregistrées pour l'état neutre (4h de parole). De ces 2000 phrases, un sous-ensemble de 500 phrases a été sélectionné pour chacune des six émotions basiques : joie, tristesse, colère, surprise, peur et dégoût (entre 55min et 1h 11min de parole pour chaque émotion). Le contenu linguistique est identique pour toutes les émotions et les phrases de ce corpus ont été considérées de telle sorte qu'elles offrent une couverture phonétique maximale. Le corpus neutre couvre 92% des diphones du français et le sous-corpus de 500 phrases en couvre 52%. Les données textuelles, acoustiques et visuelles ont été alignées automatiquement au niveau phonétique.

Nous utilisons un vecteur de 417 paramètres linguistiques composé de :

- 190 paramètres binaires relatifs à la nature du phonème courant et de ses contextes gauches et droits (5x38 paramètres : 36 phonèmes et 2 codes supplémentaires, un pour les pauses et le deuxième pour les silences de début et de fin),

- 195 paramètres binaires relatifs à la catégorie phonétique (voyelle, consonne, nasal, fricatif,...) du phonème courant et de ses contextes gauches et droits (5x39 paramètres),

- 2 paramètres numériques relatifs à la position du phonème courant dans la syllabe courante,

- 7 paramètres numériques relatifs à la syllabe courante précédente et suivante, le nombre de phonèmes qu'elles contiennent, la position de la syllabe courante dans la phrase et dans le mot courants,

- 18 paramètres binaires relatifs à la nature de la voyelle centrale dans la syllabe courante,

- 5 paramètres numériques relatifs aux nombres de syllabes dans le mot courant, précédent et suivant ainsi que la position du mot courant dans la phrase courante.

Ces paramètres linguistiques représentent le vecteur d'entrée pour l'entraînement des trois modèles principaux : des durées, acoustique et visuel.

La durée de chaque phonème est extraite sous forme du nombre de *frames* qu'il couvre en considérant un pas de 5ms entre deux *frames* consécutifs. Pour les paramètres acoustiques, nous avons utilisé le Vocodeur WORLD pour extraire 60 coefficients MFCC (Mel-Frequency Cepstral Coefficients), 5 paramètres BAP (Band-Aperiodicity), la fréquence fondamentale avec une échelle logarithmique (log F0) et leurs paramètres dynamiques (Δ et ΔΔ) ainsi qu'un paramètre binaire pour préciser la nature
voisée/non-voisée du son dans chaque frame. Ces paramètres ont été extraits des fichiers audio toutes les 5ms. Ils représentent la sortie du DNN qui sera entraîné pour générer des paramètres acoustiques à partir des paramètres linguistiques. Concernant l'aspect visuel, nous nous intéressons dans ce travail uniquement à l'animation de la partie inférieure du visage. Nous sélectionnons sur l'ensemble des données disponibles dans le corpus les 44 points 3D qui couvrent la région des articulateurs (lèvres, joues, mâchoire et menton), soit un vecteur de 132 valeurs. Ces données ont été également présentées avec un écart de 5ms entre deux frames consécutifs. Nous avons divisé le corpus en trois sous-ensembles : l'ensemble d'entraînement contenant 80% des données, l'ensemble de validation et celui de test avec 10% de données chacun.

## 3 Impact du contexte linguistique sur la qualité de la synthèse

Dans cette section, nous testons 4 types différents de paramètres d'entrée pour analyser leurs impacts sur l'apprentissage des modèles de durées, acoustique et visuel :

- 1_cont : Uniquement l'information sur le phonème central;

- 3_cont : L'information sur le phonème central son contexte gauche et droit immédiats;

- 5_cont : L'information sur le phonème central ses deux contextes gauches et ses deux droits;

- 5_cont_p : Même informations que 5_cont en plus des informations sur la position du phonème courant dans la syllabe et la catégorie phonétique des cinq phonèmes du contexte;

- 5_cont_p_s : Même informations que 5_cont_p en plus des informations sur les syllabes;

- 5_cont_p_s_m : Même informations que 5_cont_p_s en plus des informations sur les mots;

Dans cette section nous utilisons uniquement les données du corpus neutre et adoptons deux architectures : une avec des DNN-FF et une autre avec des BLSTMs. Pour ces deux architectures, un DNN à deux couches a été retenu et nous avons essayé plusieurs largeurs de DNNs pour les différents vecteurs d'entrée (256, 512, 1024 et 2048). Les trois modèles ont été entraînés séparément, et l'architecture qui donne le meilleur résultat sur l'ensemble de validation a été retenue pour chaque expérience. Les meilleurs modèles ont été sélectionnés avec la technique du *early stopping*. Les modèles ont été entraînés avec MSE comme fonction de perte. La fonction d'activation des couches cachées est TANH et une fonction d'activation linéaire pour la couche de sortie. Nous avons utilisé l'optimiseur Adam et aucun dropout, BatchNorm ou régularisation spécifique n'a été utilisée.

Le calcul des différentes métriques a été effectué entre les paramètres prédits et ceux provenant du corpus original. Pour le modèle acoustique et visuel, les durées utilisées sont celles provenant du corpus original. Nous affichons la moyenne et les intervalles de confiance pour chaque métrique.

<table><caption>TABLE 1 – Les résultats du RMSE en frames/phonème et de la corrélation de Pearson sur l'ensemble de test générés par le modèle de durées en variant les paramètres linguistiques lors de l'entraînement avec une architecture de type DNN-FF et BLSTM.</caption><thead><tr><th></th><th colspan="6">DNN-FF</th></tr><tr><th></th><th>1_cont<br>[256, 256]</th><th>3_cont<br>[256, 256]</th><th>5_cont<br>[512, 512]</th><th>5_cont_p<br>[512, 512]</th><th>5_cont_p_s<br>[512, 512]</th><th>5_cont_p_s_m<br>[512, 512]</th></tr></thead><tbody><tr><th>RMSE (f/p)</th><td>8.672 (±0.018)</td><td>5.888 (±0.007)</td><td>5.532 (±0.006)</td><td>5.435 (±0.009)</td><td>5.259 (±0.008)</td><td><strong>5.256</strong> (±0.007)</td></tr><tr><th>Corrélation</th><td>0.389 (±0.002)</td><td>0.781 (±0.0008)</td><td>0.811 (±0.0004)</td><td>0.822 (±0.0007)</td><td>0.827 (±0.0007)</td><td><strong>0.827</strong> (±0.0007)</td></tr><tr><th></th><th colspan="6">BLSTM</th></tr><tr><th></th><th>1_cont<br>[256, 256]</th><th>3_cont<br>[256, 256]</th><th>5_cont<br>[512, 512]</th><th>5_cont_p<br>[512, 512]</th><th>5_cont_p_s<br>[512, 512]</th><th>5_cont_p_s_m<br>[512, 512]</th></tr><tr><th>RMSE (f/p)</th><td>7.237 (±0.011)</td><td>5.418 (±0.006)</td><td>5.413 (±0.006)</td><td>5.411 (±0.006)</td><td>5.301 (±0.007)</td><td><strong>5.247</strong> (±0.006)</td></tr><tr><th>Corrélation</th><td>0.639 (±0.002)</td><td>0.821 (±0.0007)</td><td>0.824 (±0.00006)</td><td>0.826 (±0.0006)</td><td>0.827 (±0.0006)</td><td><strong>0.827</strong> (±0.0006)</td></tr></tbody></table>

Dans les tableaux 1, 2 et 3, il est très intéressant de constater qu’en utilisant une architecture DNN-FF, l’ajout de toutes les informations contextuelles améliore la qualité de la synthèse pour les trois aspects de la parole, bien que l’écart soit extrêmement serré entre les résultats avec et sans informations relatives aux mots. Toutefois, pour le réseau de type BLSTM les trois modèles n’ont pas tous le
<table><caption>TABLE 2 – Les résultats sur l'ensemble de test générés par le modèle acoustique en variant les paramètres linguistiques lors de l'entraînement avec une architecture de type DNN-FF et BLSTM.</caption><thead><tr><th></th><th colspan="6">DNN-FF</th></tr><tr><th></th><th>1_cont<br>[256, 256]</th><th>3_cont<br>[512, 512]</th><th>5_cont<br>[1024, 1024]</th><th>5_cont_p<br>[1024, 1024]</th><th>5_cont_p_s<br>[1024, 1024]</th><th>5_cont_p_s_m<br>[1024, 1024]</th></tr></thead><tbody><tr><th>MCD (dB)</th><td>6.653 (±0.026)</td><td>6.136 (±0.025)</td><td>6.132 (±0.024)</td><td>5.910 (±0.024)</td><td>5.901 (±0.024)</td><td><strong>5.900</strong> (±0.024)</td></tr><tr><th>BAPD (dB)</th><td>0.327 (±0.004)</td><td>0.295 (±0.004)</td><td>0.292 (±0.004)</td><td>0.295 (±0.003)</td><td>0.288 (±0.003)</td><td><strong>0.287</strong> (±0.003)</td></tr><tr><th>F0-RMSE (Hz)</th><td>35.226 (±1.105)</td><td>32.447 (±1.132)</td><td>31.334 (±1.106)</td><td>31.360 (±0.757)</td><td>30.648 (±0.733)</td><td><strong>30.555</strong> (±0.743)</td></tr><tr><th>F0-Corrélation</th><td>0.341 (±0.021)</td><td>0.481 (±0.018)</td><td>0.529 (±0.017)</td><td>0.526 (±0.016)</td><td>0.557 (±0.016)</td><td><strong>0.563</strong> (±0.015)</td></tr><tr><th>V/N-V (%)</th><td>14.250 (±0.424)</td><td>13.195 (±0.539)</td><td>13.090 (±0.553)</td><td>12.877 (±0.371)</td><td>12.872 (±0.375)</td><td><strong>12.848</strong> (±0.371)</td></tr><tr><th></th><th colspan="6">BLSTM</th></tr><tr><th></th><th>1_cont<br>[256, 256]</th><th>3_cont<br>[512, 512]</th><th>5_cont<br>[1024, 1024]</th><th>5_cont_p<br>[1024, 1024]</th><th>5_cont_p_s<br>[1024, 1024]</th><th>5_cont_p_s_m<br>[1024, 1024]</th></tr><tr><th>MCD (dB)</th><td>5.304 (±0.029)</td><td><strong>5.099</strong> (±0.023)</td><td>5.152 (±0.023)</td><td>5.103 (±0.025)</td><td>5.106 (±0.026)</td><td>5.146 (±0.024)</td></tr><tr><th>BAPD (dB)</th><td>0.282 (±0.004)</td><td><strong>0.242</strong> (±0.003)</td><td>0.245 (±0.003)</td><td>0.242 (±0.003)</td><td>0.247 (±0.003)</td><td>0.247 (±0.003)</td></tr><tr><th>F0-RMSE (Hz)</th><td>32.580 (±0.818)</td><td><strong>27.934</strong> (±0.622)</td><td>29.010 (±0.624)</td><td>28.460 (±0.690)</td><td>28.201 (±0.648)</td><td>28.207 (±0.865)</td></tr><tr><th>F0-Corrélation</th><td>0.471 (±0.016)</td><td><strong>0.640</strong> (±0.013)</td><td>0.620 (±0.013)</td><td>0.628 (±0.014)</td><td>0.639 (±0.013)</td><td>0.637 (±0.014)</td></tr><tr><th>V/N-V (%)</th><td>10.736 (±0.369)</td><td><strong>8.348</strong> (±0.262)</td><td>8.822 (±0.257)</td><td>8.571 (±0.293)</td><td>8.566 (±0.303)</td><td>8.755 (±0.292)</td></tr></tbody></table>

<table><caption>TABLE 3 – Les résultats sur l'ensemble de test générés par le modèle visuel en variant les paramètres linguistiques lors de l'entraînement avec une architecture de type DNN-FF et BLSTM.</caption><thead><tr><th></th><th colspan="6">DNN-FF</th></tr><tr><th></th><th>1_cont<br>[256, 256]</th><th>3_cont<br>[256, 256]</th><th>5_cont<br>[512, 512]</th><th>5_cont_p<br>[1024, 1024]</th><th>5_cont_p_s<br>[1024, 1024]</th><th>5_cont_p_s_m<br>[1024, 1024]</th></tr></thead><tbody><tr><th>RMSE (mm)</th><td>1.760 (±0.031)</td><td>1.458 (±0.029)</td><td>1.429 (±0.030)</td><td>1.427 (±0.030)</td><td>1.424 (±0.029)</td><td><strong>1.423</strong> (±0.029)</td></tr><tr><th>Corrélation</th><td>0.574 (±0.007)</td><td>0.763 (±0.005)</td><td>0.778 (±0.006)</td><td>0.778 (±0.005)</td><td>0.779 (±0.005)</td><td><strong>0.779</strong> (±0.005)</td></tr><tr><th></th><th colspan="6">BLSTM</th></tr><tr><th></th><th>1_cont<br>[256, 256]</th><th>3_cont<br>[256, 256]</th><th>5_cont<br>[512, 512]</th><th>5_cont_p<br>[1024, 1024]</th><th>5_cont_p_s<br>[1024, 1024]</th><th>5_cont_p_s_m<br>[1024, 1024]</th></tr><tr><th>RMSE (mm)</th><td>1.327 (±0.030)</td><td><strong>1.316</strong> (±0.029)</td><td>1.328 (±0.031)</td><td>1.330 (±0.030)</td><td>1.331 (±0.031)</td><td>1.332 (±0.031)</td></tr><tr><th>Corrélation</th><td>0.823 (±0.005)</td><td><strong>0.828</strong> (±0.005)</td><td>0.822 (±0.005)</td><td>0.822 (±0.005)</td><td>0.821 (±0.005)</td><td>0.821 (±0.005)</td></tr></tbody></table>

même comportement face aux informations linguistiques. Pour le modèle des durées, et de manière similaire au DNN-FF, l'ajout de l'ensemble des informations linguistiques améliore la prédiction des durées. Concernant les modèles acoustique et visuel, le réseau BLSTM atteint la meilleure qualité de synthèse avec les contextes gauche et droit immédiats uniquement. Cela peut s'expliquer par la capacité des BLSTMs à accéder automatiquement aux contextes passés et futurs de la frame courante, contrairement aux DNN-FF qui nécessitent que cette information soit explicitement donnée en entrée.

Nous remarquons qu'en utilisant le réseau BLSTM, pour le modèle acoustique, les informations sur la position et la catégorie des phonèmes ainsi que les informations sur les syllabes améliorent la modélisation de la F0, alors que l'ajout des informations relatives aux mots a un impact presque nul sur les mesures objectives. Ces constatations confirment les résultats des études précédentes (Le Maguer et al., 2013; Cernak et al., 2013; Yu et al., 2010). Par ailleurs, force est de constater que, pour le modèle visuel, l'ajout des informations contextuelles autres que les contextes gauche et droit immédiats est néfaste pour l'apprentissage. Ce comportement peut être expliqué par la réduction du nombre d'exemples d'apprentissage avec l'augmentation du nombre de combinaisons possibles dans le vecteur d'entrée. En réalité, l'ajout de plus de contraintes contextuelles divise les données en classes de plus en plus petites, et réduit de ce fait le nombre d'exemples d'apprentissage de chaque classe. Pour le modèle des durées, ce comportement ne semble pas se produire, nous pensons que cela vient du fait que le réseau doit prédire un seul et unique paramètre, qui est une tâche plus simple et qui nécessite donc moins d'exemples d'apprentissage.

## 4 Entraînement joint et séparé des modèles acoustique et visuel

Dans cette section nous étudions l'apport éventuel d'un entraînement joint des modalités acoustique et visuelle sur la qualité de la synthèse audiovisuelle. Nous incluons les six catégories d'émotions dans le processus d'apprentissage et nous utilisons 3_cont comme informations linguistiques. Le
vecteur de sortie pour le modèle joint est le résultat de la concaténation des paramètres acoustiques et visuels.

Le calcul des différentes métriques a été effectué entre les paramètres prédits et ceux provenant du corpus original. Pour le modèle acoustique et visuel, les durées utilisées sont celles provenant du corpus original.

<table><caption>TABLE 4 – Les résultats des paramètres acoustiques et visuels sur l'ensemble de test générés en entraînant le DNN avec les données acoustiques et visuelles séparément puis conjointement.</caption><thead><tr><th rowspan="3"></th><th colspan="7">Modèles Séparés</th><th colspan="7">Modèles joints 2048, 2048</th></tr><tr><th rowspan="2">Neu</th><th rowspan="2">Joi</th><th rowspan="2">Tri</th><th rowspan="2">Col</th><th rowspan="2">Sur</th><th rowspan="2">Peu</th><th rowspan="2">Dég</th><th rowspan="2">Neu</th><th rowspan="2">Joi</th><th rowspan="2">Tri</th><th rowspan="2">Col</th><th rowspan="2">Sur</th><th rowspan="2">Peu</th><th rowspan="2">Dég</th></tr><tr><th colspan="2">Acoustique 1024, 1024</th><th colspan="2">Acoustique</th></tr></thead><tbody><tr><td>MCD (dB)</td><td><b>4.863</b></td><td><b>5.738</b></td><td><b>5.288</b></td><td><b>5.262</b></td><td><b>5.699</b></td><td><b>5.226</b></td><td><b>5.431</b></td><td>5.305</td><td>6.135</td><td>5.740</td><td>5.691</td><td>6.157</td><td>5.669</td><td>5.844</td></tr><tr><td>BAPD (dB)</td><td><b>0.224</b></td><td><b>0.312</b></td><td><b>0.269</b></td><td><b>0.268</b></td><td><b>0.287</b></td><td><b>0.231</b></td><td><b>0.256</b></td><td>0.265</td><td>0.359</td><td>0.304</td><td>0.322</td><td>0.335</td><td>0.269</td><td>0.304</td></tr><tr><td>F0-RMSE (Hz)</td><td><b>26.172</b></td><td><b>46.723</b></td><td><b>32.074</b></td><td><b>39.514</b></td><td><b>32.203</b></td><td><b>40.617</b></td><td><b>35.972</b></td><td>32.203</td><td>47.617</td><td>37.972</td><td>45.094</td><td>45.676</td><td>46.201</td><td>44.003</td></tr><tr><td>F0-Corrélation</td><td><b>0.687</b></td><td><b>0.631</b></td><td><b>0.518</b></td><td><b>0.524</b></td><td><b>0.702</b></td><td><b>0.627</b></td><td><b>0.535</b></td><td>0.683</td><td>0.627</td><td>0.514</td><td>0.513</td><td>0.683</td><td>0.488</td><td>0.518</td></tr><tr><td>V/N-V (%)</td><td><b>6.900</b></td><td><b>10.167</b></td><td><b>7.692</b></td><td><b>8.082</b></td><td><b>9.874</b></td><td><b>7.711</b></td><td><b>9.137</b></td><td>7.851</td><td>11.879</td><td>8.955</td><td>9.587</td><td>11.864</td><td>8.814</td><td>10.560</td></tr><tr><td></td><td colspan="7">Visuel 1024, 1024</td><td colspan="7">Visuel</td></tr><tr><td>RMSE (mm)</td><td><b>1.304</b></td><td><b>1.572</b></td><td><b>1.317</b></td><td><b>1.466</b></td><td><b>1.482</b></td><td><b>1.424</b></td><td><b>2.124</b></td><td>1.309</td><td>1.581</td><td>1.320</td><td>1.475</td><td>1.504</td><td>1.429</td><td>2.132</td></tr><tr><td>Corrélation</td><td><b>0.833</b></td><td><b>0.777</b></td><td><b>0.792</b></td><td><b>0.810</b></td><td><b>0.807</b></td><td><b>0.826</b></td><td><b>0.696</b></td><td>0.829</td><td>0.776</td><td>0.790</td><td>0.808</td><td>0.803</td><td>0.825</td><td>0.689</td></tr></tbody></table>

Le tableau 4 montre les résultats obtenus avec les deux modèles. Nous remarquons que l'entraînement joint des deux modalités dégrade toutes les mesures objectives, que ça soit pour la modalité acoustique ou visuelle. En effectuant une écoute informelle nous avons constaté plus de distorsion et un son légèrement étouffé dans les résultats acoustiques du modèle joint, mais pour les résultats visuels, nous n'avons constaté aucune différence humainement perceptible. Ce résultat rejoint celui de Filntisis et al. (2017) qui a montré via des tests perceptifs que les résultats des modèles séparés sont considérés comme légèrement plus réalistes, mais qu'aucune différence d'ordre significatif n'a été trouvée entre les résultats audiovisuels des deux modèles. Cependant, les résultats acoustiques du modèle séparé ont été considérés comme significativement plus réalistes que ceux générés par le modèle joint.

# 5 Validation croisée des résultats de la synthèse expressive

Dans cette expérience nous utilisons des modèles acoustique et visuel séparés avec 3_cont comme vecteur d'entrée, et 5_cont_p_s_m comme entrée du modèle des durées. Sachant que dans une étude précédente (Dahmani et al., 2019), utilisant le même corpus et une architecture neuronale similaire (BLSTM), il a été montré, via des tests perceptifs que les émotions synthétiques sont correctement reconnues (sauf la peur et la tristesse). Dans ce travail nous souhaitons vérifier, via une étude objective la capacité des modèles à apprendre des caractéristiques spécifiques à chaque émotion. Pour ce faire nous procédons à une validation croisée.

Dans cette expérience, nous évaluons la capacité de nos modèles à modéliser les durées et les modalités acoustique et visuelle, toutefois la prononciation des phrases peut changer d'une émotion à l'autre (plus ou moins de pauses, suppression/ajout de voyelles). Ce dernier point n'est pas étudié dans ce travail. Pour le modèle des durées, nous utilisons les informations linguistiques de l'ensemble de test d'une émotion cible pour générer les durées de toutes les autres émotions et nous avons calculé les mesures de toutes les autres émotions par rapport aux données originales de l'émotion cible. Pour les modèles acoustique et visuel, nous avons considéré les données linguistiques ainsi que les durées des données originales de l'ensemble de test de l'émotion cible. En utilisant ces informations, nous générons les paramètres acoustiques et visuels correspondants à chaque émotion et calculons les différentes mesures. Les résultats relatifs à chaque émotion traitée sont représentés dans les lignes des tableaux 5, 6 et 7. Les résultats affichés dans ces trois tableaux montrent que les trois modèles arrivent à se spécialiser dans la modélisation des différentes émotions. Pour le modèle des durées, le dégoût semble être très différent des autres émotions. Cela peut s'expliquer par les durées des
<table><caption>TABLE 5 – Les résultats du RMSE en frames/phonème et de la corrélation de Pearson pour la validation croisée sur les résultats de prédiction des durées des données expressives de l'ensemble de test.</caption><thead><tr><th rowspan="2"></th><th rowspan="2"></th><th colspan="6">Durées</th></tr><tr><th>Neutre</th><th>Joie</th><th>Tristesse</th><th>colère</th><th>surprise</th><th>Peur</th><th>Dégoût</th></tr></thead><tbody><tr><td rowspan="2">Neutre</td><td>RMSE (f/p)</td><td><strong>5.289</strong></td><td>6.110</td><td>6.001</td><td>5.917</td><td>5.652</td><td>6.378</td><td>13.280</td></tr><tr><td>Corrélation</td><td><strong>0.831</strong></td><td>0.799</td><td>0.804</td><td>0.786</td><td>0.803</td><td>0.806</td><td>0.779</td></tr><tr><td rowspan="2">Joie</td><td>RMSE (f/p)</td><td>7.346</td><td><strong>7.136</strong></td><td>7.385</td><td>7.272</td><td>7.206</td><td>7.708</td><td>14.703</td></tr><tr><td>Corrélation</td><td>0.752</td><td><strong>0.774</strong></td><td>0.756</td><td>0.760</td><td>0.769</td><td>0.751</td><td>0.720</td></tr><tr><td rowspan="2">Tristesse</td><td>RMSE (f/p)</td><td>6.886</td><td>6.881</td><td><strong>6.606</strong></td><td>7.118</td><td>7.176</td><td>6.926</td><td>13.856</td></tr><tr><td>Corrélation</td><td>0.770</td><td>0.765</td><td><strong>0.777</strong></td><td>0.755</td><td>0.754</td><td>0.770</td><td>0.747</td></tr><tr><td rowspan="2">colère</td><td>RMSE (f/p)</td><td>6.879</td><td>7.130</td><td>7.222</td><td><strong>6.463</strong></td><td>7.597</td><td>6.578</td><td>15.195</td></tr><tr><td>Corrélation</td><td>0.720</td><td>0.737</td><td>0.728</td><td><strong>0.758</strong></td><td>0.729</td><td>0.744</td><td>0.686</td></tr><tr><td rowspan="2">surprise</td><td>RMSE (f/p)</td><td>6.394</td><td>6.905</td><td>7.134</td><td>6.471</td><td><strong>6.006</strong></td><td>7.532</td><td>14.582</td></tr><tr><td>Corrélation</td><td>0.756</td><td>0.763</td><td>0.741</td><td>0.753</td><td><strong>0.781</strong></td><td>0.749</td><td>0.708</td></tr><tr><td rowspan="2">Peur</td><td>RMSE (f/p)</td><td>7.573</td><td>7.468</td><td>7.287</td><td>7.760</td><td>7.789</td><td><strong>7.174</strong></td><td>13.578</td></tr><tr><td>Corrélation</td><td>0.767</td><td>0.758</td><td>0.766</td><td>0.756</td><td>0.763</td><td><strong>0.781</strong></td><td>0.753</td></tr><tr><td rowspan="2">Dégoût</td><td>RMSE (f/p)</td><td>13.614</td><td>15.709</td><td>13.669</td><td>15.162</td><td>14.361</td><td>13.146</td><td><strong>9.311</strong></td></tr><tr><td>Corrélation</td><td>0.728</td><td>0.716</td><td>0.723</td><td>0.693</td><td>0.712</td><td>0.721</td><td><strong>0.741</strong></td></tr></tbody></table>

<table><caption>TABLE 6 – Les résultats de validation croisée sur les résultats de prédiction des trajectoires visuelles des données expressives de l'ensemble de test. Statique représente un visage à l'état neutre avec une bouche constamment fermée.</caption><thead><tr><th rowspan="2"></th><th rowspan="2"></th><th colspan="8">Visuel</th></tr><tr><th>Neutre</th><th>Joie</th><th>Tristesse</th><th>colère</th><th>surprise</th><th>Peur</th><th>Dégoût</th><th>Statique</th></tr></thead><tbody><tr><td rowspan="2">Neutre</td><td>RMSE (mm)</td><td><strong>1.304</strong></td><td>2.392</td><td>1.635</td><td>2.464</td><td>1.945</td><td>2.245</td><td>2.377</td><td>2.170</td></tr><tr><td>Corrélation</td><td><strong>0.833</strong></td><td>0.77</td><td>0.801</td><td>0.769</td><td>0.782</td><td>0.805</td><td>0.739</td><td>—</td></tr><tr><td rowspan="2">Joie</td><td>RMSE (mm)</td><td>2.500</td><td><strong>1.572</strong></td><td>2.125</td><td>2.703</td><td>2.605</td><td>2.814</td><td>2.732</td><td>3.217</td></tr><tr><td>Corrélation</td><td>0.727</td><td><strong>0.777</strong></td><td>0.734</td><td>0.722</td><td>0.736</td><td>0.734</td><td>0.712</td><td>—</td></tr><tr><td rowspan="2">Tristesse</td><td>RMSE (mm)</td><td>1.655</td><td>2.092</td><td><strong>1.317</strong></td><td>2.378</td><td>2.241</td><td>2.221</td><td>2.325</td><td>2.364</td></tr><tr><td>Corrélation</td><td>0.775</td><td>0.753</td><td><strong>0.792</strong></td><td>0.723</td><td>0.727</td><td>0.773</td><td>0.713</td><td>—</td></tr><tr><td rowspan="2">colère</td><td>RMSE (mm)</td><td>2.604</td><td>2.564</td><td>2.439</td><td><strong>1.466</strong></td><td>2.100</td><td>1.688</td><td>3.124</td><td>3.308</td></tr><tr><td>Corrélation</td><td>0.732</td><td>0.735</td><td>0.714</td><td><strong>0.810</strong></td><td>0.783</td><td>0.774</td><td>0.716</td><td>—</td></tr><tr><td rowspan="2">surprise</td><td>RMSE (mm)</td><td>1.984</td><td>2.537</td><td>2.271</td><td>2.046</td><td><strong>1.482</strong></td><td>1.980</td><td>2.614</td><td>2.817</td></tr><tr><td>Corrélation</td><td>0.750</td><td>0.744</td><td>0.723</td><td>0.785</td><td><strong>0.807</strong></td><td>0.771</td><td>0.727</td><td>—</td></tr><tr><td rowspan="2">Peur</td><td>RMSE (mm)</td><td>2.255</td><td>2.778</td><td>2.239</td><td>1.715</td><td>1.883</td><td><strong>1.424</strong></td><td>3.041</td><td>3.055</td></tr><tr><td>Corrélation</td><td>0.794</td><td>0.772</td><td>0.791</td><td>0.795</td><td>0.790</td><td><strong>0.826</strong></td><td>0.748</td><td>—</td></tr><tr><td rowspan="2">Dégoût</td><td>RMSE (mm)</td><td>2.823</td><td>3.160</td><td>2.822</td><td>3.414</td><td>3.063</td><td>3.460</td><td><strong>2.124</strong></td><td>3.530</td></tr><tr><td>Corrélation</td><td>0.651</td><td>0.647</td><td>0.641</td><td>0.644</td><td>0.651</td><td>0.649</td><td><strong>0.696</strong></td><td>—</td></tr></tbody></table>

émotions dans le corpus utilisé. En fait, cette émotion a été jouée avec un débit remarquablement lent. La durée du corpus du dégoût (1h 53min) représente environ le double des durées des autres émotions (entre 55min et 1h 11min). Les résultats visuels nous permettent de voir certaines ressemblances entre quelques émotions, notamment entre l'état neutre et la tristesse et entre la colère et la peur. En ce qui concerne le modèle acoustique, nous remarquons qu'il y a également une ressemblance entre l'état neutre et la tristesse puis entre la colère et le dégoût, de plus la joie et la surprise sont les émotions avec le plus grand écart de F0 par rapport au neutre et aux autres émotions.

# 6 Conclusion

Dans cet article, nous avons effectué une étude bien nécessaire sur la synthèse audiovisuelle expressive de la parole, afin de donner des éclaircissements sur l'apport de certains paramètres sur les résultats générés. Pour atteindre cet objectif, nous avons adopté différentes architectures neuronales pour entraîner trois modèles : le modèle des durées, le modèle acoustique et le modèle visuel. Nous avons réalisé une comparaison directe entre ces architectures en variant les paramètres linguistiques utilisés. Les résultats obtenus montrent que bien que toutes les informations linguistiques soient bénéfiques pour le modèle des durées, pour le modèle acoustique, uniquement les informations sur le contexte gauche et droit immédiats ainsi que le contexte syllabique améliore la prédiction. Toutefois pour le modèle visuel les informations autres que le contexte gauche et droit immédiats semblent être nuisibles pour l'apprentissage. Nous avons également comparé la qualité de la synthèse des modèles
<table><caption>TABLE 7 – Les résultats de validation croisée sur les résultats de prédiction des paramètres acoustiques des données expressives de l'ensemble de test.</caption><thead><tr><th colspan="8">Acoustique</th></tr><tr><th></th><th></th><th>Neutre</th><th>Joie</th><th>Tristesse</th><th>colère</th><th>surprise</th><th>Peur</th><th>Dégoût</th></tr></thead><tbody><tr><td rowspan="4">Neutre</td><td>MCD (dB)</td><td><strong>4.863</strong></td><td>6.409</td><td>5.390</td><td>5.784</td><td>6.548</td><td>5.327</td><td>5.539</td></tr><tr><td>BAPD (dB)</td><td><strong>0.224</strong></td><td>0.304</td><td>0.243</td><td>0.268</td><td>0.263</td><td>0.229</td><td>0.232</td></tr><tr><td>F0-RMSE (Hz)</td><td><strong>26.172</strong></td><td>97.521</td><td>33.810</td><td>42.063</td><td>108.220</td><td>35.640</td><td>38.839</td></tr><tr><td>F0-Corrélation V/N-V (%)</td><td><strong>0.687</strong></td><td>0.610</td><td>0.598</td><td>0.546</td><td>0.404</td><td>0.558</td><td>0.604</td></tr><tr><td rowspan="4">Joie</td><td>MCD (dB)</td><td>7.010</td><td><strong>5.738</strong></td><td>6.696</td><td>6.417</td><td>6.132</td><td>7.227</td><td>7.045</td></tr><tr><td>BAPD (dB)</td><td>0.367</td><td><strong>0.312</strong></td><td>0.347</td><td>0.330</td><td>0.334</td><td>0.377</td><td>0.371</td></tr><tr><td>F0-RMSE (Hz)</td><td>103.444</td><td><strong>46.723</strong></td><td>85.568</td><td>97.438</td><td>58.942</td><td>113.167</td><td>109.806</td></tr><tr><td>F0-Corrélation V/N-V (%)</td><td>0.586</td><td><strong>0.631</strong></td><td>0.552</td><td>0.547</td><td>0.455</td><td>0.526</td><td>0.540</td></tr><tr><td rowspan="4">Tristesse</td><td>MCD (dB)</td><td>5.688</td><td>6.442</td><td><strong>5.288</strong></td><td>5.825</td><td>6.642</td><td>5.660</td><td>5.817</td></tr><tr><td>BAPD (dB)</td><td>0.271</td><td>0.301</td><td><strong>0.269</strong></td><td>0.284</td><td>0.284</td><td>0.271</td><td>0.271</td></tr><tr><td>F0-RMSE (Hz)</td><td>33.943</td><td>82.658</td><td><strong>32.074</strong></td><td>39.353</td><td>96.357</td><td>47.107</td><td>44.815</td></tr><tr><td>F0-Corrélation V/N-V (%)</td><td>0.503</td><td>0.476</td><td><strong>0.518</strong></td><td>0.496</td><td>0.284</td><td>0.509</td><td>0.514</td></tr><tr><td rowspan="4">colère</td><td>MCD (dB)</td><td>6.177</td><td>6.069</td><td>5.793</td><td><strong>5.262</strong></td><td>6.171</td><td>6.039</td><td>6.040</td></tr><tr><td>BAPD (dB)</td><td>0.303</td><td>0.287</td><td>0.290</td><td><strong>0.268</strong></td><td>0.291</td><td>0.303</td><td>0.304</td></tr><tr><td>F0-RMSE (Hz)</td><td>43.043</td><td>89.370</td><td>41.357</td><td><strong>39.514</strong></td><td>97.935</td><td>44.919</td><td>43.601</td></tr><tr><td>F0-Corrélation V/N-V (%)</td><td>0.440</td><td>0.454</td><td>0.497</td><td><strong>0.524</strong></td><td>0.357</td><td>0.505</td><td>0.491</td></tr><tr><td rowspan="4">surprise</td><td>MCD (dB)</td><td>6.806</td><td>5.916</td><td>6.616</td><td>6.277</td><td><strong>5.699</strong></td><td>6.951</td><td>6.911</td></tr><tr><td>BAPD (dB)</td><td>0.305</td><td>0.30</td><td>0.302</td><td>0.301</td><td><strong>0.287</strong></td><td>0.311</td><td>0.311</td></tr><tr><td>F0-RMSE (Hz)</td><td>102.248</td><td>51.066</td><td>86.765</td><td>97.706</td><td><strong>32.203</strong></td><td>112.539</td><td>109.363</td></tr><tr><td>F0-Corrélation V/N-V (%)</td><td>0.449</td><td>0.564</td><td>0.394</td><td>0.444</td><td><strong>0.702</strong></td><td>0.382</td><td>0.391</td></tr><tr><td rowspan="4">Peur</td><td>MCD (dB)</td><td>5.730</td><td>7.015</td><td>5.729</td><td>6.097</td><td>7.075</td><td><strong>5.252</strong></td><td>5.226</td></tr><tr><td>BAPD (dB)</td><td>0.246</td><td>0.334</td><td>0.262</td><td>0.297</td><td>0.286</td><td><strong>0.234</strong></td><td>0.231</td></tr><tr><td>F0-RMSE (Hz)</td><td>37.586</td><td>116.012</td><td>48.980</td><td>41.281</td><td>128.206</td><td><strong>32.505</strong></td><td>35.090</td></tr><tr><td>F0-Corrélation V/N-V (%)</td><td>0.435</td><td>0.404</td><td>0.487</td><td>0.477</td><td>0.242</td><td><strong>0.494</strong></td><td>0.627</td></tr><tr><td rowspan="4">Dégoût</td><td>MCD (dB)</td><td>5.995</td><td>7.124</td><td>5.949</td><td>6.250</td><td>7.269</td><td>5.641</td><td><strong>5.431</strong></td></tr><tr><td>BAPD (dB)</td><td>0.272</td><td>0.338</td><td>0.279</td><td>0.328</td><td>0.296</td><td>0.265</td><td><strong>0.256</strong></td></tr><tr><td>F0-RMSE (Hz)</td><td>38.890</td><td>117.422</td><td>46.779</td><td>42.528</td><td>132.273</td><td>36.477</td><td><strong>35.972</strong></td></tr><tr><td>F0-Corrélation V/N-V (%)</td><td>0.473</td><td>0.439</td><td>0.512</td><td>0.502</td><td>0.299</td><td>0.516</td><td><strong>0.535</strong></td></tr><tr><td></td><td></td><td>9.350</td><td>9.840</td><td>9.446</td><td>9.837</td><td>9.828</td><td>9.245</td><td><strong>9.137</strong></td></tr></tbody></table>

acoustique et visuel entraînés séparément puis conjointement. Nous avons trouvé que les modèles entraînés séparément atteignent une meilleure précision de reconstruction lors de la comparaison via des tests objectifs. Finalement, les résultats objectifs de la validation-croisée effectuée sur les différentes émotions, montrent que les trois modèles arrivent à se spécialiser aux différentes émotions. Ces résultats nous ont aussi permis de constater des similarités et des différences entre certaines émotions. Ces résultats viennent pour compléter une étude perceptive effectuée précédemment par Dahmani et al. (2019) sur le même corpus. Sachant que les résultats objectifs ne reflètent pas toujours la perception humaine, nous comptons compléter, dans nos prochains travaux, cette étude par des tests perceptifs.

Nous souhaitons que cet ensemble d'expériences apportera plus de clarté sur le comportement des DNNs face aux différentes données linguistiques, des durées et audiovisuelles, et que ça facilitera, pour les autres chercheurs, le choix de l'architecture neuronale la plus adaptée pour la synthèse audiovisuelle expressive de la parole.

## Remerciements

Nous remercions la plateforme Grid'5000 de nous avoir fourni des ressources GPU pour entraîner nos modèles (Balouek et al., 2012).

## Références

BALOUEK D., AMARIE et al. (2012). Adding virtualization capabilities to the Grid'5000 testbed. In *International Conference on Cloud Computing and Services Science* : Springer.
BAUMANN T. & SCHLANGEN D. (2012). Inpro_iss : A component for just-in-time incremental speech synthesis. In *Proceedings of the ACL 2012 System Demonstrations*.

CERNAK M., MOTLICEK P. & GARNER P. N. (2013). On the (un) importance of the contextual factors in hmm-based speech synthesis and coding. In *ICASSP 2013 : IEEE*.

CHARFUELAN M. & STEINER I. (2013). Expressive speech synthesis in MARY TTS using audiobook data and emotionML. In *INTERSPEECH*.

DAHMANI S., COLOTTE V., GIRARD V. & OUNI S. (2019). Conditional variational auto-encoder for text-driven expressive audiovisual speech synthesis. *Proc. Interspeech 2019*.

EYBEN F., BUCHHOLZ et al. (2012). Unsupervised clustering of emotion and voice styles for expressive TTS. In *ICASSP 2012 : IEEE*.

FAN B. et al. (2015). Photo-real talking head with deep bidirectional lstm. In *ICASSP*.

FAN Y. et al. (2014). Tts synthesis with bidirectional lstm based recurrent neural networks. In *INTERSPEECH*.

FILNTISIS P. P., KATSAMANIS A., TSIAKOULIS P. & MARAGOS P. (2017). Video-realistic expressive audio-visual speech synthesis for the greek language. *Speech Communication*, **95**.

HOUIDHEK A., COLOTTE V., MNASRI Z. & JOUVET D. (2018). Dnn-based speech synthesis for arabic : modelling and evaluation. In *International Conference on Statistical Language and Speech*.

KING S. (2014). Measuring a decade of progress in text-to-speech. *Loquens*, **1**(1).

KLIMKOV V., MOINET A. et al. (2018). Parameter generation algorithms for text-to-speech synthesis with recurrent neural networks. In *SLT Workshop 2018 : IEEE*.

LE MAGUER S. L., BARBOT N. & BOEFFARD O. (2013). Evaluation of contextual descriptors for hmm-based speech synthesis in french. In *Eighth ISCA Workshop on Speech Synthesis*.

MAMETANI K., KATO T. & YAMAMOTO S. (2019). Investigating context features hidden in end-to-end tts. In *ICASSP 2019 : IEEE*.

OSTERMANN J. & MILLEN D. (2000). Talking heads and synthetic speech : An architecture for supporting electronic commerce. In *2000 ICME2000 : IEEE*.

PANDZIC I. S., OSTERMANN J. & MILLEN D. (1999). User evaluation : Synthetic talking faces for interactive services. *The visual computer*, **15**(7-8).

POUGET M. (2017). *Synthèse incrémentale de la parole à partir du texte*. Thèse de doctorat.

RIBEIRO M. S., WATTS O. & YAMAGISHI J. (2016). Syllable-level representations of supraseg-mental features for dnn-based text-to-speech synthesis. In *INTERSPEECH*.

SCHABUS D., PUCHER M. & HOFER G. (2013). Joint audiovisual hidden semi-markov model-based speech synthesis. *IEEE Journal of Selected Topics in Signal Processing*, **8**(2).

SPROULL L., et al. (1996). When the interface is a face. *Human-Computer Interaction*.

WATTS O. et al. (2010). The role of higher-level linguistic features in hmm-based speech synthesis.

WU Z. et al. (2016). Merlin : An open source neural network speech synthesis system. In *SSW*.

YU K. et al. (2010). Word-level emphasis modelling in hmm-based speech synthesis. In *ICASSP*.

ZE H. et al. (2013). Statistical parametric speech synthesis using deep neural networks. In *ICASSP*.

ZEN H. & SENIOR A. (2014). Deep mixture density networks for acoustic modeling in statistical parametric speech synthesis. In *ICASSP*.
# Rythme et contrôle articulatoire : étude préliminaire du Human Beatbox.

Alexis Dehais Underdown¹ Paul Vignes¹, Lise Crevier-Buchman¹,² & Didier Demolin¹

(1) Laboratoire de Phonétique et Phonologie, (CNRS / Sorbonne Nouvelle), 19 Rue des Bernardins, 75005 Paris, France

(2) Unité d'exploration fonctionnelle Voix-Parole – Service d'ORL & Chirurgie Cervico-Faciale, 40 rue Worth, BP 36, 92151 Suresnes, France
alexis.dehais-underdown@sorbonne-nouvelle.fr, vignes.paul@gmail.com, lise.buchman1@gmail.com, didier.demolin@sorbonne-nouvelle.fr

## RÉSUMÉ

Dans cette étude nous nous intéressons à l'analyse spectrale d'imitation de grosses caisses, de charleston et de caisse claire dans un paradigme d'augmentation de la vitesse de production. La vitesse de production a été contrôlée en utilisant un métronome à vibration paramétré à 90, 120 puis 150 battements par minute. Le Centre de Gravité spectral et le coefficient d'asymétrie ont été mesurés pour inférer la stabilité et la variabilité articulatoire des sons produits dans les patterns beatboxés. Les grosse caisses sont les sons les plus contrôlés suivi par les caisses claires puis les charlestons.

## ABSTRACT

**Rhythm and articulatory Control : Preliminary study of Human Beatboxing.**

In this study we were interested in the spectral analysis of kick drums, hi-hat and snare drum imitations in a speed increasing production task. The production speed was controlled using a vibration metronome set at 90, 120 and 150 beat per minute. Center of Gravity and Skewness were measured in order to infer articulatory stability and variability of the sounds in the beatboxed patterns. Kick drum were the most controlled sounds followed by snare drums and hi-hats.

**MOTS-CLÉS** : HUMAN BEATBOX, VITESSE DE PRODUCTION, ACOUSTIQUE, RYTHME.

**KEYWORDS** : HUMAN BEATBOXING, SPEED RATE, ACOUSTICS, RHYTHM.

## 1 Introduction

La parole est un accommodement entre des principes de production et de perception pour délivrer un message linguistique. L'utilisation du Conduit Vocal (CV) humain est soumise à des contraintes qui permettent de minimiser le coût de la production afin de maximiser la perception des sons produits. La parole est dépendante d'une organisation complexe de différents niveaux linguistiques (lexical, morphosyntaxique, phonologique ...). Le Human Beatbox (HBB) n'obéit pas à ses restrictions, on ne beatboxe pas pour véhiculer un message linguistique. Cela implique que la production n'est pas soumise à des contraintes liées aux langues. Cette différence entre parole et HBB a un impact fondamental sur la façon dont on utilise le conduit vocal lorsque l'on beatboxe. L'HBB n'est pas

<figure><img src="image_66.png" /></figure>
restreint à l'ensemble des gestes articulatoires répondant au compromis linguistique entre production et perception. Cependant, il doit aussi exister une relation entre production et perception dans le HBB dont on ignore, à ce jour, la nature.

Dans cette étude nous nous intéressons à l'analyse spectrale d'imitation d'instruments percussifs dans un paradigme d'augmentation de la vitesse de production. Il existe à ce jour peu d'études sur le HBB. Concernant le signal acoustique des sons beatboxés la littérature est encore plus restreinte. On retiendra celles de Picart, Brognaux Dupont, 2015 ; Stowell & Plumbley, 2010 s'intéressant à la classification automatique des sons, celle de Stowell & Plumbley (2008) décrivant de façon impressionniste les sons et celles de Dehais Underdown, Crevier Buchman & Demolin (2019) et Dehais Underdown et al. (2019) qui ont analysé les caractéristiques spectrales de la grosse caisse [p'] et la caisse claire [pf'.] Enfin, à partir du même corpus Dehais Underdown et al. (2020) ont montré que la durée des séquences beatboxées tend à diminuer lorsque la vitesse de production augmente (r = 0.97) ; de plus ils ont trouvé un faible taux d'erreurs de production de 7,6% (n=1083).

Les sons de notre corpus sont non-voisés, il faut donc s'interroger sur l'analyse acoustique de la production d'une suite de sons sourds. En l'absence de sons vocaliques il est difficile d'utiliser certains indices acoustiques comme le VOT (Cho & Ladefoged, 1999), les équations de locus (Sussman, McCaffrey & Matthews, 1991) ainsi que d'autres corrélats destinés à l'étude des consonnes glottiques (Kingston, 1985 ; Wright et al., 2002). Nous avons donc choisi de porter notre analyse sur les bruits des sons que nous avons analysé en s'intéressant aux moments spectraux 1 et 3, c'est-à-dire le Centre de Gravité spectral (CdG) et le coefficient d'asymétrie (Forrest et al. 1988). Ces paramètres permettent de distinguer les lieux d'articulation à la fois des occlusives et des fricatives sibilantes (Forrest et al. 1988 ; Jongman et al. 2000 ; Nittrouer, 1995 ; Lousada et al. 2012). Il existe quatre moments spectraux décrivant la répartition d'énergie dans le spectre. Le premier correspond au CdG, c'est une moyenne de la composition spectrale indiquant la fréquence où l'énergie est concentrée. Le deuxième moment décrit la variance de la distribution. Le troisième moment (i.e. coefficient d'asymétrie ou « skewness » en anglais) renseigne sur la symétrie ou l'asymétrie de la distribution. Enfin le quatrième moment (i.e. coefficient d'aplatissement ou kurtosis) décrit l'aplatissement de la distribution. Les fortes corrélations entre le CdG et les paramètres articulatoires impliqués dans la production des fricatives dans l'étude de Tabain (2001) nous permettent d'inférer que le CdG est un bon indicateur pour définir le lieu d'articulation. Nous prendrons le coefficient d'asymétrie comme paramètre indiquant la variabilité de composition spectrale et indirectement les variations de configuration du CV.

L'objectif de cette étude est d'analyser l'influence de la vitesse de production sur des sons beatboxés. Nous faisons l'hypothèse qu'en augmentant la vitesse de production cela entrainera des perturbations dans la production : (1) nous pensons que les sons coronaux montreront plus de variation de CdG (i.e. indicateur du lieu d'articulation) que les vélaires et ensuite que les labiales ; (2) que les labiales montreront plus de variation du coefficient d'asymétrie (i.e. indicateur de la configuration du conduit vocal) ; enfin (3) la position du son dans une structure beatboxée est un facteur influençant la variation de ces deux paramètres spectraux.
# 2 Méthodologie

## 2.1 Corpus & protocole

Un beatboxeur professionnel de 31 ans a pris part à cette étude préliminaire. Les enregistrements se sont déroulés dans la chambre sourde du Laboratoire de Phonétique et Phonologie avec un microphone cardioïde AKG C520 avec une fréquence d'échantillonnage de 44kHz. Les séquences rythmiques (i.e. pattern de beatbox) à l'étude ont été extraites d'un corpus plus large. Le pattern de beatbox désigne une structure composée de sons beatboxés qui peut avoir un rythme binaire ou asymétrique et une organisation plus ou moins complexe en fonction du nombre de constituants de cette structure. La structure de pattern de beatbox créé pour cette étude est composée de 9 frappes (i.e. production du son) sur 4 battements. Chaque frappe a été numérotée de 1 à 9 sous forme de position dans le pattern de beatbox. Nous avons contrôlé la vitesse de production (i.e. Tempo) en utilisant un métronome à vibration paramétré à 90, 120 puis 150 battements par minute (BPM). Chaque pattern de beatbox (PB) se compose d'une même structure : Grosse Caisse, Charleston, Caisse Claire, Charleston, Grosse Caisse, Grosse Caisse, Charleston, Caisse Claire, Charleston. Nous avons choisi de transcrire les sons beatboxés à l'aide de l'API (Association Phonétique Internationale, 1999) et de ses extensions destinées à la parole pathologique (Ball, Howard & Miller, 2018).

1. [p'ts' ↓kL ts' p'p' ts' ↓kL ts'],

2. {ŋ [↑O ↑| ‡* ↑| ↑O↑O ↑| ‡* ↑|] ŋ} ({ŋ ... ŋ} indique que l'artiste peut fredonner en même temps qu'il beatboxe, [‡*] est un click où le relâchement est postérieur décrit par (Tuhuse & Traill, 1999)),

3. [t' ts' tʃi' ts' t't' ts' tʃi' ts'].

Chaque pattern a été répété 8 fois de suite à trois vitesses différentes (3 PB x 8 répétitions x 3 vitesses = 72 PB). Les fichiers sons ont été ré-échantillonnés à 32kHz dans le but d'observer les plus hautes fréquences.

## 2.2 Analyse

Nous avons utilisé Praat (Boersma & Weenink, 2006) pour segmenter les données et extraire le CdG et le coefficient d'asymétrie. Sur le textgrid nous avons noté le son tel qu'il a été produit et la cible qui était attendue. Pour chaque son, nous avons extrait les spectres FFT sur des fenêtres de 25ms afin d'observer les changements spectraux au cours du temps pour chaque son. À partir des spectres extraits, nous avons relevé les valeurs de Centre de Gravité spectral (CdG) et le coefficient d'asymétrie (i.e. Skewness) dans le but d'analyser la composition spectrale de chaque son en fonction de la position et de la vitesse de production. La durée (ms) des PB a été calculée à partir du début du premier son jusqu'à la fin du dernier son. Étant donné que la durée des PB diminue lorsque la vitesse de production augmente (Dehais Underdown, 2020) nous utiliserons cette valeur pour évaluer l'influence de la vitesse de production sur nos mesures spectrales. Dans notre analyse nous avons enlevé toutes les erreurs de production (e.g. substitutions, omissions) dans les 3 patterns à l'étude, c'est-à-dire lorsqu'un son produit ne correspond pas à la cible attendue, pour ne pas biaiser notre analyse. Nous n'analyserons pas les erreurs de production (4,3%).
Le logiciel R (Team R core, 2005) a été utilisé dans le but de générer des nuages de points et des coefficients de corrélations de Pearson des mesures spectrales (variable dépendante) et de la durée des PB (variable indépendante).

# 3 Résultats

## 3.1 Grosse caisse

Concernant le CdG des grosses caisses [p'] [↑Θ], sur la figure 1 (gauche) les valeurs se situent en dessous de 500 Hz, pour [t'] les valeurs se trouvent en dessous de 2,5 kHz. Cela suggère qu'il y a une concentration de l'énergie qui prédomine dans les basses fréquences dans le but d'imiter au mieux le timbre grave d'une grosse caisse. Nous avons d'un côté les sons [p'] et [↑Θ] qui, dans toutes les positions (i.e. position 1, 5 et 6), montrent peu de dispersion des valeurs de CdG alors que la vitesse augmente. Il n'y a pas de corrélation entre la vitesse et le CdG. De plus les positions 1, 5 et 6 ne semblent pas influer la production des grosses caisses labiales. La position 6 est celle qui montre le moins de variation et suggère donc que la production est stable. De l'autre côté, [t'] montre plus de dispersion des valeurs de CdG suggérant des variations subtiles de lieu d'articulation dans la zone dentale-alvéolaire.

<figure><img src="image_67.png" /><figcaption>FIGURE 1 : Nuages de points du CdG (gauche) et coefficient d'asymétrie (droite) en fonction de la durée des PB de différentes imitations de grosses caisses en position 1. P = [p'], p = [↑Θ], T = [t'.] Les zones grisées indiquent l'intervalle de confiance.</figcaption></figure>

L'analyse du coefficient d'asymétrie nuance quelque peu notre analyse. [p'] montre plus de dispersion des valeurs, ce qui suggère des variations de composition spectrale dues à des différences de configuration du conduit vocal lors de la production de cette labiale. Ces variations de composition ne sont pas surprenantes pour une labiale car les lèvres sont l'articulateur actif, laissant les articulateurs buccaux libres de leurs mouvements. Il est possible que ces variations soient dues à une anticipation des gestes suivants ou bien à la fin du geste précédent. La grosse caisse [↑Θ] suit cette
tendance dans une moindre mesure car on observe moins de dispersion des valeurs du coefficient. Cela s'explique par le fait que le mécanisme d'initiation vélique de ce pattern contraint plus la configuration du conduit afin de maintenir l'occlusion postérieure du dos de la langue. Aucune corrélation entre la vitesse de production et le coefficient d'asymétrie n'a été trouvée pour les labiales. À l'inverse, [t'] montre moins de dispersion du coefficient sur les nuages de points générés. Cela suggère donc que la configuration du conduit vocal reste similaire d'une répétition à l'autre. Cette grosse caisse se trouve dans un PB uniquement composé de sons coronaux et implique donc seulement des changements de position et de la forme de l'apex et la lame de la langue dans la zone dentale-alvéolaire. Il est possible que ce pattern contraigne aussi les variations de configuration du conduit. La corrélation entre la vitesse et le coefficient d'asymétrie de la coronale est très faible (r > 0.48). Les positions 1, 5 et 6 ne semblent pas avoir d'influence sur la production des grosses caisses.

## 3.2 Charleston

À l'inverse des grosses caisses, les charlestons sont des instruments dont le timbre est aigu, les imitations de charleston produites par le participant ont des CdG allant jusqu'à 10.5 kHz et des coefficients d'asymétrie négatifs ou proches de 0 (i.e. répartition dans les hautes fréquences). Nous avons exclu de notre analyse tous les [ts'] du PB3 (i.e. pattern de coronales) en position 4 car ils étaient réalisés entre un [ts'] et un [tʃi'].

<figure><img src="image_68.png" /></figure>

FIGURE 2 : Nuages de points du CdG (gauche) et coefficient d'asymétrie (droite) en fonction de la durée des PB de différentes imitations de Charleston en position 7. TS = [ts'], ts = [↑|]. Les zones grisées indiquent l'intervalle de confiance.

L'analyse des charlestons montre que ces sons sont les plus variables. De plus, selon la position ou le PB où ils se trouvent, l'impact de la perturbation induite par la vitesse est différent. Les charlestons [ts'] du PB1 sont les plus affectés (figure 2). En effet, on observe une importante dispersion des valeurs de CdG et une forte corrélation entre le CdG et la vitesse pour les positions 2 (r=0.70), 4 (r=0.87), 7 et 9 (r=0.76). Ces résultats reflètent des variations articulatoires dues à un possible recul du lieu d'articulation. Cela supposerait donc une possible interaction avec les sons adjacents. En revanche, le même son dans le 3ème pattern se comporte légèrement différemment. On observe moins
de dispersion des valeurs de CdG ce qui souligne plus de stabilité articulatoire. Nous avons trouvé une corrélation du même ordre de grandeur en position 2 (r=0.62), plus faible en position 7 (r=0.26) et plus forte en position 9 (r=0.83). Ces résultats reflètent aussi des variations articulatoires quant au lieu d'articulation. Enfin, [↑] montre moins de dispersion de CdG suggérant moins de variation de lieu d'articulation. La position la plus corrélée à l'augmentation de vitesse est la position 4 (r=0.66) et plus faiblement la position 9 (r=0.46). Ces résultats supposent encore une fois que la nature des contraintes articulatoires propres à chaque PB influence la production des sons.

Concernant le coefficient d'asymétrie on observe peu de dispersion des valeurs du Skewness quelle que soit le type de charleston. Cela indique moins de variation dans la configuration du CV. On observe cependant des corrélations entre la vitesse et le skewness. Le skewness du PB1 est négativement corrélé à la vitesse, particulièrement pour la position 4 (r=-0.77) et la position 9 (r = -0.62). Le spectre se compose donc de fréquences plus hautes à vitesse rapide. De même, dans le PB3 il est négativement corrélé ; encore une fois cette corrélation est plus forte pour les position 4 (r=-0.76) et 9 (r=-0.79). À l'inverse, on observe le phénomène contraire pour le PB2 avec une corrélation positive.

## 3.3 Caisse Claire

Les caisses claires de notre corpus sont des sons longs. Il y a trois fenêtres d'analyse pour ces sons (Figure 3, chaque colonne est une fenêtre de 25 ms). Pour les affriquées, la première fenêtre correspond à la partie occlusive, inversement les fenêtres 2 et 3 correspondent à la partie fricative ; pour [†*] les fenêtres 2 et 3 correspondent à du bruit. Les analyses de CdG montrent des valeurs comprises entre 1 et 5 kHz pour [↓kL], entre 3 et 4 kHz pour [†*] et entre 4 et 8 kHz pour [tʃiʔ'. Quant aux valeurs du coefficient d'asymétrie elles sont comprises entre 1 et 6 (prédominance de moyennes et hautes fréquences) pour [↓kL] et entre -0,5 et 1,5 (prédominance de hautes fréquences) pour [tʃiʔ'] et [†*].La caisse claire ingressive [↓kL] se compose d'une occlusive vélaire ingressive sourde et d'une fricative latérale ingressive sourde. La position dans le pattern n'influence pas le CdG de ces deux composantes. Le peu de dispersion des valeurs sur le nuage de points (Figure 3) et l'absence de relation forte entre la vitesse de production et le CdG (r=-0.1) montre que phase occlusive est stable. On observe un peu plus de variabilité en ce qui concerne la fricative latérale [↓L] (figure 3) en terme de dispersion des valeurs des CdG. Il semble que la phase fricative soit tout aussi stable. Le coefficient d'asymétrie montre peu de dispersion ce qui nous laisse penser que la configuration du conduit vocal varie peu. Aucune corrélation n'a été faite entre les paramètres spectraux et la vitesse.

La caisse claire est en fait un clic [†*] dont le relâchement se fait au niveau de la constriction postérieure (cf. Tuhuse & Traill, 1999 pour une description). Acoustiquement il se compose d'un relâchement avec la présence d'un burst acoustique et suivi de bruit. Sur la (Figure 3) on observe que la caisse claire vélique montre plus de dispersion dans les valeurs de CdG lors de la phase de relâchement (colonne 1) de la constriction vélaire que lors du bruit suivant le relâchement (colonne 2 et 3). Il n'y a pas de dispersion du coefficient d'asymétrie. Le relâchement sur la figure 3 est négativement corrélé à la vitesse concernant le CdG et positivement à la vitesse concernant le Skewness. Cependant cette corrélation vaut seulement pour ce son et la position 8 ; cela se traduit par une augmentation du CdG et une diminution du skewness à vitesse rapide.
<figure><img src="image_69.png" /></figure>

FIGURE 3 : Nuages de points du CdG (gauche) et coefficient d'asymétrie (droite) en fonction de la durée des PB de différentes imitations de caisse claire en position 8. Chaque colonne correspond à une fenêtre de 25ms. tshi = [tfj̃i'], k = [†*], KL = [↓KL]. Les zones grisées indiquent l'intervalle de confiance.

Enfin la caisse claire coronale [tfj̃i'] est plus variable concernant le relâchement de la phase occlusive (Figure 3, fenêtre 1). Il y a une variabilité de positionnement articulatoire. Le passage à la fricative post-alvéolaire est intéressant à analyser. Le CdG sur la 2ème fenêtre d'analyse montre moins de dispersion du CdG que la partie occlusive. L'absence de relation entre la vitesse et le CdG suggère que la production de la phase fricative est plus stable que la phase occlusive. Conjointement, le coefficient d'asymétrie montre une stabilité de la configuration articulatoire. Encore une fois on note l'absence de relation entre la vitesse et le coefficient d'asymétrie. Cela nous amène à penser que l'occlusive pourrait faire office de transitoire impulsionnel par analogie à la baguette de batterie qui bat la peau de l'instrument et que la friction ferait office de transitoire d'extinction qui porte les indices du timbre acoustique. Il se peut que pour des raisons perceptives le contrôle de la production de la phase fricative soit accru.

# 4 Discussion

Nous avions émis l'hypothèse que la vitesse entrainerait des perturbations du CdG, du coefficient d'asymétrie en fonction des positions. Les grosses caisses labiales, quelle que soit leur position dans le pattern, montrent une grande stabilité concernant le geste d'occlusion labiale, reflété par l'analyse du CdG. En revanche les variations de skewness laissent penser que la configuration du conduit vocal diffère d'une répétition à l'autre et d'une position à l'autre. Ces variations peuvent être dues à l'anticipation du geste suivant ou bien de la fin du geste précédent. À l'inverse la grosse caisse linguale montre la tendance inverse : des variations du lieu d'articulation et une stabilité de la configuration du CV. Le CdG des charlestons est plus impacté par le changement de vitesse comme le montre les résultats. Cela suppose que le geste lingual n'atteint pas le même lieu dans la zone dentale-alvéolaire. En revanche le peu de variation de skewness indique que la configuration du CV reste similaire d'une répétition à l'autre et d'une position à l'autre. Nous pensions initialement que
les sons vélaires montreraient plus de variations articulatoires que les labiales, or les données ne vont pas dans ce sens. Le peu de variabilité du CdG de [ ↓ k̃ ] et [†*] suggèrent un bon contrôle de production des labiales et des vélaires, et à moindre mesure de la caisse claire linguale [tʃĩ]. Concernant cette dernière, notre hypothèse prédisait qu’en tant que coronale, elle serait plus sujette à la variation articulatoire, mais les données nous racontent une autre histoire. Bien que la phase occlusive soit quelque peu plus variable, l’ensemble de l’affriquée est stable ce qui suggère un bon contrôle de cette caisse claire.

La position dans le pattern pourrait bien être un facteur influençant la production. Les positions les plus variables sont celles occupées par les charlestons, plus particulièrement les positions 4 et 9. C'est en effet sur ces positions que nous avons trouvé le plus de variation en terme de stabilité articulatoire. La vitesse agit comme une perturbation sur la production et le beatboxeur doit donc faire preuve d'adaptabilité pour respecter les contraintes rythmiques des structures à produire. Dehais Underdown et al. (2020) ont montré que pour s'adapter à la perturbation induite par la vitesse, le beatboxeur réduisait la durée des pauses entre chaque son ainsi que la durée des sons en eux-mêmes, plus particulièrement celle des caisses claires. Cela implique donc que le timing entre les gestes se réduit lorsqu'on augmente la vitesse. Une possible stratégie d'adaptation, ici, serait de réduire la précision articulatoire des charlestons afin de conserver une fluidité dans sa production et garder un meilleur contrôle articulatoire. Pour renforcer cette interprétation il serait bien d'analyser les erreurs de production ; cela permettrait d'alimenter la question du chevauchement des gestes articulatoires chez les beatboxeurs et du contrôle articulatoire. Il est évidement nécessaire d'obtenir des données articulatoires pour confirmer ou réfuter cela.

# 5 Conclusion

L'étude du rythme et de son interaction avec des différences de vitesse de production est une question très intéressante en ce qu'elle permet d'étudier le contrôle articulatoire chez des experts de l'articulation. Dans de futures études (acoustiques et articulatoires) il faudra inclure plus de participants pour observer les tendances générales et les stratégies individuelles pour renforcer notre analyse sur les questions de contrôle et de précision articulatoire.

# Remerciements

Ce travail est soutenu par le Labex EFL (ANR-10-LABX-0083)

# Références

BALL, M. J., HOWARD, S. J., & MILLER, K. (2018). Revisions to the extIPA chart. *Journal of the International Phonetic Association*, 48(2), 155-164. doi: 10.1017/S0025100317000147

BOERSMA, P. & WEENINK, D. (2006). Praat: doing phonetics by computer. Version 6.0.21, recupéré le 25 Septembre 2016 sur http://www.praat.org/

CHO, T. & LADEFOGED, P. (1999). Variation and universals in VOT: evidence from 18 languages. *Journal of phonetics* 27, 207-229.

DEHAIS UNDERDOWN, A., CREVIER BUCHMAN, L. & DEMOLIN, D. (2019). Acoustico-Physiological coordination in the Human Beatbox: A pilot study on the beatboxed Classic Kick Drum. *Proceedings of the 19th International Congress of Phonetic Sciences, Melbourne, Australia 2019* (pp.
142-146). Canberra, Australia: Australasian Speech Science and Technology Association Inc.: Sasha Calhoun, Paola Escudero, Marija Tabain & Paul Warren (eds.).

DEHAIS UNDERDOWN, A., VIGNES, P., CREVIER-BUCHMAN, L., & DEMOLIN, D.. (2019). Human beatboxing: A multi-instrumental pilot. *The Journal of the Acoustical Society of America*, 146(4), (pp. 3082-3082).

DEHAIS UNDERDOWN, A., VIGNES, P., CREVIER BUCHMAN, L. & DEMOLIN, D. (2020). Articulatory control and beatboxing rate: A preliminary study. *12th International Seminar on Speech Production*. Providence.

FORREST, K., WEISMER, G., MILENKOVIC, P., & DOUGALL, R. N. (1988). Statistical analysis of word-initial voiceless obstruents: preliminary data. *The Journal of the Acoustical Society of America*, 84(1), 115-123.

INTERNATIONAL PHONETIC ASSOCIATION. (1999). *Handbook of the International Phonetic Association: A guide to the use of the International Phonetic Alphabet*. Cambridge University Press.

JONGMAN, A., WAYLAND, R., & WONG, S. (2000). Acoustic characteristics of English fricatives. *The Journal of the Acoustical Society of America*, 108(3), 1252-1263.

KINGSTON, J. (1985). *The Phonetics and Phonology of the Timing of Oral and Glottal Events (PhD)*. Berkeley University.

LOUSADA, M. L., JESUS, L. M., & PAPE, D. (2012). Estimation of stops' spectral place cues using multitaper techniques. *Documentação de Estudos em Lingüística Teórica e Aplicada*, 28(1), 1-26.

NITTROUER, S. (1995). Children learn separate aspects of speech production at different rates: Evidence from spectral moments. *The Journal of the Acoustical Society of America*, 97(1), 520-530.

PICART, B., BROGNAUX, S., & DUPONT, S. (2015). Analysis and automatic recognition of human beatbox sounds: A comparative study. *IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)* (pp. 4255-4259). IEEE. doi: 10.1109/ICASSP.2015.7178773

STOWELL, D., & PLUMBLEY, M. D. (2008). *Characteristics of the beatboxing vocal style*. Technical Report, Centre for Digital Music C4DMTR-08-01, Queen Mary, University of London, Dept. of Electronic Engineering. Récupéré sur http://c4dm.eecs.qmul.ac.uk/papers/2008/Stowell08-beatboxvocalstyle-C4DM-TR-08-01.pdf

STOWELL, D., & PLUMBLEY, M. D. (2010). Delayed decision-making in real-time beatbox percussion classification. *Journal of New Music Research*, 39(3), 203-213. doi: 10.1080/09298215.2010.512979

SUSSMAN, H. M., MCCAFFREY, H. A., & MATTHEWS, S. A. (1991). An investigation of locus equations as a source of relational invariance for stop place categorization. *The Journal of the Acoustical Society of America*, 90(3), 1309-1325. doi: 10.1121/1.401923

TABAIN, M. (2001). Variability in fricative production and spectra: Implications for the hyper-and hypo-and quantal theories of speech production. *Language and speech*, 44(1), 57-93.

TEAM, R. D. (2005). R: A language and environment for statistical computing. Vienna, Austria: R Foundation for Statistical Computing. Récupéré sur http://www.R-project.org

TUHUSE, B. |X. & TRAILL, A. (1999). |Hán-|Hánsè, the desert Cisticola, implements an acoustic target, . In *ICPhS-14*, (pp. 1041-1042). San Francisco.

WRIGHT, R., HARGUS, S., & DAVIS, K. (2002). On the categorization of ejectives: data from Witsuwit'en. *Journal of the International Phonetic Association*, 32(1), 43-77.
# Unités prosodiques et grammaire intonative du français :
vers une nouvelle approche

Elisabeth Delais-Roussarie¹ Brechtje Post² Hiyon Yoo³

(1) Université de Nantes, UMR 6310-LLING, Nantes, France

(2) University of Cambridge, Phonetics Laboratory, Cambridge, Royaume Uni

(3) Université Paris-Diderot, UMR 7110-LLF, Paris, France

Elisabeth.delais-roussarie@univ-nantes.fr, bmbp2@cam.ac.uk,
yoo@linguist.univ-paris-diderot.fr

## RÉSUMÉ

Dans les travaux sur la prosodie du français sont généralement proposés deux ou trois niveaux de structuration prosodique: le syntagme accentuel, le syntagme intermédiaire et le syntagme intonatif. Alors que les auteurs sont souvent d'accord sur les modalités de construction du syntagme accentuel, il n'en est pas de même pour les deux autres niveaux.

Dans cet article, nous proposons de redéfinir le syntagme intermédiaire. Cette proposition diffère des autres travaux en deux points. Premièrement, l'extension et le statut du syntagme intermédiaire est clarifié pour en faire une unité métrique. Deuxièmement, une distinction est faite entre cette unité et deux types de syntagme intonatif.

Cette proposition se base sur l'inventaire des contours observés à la frontière droite de ces unités et sur l'étude des relations qu'elles entretiennent avec les structures morpho-syntaxique et sémantique. Elle vise à rendre compte du phrasé et du choix des contours intonatifs à un niveau phonologique sous-jacent.

## ABSTRACT

### Prosodic Units and Intonational Grammar in French: towards a new Approach

In most studies on French prosody, two or three distinct levels of constituency are assumed: the accentual phrase, the intermediate phrase and the intonational phrase. While there is considerable agreement on the definition of the accentual phrase, there is much controversy over the two other levels.

In this paper, a new definition of the intermediate phrase is argued for. Our proposal departs from previous work in two ways. First, the extension and status of the intermediate phrase is clarified in order to consider it as a metrically-driven unit. Second, a distinction is made between this phrase and two types of intonational phrases.

This proposal is based on (a) the inventory of the contours at the right edge of these phrases, and (b) their relation with the morpho-syntactic and semantic structures. Note that our proposal accounts for phrasing and intonation contour choice at the underlying phonological level.

**MOTS-CLÉS** : Structure prosodique, intonation, syntagme intermédiaire, syntagme intonatif.

**KEYWORDS:** Prosodic structure, intonation, intermediate phrase, intonational phrase.

<figure><img src="image_70.png" /></figure>
# 1 Introduction

Dans la plupart des études consacrées au phrasé prosodique et à l'intonation, un énoncé est considéré comme segmenté en constituants prosodiques organisés hiérarchiquement (cf., entre autres, Ladd, 2008; Nespor & Vogel, 1986; Selkirk, 1986 & 2011). Pour le français, trois niveaux de structuration sont généralement retenus dans les modèles prosodiques développés dans le cadre métrique-autosegmental (Post, 2000; Jun & Fougeron, 2000; Delais-Roussarie et al., 2016; Michelas, 2011):

- le syntagme accentuel ou AP, parfois appelé mot prosodique (Delais-Roussarie, 1996) ou syntagme phonologique (Post, 2000);

- le syntagme intermédiaire ou *ip* (Jun & Fougeron, 2000; Michelas, 2011);

- le syntagme intonatif ou IP (dans presque tous les modèles).

Bien qu'un même énoncé puisse être segmenté de plusieurs manières en APs, comme indiqué sous (1), il existe un consensus assez large sur la définition et la caractérisation de cette unité prosodique.

## (1) *Ces jeunes enfants apprennent à parler le français.*

a. (ces jeunes enfants)AP (apprennent à parler)AP (le français)AP

b. (ces jeunes enfants)AP (apprennent)AP (à parler)AP (le français)AP

Sur le plan métrique, un AP correspond à une séquence de syllabes s'achevant par une syllabe accentuée (ou portant un accent primaire). Du fait d'un important syncrétisme entre accentuation et intonation, un contour intonatif montant est associé à la syllabe accentuée, et un schéma tonal comparable à celui sous (2) est associé à tout syntagme accentuel (Delais-Roussarie et al., 2016).

## (2) *aL (Hi) L H* (aL signifiant ton bas de frontière gauche)

Pour ce qui est de l'interface avec la structure morpho-syntaxique, l'AP est souvent décrit comme contenant un mot de contenu (verbe, nom, adverbe) précédé des mots grammaticaux qui en dépendent (préposition, déterminant, auxiliaire, etc.) ; ce syntagme peut donc être dérivé de la structure morpho-syntaxique à l'aide de la contrainte d'alignement *Align R Xhead* qui stipule qu'une frontière d'AP coïncide avec la fin des têtes lexicales de constituants syntaxiques (cf. Selkirk, 1986; Delais-Roussarie, 1996, ; Jun & Fougeron, 2000). En revanche, il n'existe pas de réel consensus sur la façon de définir le syntagme intermédiaire ou, dans une moindre mesure, le syntagme intonatif. De plus, l'extension et les frontières de ces deux constituants peuvent se recouper.

Dans cet article, nous nous centrons sur le syntagme intermédiaire (*ip*) et sur les patrons intonatifs observés à sa frontière droite. Nous proposons une nouvelle façon de définir ce constituant et d'appréhender les différences entre syntagmes intermédiaire et intonatif. Cela apporte un éclairage nouveau sur la structure prosodique du français et permet de séparer les structures métriques et intonatives. L'article sera organisé comme suit. Dans la section 2, une synthèse des travaux existants est proposée afin de montrer où apparaissent les frontières de syntagmes intermédiaires. Cela conduira à distinguer trois types de syntagmes intermédiaires. Dans la section 3, après avoir établi un inventaire des contours mélodiques du français, nous décrivons les patrons mélodiques et les phénomènes intonatifs observables à la frontière droite des trois types d'ips. Sur cette base, nous proposons une nouvelle façon d'appréhender les constituants prosodiques. Cette proposition est faite en s'appuyant sur l'analyse d'énoncés extraits de plusieurs corpus oraux du français ou de données expérimentales.
## 2 Le syntagme intermédiaire, un niveau problématique

Comme nous venons de le mentionner, alors que les définitions et caractéristiques du syntagme accentuel sont peu sujettes à discussion, celles des syntagmes intermédiaires, et dans une moindre mesure intonatifs, le sont davantage, certains auteurs ne reconnaissent pas l'ip comme niveau de structuration prosodique (Delais-Roussarie, 1996 ; Post, 2000, par exemple).

Un examen de la littérature a permis de dégager un ensemble d'énoncés faisant référence au syntagme intermédiaire comme niveau de structuration supplémentaire (Delais-Roussarie et al., 2016 ; Michelas, 2011). L'analyse des exemples cités dans ces articles permet de distinguer trois types de syntagmes intermédiaires en fonction de leur extension.

Avant de décrire chacun de ces types, il est important de garder à l'esprit qu'en plus des indices intonatifs (resetting partiel, cf. Michelas, 2011), trois types d'informations distinctes influencent généralement la distribution et la force relative des frontières prosodiques:

- la structure morpho-syntaxique, les constituants prosodiques étant parfois définis relativement à certaines unités syntaxiques (têtes de syntagmes, projections maximales, etc.). Dans certaines études, les relations entre structure syntaxique et structure prosodique sont exprimées en termes de contraintes d'alignement (cf. Selkirk, 2011 ; Delais-Roussarie, 1996 pour le français);

- la structure informationnelle, des frontières prosodiques particulières pouvant être réalisées en fonction du focus et du topique d'un énoncé. Voir, par exemple, les contraintes qui militent pour qu'une frontière prosodique apparaisse à droite du topique (Feldhausen, 2010) ou bien du focus informationnel (Selkirk, 2000 ; Jun & Lee, 1998 ; Fery, 2001);

- la structure métrique, la taille ou la structure métrique des syntagmes pouvant influencer la distribution des frontières prosodiques et le placement des accents (Post, 2000 ; Delais-Roussarie, 1996). En français, par exemple, la taille du syntagme accentuel est généralement limitée à six ou sept syllabes (Delais-Roussarie, 1996 ; Martin, 1987).

### 2.1 Le syntagme intermédiaire guidé par la métrique

Ce type de syntagme intermédiaire (ip) correspond à un SN sujet long comme dans les exemples (3) et (4) extraits respectivement de (Delais-Roussarie et al, 2016) et (Michelas, 2011).

(3) Le directeur de l'école ne voulait pas voir le guide des touristes qui attendait à la réception.
[{{[le directeur)\_AP (de l'école)\_AP} ip {(ne voulait pas voir)\_AP (le guide des touristes)\_AP} ip {(qui attendait)\_AP (à la réception)\_AP} ip] IP

(4) La mamie des amis de Rémi demandait l'institutrice.
[{(La mamie)\_AP (des amis)\_AP (de Rémi)\_AP} ip {(demandait)\_AP (l'institutrice)\_AP} ip] IP

Des frontières d'ip sont également réalisées à la fin d'un SN objet dans le cas des constructions avec deux compléments d'objet ou avec un complément d'objet complexe, comme sous (5).

(5) Il réglait le déchargement des casiers sur les chariots des mareyeurs.
[{(Il réglait)\_AP (le déchargement)\_AP (des casiers)\_AP} ip {(sur les chariots)\_AP (des mareyeurs)\_AP} ip] IP

Il est intéressant de noter que ces syntagmes intermédiaires contiennent deux ou trois syntagmes accentuels, mais jamais davantage. De plus, la frontière droite de ces ips correspond généralement à
une frontière droite de projections maximales au niveau syntaxique (fin d'un syntagme nominal sujet branchant, etc.). Ce constituant est donc comparable au syntagme phonologique majeur défini à l'aide de la contrainte d'alignement *Align R X<sub>Max</sub>* (Selkirk, 2000 et 2011 ; Delais-Roussarie, 1996).

## 2.2 Le syntagme intermédiaire incident

Dans bon nombre d'études (cf., Mertens 2008 par exemple), une frontière d'ip est réalisée à la fin de constituants syntaxiques remplissant une fonction discursive ou informationnelle particulière (topiques, cadratifs, parenthétiques, etc.). Ces ips apparaissent dans des constructions particulières comme celles mentionnées sous (6).

(6) Constructions appelant la réalisation d'une frontière d'ip à leur droite

a. Dislocation
*A Paul*, je lui ai donné un livre.
[{{(à Paul)AP}ip{(je lui ai donné)AP (un livre)AP}ip}]IP

b. Ajouts à S et cadratifs
*Chaque lundi*, Paul n'est pas là.
[{{(Chaque lundi)AP}ip {(Paul n'est pas là)AP}ip}]IP
*Quand je vais à Toulouse*, je prends toujours le train.
[{{(Quand je vais)AP (à Toulouse)AP}ip {(je prends toujours le train)AP}ip}]IP

c. Constituants incidents, parenthétiques
François, d'après ce qu'on m'a dit, va partir en vacances en Grèce.
[{{(François)AP}ip {(d'après ce qu'on m'a dit)AP}ip {(va partir)AP (en vacances)AP (en Grèce)AP}ip}]IP

Dans (Delais-Roussarie et al, 2016), comme dans bien d'autres études menées dans le cadre métrique-autosegmental, le syntagme intonatif englobe généralement la phrase dans son ensemble ou toute proposition ou clause indépendante. Les constituants détachés, souvent entourés de virgules, sont alors traités comme des syntagmes intermédiaires. Notons néanmoins que les contours intonatifs réalisés à la frontière droite de ces syntagmes intermédiaires varient considérablement (cf. Delais-Roussarie & Feldhausen, 2014 ; Avanzi, 2012). Remarquons cependant que ces syntagmes intermédiaires dérivés à partir de constructions particulières ne peuvent pas se restructurer avec le matériel qui suit, même lorsque le constituant syntaxique incident est très court (Delais-Roussarie & Feldhausen, 2016). Cela explique pourquoi certains auteurs considèrent que ces constructions appellent la réalisation d'une frontière de syntagme intonatif à leur droite (Mertens, 2008 ; Delais-Roussarie & Post, 2008).

Pour résumer, la variabilité observée dans le choix des contours en même temps que l'impossible restructuration prosodique peuvent expliquer les discussions sur la nature et la force relative de la frontière prosodique : syntagme intermédiaire ou syntagme intonatif ?

## 2.3 Frontière d'ips et focus informationnel

Si on considère que le syntagme intonatif (IP) correspond à une phrase ou une proposition indépendante (Delais-Roussarie et al., 2016), les constituants de début de phrases sont traités comme
des syntagmes intermédiaires, bien qu'ils puissent être utilisés comme des énoncés ou propositions indépendants et elliptiques (cf. les exemples sous (7) extraits de Delais-Roussarie et al., 2016.).

(7) a. A: Elle est enceinte de qui ?

B : *de son mari*, pari !

[{(de son mari)AP}ip{(pardi)AP}ip]IP

b. A: Qu'est-ce que vous voulez ?

B: *je voudrais des oranges*, s'il vous plaît madame.

[{(je voudrais)AP (des oranges)AP}ip {(s'il vous plaît)AP (madame)AP}ip]IP

c. A: Vous voulez des citrons ?

B: Non, *ce sont des oranges* que je veux.

[non]IP [(ce sont des oranges)AP}ip{(que je veux)AP}ip]IP

Les frontières d'ips après *mari* (7a), et *oranges* (7b et 7c) coïncident avec la frontière droite du focus informationnel, et les éléments soulignés pourraient être une réponse elliptique aux questions posées. Sur la base des contours intonatifs observés à la fin de ces séquences, certains travaux analysent cette frontière comme une frontière d'IP plutôt que d'ip (Martin, 1987 ; Delais-Roussarie & Post, 2008 ; Delais-Roussarie & Rialland, 2005). Il est clair en tout cas que la partie de l'énoncé analysé comme formant un ip comprend le focus informationnel, ce qui suit n'étant pas important pour le contenu informatif et pouvant être traité comme un appendice (ou « tail »).

# 3 Patrons intonatifs et syntagme intermédiaire

Dans la section 2, trois types distincts de syntagme intermédiaire ont été définis sur la base de la localisation de leurs frontières. Dans cette section, nous nous intéressons aux patrons intonatifs observés aux frontières des ips, mais un bref rappel sur l'intonation du français sera proposé au préalable.

## 3.1 Inventaire tonal du français

L'intonation du français consiste en une succession de contours mélodiques réalisés à la fin de tout constituant prosodique. En position interne, ces contours sont généralement montants, quel que soit le niveau de structuration (LH* pour les syntagmes accentuels, LH*H- pour les syntagmes intermédiaires et LH*H% pour les syntagmes intonatifs, cf. Post, 2000 ; Delais-Roussarie et al, 2016 ; Delais-Roussarie & Post, 2008 ; Delattre, 1966). En revanche, une plus large variété de contours peut apparaître en fin d'énoncé ou à la fin des syntagmes prosodiques intégrant le focus informationnel.

Dans de nombreux travaux consacrés à l'intonation du français, on distingue généralement deux catégories de contours intonatifs : les contours terminaux et les non-terminaux (Post, 2000 ; Delais-Roussarie et al., 2016 ; Martin, 1987 par exemple). Pour (Martin, 1987), la forme des contours terminaux (contours $C_i$) dépend de la modalité de l'énoncé (assertion *vs* question), celle des autres dépend de leur position linéaire et des degrés d'enchâssement, une fois la forme de $C_i$ posée. Dans (Post, 2000) comme dans (Delais-Roussarie et al. 2016 et Delais-Roussarie & Rialland, 2005), une distinction est faite entre contours terminaux and non-terminaux, l'inventaire des contours non-terminaux étant plus limité, comme on le voit dans la Table 1.
<table><thead><tr><th></th><th>Montant</th><th>Montant-Descendant</th><th>Descendant</th><th>Descendant<br>après pic sur<br>pénultième</th></tr></thead><tbody><tr><th>Contours<br>terminaux</th><td>LH*H%</td><td>LH*L%</td><td>L*L %, !H*L%</td><td>H+!H*L%</td></tr><tr><th>Contours non-<br>terminaux</th><td>LH*, LH*H-,<br>LH*H%</td><td></td><td></td><td></td></tr></tbody></table>

<figure><img src="image_71.png" /></figure>

<figure><img src="image_72.png" /></figure>

<figure><img src="image_73.png" /></figure>

<figure><img src="image_74.png" /></figure>

<figure><img src="image_75.png" /><figcaption>TABLE 1 : Inventaire des contours terminaux et non-terminaux du français</figcaption></figure>

## 3.2 Quel contour à la fin des syntagmes intermédiaire ?

D'après la Table 1, des contours montants sont généralement observés à la fin des syntagmes accentuels et intermédiaires non-terminaux. Cela a été confirmé dans les analyses présentées dans (Delais-Roussarie et al., 2016) et dans (Michelas, 2011). Dans la plupart des exemples proposés, un contour mélodique montant est en effet observé à la frontière droite des syntagmes intermédiaires, qu'ils renferment un SN sujet long (cf. (4)) ou que leur frontière droite coïncide avec la fin d'un constituant topique ou disloqué comme sous (9), (cf. aussi figure 1).

(9) Les amis du mari de Valérie, je les ai appelés.

[(les amis)AP (du mari)AP (de Valérie)AP}ip {(je les ai appelés)AP}ip]IP

<figure><img src="image_76.png" /><figcaption>FIGURE 1 : Contour associé à (9)</figcaption></figure>

Les contours intonatifs non-montants sont presque exclusivement observés dans les cas où la frontière droite de l'ip coïncide avec la fin du domaine focal. Dans les exemples sous (7) ont été observées en (7a) une descente après un pic sur la pénultième (H+H*L-), en (7b et c) une descente (codée !H*L- ou L*L-). Il est intéressant de noter que la forme de ces contours correspond à ce qui est considéré comme contour terminal dans la littérature (Delais-Roussarie et al., 2016 ; Post, 2000). La séquence de l'énoncé qui suit l'élément focal (et donc la frontière d'ip) est généralement prononcée avec une intonation relativement plate, similaire à celle des appendices (Delattre, 1966 ; Wunderli, 1987). En s'appuyant sur ces observations, une distinction peut être faite entre ips métriques et incidents, d'une part, et ips dont le bord droit coïncide avec la fin du domaine focal, d'autre part. Au vu des contours intonatifs observés à la frontière droite des domaines focaux (comme dans les exemples sous (7), on peut considérer qu'on a affaire à une frontière terminale, et donc une fin d'IP. Nous y reviendrons dans la section 4.
3.3 Réalisation des contours : de la phonologie à l'implémentation phonétique

Comme nous l'avons mentionné précédemment, un contour montant est généralement observé à la fin des syntagmes intermédiaires métriques et incidents. Dans certains cas cependant, un contour descendant est réalisé à la fin de ces syntagmes intermédiaires non terminaux. Une analyse de ces énoncés pousse à faire une distinction entre ips métriques et ips incidents.

En (9), représenté sur la figure 1, un contour montant LH\*H\* est réalisé à la frontière droite de l'ip incident qui correspond au SN disloqué *les amis du mari de Valérie* tandis que l'énoncé dans son entier s'achève par un contour descendant !H\* L\%. Mais, lorsque la proposition indépendante à laquelle se rattache le SN disloqué s'achève par un contour montant H\*H\% comme en (10) et (11), le contour à la fin de l'ip incident est généralement descendant (voir fig 2, mais aussi fig. 3.7 dans Delais-Roussarie et al., 2016), la chute de F0 pouvant être retardée (delayed).

(10) Les amis du mari de Valérie, vous les avez appelés ?
[{{(les amis)AP(du mari)AP (de Valérie)AP\>}}ip {......}ip]IP

(11) Les amis du mari de Valérie, je les ai appelés et nous nous sommes rencontrés (fig. 2).
[{{(les amis)AP(du mari)AP (de Valérie)AP\>}}ip {{(je les ai appelés)AP}ip]IP [...et nous nous sommes rencontrés..]IP

Ces réalisations descendantes des contours de continuation ont été mentionnées par (Martin, 1987) et (Delattre, 1966). (Martin, 1987) soutient qu'elles s'expliquent par un besoin de marquer le contraste entre le contour de continuation mineure (Delattre, 1966) et les contours montants apparaissant en fin de clause (*continuation majeure*) ou de questions déclaratives (*contour de questions*). Il est cependant intéressant de noter que ces réalisations descendantes n'apparaissent quasiment jamais à la fin des *ips* métriques. Lorsque un SN sujet long est réalisé dans une proposition indépendante non finale ou dans une question déclarative (comme sous (12)), le contour montant attendu à la droite de l'*ip* comprenant le SN sujet n'est pas clairement marqué du fait d'une accélération de débit (cf. fig. 3), mais aucune chute de F0 n'est réalisée ensuite, contrairement à ce qu'on observe en (10) et (11).

(12) Les amis du mari de Valérie m'ont appelé et nous nous sommes rencontrés.
[{{(les amis)AP(du mari)AP (de Valérie)AP}ip {(m'ont appelé)AP}ip]IP [...et nous nous sommes rencontrés..]IP

<figure><img src="image_77.png" /><figcaption>FIGURE 2 : Contour associé à (11)</figcaption></figure>

<figure><img src="image_78.png" /><figcaption>FIGURE 3 : Contour associé à (12)</figcaption></figure>
Les changements dans la façon d'implémenter phonétiquement le contour réalisé sur la dernière syllabe de l'ip métrique dans l'énoncé sous (12) sont comparables à ceux observés par (Michelas, 2011) lorsque les sujets parlent plus vite. Cela va aussi dans le sens de l'analyse proposée par (Post, 2000) qui montre que des désaccentuations totales ou partielles peuvent apparaître au niveau du syntagme phonologique. Ces phénomènes conduisent (i) à assigner un statut métrique aux ips de ce genre, et (ii) à analyser le contour mélodique de fin d'ip comme un accent syntagmatique.

# 4 Proposition et conclusion

Les différences observées dans la distribution et la réalisation des patrons intonatifs de fin d'ips militent en faveur d'une distinction entre les trois types d'ips proposée dans la section 2. Au vu des patrons intonatifs et des phénomènes de contrastes observés à la fin des syntagmes intermédiaires correspondant à des frontières de clauses ou de domaine focal d'une part, et à la fin des ips incidents d'autre part, nous considérons ces deux types d'ips comme des IPs. Pour rendre compte du fait que ces deux types de syntagmes intonatifs ne reçoivent pas les mêmes contours (terminal vs. non-terminal) et qu'une relation de dépendance ou de contraste existe entre eux, nous proposons de distinguer deux types d'IP: (i) l'**IP Majeur** qui correspond à des propositions ou clauses indépendantes ou à des séquences elliptiques contenant le focus informationnel de l'énoncé ; et (ii) l'**IP Mineur** dont la frontière droite correspond à la frontière droite d'un syntagme CommaP ou TopicP.

Les contours terminaux sont réalisés à la fin des IPs majeurs, et sont ensuite copiés à la fin de l'énoncé, comme on peut le voir pour (7) répété ici en (13), cela donnant naissance à une structure récursive.

(13) [[(je voudrais)AP (des oranges)AP]Major-IP (s'il vous plait)AP (madame)AP]Copied-Major-IP

Quant aux IPs mineurs, ils ont à leur frontière droite un contour tonal dont la forme est en partie déterminée par la forme du contour terminal, même si le contour montant est le contour par défaut. Ces IPs entrent également dans une structure récursive avec les IPs Majeurs. Cf. (14a et b)

(14) a. [[(les amis)AP (du mari)AP (de Valérie)AP]Minor-IP (je les ai appelés)AP]Major-IP

b. [[(les amis)AP(du mari)AP (de Valérie)AP]Minor-IP [(je les ai appelés)AP] Major-IP [...et nous nous sommes rencontrés..] Major-IP

Les IPs correspondant à des ajouts ou des topiques (IPs Mineurs) peuvent être analysés comme une sous-catégorie des IPs correspondant à des propositions indépendantes. Un parallèle peut être fait avec ce qui a été proposé pour distinguer les syntagmes mineurs des syntagmes majeurs (Ito & Mester, 2013), mais des recherches sont nécessaires pour les parenthétiques.

Contrairement aux ips analysés comme IPs, les ips métriques restent des ips, mais ils peuvent être vus comme équivalent aux syntagmes phonologiques. APs et ips peuvent donc être analysés comme des unités métriques équivalentes aux syntagmes phonologiques mineurs et majeurs (Nespor & Vogel, 1986; Selkirk, 1986). Du fait du syncrétisme entre intonation et accentuation en français, des événements intonatifs, qui pourraient être considérés comme des accents de groupe, se réalisent à la fin de ces unités. Deux arguments militent pour cette analyse : pas de réalisation descendante en cas de contraste et possibilité de restructuration. De plus amples recherches sont nécessaires pour valider cette analyse à l'aide de données de corpus et d'expériences.
Références

AVANZI, M. (2012) “La dislocation à gauche en français parlé. Etude instrumentale”, in *Le français moderne*.

DELAIS-ROUSSARIE E. (1996), "Phonological Phrasing and Accentuation in French". in *Dam Phonology: HIL phonology papers* II. Holland Academic Graphics, The Hague, p. 1-38.

DELAIS-ROUSSARIE E & A. RIALLAND. Metrical organization, tonal association and focus in French. In S. Blaauw et F. Drijkoningen (eds.) *Romance languages and linguistic theory 2005*. John Benjamins Publishing, pages 73-98. 2005.

DELAIS-ROUSSARIE E. & POST B. (2008) “Unités prosodiques et grammaire de l’intonation : vers une nouvelle approche”, in *Actes des Journées d’étude sur la Parole JEP-TALN*.

DELAIS-ROUSSARIE E. & FELDHAUSEN I. (2014) “Variation in Boundary Strength in French.” in *Proceedings of Speech Prosody 2014*. Dublin, May 2014.

DELAIS-ROUSSARIE E., POST B., AVANZI M., BUTHKE C., DI CRISTO A., FELDHAUSEN I., JUN S.-A., MARTIN P., MEISENBURG T., RIALLAND A., SICHEL-BAZIN R., & YOO H.-Y., (2016), “Developing a ToBI system for French”, in S. Frota & P. Prieto [Eds], *Intonational Variation in Romance*, chapter 3, Oxford University Press.

DELATTRE P. Les dix intonations de base du français. *The French Review* 40 (1), pages 1-14, 1966.

FELDHAUSEN I., (2010) *Sentential Form and Prosodic Structure of Catalan*, John Benjamins.

FERY C. (2001), "Focus and Phrasing in French". In Caroline Féry and Wolfgang Sternefeld (eds), *Audiatur Vox Sapientiae. A Festschrift for Arnim von Stechow*, Berlin. Akademie-Verlag, P. 153-181.

ITO J. & MESTER A. (2013) "Prosodic Subcategories in Japanese". in *Lingua* 124. p.20-40.

JUN S.-A. & LEE H.-J. (1998) "Phonetic and Phonological markers of Contrastive Focus in Korean", in *Proceedings of the 5th ICSLP*, p.4:1295-1298.

JUN SA., FOUGERON C. (2000) “A Phonological Model of French Intonation”. In: Botinis A. (eds) *Intonation. Text, Speech and Language Technology*, vol 15. Springer, Dordrecht, DOI 10.1007/978-94-011-4317-2_10

JUN S.A. & FOUGERON C. (2000). “A phonological model of French Intonation”. In *Intonation: Models, analysis and applications*. Cambridge University Press, Cambridge, p. 209-242

LADD R. D., (2008) *Intonational Phonology*, 2ème, CUP. DOI : 10.1017/CBO9780511808814

MARTIN P. (1987). Prosodic and rhythmic structures in French. in *Linguistics*, 25, p.925-949.

MERTENS P. (2008), “Syntaxe, Prosodie et structure informationnelle: une approche prédictive pour l’analyse de l’intonation dans le discours”, in *Travaux de Linguistique*, 56, p.97-124.

MICHELAS A. (2011), *Caractérisation phonétique et phonologique du syntagme intermédiaire en français: de la production à la perception*, Thèse de doctorat d'Aix-Marseille Université.

NESPOR, N. & VOGEL I., (1986, 2007), *Prosodic Phonology*, Mouton de Gruyter, (1986: Foris).

PIERREHUMBERT J., & BECKMAN M. (1988) *Japanese Tone Structure*, MIT Press

POST B. (2000) *Tonal and Phrasal Structures in French Intonation*. Thèse de Doctorat. Holland Academic Graphics, The Hague.

SELKIRK E. (1986), “On derived domains in sentence phonology”, in *Phonology* 3, p. 371-405.

SELKIRK, E. (2000) “The Interaction of Constraints on Prosodic Phrasing”, in M. Horne [Ed], *Prosody: Theory and Experiment*, Kluwer Academic Press, p. 231-261.

SELKIRK E. (2011), “The syntax-phonology interface”, in J. GOLDSMITH, J. RIGGLE & A. YU [Eds], *The Handbook of Phonological Theory*, 2ème edition, Blackwell, p. 435-484.

WUNDERLI P. (1987), *L'intonation des séquences extraposées en Français*. Gunter Narr Verlag.
# Quel type de systèmes utiliser pour la transcription automatique du français ? Les HMM font de la résistance.

Paul Deléglise¹ Carole Lailler²

(1) LIUM, Université du Maine, avenue Olivier Messiaen, 72085 Le Mans Cedex 09, France

(2) Scribe-conseil, 9 avenue Adrien Daurelle, 05100 Briançon, France

paul.deleglise at gmail.com, c.lailler chez scribe-conseil.com

## RÉSUMÉ

Forts d'une utilisation couronnée de succès en traduction automatique, les systèmes *end-to-end* dont la sortie réside en une suite de caractères, ont vu leur utilisation étendue à la transcription automatique de la parole. De nombreuses comparaisons ont alors été effectuées sur des corpus anglais libres de droits, de parole lue. Nous proposons ici de réaliser une comparaison entre deux systèmes état de l'art, non pas sur de la parole lue mais bel et bien sur un corpus d'émissions audiovisuelles françaises présentant différents degrés de spontanéité. Le premier est un *end-to-end* et le second est un système hybride (HMM/DNN). L'obtention de résultats satisfaisants pour le *end-to-end* nécessitant un lexique et modèle de langage dédiés, il est intéressant de constater qu'une meilleure intégration dans les systèmes hybrides (HMM/DNN) est source de performances supérieures, notamment en Français où le contexte est primordial pour capturer un énoncé.

## ABSTRACT

**What system for the automatic transcription of French in audiovisual broadcasts?**

With a successful use in machine translation, Character-based Neural Machine were naturally used in automatic speech transcription. Many comparisons were then made on English free corpora of speech read. We deal here with a comparison between two state-of-the-art systems, not on read speech but rather on a corpus of French audiovisual broadcasts with different degrees of spontaneity. The first is a *end-to-end* and the second is an hybrid system (HMM / DNN). As obtaining good results for the *end-to-end* requires a dedicated vocabulary and a language model, the goal is to see if better integration in hybrid systems (HMM / DNN) is really a source of superior performances, especially in French language where context is essential for syntax.

**MOTS-CLÉS** : Transcription Automatique de la parole, Évaluation, end-to-end, HMM/DNN.

**KEYWORDS:** ASR, Evaluation, end-to-end, HMM/DNN.

# 1 Introduction

Depuis leur apparition dans le domaine de la transcription automatique de la parole en proposant en 2013 une transcription en phonèmes suivie en 2014 par une transcription en mots sans connaissances phonétiques (Graves & Jaitly, 2014), les systèmes *end-to-end* s'imposent comme une alternative sérieuse aux systèmes à base de HMM. (Amodei et al., 2016) rapportent une évaluation sur le test du corpus Librispeech (Panayotov et al., 2015), obtenue en utilisant un corpus d'apprentissage d'une dizaine de milliers d'heures. Les résultats sont notamment comparés avec la performance d'un

<figure><img src="image_79.png" /></figure>
locuteur humain. La taille du corpus employé pose cependant un net problème de reproductibilité des
expériences. (Zeghidour et al., 2018) font état de meilleurs résultats avec une architecture de réseaux
différente sur Librispeech (3,26% partie *clean*, 12,76% partie *other*) en utilisant "seulement" 960
heures qui correspondent à l'apprentissage de ce même corpus. Dans ce même article, les résultats
sont comparés avec ceux d'un système hybride (HMM/DNN) (Han et al., 2017) (3,51% partie *clean*, 8,58% partie *other*). Enfin, (Lüscher et al., 2019) présentent deux architectures : l'une hybride
(HMM/DNN), l'autre de type *end-to-end* dont les résultats sont respectivement de 5.0% et 9.3% sur
la partie *other*. Toutes les modélisations *end-to-end* utilisent un modèle de langage construit sur des
données textuelles en appui du DNN appris, lui, sur les corpus oraux. Il ressort que les différences
avec un modèle hybride portent sur l'utilisation de connaissances phonétiques préalables comme
le dictionnaire de phonétisation et le processus d'alignement signal/symbole : HMM dans un cas,
neuronal (convolution, encodeur-décodeur) dans l'autre.

Comme l'ensemble des évaluations de ces systèmes *end-to-end* est présenté en langue anglaise sur
des corpus de parole lue, nous proposons d'étudier ces différences sur du français, avec un corpus
d'émissions audiovisuelles comprenant une part non négligeable de parole spontanée. Nous pourrons
ainsi considérer l'influence de la langue, y compris et surtout dans sa dimension spontanée, sur les
résultats. L'article se compose d'une description des systèmes et corpus utilisés. Nous présentons
ensuite les processus d'apprentissage, les expériences de transcription et leur évaluation. Enfin, nous
analysons les résultats obtenus.

## 2 Description des systèmes

Avant de décrire les 2 types de systèmes utilisés, nous présentons les 2 composants communs des
systèmes construits, à savoir une étape de segmentation automatique préalable au décodage et une
modélisation du langage.

La segmentation automatique est obligatoire puisqu'aucun des deux systèmes ne permet un décodage
en flux. En outre, il n'est pas question d'utiliser une segmentation manuelle pour l'évaluation car
la segmentation automatique influence les résultats. Cette segmentation est réalisée par le système
Lium Spkdiarization (Barras et al., 2006; Meignier & Merlin, 2010) sans utiliser la tâche de détection
parole/silence/musique, car le décodeur réalise cette tâche de meilleure manière. En outre, le regrou-
pement de locuteurs à l'aide du critère de vraisemblance croisée pour obtenir une homogénéité des
classes n'est pas utile dans le décodage. Il est donc omis.

Pour réaliser les modèles de langage, nous avons opté pour une modélisation avec repli, la différence
avec les modèles continus étant limitée jusqu'à l'apparition des modèles de langage à *Transformer*
introduit dans (Lüscher et al., 2019). Nos modèles de langage sont construits avec l'outil POCOLM<fnref n="1" />
qui optimise le poids des différents corpus en fonction de la cible de manière plus pertinente que les
autres boîtes à outils.

### 2.1 Système hybride

Nous avons choisi comme représentant d'un système hybride (HMM/DNN), un système utilisant
la boîte à outils KALDI (Povey et al., 2011) dont les performances ont fortement augmenté suite

<footnote n="1">1. https://github.com/danpovey/pocolm</footnote>
à l'utilisation de DNN pour le calcul de la probabilité d'une trame (Povey et al., 2016), avec un apprentissage discriminant de type LF-MMI. Un modèle de Markov caché utilisant des mélanges de gaussiennes est construit par étape. L'avant-dernière étape utilise une représentation par un vecteur de 40 paramètres issu d'une LDA/MLLT calculée sur la concaténation des paramètres de 9 trames consécutives où chaque trame est paramétrée par 13 coefficients MFCC auxquels sont ajoutées les dérivées premières et secondes. Dans la dernière étape, une adaptation au locuteur est réalisée par un processus de fMLLR (Gales, 1998). Ce modèle ne servant qu'à fournir, pour l'apprentissage du DNN, un alignement des états des HMM/signal de parole, l'apprentissage discriminant pour le modèle gaussien présent dans la recette KALDI n'est pas effectué.

Pour le DNN, nous avons choisi l'architecture tdnn7n présente dans la recette *Switchboard* de Kaldi. Elle comprend schématiquement 11 couches de TDNN intercalées avec des couches de régularisation de type ReLu pour un total de 20 millions de paramètres et une couche de sortie de taille 11500, qui correspond au nombre d'états partagés de l'étape fMLLR. Les paramètres d'entrée sont des MFFC calculés sur 40 bandes spectrales en gardant tous les coefficients cepstraux d'une part, et un i-vector de dimension 100 calculés sur une fenêtre glissante caractérisant le locuteur d'autre part.

Le décodage après le calcul des i-vectors s'effectue en 3 passes :

1. une première utilise le HMM hybride avec un modèle de langage d'ordre 2 pour calculer un treillis pour chaque segment,

2. puis, une réévaluation de ces derniers par un modèle de langage d'ordre 4 est effectuée,

3. enfin, le calcul de la meilleure séquence de mots en utilisant différentes valeurs pour le poids du LM et la pénalité d'insertion des mots à partir des treillis est opéré.

## 2.2 Système *End-to-end*

Pour ce système, nous avons opté pour le wav2letter++ (Pratap et al., 2019) dans sa version convolutionnelle (Zeghidour et al., 2018) avec un critère d'apprentissage de type AutoSegCriterion. Les paramètres d'entrée du réseau sont 40 coefficients log-Mels calculés à la volée, solution qui s'est montrée plus efficace que l'utilisation de MFCC sur Librispeech. La sortie du réseau de neurones est une suite de symboles : ici des lettres. Ainsi, une liste de mots est obtenue directement en utilisant un symbole spécial indiquant la fin d'un mot. Pour obtenir de meilleures performances, un élargissement à l'utilisation d'un lexique et d'un modèle de langage est proposé. Ce dernier peut être à base de mots ou de lettres. Cela correspond à la version conv_glu de la recette dédiée à Librispeech. Ce réseau comprend 19 couches convolutives intercalées de couches de normalisation, dropout, et Relu. Il a 200 millions de paramètres. Par ailleurs, il faut noter l'absence de toute indication temporelle associée aux mots dans la sortie.

# 3 Données d'apprentissage

## 3.1 L'acoustique

Les données acoustiques pour l'apprentissage sont les audios associés à leur transcription fine provenant des différentes campagnes d'évaluation du français. Elles comportent des émissions de radio pour les 2 campagnes ESTER (Gravier et al., 2004) dont la parole est, le plus souvent, préparée, auxquelles sont ajoutées les émissions de télévision de la campagne ETAPE (Gravier et al., 2012)
qui contient davantage de parole spontanée. Des transcriptions larges de podcasts complètent ce corpus d'apprentissage. Les corpus de développement et de test sont ceux de l'évaluation finale du défi REPERE (Giraudel et al., 2012). Le tableau 1 donne le nombre d'heures transcrites des différents corpus. Le corpus d'apprentissage est utilisé tel quel pour l'apprentissage des GMM. Pour l'apprentissage des DNN en revanche, une augmentation de corpus est effectuée. Pour cela, on pratique une modification de la vitesse de 0,9 et de 1,1, conjuguée à une variation aléatoire de l'amplitude par émission : cela multiplie par 3 le nombre d'heures disponibles pour l'apprentissage.

<table><caption>TABLE 1 – Les corpus audio</caption><thead><tr><td>Corpus</td><td>Taille en heures</td><td>Nb émissions</td></tr></thead><tbody><tr><td>Apprentissage campagne évaluation</td><td>291h</td><td>759</td></tr><tr><td>Apprentissage podcast</td><td>225h</td><td>1229</td></tr><tr><td>Total Apprentissage</td><td>617h</td><td>1988</td></tr><tr><td>Développement</td><td>5h30</td><td>28</td></tr><tr><td>Test</td><td>9h25</td><td>62</td></tr></tbody></table>

## 3.2 Les données textuelles et les modèles de langage

Nous regroupons dans ce paragraphe les informations sur les données textuelles et les modèles de langage utilisés par les 2 types de systèmes.

### 3.2.1 Les textes

Les textes proviennent de 6 sources différentes auxquelles il faut ajouter la transcription du corpus de développement qui sert de cible pour l'optimisation des LM. Le vocabulaire a une taille de 160 000 mots. Il est construit sur la réunion des mots présents dans les transcriptions des corpus des campagnes d'évaluation ESTER et des mots les plus fréquents sur les autres corpus. La table 2 donne le nombre d'occurrences de mot par corpus. Les extraits de corpus sont obtenus par une méthode d'entropie croisée entre la source originale et le corpus de développement pour ne garder que les phrases les plus pertinentes.

<table><caption>TABLE 2 – Les textes</caption><thead><tr><td>Corpus</td><td>Nb occurrences</td></tr></thead><tbody><tr><td>Audio transcrites</td><td>8M de mots</td></tr><tr><td>Sites web de télévision</td><td>5M</td></tr><tr><td>Extraits (40%) de Google News (≤ 2012)</td><td>80M</td></tr><tr><td>Extraits (75%) de French Gigaword (≤ 2012)</td><td>753M</td></tr><tr><td>Extraits (84%) du journal le monde de 1988 à 2003</td><td>316M</td></tr><tr><td>Sous titre de journaux télévisés (OCR et télétexte)</td><td>11M</td></tr><tr><td>Transcription du corpus de développement</td><td>5,2k</td></tr></tbody></table>

### 3.2.2 Les modèles de langage

Deux modèles sont construits : un modèle 2-gram et un modèle 4-gram. Le modèle 2-G n'est cependant utilisé que par la première passe du modèle hybride. Les tailles de ces modèles sont présentées dans
le tableau 3. Trois modèles de langage sur les séquences de lettres sont également calculés pour le modèle *end-to-end*. Ils sont respectivement d'ordre 2, 7 et 10 et contiennent respectivement 2192, 7M et 26 M n-grams pour des perplexités respectivement de 7.9, 3.2 et 2.87.

<table><caption>TABLE 3 – Modèles de langage</caption><thead><tr><th>modèle</th><th>1-gram</th><th>2-gram</th><th>3-gram</th><th>4-gram</th><th>perplexité</th></tr></thead><tbody><tr><td>2G</td><td>160 k</td><td>1,70 M</td><td>-</td><td>-</td><td>152,39</td></tr><tr><td>4G</td><td>160 k</td><td>24,00 M</td><td>140 M</td><td>338 M</td><td>84,35</td></tr></tbody></table>

# 4 Apprentissage de modèles et optimisation des paramètres

## 4.1 Système hybride

Pour ce dernier, seul un dictionnaire de phonétisation lui est fourni. Il contient l'ensemble des mots issus des transcriptions du corpus d'apprentissage (phase apprentissage) et le vocabulaire des modèles langage (phase décodage). Ce dictionnaire est construit à l'aide de BDLEX, puis de LIAPHON contrôlé par un alignement forcé sur le corpus d'apprentissage. Ensuite, il ne reste plus qu'à lancer le script fourni dans la recette. L'apprentissage du modèle acoustique prend 70 heures sur une machine ayant 24 cœurs et de 2 cartes GPU de modèle GTX Titan X dotées chacune de 12 Go de ram.

L'optimisation des paramètres est effectuée sur le corpus de développement. Elle consiste à choisir le meilleur poids pour le modèle de langage et la pénalité d'insertion. Comme ces poids ne servent que dans le calcul des CTM à partir des treillis, un algorithme purement combinatoire est utilisé sur les 39 combinaisons les plus susceptibles de contenir l'optimal sur cette passe très rapide.

## 4.2 Système *end-to-end*

L'apprentissage doit commencer par une phase de préparation des données avec la création d'un fichier par segment de parole. En outre, la représentation des mots doit être spécifiée : nous avons tout d'abord choisi de les représenter, classiquement, par la suite des lettres en testant divers regroupements que nous détaillerons dans la partie 5.1.1. Nous avons rajouté 2 mots et 2 symboles spécifiques pour représenter d'une part les silences et d'autre part, les inspirations et autres bruits. Pour lancer l'algorithme sur la machine dont on dispose, nous devons limiter la taille des minibatchs à 4. Par ailleurs, l'algorithme d'apprentissage ne progresse pas si le corpus comprend des segments trop longs. Le plus usuel est de commencer en restreignant le corpus à des segments de petite taille comme dans (Lüscher et al., 2019). Toutefois, cela peut conduire à l'introduction d'un biais dans l'initialisation du modèle. Nous avons donc préféré utiliser les alignements effectués lors de l'apprentissage du système hybride pour redécouper le corpus en segment de moins de 8 secondes, grâce aux silences présents dans le signal. Lors de cet apprentissage, le corpus de développement sert à contrôler le nombre d'itérations. La convergence prend une vingtaine de jours sur la machine décrite dans 4.1. Cette durée importante ne nous a pas permis de tester les métaparamètres de l'apprentissage du modèle.

Une phase d'optimisation est aussi réalisée pour les paramètres du décodage : poids du modèle de langage, probabilité du silence et des autres bruits, probabilité de production d'un mot. Cette étape est faite avec l'algorithme du simplex en quelques jours de calculs.
# 5 Expériences et évaluation

## 5.1 Expériences

En plus de la comparaison entre les 2 types de systèmes, nous avons aussi testé différentes variantes dans la représentation des mots et dans l’algorithme de décodage pour le système end-to-end.

### 5.1.1 Représentation de mots

Nous avons testé 3 solutions pour cette représentation :

1. Représentation par la suite de lettres suivies d'un symbole de fin de mot : cette solution produit 44 lettres correspondant aux 26 lettres de l'alphabet et à leurs versions accentuées ainsi que 4 symboles spécifiques « | ' S B». Cette représentation sera notée *Base*.

2. Dans le but de diminuer la couche de sortie et de tenir compte des faibles différences de prononciation de certaines lettres accentuées, nous avons regroupé l'ensemble des ces lettres sur leur version non-accentuée à l'exception des lettres é et è réunies ensemble. Ceci réduit l'ensemble à un total de 35 symboles. Cette représentation sera notée *Regr*.

3. Comme une des spécificités du français est une plus grande coarticulation entre les mots allant jusqu'à la liaison, nous avons voulu tester une représentation sans symbole de fin de mots. Elle sera notée *NoSep*.

### 5.1.2 Algorithme de décodage

Plusieurs possibilités existent pour guider la recherche en faisceau du système end-to-end. En plus d'une transcription contrainte par un lexique, nous avons testé pour la solution *Base*, la comparaison entre un modèle de mots 4-grammes et des modèles sur les lettres d'ordre 2, 7 et 10 notés *Lettre2*, *Lettre7* et *Lettre10*. Nous n'avons pas été jusqu'à un ordre de 15, comme dans (Likhomanenko et al., 2019), car le peu de variabilité de nos corpus de textes entrainait des problèmes de convergence numérique dans les algorithmes d'élagage du modèle de langage. Pour les solutions *Regr* et *NoSep*, nous avons utilisé seulement le modèle en mots.

## 5.2 Évaluation

Pour cette dernière phase de travail, nous avons utilisé les outils du défi REPERE (Giraudel et al., 2012) qui demandent un étiquetage temporel des mots. Pour obtenir ce dernier pour les sorties du système end-to-end, nous avons dû procéder en plusieurs temps :

- une équi-répartition temporelle des mots dans le segment de la transcription automatique,

- suivie d'une première évaluation qui fournit 2 suites *sentences* parallèles ; l'une avec le texte de la référence, l'autre avec celui de l'hypothèse.

- l'utilisation de *mwerSegmenter*<fnref n="2" /> a permis de répartir les mots de l'hypothèse sur chaque *sentence* de la référence (et par là-même l'intervalle de temps desdites *sentences*). Cette réaffectation s'est faite à la marge, après la première évaluation.

- enfin, une nouvelle équi-répartition des mots a été réalisée en utilisant les temps de l'étape précédente.

Nous présentons ci-après, dans le tableau 4, les résultats de l'ensemble des systèmes sur les corpus de développement et de test.

<footnote n="2">2. https://www-i6.informatik.rwth-aachen.de/web/Software/mwerSegmenter.tar.gz</footnote>
<table><caption>TABLE 4 – Résultats de l’évaluation</caption><thead><tr><th>Corpus</th><th>Système</th><th>Cor.</th><th>Sub.</th><th>Sup.</th><th>Ins.</th><th>WER</th></tr></thead><tbody><tr><td>Dev.</td><td>Kaldi</td><td>88,18</td><td>7,83</td><td>3,63</td><td>3,14</td><td><strong>14,60</strong></td></tr><tr><td>Dev.</td><td>Base</td><td>76,84</td><td>9,72</td><td>12,95</td><td>4,14</td><td>26,81</td></tr><tr><td>Dev.</td><td>Regr</td><td>74,69</td><td>7,27</td><td>17,54</td><td>0,83</td><td><strong>25,63</strong></td></tr><tr><td>Dev.</td><td>NoSep</td><td>72,38</td><td>17,20</td><td>9,93</td><td>3,17</td><td>30,31</td></tr><tr><td>Dev.</td><td>Lettre2</td><td>60,86</td><td>23,91</td><td>14,74</td><td>5,54</td><td>44,19</td></tr><tr><td>Dev.</td><td>Lettre7</td><td>73,59</td><td>18,17</td><td>7,76</td><td>6,61</td><td>32,53</td></tr><tr><td>Dev.</td><td>Lettre10</td><td>75,52</td><td>16,82</td><td>7,17</td><td>6,55</td><td>30,54</td></tr><tr><td>Test</td><td>Kaldi</td><td>88,63</td><td>7,17</td><td>3,58</td><td>2,80</td><td><strong>13,55</strong></td></tr><tr><td>Test</td><td>Base</td><td>80,19</td><td>10,21</td><td>8,95</td><td>4,41</td><td><strong>23,58</strong></td></tr><tr><td>Test</td><td>Regr</td><td>74,55</td><td>6,69</td><td>18,07</td><td>0,63</td><td>25,40</td></tr><tr><td>Test</td><td>NoSep</td><td>73,65</td><td>16,68</td><td>9,02</td><td>2,96</td><td>28,65</td></tr><tr><td>Test</td><td>Lettre2</td><td>59,49</td><td>24,63</td><td>15,22</td><td>5,31</td><td>45,16</td></tr><tr><td>Test</td><td>Lettre7</td><td>73,74</td><td>17,71</td><td>7,90</td><td>6,36</td><td>31,97</td></tr><tr><td>Test</td><td>Lettre10</td><td>75,72</td><td>16,25</td><td>7,37</td><td>6,48</td><td>30,11</td></tr></tbody></table>

# 6 Discussions

## 6.1 Les end-to-end

Avant même de comparer avec le système KALDI, un des premiers enseignements à tirer réside dans le fait que le système end-to-end a besoin d’un séparateur de mots bien que celui-ci n’ait aucune réalité en français (Base vs Regr). Pour le regroupement des lettres, la réduction de nombre de paramètres (11830 sur 200 millions) ne semble pas jouer. La différence entre les résultats du corpus de test par rapport au corpus de développement nécessite une analyse des résultats par type d’émissions. Concernant les décodages avec LM lettres, ils s’améliorent certes avec l’ordre mais les temps de calcul deviennent aussi importants que pour le LM classique. On s’aperçoit rapidement que le modèle d’ordre 2 est effectivement intéressant dans sa vitesse d’exécution, notamment pour une recherche en mots clés avec tolérance à l’orthographe, ce qui peut présenter un véritable intérêt dans un couplage avec des embedings.

## 6.2 KALDI vs Wav2letter

Le système KALDI présente une amélioration d’environ 40% en relatif par rapport au meilleur end-to-end : Base. Ce taux est similaire à celui présenté dans (Lüscher et al., 2019). Cet écart important a deux explications principales. La première réside dans l’utilisation de connaissances phonétiques à travers le dictionnaire. Celles-ci ont l’avantage de mentionner les variations de prononciation des homographes hétérophones : « Les poules du couvent couvent. ». Le deuxième point concerne un problème algorithmique : avec les seuils utilisés dans la recherche en faisceau, le temps de décodage pour KALDI est de 7 minutes pour 5h30 de parole vs 1h30 pour le end-to-end en utilisant tous les cœurs de la machine. Il semble donc difficile d’élargir le champ de recherche pour le end-to-end. On pourrait sans doute augmenter son efficacité en faisant une première recherche avec un ML sur les lettres, puis en utilisant un ML sur les mots. Toutefois, l’efficacité de KALDI réside principalement dans la réunion, en un seul réseau de type FST (Mohri et al., 2002), de l’ensemble
des connaissances acoustiques, phonétiques, lexicales, langagières. Après compilation de ce réseau, les poids des arcs sont poussés au maximum vers le début du réseau, ainsi les procédures d'élagage peuvent fonctionner au niveau de la trame avec le maximum d'informations. Il n'y a pas de "coupure" entre l'acoustique, le lexique, et le modèle de langage. Or, dans le cas du end-to-end, ce sont bel et bien trois entités distinctes lors de la recherche en faisceau. Pour une étude plus fine, une comparaison entre les 2 systèmes est présentée dans le tableau 5 sur les différents types d'émissions du corpus de test. L'émission LCP_topQuestions est une émission très facile à décoder, seulement ce type de langage relativement contraint dialogiquement est faiblement présent dans le corpus d'apprentissage acoustique. L'ajout du ML en fin de processus avec la limitation de la recherche en faisceau ne permet pas de faire survivre la bonne solution. Ce phénomène est présent, dans une moindre mesure, pour LCPActu. L'émission Culture et Vous, qui se caractérise par un français très spontané, décousu et bruité, présente, tout en ayant des écarts de scores en relatif stables, des variations en absolu allant jusqu'à rendre la transcription presque inutilisable, dans le cas du end-to-end.

<table><caption>TABLE 5 – WER sur le corpus de test par type de systèmes</caption><thead><tr><td>Émissions</td><td>Kaldi</td><td>Base</td></tr></thead><tbody><tr><td>BFMTV_BFMStory</td><td>14,24</td><td>23,03</td></tr><tr><td>BFMTV_CultureEtVous</td><td>21,61</td><td>41,14</td></tr><tr><td>BFMTV_RuthElkrief</td><td>16,29</td><td>24,95</td></tr><tr><td>LCP_CaVousRegarde</td><td>12,26</td><td>22,34</td></tr><tr><td>LCP_EntreLesLignes</td><td>11,57</td><td>22,15</td></tr><tr><td>LCP_LCPActu</td><td>9,06</td><td>17,61</td></tr><tr><td>LCP_LCPInfo</td><td>13,78</td><td>22,43</td></tr><tr><td>LCP_PileEtFace</td><td>10,75</td><td>21,59</td></tr><tr><td>LCP_TopQuestions</td><td>7,83</td><td>18,06</td></tr></tbody></table>

# 7 Conclusion

Dans cet article, nous avons présenté une comparaison entre un système hybride et un système end-to-end. Le peu de disponibilité de corpus textuels par rapport aux enregistrements audio implique la nécessaire utilisation, pour chacun, d'un modèle de langage. Or, l'intégration de ce dernier dans le processus de décodage du système hybride permet un élagage performant au niveau de la trame, ce qui rend ce dernier réellement plus efficace. Il faut noter aussi que, compte tenu du découplage entre langage et réseaux de neurones, une meilleure adaptation est réalisable en ne travaillant que sur un ML dédié (pour les émissions TOPend-TO-End par exemple). Ce phénomène confère au système hybride un avantage des plus sérieux, notamment si l'on souhaite l'intégrer en première brique à une chaîne de traitements complète comme celles des *chatbots*. Par ailleurs, ce système hybride présente l'intérêt d'un apprentissage nettement plus écologique : on constate ainsi un rapport de 1 à 10.

# Références

AMODEI D., ANUBHAI R., BATTENBERG E. & ALL (2016). Deep speech 2 : End-to-end speech recognition in english and mandarin. In *The 33rd International Conference on International Conference on Machine Learning - Volume 48*, ICML'16, p. 173–182 : JMLR.org.
BARRAS C., ZHU X., MEIGNIER S. & GAUVAIN J.-L. (2006). Multi-stage speaker diarization of broadcast news. *IEEE Transactions on Audio, Speech and Language Processing*, **14**(5). DOI: 10.1109/TASL.2006.878261, HAL: hal-01434241.

GALES M. (1998). Maximum likelihood linear transformations for hmm-based speech recognition. *Comp. Speech and Lang.*, **12**, 75–98.

GIRAUDEL A., CARRÉ M., MAPELLI V., KAHN J., GALIBERT O. & QUINTARD L. (2012). The REPERE corpus : a multimodal corpus for person recognition. In *The Eighth International Conference on Language Resources and Evaluation (LREC’12)*, p. 1102–1107, Istanbul, Turkey : European Language Resources Association (ELRA).

GRAVES A. & JAITLY N. (2014). Towards end-to-end speech recognition with recurrent neural networks. In *The 31st International Conference on International Conference on Machine Learning - Volume 32*, ICML’14, p. II–1764–II–1772 : JMLR.org.

GRAVIER G., ADDA G., PAULSSON N., CARRÉ M., GIRAUDEL A. & GALIBERT O. (2012). The ETAPE corpus for the evaluation of speech-based TV content processing in the French language. In *The Eighth International Conference on Language Resources and Evaluation (LREC’12)*, p. 114–118, Istanbul, Turkey : European Language Resources Association (ELRA).

GRAVIER G., BONASTRE J.-F., GEOFFROIS E. & ALL (2004). The ESTER evaluation campaign for the rich transcription of French broadcast news. In *The Fourth International Conference on Language Resources and Evaluation (LREC’04)*, Lisbon, Portugal.

HAN K. J., CHANDRASHEKARAN A., KIM J. & LANE I. (2017). The capio 2017 conversational speech recognition system. Preprint : arXiv:1801.00059 [cs.CL].

LIKHOMANENKO T., SYNNAEVE G. & COLLOBERT R. (2019). Who needs words ? lexicon-free speech recognition. In *Interspeech 2019 : ISCA*. DOI: 10.21437/interspeech.2019-3107.

LÜSCHER C., BECK E., IRIE K., KITZA M., MICHEL W., ZEYER A., SCHLÜTER R. & NEY H. (2019). Rwth asr systems for librispeech : Hybrid vs attention. *Interspeech 2019*. DOI: 10.21437/interspeech.2019-1780.

MEIGNIER S. & MERLIN T. (2010). LIUM SPKDIARIZATION : AN OPEN SOURCE TOOLKIT FOR DIARIZATION. In *CMU SPUD Workshop*, Dallas, United States. HAL: hal-01433518.

MOHRI M., PEREIRA F. & RILEY M. (2002). Weighted finite-state transducers in speech recognition. *Comput. Speech Lang.*, **16**(1), 69–88. DOI: 10.1006/csla.2001.0184.

PANAYOTOV V., CHEN G., POVEY D. & KHUDANPUR S. (2015). Librispeech : An asr corpus based on public domain audio books. In *2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*, p. 5206–5210. DOI: 10.1109/ICASSP.2015.7178964.

POVEY D., GHOSHAL & ALL (2011). The kaldi speech recognition toolkit. In *IEEE 2011 Workshop on Automatic Speech Recognition and Understanding* : IEEE Signal Processing Society. IEEE Catalog No. : CFP11SRW-USB.

POVEY D., PEDDINTI V., GALVEZ D. & ALL (2016). Purely sequence-trained neural networks for asr based on lattice-free mmi. In *Interspeech 2016*, p. 2751–2755. DOI: 10.21437/Interspeech.2016-595.

PRATAP V., HANNUN A., XU Q., CAI J., KAHN J., SYNNAEVE G., LIPTCHINSKY V. & COLLOBERT R. (2019). Wav2letter++ : A fast open-source speech recognition system. In *ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*, p. 6460–6464.

ZEGHIDOUR N., XU Q., LIPTCHINSKY V., USUNIER N., SYNNAEVE G. & COLLOBERT R. (2018). Fully convolutional speech recognition. Preprint : arXiv:1812.06864 [cs.CL].
# Adaptations sur le F1 et le débit en réponse à diverses perturbations

Ivana Didirková¹,², Leonardo Lancia², Cécile Fougeron²

(1) UR 1569 TransCrit, Université Paris 8

(2) UMR7018 Laboratoire de phonétique et phonologie & CNRS, Université Paris 3

ivana didirkova@univ-paris8.fr, {leonardo.lancia, cecile.fougeron}@sorbonne-nouvelle.fr

## RESUME

Nous comparons les effets de deux conditions induisant des stratégies d'adaptation différentes (retour auditif masqué et bite-block) avec les effets des modifications intentionnelles du débit de parole. Nous examinons ces effets en termes de F1 et en termes de débit articulatoire. Nous comparons ensuite les effets de ces mêmes perturbations sur les mêmes locuteurs, afin de définir si les stratégies inter- et intra-individuelles varient en fonction de la boucle perturbée (auditive ou somatosensorielle). Cinq locutrices ont été enregistrées sans perturbation, avec un retour auditif masqué, avec un bite-block et avec des changements de tempo instruits (lent et rapide). Les résultats montrent une augmentation du débit en parallèle d'une augmentation du F1 des voyelles ouvertes, ce qui permet de supposer que les modifications spectrales et les modifications de débit ne seraient pas corrélées. La même augmentation de F1 est observée lors d'une modification intentionnelle du débit de parole.

## ABSTRACT

**F1 and speech rate adaptations in response to various perturbations.**

We compare the effects of two conditions inducing different adaptation strategies (masked auditory feedback and bite-block) with the effects of intentional speech rate modifications. We examine these effects in terms of F1 and in terms of speech rate. We then study the effects of these perturbations on same speakers, in order to determine whether intra- and inter-speaker strategies vary depending on the perturbed loop (auditory or somatosensory). Five speakers were recorded in five conditions: without any perturbation, with masked auditory feedback, with a bite-block and with instructed speech rate modification (slow and fast). Our results show an increase of speech rate concurrently with an increase of open vowels' F1, which allows us to suppose that spectral modifications and speech rate modifications would not be in correlation. The same F1 increase is observed during intentional speech rate modification.

**MOTS-CLÉS** : Retour auditif masqué, bite-block, vitesse d'articulation, F1, perturbation

**KEYWORDS** : Masked auditory feedback, bite-block, speech rate, F1, perturbation

<figure><img src="image_80.png" /></figure>
# 1 Introduction

Dans la production de la parole, les boucles de retours auditif et somatosensoriel jouent le rôle de mécanismes de contrôle qui vérifient de manière continue les deux sorties du processus de planification de la parole, à savoir les mouvements articulatoires et les patrons acoustiques qui en résultent (Houde et Nagarajan, 2011; Guenther, 2016; Parrell et al., 2019). Ces mécanismes permettent de corriger la sortie du système de production lorsque celle-ci est décalée par rapport aux intentions du locuteur. L'une des manières d'étudier expérimentalement cette adaptation consiste en une perturbation artificielle des niveaux auditif et / ou somatosensoriel. Ainsi, ces paradigmes expérimentaux de perturbation ont pour objectif de déstabiliser le fonctionnement typique du système, allant du masquage du feedback (masked auditory feedback, MAF) à l'introduction d'une sortie modifiée aux boucles de feedback avec par exemple des modifications de f0 ou de formants (frequency-shifted feedback, FSF), en passant par un décalage temporel entre les gestes utilisés pour rendre la parole audible et la sortie acoustique effective (delayed auditory feedback, DAF). D'autres s'intéressent davantage aux perturbations du retour somatosensoriel. Ces perturbations peuvent être induites à l'aide d'un bite-block (BB) devant être gardé dans la cavité buccale et stabilisant la mandibule (Hoole, 1987), d'un tube tenu entre les lèvres (lip tube) utilisé par exemple par Ménard et al. (2016), des perturbations mécaniques de la langue (Ito et al., 2019), voire des produits anesthésiants (Larson et al., 2008). Le principal postulat de ces études suppose un décalage entre le feedback attendu et réel, menant à une redéfinition des commandes motrices. Les réponses des participants à ces perturbations de feedback font ressortir des réactions variables. Par exemple, les études utilisant des modifications de f0 ou de structures formantiques ont, pour la plupart, démontré trois sortes de réactions possibles aux perturbations. Tandis que certains locuteurs ont tendance à compenser les perturbations induites, répondant ainsi à la perturbation en contrant cette dernière (si la perturbation consiste à augmenter la fréquence fondamentale, ces locuteurs vont l'abaisser), chez d'autres, la perturbation induit une réponse allant dans le sens de la perturbation (dans l'exemple, à augmenter la f0). Enfin, un troisième groupe de locuteurs ne réagira pas (ou peu) aux perturbations (Burnett et al., 1998; Jones & Munhall, 2000; MacDonald et al., 2011). Notons toutefois que la perturbation d'un paramètre n'entraîne pas uniquement les modifications de ce même paramètre et, inversement, les modifications d'un paramètre peuvent être la résultante d'une perturbation ne touchant pas directement ce paramètre. Il a par exemple été démontré que la simple absence de retour auditif perturbe le contrôle du f0 (Mallard et al., 1978) et fait augmenter le F1 des voyelles (Kirchhuebel, 2010). De plus, les réactions aux perturbations comme le MAF ou DAF ont également un impact sur certaines caractéristiques globales comme le débit de parole (Jacks & Haley, 2015; Maruta et al., 2014).

Ici, nous proposons de poursuivre ces recherches à travers la comparaison entre les effets des perturbations du retour auditif et ceux des perturbations du retour somatosensoriel. Plus concrètement, nous nous intéressons aux changements induits par le MAF et le BB et ce, en termes de caractéristiques spectrales et en termes de débit. La revue de la littérature montre en effet que ces deux paradigmes seraient à l'origine de stratégies adaptatives différentes de la part des locuteurs. Si l'on suppose que le MAF induit l'effet Lombard (Kirchhuebel, 2010), cette perturbation entraîne une augmentation de l'amplitude du signal acoustique visant à surmonter le bruit de fond et un
changement des caractéristiques spectrales visant à les rendre plus saillantes (Garnier et al., 2006). De l'autre côté, la parole avec un BB forcerait le locuteur à modifier ses commandes motrices, afin de garder les caractéristiques spectrales constantes (Fowler & Survey, 1981). Ainsi, ces deux paradigmes de perturbation permettent de se pencher sur la fonction et le rôle des phénomènes adaptatifs en production de la parole : le MAF induirait une modification du spectre ayant une fonction communicative, ce qui n'est pas le cas pour les modifications du spectre dues à la présence du BB. Par ailleurs, le débit de parole sous MAF est aussi plus lent par rapport à celui de la parole pas perturbée (Garnier et al., 2010). Il s'agit dans ce cas de comprendre si cette réduction de débit est une conséquence des changements spectraux et d'intensité (supposant que l'hyperarticulation est corrélée avec un ralentissement de débit), ou s'il a la fonction de rendre plus saillants les sons de parole dans le but de préserver leur fonction communicative. Pour mieux caractériser la relation entre les modifications de débit et la saillance spectrale, nous allons comparer les effets du MAF et du BB avec les effets des modifications du débit de parole intentionnellement produit par les locuteurs. Un second objectif de cette étude est de comparer les effets de ces perturbations sur les mêmes locuteurs, afin de définir si les stratégies inter- et intra-individuelles varient selon que la perturbation concerne la boucle auditive ou la boucle somatosensorielle.

## 2 Méthodologie

Cinq locutrices de langue maternelle française, appariées en âge et en catégorie socio-professionnelle, ont été enregistrées durant plusieurs perturbations de leurs retours auditif et somatosensoriel (retour auditif masqué par un bruit, retour auditif retardé, retour auditif avec modification de fréquence fondamentale, *bite-block*), ainsi que durant une modification de débit de parole avec débit imposé. Chacune des perturbations a été administrée séparément des autres.

Les locutrices ont participé à trois séances d'approximativement 45 minutes chacune. Les séances se déroulaient dans une pièce calme. La première consistait en un enregistrement de la *baseline* (sans perturbation), suivi de la condition MAF, elle-même suivie d'une condition de lecture à débit rapide<fnref n="1" />. Pendant la condition de MAF, les locutrices étaient équipées d'un casque transmettant un bruit de « cocktail party », tandis que leur voix était transmise par voie aérienne. Avant de commencer cette phase de l'expérience, il leur a été demandé de compter en boucle de 1 à 10 pendant qu'elles entendaient leur voix transmise par le casque (sans bruit) et que le volume de ce signal était augmenté graduellement. Les locutrices devaient s'arrêter lorsque l'intensité de la voix véhiculée par le casque était égale à celle de leur voix transmise par voie aérienne. Cela a permis de régler le volume du bruit de « *cocktail party* » de façon à obtenir une différence de 12 dB entre son intensité et celle de la voix des locutrices. La deuxième session comprenait les modifications de f0 et l'utilisation de DAF, conditions qui ne feront pas l'objet de cette étude. Enfin, la troisième session contenait la lecture des phrases avec le *bite-block* (parallélépipède en plexiglass, dont les arrêtes ont été limées, percé d'un trou servant à l'attache d'un fil de nylon pour éviter les risques de déglutition ; le fil reste à l'extérieur de la bouche lors de la production sans qu'il perturbe la fermeture des lèvres) et dans une condition

<footnote n="1">¹ Nous appellerons « tempo rapide » et « tempo lent » les conditions de, respectivement, débit rapide instruit et débit lent instruit.</footnote>
où on leur demandait d'adopter un tempo lent. Les détails concernant les réglages des conditions sont décrits dans le Table 1.

<table><caption>TABLE 1 : Valeurs des perturbations pour les conditions utilisées</caption><thead><tr><td>Condition</td><td>Précisions</td></tr></thead><tbody><tr><td>Bite-block</td><td>10*15*5mm</td></tr><tr><td>MAF</td><td>Bruit de « cocktail party » +12dB</td></tr><tr><td>Tempo</td><td>Guidé par curseur à 1,4 syll/sec (lent) ou 6syll/sec (rapide)</td></tr></tbody></table>

<table><caption>TABLE 2: Corpus de phrases à lire</caption><tr><td>1.</td><td>La pita d'Arabelle était sirupeuse.</td></tr><tr><td>2.</td><td>Le papi de Taschri loue des skis de fond.</td></tr><tr><td>3.</td><td>Les Beschki invitaient souvent tata Louise.</td></tr><tr><td>4.</td><td>Le ch'ti, c'était comme le chinois pour papa.</td></tr><tr><td>5.</td><td>Le bâti parisien était très coûteux.</td></tr></table>

Dans chaque condition, il a été demandé aux locutrices de lire une phrase apparaissant à l'écran. Un total de cinq phrases a été utilisé (TABLE 2). Chaque phrase était lue à 20 reprises par la locutrice avant de passer à une nouvelle phrase. Les phrases apparaissaient dans un ordre aléatoire, si bien que leur ordre changeait à chaque condition et pour chaque locutrice. Au total, chaque locutrice a donc lu 900 phrases (5 phrases * 20 répétitions par phrase * 9 conditions).

Les données ont été segmentées semi-automatiquement utilisant EasyAlign (Goldman, 2011) avant une vérification manuelle des segmentations. Le débit en syllabes par seconde a ensuite été mesuré pour chaque phrase. Cette mesure a notamment permis de tester l'effet de la condition / de la perturbation sur la vitesse d'articulation, le MAF étant connu pour induire des variations de débit. Nous avons ensuite mesuré la fréquence de F1 des premiers /a/ de « papa » (cf. phrase 4 du corpus). Cette mesure a été prise sur le milieu de la voyelle et représente une moyenne des mesures à 40%, 50% et 60% de la durée totale de la voyelle. Les données sur le F1 ont été retenues afin de comparer les caractéristiques spectrales de la voyelle liées à l'aperture, notamment du fait de l'utilisation du *bite-block*. De plus, selon Kirchhuebel (2010), le MAF fait augmenter le F1 des voyelles. L'effet de chacune des conditions (baseline, MAF, BB, tempo lent, tempo rapide) sur (1) le débit et (2) le F1 du /a/ a été testé dans R (R Core Team, 2017) en deux étapes. D'abord, l'effet global de la condition (5 niveaux) a été testé avec le package *lme4* (Bates et al., 2019) en utilisant un modèle linéaire mixte. Les variations liées aux locuteurs sont modélisées par une structure aléatoire par locuteur. Dans un deuxième temps, des comparaisons par paires avec le package *emmeans* (Lenth et al., 2020) ont été effectuées par condition et ce, pour chaque locuteur et avec correction de Bonferroni pour comparaisons multiples. Enfin, nous avons calculé, pour le débit et pour le F1, le coefficient de variation (ET / moyenne) des 20 répétitions par locutrice et par condition.

# 3 Résultats

## 3.1 Débit de parole

Pour le groupe entier, la condition montre un effet significatif sur le débit ($p < 0,001$). Cet effet se traduit par une augmentation de vitesse d'articulation en BB ($t = 5,347$ ; $p < 0,001$), tempo rapide
(t = 35,68 ; p < 0,001) et MAF (t = 12,053 ; p < 0,001) et une baisse de cette même vitesse en tempo lent (t = -116,793 ; p < 0,001).

Les comparaisons par paires montrent un effet des conditions sur le débit de la parole chez toutes les locutrices (Figure 1). La locutrice S01 augmente sa vitesse d'articulation de manière significative en condition BB (t = -3,378 ; p = 0,008), MAF (t = -3,993 ; p = 0,0008) et en tâche de tempo rapide (t = -34,849 ; p < 0,001) par rapport à la baseline. Elle abaisse son débit en tempo lent comparé à la baseline (t = 54,642 ; p < 0,001). La locutrice S02 augmente son débit en situation de MAF (t = -3,015 ; p = 0,02) et tempo rapide (t = -4,773 ; p < 0,001). Son débit est plus lent que la baseline en tempo lent (t = 81,917 ; p < 0,001). La vitesse d'articulation de la locutrice S03 est significativement plus rapide en BB (t = -7,826 ; p < 0,001), MAF (t = -18,444 ; p < 0,0001) et tempo rapide (t = -28,030 ; p < 0,001) qu'en baseline. Son débit est plus lent en tempo lent (t = 47,343 ; p < 0,001). Quant à S04, on observe une augmentation de débit en MAF (t = -4,175 ; p = 0,0004) et en tempo rapide (t = -18,428 ; p < 0,001), ainsi qu'une baisse de débit en tempo lent (t = 71,325 ; p < 0,001) par rapport à la baseline. Enfin, chez S05, le BB (t = -5,245 ; p < 0,001), le MAF (t = -4,46 ; p = 0,001) et le tempo rapide (t = -13,539 ; p < 0,001) font augmenter sa vitesse d'articulation comparé à la baseline et le tempo lent le fait baisser (t = 66,844 ; p < 0,001).

<figure><img src="image_81.png" /><figcaption>FIGURE 1: Débit d'articulation (syll/sec) par locuteur et par condition (noise = MAF, fast_rate = tempo rapide, slow_rate = tempo lent).</figcaption></figure>

Nous nous sommes ensuite intéressés aux effets des conditions sur la variabilité du débit (FIGURE 2) en calculant le coefficient de variation (écart type / moyenne), dans l'objectif d'étudier la stabilité des réactions aux conditions. Les résultats montrent que la vitesse d'articulation est plutôt stable à travers les conditions pour la plupart des locutrices. Il est toutefois à noter que la locutrice S03 – et elle seule – présente davantage de variation en condition de tempo rapide par rapport à la baseline (p = 0,04),
par rapport au MAF (p = 0,01) et par rapport au BB (p = 0,005). De même, sa vitesse d'articulation est plus variable en tempo lent par rapport au BB (p = 0,01).

<figure><img src="image_82.png" /><figcaption>FIGURE 2: Coefficient de variation (ET / moyenne) de la vitesse d'articulation (syll/sec) par condition et par locuteur</figcaption></figure>

## 3.2 Premier formant (F1)

La condition montre un effet sur le F1 (en Hz) (p < 0,001), avec une augmentation de F1 dans toutes les conditions : en BB (t = 5,429 ; p < 0,001), MAF (t = 3,735 ; p < 0,001), tempo rapide (t = 3,502 ; p < 0,001), et en tempo lent (t = 16,831 ; p < 0,001).

Les réactions individuelles sont illustrées sur la FIGURE 3. Le sujet S01 augmente son F1 en BB (t = -5,431 ; p < 0,001), MAF (t = -3984 ; p = 0,0011), tempo rapide (t = -4,383 ; p < 0,001) et tempo lent (t = -15,111 ; p < 0,001) comparé à la baseline. La locutrice S02 modifie son F1 en tempo lent uniquement par rapport à la baseline (t = -9,245 ; p < 0,001) et ce, en l'augmentant. Chez S03, une augmentation du F1 est observée en BB (t = 12,509 ; p < 0,001), en MAF (t = -8,263 ; p < 0,001), en tempo rapide (t = -9,544 ; p < 0,001) et en tempo lent (t = -26,257 ; p < 0,001). S04 augmente le F1 en BB (t = -4,547 ; p < 0,001), en MAF (t = -5,079 ; p < 0,001) et en tempo lent (t = -21,363 ; p < 0,001) par rapport à la baseline. Enfin, la locutrice S05 ne modifie son F1 de manière significative dans aucune condition.

L'examen du coefficient de variabilité du F1 (en Hz) entre toutes les répétitions par condition renforce les différences individuelles, dans la mesure où la variabilité intra-locuteur n'est pas systématiquement la plus élevée dans une tâche particulière mais change en fonction de la locutrice. Ainsi, tandis que S01 et S04 sont les plus variables dans la baseline, chez S02 et S05 c'est surtout dans la condition de tempo lent qu'elles sont variables, avec également une variabilité plus importante dans les conditions BB et MAF pour S05. Enfin, S03 présente une certaine stabilité à travers les conditions (FIGURE 4).
<figure><img src="image_83.png" /><figcaption>FIGURE 3 : Valeur moyenne de F1 (moyenne entre 40%, 50% et 60% de la durée totale de la voyelle) par locutrice et par condition</figcaption></figure>

<figure><img src="image_84.png" /><figcaption>FIGURE 4: Coefficient de variation (ET / moyenne) du F1 par condition et par locutrice</figcaption></figure>

4 Discussion

Nous avons comparé la production de la parole dans différentes conditions d’élocution : lorsque le débit de parole est imposé, lorsque le retour auditif est masqué et lorsque des contraintes articulatoires sont modifiées par la présence d’un bite-block affectant la configuration de la cavité buccale.
L'objectif de l'étude était d'examiner les réactions à ces perturbations en termes de débit de parole et du premier formant, ainsi que les variations intra- et inter-individuelles dans ces réactions.

Nos résultats montrent que les réactions aux modifications ne sont pas particulièrement variables quant au débit de parole : toutes les locutrices ont réagi à l'absence de retour auditif par une augmentation de leur vitesse d'articulation et, à l'exception de deux d'entre elles, elles ont également augmenté leur vitesse d'articulation en parole avec le BB. Aucune locutrice n'a diminué son débit durant ces deux perturbations. L'augmentation du débit de parole sous le MAF est un résultat intéressant qui pourrait s'expliquer en partie par le fait que les locutrices tentent de mettre terme le plus rapidement possible aux perturbations, inconfortables, en augmentant leur vitesse d'articulation (Jacks & Haley, 2015). Quant à la modification des caractéristiques spectrales, les résultats font état d'une stratégie variable. Tandis que trois locutrices augmentent leur F1 en parole avec BB, en situation de MAF et avec le tempo modifié par rapport à la baseline, une locutrice ne modifie jamais son F1 et une dernière ne l'augmente qu'en situation de tempo lent. Donc, si modification il y a, elle va dans le sens de l'augmentation du F1 car aucune locutrice n'abaisse ce formant de manière significative en condition de perturbation. Dans le cas du BB, la variété des comportements observés peut s'expliquer en faisant l'hypothèse que les deux locutrices qui ne montrent pas de différences par rapport à la condition de baseline aient prêté davantage d'attention au retour somatosensoriel (et que, par conséquent, elles aient compensé la perturbation de la forme de la cavité buccale), tandis que les locutrices qui ont montré une augmentation du F1 auraient prêté davantage d'attention au retour acoustique. En effet, le bite block augmente l'aperture de la cavité buccale. Du moment qu'une aperture plus importante ne rend pas le /a/ moins distinct des autres phonèmes, ces locutrices n'ont pas de raison de compenser cette modification. Concernant le MAF, ce dernier induit une augmentation du F1 chez 3 locutrices également. Cette réaction est conforme aux résultats obtenus dans la littérature (Kirchhuebel, 2010). Ce résultat, combiné à l'augmentation de débit, indique que les locutrices en question décorrèlent le débit et l'aperture vocalique, dans la mesure où l'on pourrait s'attendre à ce que le F1 baisse dans un souci d'économie de geste lorsque le débit augmente. Or, ce n'est pas ce que l'on observe ici et ce, aussi bien avec le MAF qu'en tempo rapide sans autre perturbation. On peut en déduire qu'une réduction de la vitesse d'élocution en réponse au MAF (cf. par ex. Garnier et al., 2006) a une fonction communicative et qu'elle n'est pas une simple conséquence d'une augmentation de la précision articulatoire / de l'hyperarticulation des voyelles. De manière intéressante, les locutrices ne modifiant pas leur F1 en MAF ne le modifient pas en BB non plus. Cela pourrait être interprété en support de l'hypothèse que le biais vers le retour somatosensoriel ou vers le retour acoustique est indépendant du type de perturbation. Bien évidemment, cette hypothèse doit être confirmée en comparant les résultats obtenus avec ceux issus de l'analyse des réponses à d'autres types de perturbation.

## Remerciements

Cette étude a été financée par le projet MoSpeeDi - CRSII5_173711/1 du Fond National Suisse de la Recherche Scientifique et par le programme "Investissements d'Avenir" ANR-10-LABX-0083 (Labex EFL).
Références

BATES, D. M., MAECHLER, M., BOLKER, B., WALKER, S., CHRISTENSEN, R. H. B., SINGMANN, H., DAI, B., SCHEIPL, F., GROTHENDIECK, G., GREEN, P., & FOX, J. (2019). *Package « lme4 »* (1.1-21) [R; R].

BURNETT, T. A., FREEDLAND, M. B., LARSON, C. R., & HAIN, T. C. (1998). Voice F0 responses to manipulations in pitch feedback. *The Journal of the Acoustical Society of America, 103*(6), 3153-3161. DOI: 10.1121/1.423073

FOWLER, C., & TURVEY, M. (1981). Immediate compensation in bite-block speech. *Phonetica*, 37(5-6), 306-326.

GARNIER, M., BAILLY, L., DOHEN, M., WELBY, P., & LÆVENBRUCK, H. (2006). An Acoustic and Articulatory Study of Lombard Speech : Global Effects on the Utterance. *INTERSPEECH-2006*, 2246-2249.

GARNIER, M., HENRICH, N., & DUBOIS, D. (2010). Influence of Sound Immersion and Communicative Interaction on the Lombard Effect. *Journal of Speech, Language, and Hearing Research*, 53(3), 588-608.
https://doi.org/10.1044/1092-4388(2009/08-0138).

GOLDMAN, J.-P. (2011). *EasyAlign: An automatic phonetic alignment tool under Praat*.

GUENTHER, F. H. (2016). *Neural Control of Speech*. The MIT Press.

HOOLE, P. (1987). *Bite-block speech in the absence of oral sensibility*. 4, 16-19.

ITO, T., CAILLET, J.-L., & PERRIER, P. (2019). Posture stabilization of the tongue for speech : Responses to mechanical perturbation. *Proceedings of the 19th International Congress of Phonetic Sciences*, 1838-1842.

JACKS, A., & HALEY, K. L. (2015). Auditory Masking Effects on Speech Fluency in Apraxia of Speech and Aphasia : Comparison to Altered Auditory Feedback. *Journal of Speech, Language, and Hearing Research*, 58(6), 1670-1686. DOI: 10.1044/2015_JSLHR-S-14-0277

JONES, J. A., & MUNHALL, K. G. (2000). Perceptual calibration of F0 production : Evidence from feedback perturbation. *The Journal of the Acoustical Society of America*, 108(3), 1246. DOI: 10.1121/1.1288414

KIRCHHUEBEL, C. (2010). The effects of Lombard speech on vowel formant measurements. *The Journal of the Acoustical Society of America*, 128(4), 2395-.

LARSON, C. R., ALTMAN, K. W., LIU, H., & HAIN, T. C. (2008). Interactions between auditory and somatosensory feedback for voice F0 control. *Experimental Brain Research*, 187(4), 613-621. DOI: 10.1007/s00221-008-1330-z

LENTH, R., SINGMANN, H., LOVE, J., BUERKNER, P., & HERVE, M. (2020). *Package « emmeans »* (Version 1.4.4) [R].

MACDONALD, E. N., PURCELL, D. W., & MUNHALL, K. G. (2011). Probing the independence of formant control using altered auditory feedback. *The Journal of the Acoustical Society of America*, 129(2), 955-965. DOI: 10.1121/1.3531932

MALLARD, A., RINGEL, R., & HORII, Y. (1978). Sensory contributions to control of fundamental frequency of phonation. *Folia Phoniatrica*, 30, 199-213.

MARUTA, C., MAKHMOOD, S., DOWNEY, L. E., GOLDEN, H. L., FLETCHER, P. D., WITOONPANICH, P., ROHRER, J. D., & WARREN, J. D. (2014). Delayed auditory feedback simulates features of nonfluent primary progressive aphasia. *Journal of the Neurological Sciences*, 347(1-2), 345-348. DOI: 10.1016/j.jns.2014.09.039

MÉNARD, L., PERRIER, P., & AUBIN, J. (2016). Compensation for a lip-tube perturbation in 4-year-olds : Articulatory, acoustic, and perceptual data analyzed in comparison with adults. *The Journal of the Acoustical Society of America*, 139(5), 2514-2531.

R CORE TEAM. (2017). *R: A language and environment for statistical computing*. R Foundation for Statistical Computing.
Perception des consonnes dans la dysarthrie parkinsonienne :
effets du contexte phonémique, prosodique et lexical

Danielle Duez¹, Alain Ghio¹, François Viallet ¹,²

(1) Aix-Marseille Univ, CNRS, LPL, Aix-en-Provence, France

(2) Centre Hospitalier du Pays d'Aix, Service de Neurologie, Aix-en-Provence, France

danielle.duez@lpl-aix.fr, alain.ghio@lpl-aix.fr, fviallet@ch-aix.fr

RÉSUMÉ

Les patients atteints de la maladie de Parkinson (MDP) présentent généralement des déficits dans la production de la parole. Nous avons examiné l'identification perceptive des consonnes intervocaliques produites par 10 locuteurs avec MDP et 10 locuteurs sains en lecture de texte. Pour neutraliser le contenu sémantique, toutes les consonnes intervocaliques ont été isolées avec la moitié des voyelles précédente et suivante.

20 adultes natifs francophones ont été chargés de transcrire les séquences du corpus. La consonne rapportée a été examinée par rapport à la consonne prototypique; le score de distorsion est le nombre de traits phonétiques différents par rapport à la consonne prototypique. Les résultats ont été examinés en fonction des facteurs linguistiques suivants: nature de la consonne, contexte vocalique oral / nasal, classe de mot (fonction ou contenu) et position dans les syntagmes.

L'imprécision de la consonne a été confirmée dans la parole des locuteurs MDP.

MOTS-CLÉS : perception, dysarthrie parkinsonienne, phonétique clinique, traits phonétiques

ABSTRACT

Perception of consonants in parkinsonian dysarthria: effects of the phonetic, prosodic and lexical context

Patients with Parkinson's Diseases (PD) typically exhibit deficits in speech production. We examined the perceptual identification of intervocalic consonants produced by 10 speakers with PD and 10 healthy speakers reading a text. To neutralize the semantic effect, all the intervocalic consonants were excised with half the preceding and following vowels.

20 adults native speakers of French were instructed to transcribe the sequences they heard. The reported consonant was examined in relation to the expected consonant ; the score of distorsion was the number of phonetic features differing from the prototypical consonant. The results were examined as a function of the following/or preceding linguistic factors : consonant nature, oral/nasal vocalic context, class of word (function or content) and position within sentences. Consonant imprecision was confirmed in the speech of PD speakers.

KEYWORDS: perception, parkinsonian dysarthria, clinical phonetics, phonetic features

<figure><img src="image_85.png" /></figure>
# 1 Introduction

## 1.1 Etat de l'art

La maladie de Parkinson (MDP) est caractérisée par une perte progressive de neurones dopaminergiques au sein de la substantia negra (pars compacta); ses manifestations externes sont des déficits de mouvement comprenant la rigidité ou la raideur (muscles résistants au mouvement), l'akinésie (incapacité à initier le mouvement), la bradykinésie (lenteur du mouvement) et le tremblement de repos. Dans la production de la parole, ces symptômes affectent la respiration, la phonation, la prosodie et l'articulation (Darley et al., 1969), ce qui se manifeste au niveau acoustique par des changements et des anomalies de la fréquence fondamentale (F0), de l'intensité, du débit de parole, de la durée/distribution des pauses et de l'imprécision consonantique.

L'imprécision des consonnes dans la MDP a été examinée dans un certain nombre d'études perceptives, acoustiques et physiologiques. Par exemple, dans une étude utilisant le test de Fisher-Logemann sur la compétence articulaire, les auteurs ont examiné la transcription phonétique effectuée par deux experts de parole produite par 200 patients atteints de la MDP et ont observé que les distorsions prédominantes touchent les occlusives, les affriquées et les fricatives (Logemann et al., 1981). En termes de traits phonétiques, les occlusives et les affriquées, qui sont normalement [-continu] ont été produites comme [+ continu] ; les fricatives qui sont [+ stridentes] ont été produites comme [-stridentes]. Une imprécision de l'articulation des consonnes a été également rapportée perceptivement dans (Chenery et al., 1988), dans (Ho et al., 1999) et dans (Plowman et al., 2009).

Ces résultats perceptifs ont été confirmés par des études acoustiques, notamment sur les imprécisions de voisement dans les travaux de Kent et Rosenbek (1982) ou Weismer (1984) pour l'anglais. Des anomalies similaires ont été signalées dans des études sur le français (Gremy, 1958 ; Uziel et al., 1975 ; Duez, 2014). Comme il est suggéré par Kent et Netsell (1971), la persévérance de voisement peut représenter un comportement compensatoire qui permet au locuteur d'éviter d'initier et arrêter des gestes articulatoires difficiles. La spirantisation s'est également révélée être une caractéristique saillante de l'imprécision des consonnes dans la parole parkinsonienne, c'est-à-dire le remplacement d'une tenue d'occlusive par une frication de faible intensité, ce qui reflète l'échec de la fermeture orale complète (Weismer, 1984 ; Kent et al., 1982). Dans une étude acoustique de la parole produite par 12 patients allemands, Ackermann et Ziegler (1992) ont observé une capacité réduite à fermer complètement le conduit vocal dans le cas d'occlusives et ont interprété cela comme une réduction de l'amplitude de mouvement des articulateurs. Fait intéressant, cet «undershoot» articulaire n'était pas uniforme mais influencé par les exigences linguistiques, les occlusions associées aux syllabes accentuées étant effectuées beaucoup mieux que dans les syllabes non accentuées.

## 1.2 Objectifs de l'étude

Notre étude a pour objectif d'examiner la perception des consonnes intervocaliques contenues dans un paragraphe lu par des locuteurs MDP et des locuteurs issus d'un groupe témoin. Choisir d'utiliser de la parole lue nous permet d'examiner une grande variété de consonnes produites dans divers contextes phonémiques, dans différents types de mots et dans différentes positions prosodiques. Pour neutraliser l'effet de restauration qui aide à rétablir les informations manquantes dans les consonnes imprécises ou réduites (Warren et al., 1970 ; Duez, 2001), toutes les consonnes « stimuli » ont été isolées de façon à ne pas distinguer le mot dans lequel elles apparaissent et éviter de reconnaitre la consonne par identification lexicale. Mais pour éviter une écoute trop courte sur l'unique segment consonantique, nous avons découpé la consonne en ajoutant la moitié des voyelles précédentes et suivantes. Notre objectif est double:
1) comparer chaque consonne transcrite avec chaque consonne attendue dans divers contextes, à la fois dans la parole parkinsonienne et dans le groupe contrôle. Nous estimons que la comparaison des caractéristiques perçues dans les deux groupes nous permettra de séparer les changements résultant de la réduction et des processus d'assimilation normaux de ceux dus aux effets de la maladie de Parkinson.

2) tester la procédure et voir dans quelle mesure les séquences VCV peuvent être utilisées dans l'analyse de l'intelligibilité de la parole pathologique.

# 2 Matériel et méthode

## 2.1 Locuteurs

Dans cette étude, nous avons sélectionné les locuteurs à partir de la base de données AHN du service de neurologie du Centre Hospitalier du Pays d'Aix (Ghio et al., 2012). Nous avons choisi 10 hommes diagnostiqués avec la maladie de Parkinson et 10 locuteurs témoins de même sexe et âge que les patients. Les patients sélectionnés avaient entre 6 et 26 ans de maladie (moy=13.1 ans). Ils étaient tous traités par L-dopa de façon usuelle mais pour observer de façon plus nette les effets de la MDP, tous les patients avaient été sevrés de médicament pendant plus de 12 heures, délai usuel pour annuler les effets pharmacologiques. Avant l'enregistrement, l'évaluation motrice de chaque patient a été évaluée par un neurologue à l'aide de l'échelle UPDRS (Unified Parkinson's Disease Rating Score). L'item n°18 de cette échelle est particulièrement informatif car il indique la sévérité de la dysarthrie dans une approche subjective clinique avec les conventions suivantes: 0 ⇔ normal; 1 ⇔ légère perte d'expression, de diction et / ou de volume; 2 ⇔ monotone, flou, mais compréhensible, modérément altéré; 3 ⇔ déficience marquée, difficile à comprendre; 4 ⇔ inintelligible. Les caractéristiques de chaque patient sont indiquées en Table 1.

<table><caption>Table 1 : Caractéristiques des patients</caption><thead><tr><td></td><td>Age du diagnostic</td><td>Durée de la maladie</td><td>UPDRS III</td><td>Sévérité de la dysarthrie</td></tr></thead><tbody><tr><td>P1</td><td>48</td><td>20</td><td>61</td><td>3</td></tr><tr><td>P2</td><td>45</td><td>12</td><td>34</td><td>2</td></tr><tr><td>P3</td><td>59</td><td>6</td><td>40</td><td>3</td></tr><tr><td>P4</td><td>31</td><td>13</td><td>30</td><td>1</td></tr><tr><td>P5</td><td>48</td><td>26</td><td>53</td><td>3</td></tr><tr><td>P6</td><td>39</td><td>11</td><td>30</td><td>3</td></tr><tr><td>P7</td><td>45</td><td>8</td><td>42</td><td>2</td></tr><tr><td>P8</td><td>52</td><td>8</td><td>44</td><td>1</td></tr><tr><td>P9</td><td>54</td><td>15</td><td>40</td><td>1</td></tr><tr><td>P10</td><td>55</td><td>11</td><td>35</td><td>1</td></tr></tbody></table>

## 2.2 Corpus

Le corpus utilisé pour fabriquer les stimuli est un paragraphe de « La chèvre de Monsieur Seguin » lu par les 20 locuteurs sélectionnés. La consigne était une lecture à vitesse et intensité confortable. Les enregistrements ont été réalisés dans une salle insonorisée du service de neurologie du Centre Hospitalier du Pays d'Aix à Aix-en-Provence par le biais d'un microphone serre-tête AKG C420 connecté au dispositif EVA2 (Ghio et al., 2012). La distribution des consonnes utilisées comme stimuli est détaillée en Table 2. Une moyenne de 114 séquences VCV par locuteur a été obtenue. Par conséquent, notre corpus était composé de 2280 stimuli (20 locuteurs * 114).