# 1 Introduction

En didactique des langues étrangères (L2), il a pendant longtemps été considéré que l'objectif ultime de l'enseignement était, pour l'apprenant, d'atteindre le niveau de compétence d'un locuteur natif, et ce y compris au niveau phonétique-phonologique – avec la production d'une parole parfaitement intelligible, sans qu'aucun accent étranger ne soit perceptible (Derwing, 2003). Cependant, il s'agit là d'un objectif que très peu d'apprenants parviennent à réaliser, en particulier lorsque le processus d'acquisition débute après l'enfance (Flege, 1988). Peu à peu, cette perspective a donc évolué et la majorité des didacticiens considèrent aujourd'hui qu'il est bien plus important pour l'apprenant de parvenir à une bonne compréhensibilité lors d'interactions avec les locuteurs de la communauté cible que de parvenir à s'exprimer « sans accent » et avec un niveau de performance égal à celui d'un locuteur natif (Derwing & Munro, 2009; Munro & Derwing, 2011).

Par conséquent, dans le domaine de l'acquisition/apprentissage des langues, la performance des locuteurs est souvent évaluée à travers la compréhensibilité des énoncés qu'ils produisent dans la langue cible. Pour cela, la méthode la plus utilisée (le « gold standard » actuel) consiste à demander à des auditeurs natifs de la L2 d'évaluer le degré de difficulté qu'ils éprouvent à comprendre les dits énoncés (Derwing & Munro, 2005). De nombreuses études ont ainsi recours à des échelles perceptives d'évaluation de la compréhensibilité, appliquées à l'évaluation d'énoncés produits dans des tâches de production orale plus ou moins contraintes : de la lecture oralisée (Ludwig & Mora, 2017) à la parole recueillie durant des tâches de production plus spontanées comme des tâches d'argumentation (Suzuki & Kormos, 2020).

Demander à un auditeur d'estimer, sur une échelle, le degré de difficulté qu'il a éprouvé pour comprendre un message suppose que celui-ci connaisse les intentions de communication du locuteur, autrement dit, qu'il connaisse le contenu sémantique, discursif, voire pragmatique, que le locuteur souhaitait véhiculer avec son message (Fontan, 2012; Fontan et al., 2013). Or, dans une grande partie des travaux en L2, les auditeurs évaluent la compréhensibilité sans aucune connaissance quant au contenu du message que le locuteur souhaitait transmettre. C'est en particulier le cas pour les études reposant sur des énoncés produits dans des tâches de production orale (semi-)spontanées, pour lesquelles il n'existe pas de « script » correspondant aux énoncés que l'apprenant devait réaliser. Cependant, cette méthode est aussi appliquée pour l'évaluation de la parole lue. Pour illustration, la table 1 recense des études relativement récentes dans lesquelles la compréhensibilité d'apprenants de L2 a été évaluée sur différentes échelles perceptives, sans qu'aucune information n'ait été donnée aux évaluateurs quant aux intentions de communication des apprenants.

Le fait que l'auditeur ne dispose d'aucune information quant au message que l'apprenant souhaitait transmettre peut représenter un biais pour l'évaluation de la compréhensibilité de la parole. En effet, les « erreurs » de prononciation, de choix lexicaux, ou de constructions morphosyntaxiques commises par les apprenants peuvent conduire à la production d'énoncés pouvant être perçus par les évaluateurs comme étant tout à fait corrects. Dans ce cas, ces énoncés peuvent recevoir des scores de compréhensibilité élevés, même s'ils ne correspondent pas aux messages que les apprenants souhaitaient transmettre. Pour prendre le seul exemple d'une erreur de prononciation, il est possible qu'un apprenant produise une phrase perçue comme « Je veux deux cafés », alors qu'il souhaitait dire « Je veux du café », mais que la réalisation du déterminant « du » (/dy/) soit perçue comme « deux » ([dø]) à cause de son système interphonologique. Dans ce cas, si l'évaluateur ne connaît pas le message que souhaitait transmettre l'apprenant, il pourra alors sous-estimer sa difficulté à comprendre l'énoncé.
<table><caption>TABLE 1 – Exemples d'études dans lesquelles la compréhensibilité d'apprenants de L2 a évaluée sans informer les évaluateurs du contenu sémantique des messages que les apprenants avaient pour intention de transmettre.</caption><thead><tr><th>Étude</th><th>Tâche de production orale</th><th>Outil d'évaluation de la compréhensibilité</th></tr></thead><tbody><tr><td>Bergeron & Trofimovich (2017)</td><td>Parole spontanée (narration d'histoire imagée et entretien semi-dirigé)</td><td>Échelle continue</td></tr><tr><td>Crowther et al. (2015)</td><td>Parole spontanée (narration d'histoire imagée)</td><td>Échelle continue</td></tr><tr><td>Hansen Edwards et al. (2018)</td><td>Lecture de texte<br>Parole spontanée (entretien semi-dirigé)</td><td>Échelle à 9 points</td></tr><tr><td>Kang (2010)</td><td>Parole spontanée (entretien semi-dirigé)</td><td>Échelle à 7 points</td></tr><tr><td>Kennedy & Trofimovich (2008)</td><td>Lecture oralisée de phrases</td><td>Échelle à 9 points</td></tr><tr><td>Ludwig & Mora (2017)</td><td>Lecture oralisée de phrases</td><td>Échelle à 7 points</td></tr><tr><td>Nagle & Huensch (2020)</td><td>Parole spontanée (entretien semi-dirigé)</td><td>Échelle continue</td></tr><tr><td>Saito et al. (2017)</td><td>Parole spontanée (narration d'histoire imagée)</td><td>Échelle continue</td></tr><tr><td>Saito et al. (2023)</td><td>Parole spontanée (description d'image)</td><td>Échelle à 9 points</td></tr><tr><td>Suzukida & Saito (2021)</td><td>Parole spontanée (narration d'histoire imagée)</td><td>Échelle à 9 points</td></tr></tbody></table>

La présente étude a pour objet de vérifier l'existence d'un tel biais lors de l'évaluation de la compréhensibilité de la parole d'énoncés produits par des apprenants germanophones de français langue étrangère (FLE), recueillis pendant une tâche de traduction orale de phrases cibles. À cette fin, un protocole permettant d'évaluer la compréhensibilité des énoncés sans aucune connaissance du message cible, et avec la mise à disposition d'une traduction de référence en français a été mis en place. Nos hypothèses sont celles (i) d'une surestimation de la compréhensibilité des énoncés lorsqu'ils sont présentés sans aucune référence, et (ii) de meilleurs accords inter-évaluateurs après la mise à disposition des traductions de référence en comparaison des accords observés pour les évaluations réalisées a priori.

# 2 Méthode

## 2.1 Stimuli de parole

Neuf locuteurs germanophones ont participé à l'étude. Il s'agit de neuf apprenants de FLE (2 femmes, 7 hommes), dont les niveaux de compétences selon le Cadre Européen Commun de Référence pour
les Langues (CECRL, Conseil De l'Europe, 2001) s'échelonnaient de A1 à B1.

Les apprenants ont été enregistrés lors de la traduction orale de 40 phrases cibles présentées en alle-
mand. Ces 40 phrases, élaborées avec l'aide de deux enseignants allemands de FLE, correspondaient
à des phrases dans un registre de langue courant, et étaient de nature déclarative. Chaque phrase
était destinée à susciter des erreurs lexicales, syntaxiques ou morphosyntaxiques fréquentes chez
les apprenants germanophones de FLE. Ainsi, une erreur courante au niveau lexical est d'utiliser le
verbe « recevoir » au lieu d'« obtenir » (p. ex. « J'ai reçu mon diplôme » au lieu de « J'ai obtenu
mon diplôme »), au niveau syntaxique d'utiliser un syntagme nominal en lieu et place d'un syntagme
prépositionnel comme complément au verbe « répondre » (p. ex. « Nous devons répondre cette
question » au lieu de « Nous devons répondre à cette question ») et au niveau morphosyntaxique
d'utiliser des formes comme « vieux » ou « beau » devant un nom masculin commençant par une
voyelle (p. ex. « C'est un vieux homme » au lieu de « C'est un vieil homme »).

Les énoncés produits par les apprenants ont été enregistrés dans une salle calme de l'Université
Ostfalia à Wolfenbüttel (Allemagne), à l'aide d'un microphone casque Jabra (Copenhague, Danemark)
Evolve 20 HSC016. Le niveau sonore des 360 fichiers audio produits a été normalisé avant les
evaluations.

## 2.2 Évaluation de la compréhensibilité de la parole

Quatre-vingts évaluateurs (26 femmes, 54 hommes) ont été recrutés pour évaluer le degré de com-
préhensibilité des énoncés produits par les apprenants. Les critères d'inclusion dans l'étude étaient
les suivants : francophone natif, sans trouble auditif connu, et âgé entre 18 et 40 ans (pour limiter la
probabilité de troubles auditifs liés à l'âge dont les évaluateurs n'auraient peut-être pas conscience,
Cruickshanks et al., 1998).

Les évaluations ont pris place de manière individuelle dans des pièces calmes. Les stimuli étaient
diffusés dans un casque Jabra (Copenhague, Danemark) Evolve 20 HSC016, connecté à la carte son
d'un ordinateur portable MacBook Pro 13 pouces. Sur l'écran d'ordinateur, une interface graphique
développée en langage de programmation Python avec la librairie Streamlit 3 <fnref n="1" /> était présentée (voir
Figure 1).

Avant de démarrer la procédure, chaque évaluateur était familiarisé avec le concept de compréhen-
sibilité de la parole. En accord avec la définition proposée par V. Woisard et collègues (« Capacité
de l'auditeur à interpréter le sens du message oral produit par un locuteur, sans tenir compte de la
précision ou de la justesse phonétique ou lexicale » ; Woisard et al., 2013), nous avons en particulier
insisté sur le fait que l'évaluation portait sur la capacité à interpréter le sens des énoncés, et qu'il
ne fallait pas, pour cela, tenir compte d'« erreurs » phonétiques ou linguistiques (par exemple, une
prononciation déficiente) qui n'entraveraient pas cet accès au sens. Chaque évaluateur était ensuite
familiarisé avec l'échelle à 5 points utilisée pour l'évaluation de la compréhensibilité, échelle qui
s'étendait de 1 (« compréhensibilité nulle ») jusqu'à 5 (« compréhensibilité totale »).

## Scores de compréhensibilité a priori

Pour chaque énoncé, chaque participant devait d'abord évaluer la compréhensibilité de la parole sans
aucune indication quant au contenu sémantique cible du message produit par l'apprenant (voir cadre 1

<footnote n="1">1. https://streamlit.io/</footnote>
<figure><img src="image_202.png" /></figure>

FIGURE 1 – Interface logicielle utilisée pour l’évaluation de la compréhensibilité de chaque enregistrement. L’exemple correspond à de vraies évaluations obtenues pour une traduction orale de la phrase « Ich möchte Ihnen ein Buch zeigen » (« Je veux vous montrer un livre »), perçue par l’évaluateur comme « j’ai donné rendez-vous à un livreur ».

de l'interface). Après l'écoute de la production orale, l'évaluateur avait pour consigne de retranscrire la phrase entendue 2, et d'attribuer un score de compréhensibilité sur l'échelle à 5 points (voir cadre 2 de l'interface). Nous nommons ces évaluations « Scores de compréhensibilité a priori ».

## Scores de compréhensibilité a posteriori

Une traduction de référence de l'énoncé en français, établie par un consensus entre les enseignants qui ont défini le jeu de phrases à traduire, était ensuite présentée à l'évaluateur. Après la prise de connaissance de cette traduction de référence, l'évaluateur devait à nouveau attribuer un score de compréhensibilité sur l'échelle à 5 points (voir cadre 3 de l'interface). Nous nommons ces secondes évaluations « Scores de compréhensibilité a posteriori ».

Les évaluateurs ne pouvaient écouter qu'une seule fois les enregistrements, avant l'évaluation *a priori*. Aucune écoute supplémentaire entre les évaluations *a priori* et *a posteriori* n'était possible. De plus, afin d'éviter les effets d'entraînement (habituation au locuteur), chaque évaluateur a évalué neuf productions orales (une par apprenant). Cela a donné lieu à 18 scores de compréhensibilité : neuf *a priori*, neuf *a posteriori*. Enfin, l'attribution des fichiers audios aux différents évaluateurs a été réalisée de manière à ce que chaque couple d'évaluateurs ait à évaluer un même ensemble de neuf fichiers audio, permettant ainsi le calcul d'accords inter-évaluateurs.

Au total, 1440 scores de compréhensibilité ont ainsi été recueillis, correspondant aux 2 conditions

<footnote n="2">2. Donnée que nous n'exploitons pas pour la présente étude.</footnote>
d'évaluation (*a priori* vs. *a posteriori*) × 9 fichiers audio × 80 évaluateurs.

# 3 Résultats

## 3.1 Scores de compréhensibilité *a priori* et *a posteriori*

La Figure 2 présente les distributions des scores de compréhensibilité *a priori* (à gauche) et *a posteriori* (à droite).

<figure><img src="image_203.png" /><figcaption>FIGURE 2 – Distribution des scores de compréhensibilité attribués *a priori* et *a posteriori*.</figcaption></figure>

Comme nous pouvons le remarquer, les scores de compréhensibilité sont globalement plus élevés dans la condition *a priori* que dans la condition *a posteriori*, avec, en particulier, moins d'énoncés ayant été associés avec la valeur la plus faible de l'échelle (1), et davantage d'énoncés ayant obtenu la valeur maximale (5). Afin de vérifier la significativité de cette différence de distribution, nous avons utilisé le test non-paramétrique de Wilcoxon. Les résultats ont mis au jour une différence significative entre les deux conditions, les scores de compréhensibilité relevés *a priori* étant plus élevés que ceux observés dans la condition *a posteriori* ($Z = -10,4; p < 0,001$, test unilatéral). Afin d'estimer la taille de l'effet, le *r* de Cohen a été calculé; sa valeur est de 0,39, ce qui dénote une taille d'effet moyenne.

## 3.2 Accords inter-évaluateurs lors des évaluations *a priori* et *a posteriori*

Les accords inter-évaluateurs ont été calculés, pour chaque paire d'évaluateurs, sous la forme de coefficients de corrélation de Spearman. Sur l'ensemble des 40 paires d'évaluateurs, ces coefficients s'échelonnent de 0,16 à 0,98 dans la condition *a priori* (moyenne : 0,73) et de 0,25 à 1 dans la condition *a posteriori* (moyenne : 0,78). La Figure 3 présente les distributions des accords inter-évaluateurs dans ces deux conditions.

Nous pouvons observer que la valeur médiane des accords inter-évaluateurs est plus élevée dans la condition *a posteriori* (accord médian : 0,83) que dans la condition *a priori* (accord médian : 0,71).
<figure><img src="image_204.png" /></figure>

FIGURE 3 – Distribution des accords inter-évaluateurs pour les conditions *a priori* et *a posteriori*. Les barres d'erreur renvoient aux valeurs minimales et maximales, et les limites basses et hautes des boîtes aux 25ème et 75ème percentiles, respectivement. Les traits horizontaux à l'intérieur des boîtes représentent les valeurs médianes. Le cercle vide correspond à une donnée aberrante.

De même, l'étendue interquartile est plus faible dans la condition *a posteriori*, avec la moitié des valeurs comprises entre 0,70 et 0,93 (contre 0,6 et 0,92 pour la condition *a priori*). Afin de vérifier la significativité des différences d'accord observées entre les deux conditions, nous avons d'abord réalisé des tests de normalité de distribution à l'aide du test de Shapiro-Wilk. Les résultats ayant montré que les coefficients de corrélation ne sont pas normalement distribués ($p \le 0,019$ dans les deux conditions), nous avons ensuite réalisé un test de Wilcoxon. Les résultats n'ont pas mis au jour de différence significative entre les accords inter-évaluateurs observés *a priori* et ceux relevés *a posteriori* ($Z = -1,3$; $p = 0,09$, test unilatéral).

# 4 Conclusion et discussion

Cette étude avait pour premier objectif de vérifier si l'absence de référence quant aux intentions de communication d'un locuteur pouvait constituer un biais lors de l'évaluation de la compréhensibilité de la parole d'énoncés correspondant à des traductions orales de phrases cibles. Plus précisément, nous suppositions que, sans une telle référence, les évaluateurs auraient tendance à surestimer leur propre compréhension, dans la mesure où ils ne peuvent avoir conscience de divergences d'ordre sémantique entre le message perçu et le message que souhaitait transmettre le locuteur. Cette hypothèse a été confirmée par la mise au jour d'une différence significative entre les évaluations de compréhensibilité réalisées *a priori* et celles réalisées *a posteriori*, c'est-à-dire après la prise de connaissance d'une traduction de référence – les premières étant supérieures aux secondes. La taille (moyenne) de l'effet observé n'est pas négligeable, ce qui souligne d'autant plus l'enjeu que peut représenter un tel biais dans les études reposant sur des mesures de compréhensibilité obtenues par des méthodes d'évaluation *a priori*.
Il est néanmoins utile de rappeler que l'effet observé correspond à une tendance générale, observée à travers les différents énoncés produits par neuf apprenants germanophones, et dont la compréhensibilité a été évaluée par 80 auditeurs différents. Ceux-ci ont parfois également sous-évalué leur compréhensibilité lors de la condition *a priori*. Cette sous-évaluation représente toutefois une minorité de cas (18,8%) en comparaison des phénomènes de surévaluation (81,2%).

Notre seconde hypothèse était que les accords inter-évaluateurs seraient plus élevés dans la condition d'évaluation *a posteriori* que dans celle *a priori*, dans la mesure où disposer d'une référence commune devrait contribuer à l'harmonisation des évaluations. Malgré le calcul d'un nombre important d'accords (40), cette hypothèse n'a pas été confirmée par les statistiques inférentielles. Il est possible que le faible nombre de productions pour lesquels ces accords ont été calculés (9) n'ait pas permis d'obtenir des coefficients de corrélation suffisamment fiables pour mettre au jour une telle différence. Nous prévoyons, à terme, de mener une étude similaire incluant l'évaluation de 40 énoncés produits par 40 locuteurs japonophones de FLE (De Fino, 2024) afin de dépasser cette limite.

## Remerciements

Ces travaux ont été financés par l'Agence Nationale de la Recherche dans le cadre du laboratoire commun ALAIA (ANR-18-LVC3-001), et par l'Association Nationale de la Recherche et de la Technologie *via* la thèse CIFRE de V. De Fino. Nous tenons à remercier le Pr. Gerndt pour nous avoir donné l'opportunité d'enregistrer des apprenants de FLE à l'université Ostfalia. Nous remercions également le Dr. Volmer et Mme Bizien pour l'apport de leur expertise lors de la création des énoncés à traduire, ainsi que les apprenants et évaluateurs qui ont participé à cette étude.
Références

BERGERON A. & TROFIMOVICH P. (2017). Linguistic dimensions of accentedness and comprehen-
sibility: Exploring task and listener effects in second language french. *Foreign Language Annals*, **50**(3), 547–566. DOI: 10.1111/flan.12285.

CONSEIL DE L'EUROPE (2001). *Cadre Européen Commun de Référence pour les Langues : Apprendre, Enseigner, Évaluer*. Paris : Didier.

CROWTHER D., TROFIMOVICH P., SAITO K. & ISAACS T. (2015). Second language comprehensibility revisited: Investigating the effects of learner background. *TESOL Quarterly*, **49**(4), 814–837. DOI: 10.1002/tesq.203.

CRUICKSHANKS K. J., WILEY T. L., TWEED T. S., KLEIN B. E., KLEIN R., MARES-PERLMAN J. A. & NONDAHL D. M. (1998). Prevalence of Hearing Loss in Older Adults in Beaver Dam, Wisconsin: The Epidemiology of Hearing Loss Study. *American Journal of Epidemiology*, **148**(9), 879–886. DOI: 10.1093/oxfordjournals.aje.a009713.

DE FINO V. (2024). *Caractérisation et mesure de la compéhensibilité de la parole de locuteurs non natifs dans le cadre de l'apprentissage des langues*. Thèse de doctorat, Université Toulouse III Paul Sabatier.

DERWING T. (2003). What do ESL students say about their accents? *Canadian Modern Language Review*, **59**(4), 547–567. DOI: 10.3138/cmlr.59.4.547.

DERWING T. M. & MUNRO M. J. (2005). Second language accent and pronunciation teaching: A research-based approach. *TESOL Quarterly*, **39**(3), 379–397. DOI: 10.2307/3588486.

DERWING T. M. & MUNRO M. J. (2009). Putting accent in its place: Rethinking obstacles to communication. *Language Teaching*, **42**(4), 476–490. DOI: 10.1017/S026144480800551X.

FLEGE J. E. (1988). Factors affecting degree of perceived foreign accent in english sentences. *The Journal of the Acoustical Society of America*, **84**(1), 70–79. DOI: 10.1121/1.396876.

FONTAN L. (2012). *De la mesure de l'intelligibilité à l'évaluation de la compréhension de la parole pathologique en situation de communication*. Thèse de doctorat, Université de Toulouse. HAL : tel-00797883.

FONTAN L., GAILLARD P. & WOISARD V. (2013). Comprendre et agir : Les tests pragmatiques de compréhension de la parole et EloKanz. In R. SOCK, B. VAXELAIRE & C. FAUTH, Éds., *La voix et la parole perturbées*, p. 131–144. Mons: CIPA.

HANSEN EDWARDS J. G., ZAMPINI M. L. & CUNNINGHAM C. (2018). The accentedness, comprehensibility, and intelligibility of Asian Englishes. *World Englishes*, **37**(4), 538–557. DOI: 10.1111/weng.12344.

KANG O. (2010). Relative salience of suprasegmental features on judgments of L2 comprehensibility and accentedness. *System*, **38**(2), 301–315. DOI: 10.1016/j.system.2010.01.005.

KENNEDY S. & TROFIMOVICH P. (2008). Intelligibility, comprehensibility, and accentedness of L2 speech: The role of listener experience and semantic context. *Canadian Modern Language Review*, **64**(3), 459–489. DOI: 10.3138/cmlr.64.3.459.

LUDWIG A. & MORA J. C. (2017). Processing time and comprehensibility judgments in non-native listeners' perception of L2 speech. *Journal of Second Language Pronunciation*, **3**(2), 167–198. DOI: 10.1075/jslp.3.2.01lud.

MUNRO M. J. & DERWING T. M. (2011). The foundations of accent and intelligibility in pronun-
ciation research. *Language Teaching*, **44**(3), 316–327. DOI: 10.1017/S0261444811000103.
NAGLE C. L. & HUENSCH A. (2020). Expanding the scope of L2 intelligibility research: Intelligibility, comprehensibility, and accentedness in L2 Spanish. *Journal of Second Language Pronunciation*, **6**(3), 329–351. DOI: 10.1075/bct.121.04nag.

SAITO K., MACMILLAN K., KACHLICKA M., KUNIHARA T. & MINEMATSU N. (2023). Automated assessment of second language comprehensibility: Review, training, validation, and generalization studies. *Studies in Second Language Acquisition*, **45**(1), 234–263. DOI: 10.1017/S0272263122000080.

SAITO K., TROFIMOVICH P. & ISAACS T. (2017). Using listener judgments to investigate linguistic influences on L2 comprehensibility and accentedness: A validation and generalization study. *Applied Linguistics*, **38**(4), 439–462. DOI: 10.1093/applin/amv047.

SUZUKI S. & KORMOS J. (2020). Linguistic dimensions of comprehensibility and perceived fluency: An investigation of complexity, accuracy, and fluency in second language argumentative speech. *Studies in Second Language Acquisition*, **42**(1), 143–167. DOI: 10.1017/S0272263119000421.

SUZUKIDA Y. & SAITO K. (2021). Which segmental features matter for successful L2 comprehensibility? Revisiting and generalizing the pedagogical value of the functional load principle. *Language Teaching Research*, **25**(3), 431–450. DOI: 10.1177/1362168819858246.

WOISARD V., ESPESSER R., GHIO A. & DUEZ D. (2013). De l’intelligibilité à la compréhensibilité de la parole, quelles mesures en pratique clinique ? *Revue de Laryngologie Otologie Rhinologie*, **134**(1), 27–33. HAL: hal-01486715.
# Premier système IRIT-MyFamillyUp pour la compétition sur la reconnaissance des émotions Odyssey 2024

Adrien Lafore¹, ²

Clément Pagés¹

Leila Moudjari¹

Sebastião Quintas¹

Isabelle Ferrané¹

Hervé Bredin¹

Thomas Pellegrini¹

Farah Benamara¹

Jérôme Bertrand²

Marie-Françoise Bertrand²

Véronique Moriceau¹

Jérôme Farinas¹

(1) IRIT, Université de Toulouse, CNRS, Toulouse INP, UT3, Toulouse, France

(2) My Family Up, Toulouse, France

prenom.nom@irit.fr

mf.bertrand@myfamilyup.com

j.bertrand@myfamilyup.com

## RÉSUMÉ

Dans cet article, nous présentons notre contribution à la tâche de classification des émotions dans la parole dans le cadre de notre participation à la campagne d'évaluation Odyssey 2024. Nous proposons un système hybride qui tire parti à la fois des informations du signal audio et des informations sémantiques issues des transcriptions automatiques. Les résultats montrent que l'ajout de l'information sémantique permet de dépasser les systèmes uniquement audio.

## ABSTRACT

IRIT-MyFamilyUp system for the Odyssey 2024 Emotion Recognition Challenge.

In this paper, we present our contribution to emotion classification in speech as part of our participation in the Odyssey 2024 challenge. We propose a hybrid system that takes advantage of both audio signal information and semantic information from automatic transcriptions. The results show that adding semantic information allows surpassing systems based solely on audio.

MOTS-CLÉS: modélisation des émotions, Compétition Odyssey 2024, fusion texte et audio.

KEYWORDS: emotion modelling, Odyssey 2024 challenge, text and audio fusion.

## 1 Introduction

Un aidant familial ou proche aidant est une « personne qui vient en aide, de manière régulière et fréquente, à titre non professionnel, pour accomplir tout ou partie des actes ou des activités de la vie quotidienne d'une personne en perte d'autonomie, du fait de l'âge, de la maladie ou d'un handicap » (Loi n°2015-1776 article 51, 2015). En 2021, on estime à 11 millions le nombre d'aidants en France, soit un français sur six. D'après un rapport du ministère de l'économie (Ministère de l'économie des finances et de la relance, 2021), les principales observations sont :

- leur âge moyen est de 49 ans et 37% des aidants sont âgés de 50 à 54 ans ; 60% des aidants sont des femmes ;

- 69 % des aidants constatent un impact réel sur leur état moral,

- 53 % des aidants subissent des effets sur leur propre santé ;

<figure><img src="image_205.png" /></figure>
— 50 % se sentent parfois seuls, non soutenus moralement;

— 62 % se sont déjà retrouvés dans un état d'épuisement intense.

D'après l'OMS, 70% des jeunes aidants présentent des troubles anxio-dépressifs et 15 à 30% des personnes âgées souffrent de dépression. En 2021, 75% des français estiment qu'il faut du « courage » pour aller voir un psychologue (YouGov, 2019) et des enquêtes de la DREES<fnref n="1" /> ont mis en évidence la demande des citoyens français pour des solutions de soutien psychologique personnalisées, professionnelles et accessibles par internet. La thérapie en ligne est souvent le seul soin possible, mais la majorité des applications de thérapie ne sont pas fiables dans une logique thérapeutique. C'est dans ce contexte que nous nous intéressons à l'identification des sentiments et états émotionnels dans la communication orale afin de développer un détecteur d'états émotionnels dans la parole, qui permettrait d'aider au diagnostic psychologique des proches aidants. Notre objectif est d'exploiter des informations audio et sémantiques afin de modéliser les états émotionnels par la détection de ces états dans la sémantique textuelle (parole retranscrite) et la détection d'émotions dans la prosodie.

Les émotions ont largement été étudiées dans un cadre théorique. On peut citer notamment les modèles de représentation de Plutchik (Plutchik, 1980) ou d'Ekman (Ekman & Journet, 2002) pour les plus connus.

Dans le cadre du Traitement Automatique des Langues (TAL), la détection des états émotionnels ou psychologiques a surtout été abordée dans le cadre de la détection des maladies mentales comme la dépression, les troubles de l'alimentation ou les troubles bipolaires (cf. (Harrigian et al., 2021) pour une revue des collections de données et des tâches existantes). Les campagnes d'évaluation Computational Linguistics and Clinical Psychology (CLPsych) (Zirikly et al., 2022) ou eRisk (Parapar et al., 2023) se sont penchées en particulier sur la tâche de détection automatique de la dépression chez des utilisateurs des réseaux sociaux, avec un focus sur la détection "au plus tôt". Les modèles d'apprentissage développés pour la détection automatique sont à base soit de traits pour les plus performants (utilisation de pronoms personnels, sentiment positif ou négatif, temps des verbes, etc.) (Bae et al., 2021; Molina et al., 2023), soit d'apprentissage profond (cf. (Ríssola et al., 2021) pour un panorama des méthodes automatiques existantes pour la classification des états mentaux sur les réseaux sociaux). Les travaux actuels dans ce domaine portent ainsi quasi uniquement sur des données écrites par des utilisateurs plutôt jeunes des réseaux sociaux.

En ce qui concerne le Traitement Automatique de la Parole (TAP), la détection d'émotion est un domaine de recherche qui est issu de l'analyse automatique de la prosodie. En effet, le champ des informations non verbales constitue la source des informations pour caractériser les émotions. Des compétitions internationales ont eu lieu depuis 2009 afin de faire avancer la connaissance sur cette problématique : The Interspeech 2009 Emotion Challenge (Schuller et al., 2009) et The Interspeech 2010 Paralinguistic challenge (Schuller et al., 2010). Les premiers systèmes étaient basés sur des systèmes discriminants alimentés par de nombreux paramètres extraits du signal audio, comme la boîte à outil OpenSmile (Eyben et al., 2010). Les systèmes actuels se basent sur des architectures de réseaux de neurones profonds et ont permis d'obtenir de bonnes performances en reconnaissance des émotions sous forme de catégories (Tripathi et al., 2018; Yenigalla et al., 2018; Atmaja et al., 2019; Yoon et al., 2019). L'enjeu consiste maintenant à projeter les émotions dans un espace continu, ce qui permettra l'étude des états mentaux cognitifs (Atmaja & Akagi, 2020).

Le travail présenté dans cet article détaille une première contribution dans le cadre de notre participa-

<footnote n="1">1. https://drees.solidarites-sante.gouv.fr/sources-outils-et-enquetes/les-enquetes-capacites-aides-et-ressources-des-seniors-care</footnote>
tion à la campagne d'évaluation Odyssey 2024² portant sur la reconnaissance des émotions. Nous proposons ici un travail conjoint qui vise à utiliser des techniques de l'état de l'art pour combiner l'exploitation de données issues des retranscriptions d'extraits vidéo collectés sur internet et des données issues de la piste audio.

Dans les sections suivantes, nous présentons d'abord le corpus mis à notre disposition ainsi que la tâche de classification proposée. Ensuite, nous présentons en détail l'architecture de notre système. Enfin, nous détaillons et analysons les résultats obtenus.

# 2 Protocole expérimental

Nous présentons ici la campagne d'évaluation Odyssey 2024, à savoir : les données, la tâche proposée ainsi que les métriques d'évaluation utilisées.

## 2.1 Corpus

Les données mises à disposition sont des enregistrements en anglais issus du corpus MSP-Podcast (Lotfian & Busso, 2019), qui contient des segments audio provenant de podcasts en ligne. Les tours de parole ont été annotés par au moins 5 annotateurs selon les catégories d'émotion et leurs dimensions.

Les catégories d'émotions annotées dans ce corpus sont : Anger (colère), Contempt (mépris), Disgust (dégoût), Fear (peur), Happiness (bonheur), Neutral (neutre), Sadness (tristesse), Surprise, Other (autre), et No agreement (pas d'accord inter-annotateurs).

Les dimensions pour chaque émotion sont la *valence* (état positif ou négatif de l'individu), l'*arousal* (activité ou passivité de l'individu) et la *dominance* (contrôle faible à fort). Chacune de ces dimensions est annotée sur une échelle de 1 à 7.

Les données d'entraînement et de développement sont composées respectivement de 68 360 et 19 815 tours de parole annotés. Pour ces données, les transcriptions sont fournies ainsi que le genre des intervenants. Les données de l'ensemble de test sont constituées de 2 347 segments de parole venant de 187 personnes. Pour ces dernières, aucune transcription n'est fournie. De plus, les classes "Other" (O) et "No agreement" (X) ont été supprimées et la distribution des catégories d'émotion est équilibrée. Ainsi, nous avons aussi retiré ces deux classes du jeu de données d'entraînement et de développement. Le tableau 1 montre la distribution des données d'entraînement et de développement.

## 2.2 Tâche et métrique d'évaluation

La tâche à laquelle nous avons participé est celle de classification des émotions en 8 catégories : colère (A), mépris (C), dégoût (D), peur (F), bonheur (H), neutre (N), tristesse (S), et surprise (U).

La campagne d'évaluation n'autorise pas l'utilisation de modèles existants entraînés pour la détection d'émotions.

Les systèmes participants sont évalués selon les mesures classiques de précision, rappel, F1-score et

<footnote n="2">2. https://www.odyssey2024.org/emotion-recognition-challenge</footnote>
<table><caption>TABLE 1 – Distribution des catégories d'émotion dans les données d'entraînement et de développement</caption><thead><tr><th rowspan="2">Catégorie</th><th colspan="3">Entraînement</th><th colspan="3">Développement</th></tr><tr><th>Nombre</th><th>%</th><th>Durée totale</th><th>Nombre</th><th>%</th><th>Durée totale</th></tr></thead><tbody><tr><td>Neutral (N)</td><td>25 106</td><td>36,72</td><td>39h43</td><td>5 667</td><td>28,60</td><td>08h47</td></tr><tr><td>No agreement (X)</td><td>13 709</td><td>20,05</td><td>22h02</td><td>4 013</td><td>20,25</td><td>06h32</td></tr><tr><td>Happiness (H)</td><td>13 440</td><td>19,66</td><td>22h09</td><td>3 340</td><td>16,86</td><td>05h14</td></tr><tr><td>Sadness (S)</td><td>3 882</td><td>5,68</td><td>06h13</td><td>1 101</td><td>5,56</td><td>01h44</td></tr><tr><td>Anger (A)</td><td>3 053</td><td>4,47</td><td>05h05</td><td>2 413</td><td>12,18</td><td>04h01</td></tr><tr><td>Surprise (U)</td><td>2 897</td><td>4,24</td><td>04h38</td><td>729</td><td>3,68</td><td>01h04</td></tr><tr><td>Contempt (C)</td><td>2 443</td><td>3,57</td><td>04h09</td><td>1 323</td><td>6,67</td><td>02h17</td></tr><tr><td>Disgust (D)</td><td>1 426</td><td>2,09</td><td>02h24</td><td>486</td><td>2,45</td><td>00h52</td></tr><tr><td>Other (O)</td><td>1 265</td><td>1,85</td><td>02h05</td><td>461</td><td>2,33</td><td>00h46</td></tr><tr><td>Fear (F)</td><td>1 139</td><td>1,67</td><td>01h46</td><td>282</td><td>1,42</td><td>00h26</td></tr></tbody><tfoot><tr><td>TOTAL</td><td>68 360</td><td></td><td>110h14</td><td>19 815</td><td></td><td>32h06</td></tr></tfoot></table>

accuracy. La distribution des classes dans les données de test étant équilibrée, la macro-F1 est utilisée pour classer les systèmes; la macro-F1 étant la moyenne des F1-scores pour chacune des 8 classes (voir formule 1).

Pour comparer les performances de nos systèmes, nous avons durant ce challenge utilisé un jeu de données équilibré issu du jeu de développement fourni par les organisateurs de ce challenge. Nous l'avons construit par échantillonage de façon à calculer les performances de nos systèmes dans le même cadre que le jeu de Test qui lui aussi est équilibré.

$$ \text{Macro F1} = \frac{1}{8} \sum_{i=1}^{8} 2 \times \frac{\text{précision}_i \times \text{rappel}_i}{\text{précision}_i + \text{rappel}_i} \quad (1) $$

# 3 Système proposé

Dans le cadre de la tâche de classification des émotions, nous proposons un premier système combinant les informations prosodiques et sémantiques à notre disposition. Dans ce premier système hybride, le but est de calculer les probabilités d'émotions pour chaque fichier en entrée (audio et texte) et d'utiliser la moyenne de ces probabilités pour notre prédiction. Les données de test pour ce challenge étant uniquement audio, nous avons dû utiliser un premier système de reconnaissance de la parole (cf. section 3.2) qui fournit les transcriptions au modèle sémantique entraîné pour cette tâche. En parallèle, le modèle audio (cf. section 3.1), lui aussi entraîné pour cette tâche, prend les segments audio fournis (d'une durée entre 3 et 11 secondes) pour calculer de son côté les probabilités d'émotion.

## 3.1 Modélisation acoustique

Le système dédié à la tâche de classification d'émotions en se basant uniquement sur l'audio a été développé et entraîné à partir de la librairie pyannote.audio (Bredin, 2023; Plaquet & Bredin, 2023), et
<figure><img src="image_206.png" /><figcaption>FIGURE 1 – Premier système hybride proposé</figcaption></figure>

est inspiré de l'architecture de SSeRiouSS <fnref n="3" />. Le système prend en entrée des morceaux d'audio d'une durée de 10 secondes qui sont tout d'abord traités par un modèle WavLM-large (Chen et al., 2022) pré-entraîné sur le corpus de LibriSpeech. La sortie fournie par ce module correspond à la moyenne pondérée des sorties de chacune des 12 couches composant le modèle WavLM-large, les poids utilisés pour cette moyenne étant appris durant l'entraînement. Cette sortie est ensuite injectée dans une pile de LSTM bidirectionnels (BLSTM) parcourant la séquence de caractéristiques produite par le modèle dans les deux sens. La séquence de trames issue de cette pile de BLSTM est ensuite passée à travers une couche linéaire dont le but est de faire la classification des émotions au niveau de chaque trame. L'étape suivante consiste à calculer la moyenne de ces classifications à l'aide d'une couche de mise en commun (mean pooling), la sortie de celle-ci étant finalement donnée à une fonction d'activation de type log-softmax, associant à chaque émotion possible une probabilité.

Ce modèle a été entraîné sur la partition d'entraînement du corpus MSP-PODCAST. Le nombre de BLSTM a été fixé à 2. Ce nombre correspond à la valeur par défaut dans l'architecture de SSeRiousSS, et également à celle pour laquelle les meilleurs résultats ont été obtenus. L'entraînement du système a été effectué à l'aide de l'optimiseur Adam, avec un taux d'apprentissage initial de 10e-3, ce dernier étant divisé par deux sans amélioration du F1-score macro sur 10 epochs consécutives, jusqu'à une valeur minimale de 10e-8. Le modèle WavLM-large a été gelé. La fonction de perte utilisée pour l'entraînement est une Vraisemblance logarithmique négative, pondérée avec des poids inversement proportionnels au nombre de représentants de chaque classe. La taille des lots a été fixée expérimentalement à 32.

## 3.2 Transcription de la parole

Des transcriptions manuelles ont été fournies pour les sous-ensembles d'entraînement et de développement, mais pas pour le jeu de test. Nous avons donc eu besoin d'utiliser un système de reconnaissance automatique de la parole (RAP) afin de fournir des transcriptions au modèle texte de classification d'émotions. Nous avons utilisé le système Whisper (Radford et al., 2022), et en particulier le modèle whisper-large-v3. Ce modèle a été entraîné avec 680 000 heures de données supervisées multilingues et multitâches collectées sur le Web, un aspect qui le rend robuste à différents types d'accents et conditions acoustiques.

Le système de RAP génère des transcriptions forcément différentes des transcriptions manuelles fournies, et il peut en résulter une perte de performance si trop d'erreurs de transcription sont

<footnote n="3">3. Le code de cette architecture est accessible ici : https://github.com/pyannote/pyannote-audio/blob/develop/pyannote/audio/models/segmentation/SSeRiouSS.py</footnote>
commises. Pour tenter d'évaluer la similarité entre les deux types de transcription, nous avons mesuré des taux d'erreur mot (TEM) sur les jeux d'entraînement et de développement. Avec le modèle whisper-large-v3, ce taux est d'environ 32% sur les deux jeux. Notons que nous avons testé d'autres modèles Whisper, plus petits (de *tiny* à *medium*), et le TEM augmentait inversement avec la taille du modèle.

Whisper fournit des transcriptions qui contiennent de la ponctuation et des majuscules pour les noms propres et autres acronymes. Si nous les normalisons (suppression des signes de ponctuation et de la casse), le TEM est drastiquement réduit à 12-13% sur les deux sous-ensembles. Nous avons choisi de garder la ponctuation et la casse cependant pour la modélisation des émotions, car a priori ces éléments donnent des informations probablement pertinentes pour cette tâche, comme par exemple un point d'exclamation qui peut exprimer de la surprise ou de la colère.

## 3.3 Modélisation des transcriptions

N'étant pas autorisés à utiliser des modèles dédiés à la détection d'émotions, nous avons entraîné et évalué plusieurs modèles de langue de l'état de l'art sur les transcriptions de référence des données d'entraînement et de développement : BERT (base, multilingual, large, etc.) (Devlin et al., 2019) et RoBERTa-base (Liu et al., 2019). Les meilleures performances ont été obtenues avec RoBERTa, c'est pourquoi nous avons fait le choix de ce modèle pour notre système hybride.

Le modèle RoBERTa-base est composé de 12 couches avec une taille cachée de 768 et un nombre de têtes d'attention de 12. Les couches intermédiaires (feedforward) ont une taille de 3072. Le modèle est construit sur un vocabulaire de 50 265 mots, y compris les jetons spéciaux pour le début et la fin de séquence (CLS et SEP). De plus, le modèle est sensible à la casse et utilise des jetons de masquage aléatoire (MLM) pour l'entraînement.

Nous avons adapté RoBERTa-base (125 millions de paramètres) aux données d'entraînement. Pour ceci, nous avons utilisé l'optimiseur Adam avec un taux d'apprentissage de $2e^{-5}$ pendant 4 epochs. Les tailles de lots (batch sizes) ont été expérimentalement fixées à 64, et nous avons utilisé une fonction de perte d'entropie croisée pondérée (crossentropyweighted). Enfin, une couche linéaire a été ajoutée pour la tâche de classification des émotions. Comme pour le modèle acoustique, la sortie de cette couche est ensuite soumise à une fonction d'activation de type log-softmax, attribuant à chaque classe une probabilité.

## 3.4 Fusion des informations

Premièrement, comparons les résultats (sur notre jeu de développement équilibré) des systèmes acoustiques et textuels indépendamment pour établir plus tard du bénéfice de la fusion des deux informations pour notre tâche de classification.

<table><caption>TABLE 2 – Résultats des deux systèmes sur notre jeu de développement équilibré</caption><thead><tr><th></th><th>F1 Macro</th><th>F1 Micro</th><th>Accuracy</th></tr></thead><tbody><tr><td>Système Audio</td><td>0.3073</td><td>0.3147</td><td>0.3147</td></tr><tr><td>Système Texte</td><td>0.2602</td><td>0.2836</td><td>0.2836</td></tr></tbody></table>
<figure><img src="image_207.png" /><figcaption>FIGURE 2 – Matrice de confusion des systèmes</figcaption></figure>

<figure><img src="image_208.png" /></figure>

Nous pouvons noter les différences entre les deux systèmes : l’émotion neutre est beaucoup mieux reconnue avec l’information textuelle tandis que le système audio semble plus performant en général.

Comme première expérimentation, nous proposons donc ici une méthode simple pour la fusion des résultats des deux modèles prosodique et sémantique. Nous départageons les deux modèles en faisant la moyenne de leurs résultats respectifs (probabilité pour chaque classe) afin de lisser les faiblesses ponctuelles de chacun (notamment lorsqu’un des deux systèmes est indécis).

# 4 Résultats et discussion

Le tableau 3 présente les résultats obtenus sur les ensembles de développement et de test.

À titre de comparaison, la campagne d'évaluation met à disposition une baseline (Goncalves et al., 2024) présentée dans la figure 3. Leur méthode s'appuie uniquement sur un modèle audio constitué d'un encodeur WavLM (Chen et al., 2022) pré-entraîné avec un taux d'apprentissage de 1e-5, 20 epochs et une taille de lots de 32.

<figure><img src="image_209.png" /><figcaption>FIGURE 3 – Baseline de la campagne Odyssey 2024</figcaption></figure>

Les meilleurs résultats obtenus par notre système se situent sur les émotions joie, tristesse et colère qui
<table><caption>TABLE 3 – Résultats obtenus sur les données de développement et de test</caption><thead><tr><th rowspan="2">Catégorie</th><th colspan="3">Développement</th><th colspan="3">Test</th></tr><tr><th>Précision</th><th>Rappel</th><th>F1-score</th><th>Précision</th><th>Rappel</th><th>F1-score</th></tr></thead><tbody><tr><td>Neutral (N)</td><td>0.25</td><td>0.58</td><td>0.35</td><td></td><td></td><td></td></tr><tr><td>Happiness (H)</td><td>0.48</td><td>0.61</td><td>0.54</td><td></td><td></td><td></td></tr><tr><td>Sadness (S)</td><td>0.64</td><td>0.37</td><td>0.47</td><td></td><td></td><td></td></tr><tr><td>Anger (A)</td><td>0.34</td><td>0.59</td><td>0.43</td><td></td><td></td><td></td></tr><tr><td>Surprise (U)</td><td>0.40</td><td>0.24</td><td>0.30</td><td></td><td></td><td></td></tr><tr><td>Contempt (C)</td><td>0.22</td><td>0.22</td><td>0.22</td><td></td><td></td><td></td></tr><tr><td>Disgust (D)</td><td>0.40</td><td>0.19</td><td>0.25</td><td></td><td></td><td></td></tr><tr><td>Fear (F)</td><td>0.46</td><td>0.05</td><td>0.08</td><td></td><td></td><td></td></tr><tr><td>Accuracy</td><td colspan="3">0,3537</td><td colspan="3"><b>0.3511</b></td></tr><tr><td>Macro F1</td><td colspan="3">0,3308</td><td colspan="3"><b>0.3335</b></td></tr><tr><td>Baseline Accuracy</td><td colspan="3">-</td><td colspan="3">0,3272</td></tr><tr><td>Baseline Macro F1</td><td colspan="3">-</td><td colspan="3">0,3113</td></tr></tbody></table>

ont des marqueurs sémantiques et prosodiques plus facilement identifiables et le neutre. La surprise, le mépris, le dégoût semblent elles difficilement identifiables par notre système. La peur, avec un F1-score de 0,08 est le point faible de notre système de classification.

Nous pouvons voir une petite baisse de précision lors de la prédiction sur l'ensemble de test (dont les labels ne sont encore pas publics) mais une amélioration majeure de la macro F1 permettant de dépasser la baseline de cette campagne.

# 5 Conclusion et perspectives

Dans cet article, nous avons présenté une première expérimentation pour la classification des émotions dans la parole. Le système hybride proposé repose sur un modèle acoustique et un modèle sémantique tous deux entraînés pour la tâche. Les résultats obtenus montrent qu'une fusion simple (moyenne des probabilités des deux modèles pour chaque classe) permet d'atteindre des résultats qui dépassent ceux d'un modèle acoustique seul. À court terme, nous envisageons de tester d'autres méthodes de fusion de l'audio et du texte, par exemple une concaténation des vecteurs de sortie des systèmes audio et texte, suivi d'une ou plusieurs couches permettant la classification. Cela pourrait nous permettre de mieux gérer les faiblesses de chaque système pour profiter au maximum de la dualité d'information que nous utilisons.

# Remerciements

Ces travaux ont bénéficié d'un accès aux calculateur Jean Zay de l'IDRIS au travers des allocations de ressources AD011014274 et AD011013612R1 attribuées par GENCI.
Références

ATMAJA B. & AKAGI M. (2020). Dimensional speech emotion recognition from speech features and word embeddings by using multitask learning. *APSIPA Transactions on Signal and Information Processing*, **9**(1).

ATMAJA B., SHIRAI K. & AKAGI M. (2019). Speech emotion recognition using speech feature and word embedding. In *2019 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference, APSIPA ASC 2019*.

BAE Y. J., SHIM M. & LEE W. H. (2021). Schizophrenia detection using machine learning approach from social media content. *Sensors*, **21**(17), 5924.

BREDIN H. (2023). pyannote.audio 2.1 speaker diarization pipeline : principle, benchmark, and recipe. In *Proc. INTERSPEECH 2023*.

CHEN S., WANG C., CHEN Z., WU Y., LIU S., CHEN Z., LI J., KANDA N., YOSHIOKA T., XIAO X., WU J., ZHOU L., REN S., QIAN Y., QIAN Y., WU J., ZENG M., YU X. & WEI F. (2022). WavLM : Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing. *IEEE Journal of Selected Topics in Signal Processing*, **16**(6), 1505–1518. arXiv :2110.13900 [cs, eess], DOI : 10.1109/JSTSP.2022.3188113.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*.

EKMAN P. & JOURNET N. (2002). *De l'universel au particulier*, In N. JOURNET, Éd., *La culture*, chapitre Le langage naturel des émotions, p. 29–37. Éditions Sciences Humaines : Auxerre.

EYBEN F., WÖLLMER M. & SCHULLER B. (2010). openSMILE - The Munich Versatile and Fast Open-Source Audio Feature Extractor. In *Proc. ACM Multimedia (MM), ACM*.

GONCALVES L., SALMAN A., REDDY A., VELAZQUEZ L. M., THEBAUD T., GARCIA L. P., DEHAK N., SISMAN B. & BUSSO C. (2024). Odyssey 2024 - emotion recognition challenge. https://github.com/MSP-UTD/MSP-Podcast_Challenge.

HARRIGIAN K., AGUIRRE C. & DREDZE M. (2021). On the state of social media data for mental health research. In N. GOHARIAN, P. RESNIK, A. YATES, M. IRELAND, K. NIEDERHOFFER & R. RESNIK, Éds., *Proceedings of the Seventh Workshop on Computational Linguistics and Clinical Psychology : Improving Access*, p. 15–24, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2021.clpsych-1.2.

LIU Y., OTT M., GOYAL N., DU J., JOSHI M., CHEN D., LEVY O., LEWIS M., ZETTLEMOYER L. & STOYANOV V. (2019). RoBERTa : A Robustly Optimized BERT Pretraining Approach. arXiv :1907.11692.

Loi n°2015-1776 article 51 (2015). Loi n° 2015-1776 du 28 décembre 2015 relative à l'adaptation de la société au vieillissement (article 51). JORF https://www.legifrance.gouv.fr/loda/article_lc/LEGIARTI000031706430.

LOTFIAN R. & BUSSO C. (2019). Building naturalistic emotionally balanced speech corpus by retrieving emotional speech from existing podcast recordings. *IEEE Transactions on Affective Computing*, **10**, no. 4.

MINISTÈRE DE L'ÉCONOMIE DES FINANCES ET DE LA RELANCE (2021). Guide ministériel du proche aidant. https://www.economie.gouv.fr/files/files/2021/guide_proche-aidant.pdf.
MOLINA A., HUANG X., HURTADO L.-F. & PLA F. (2023). ELiRF-UPV at eRisk 2023 : Early detection of pathological gambling using SVM. In *CLEF - CEUR-WS Working Notes*.

PARAPAR J., MARTIN-RODILLA, PATRICIA ANS LOSADA D. E. & CRESTANI F. (2023). Overview of eRisk at CLEF 2023 : Early Risk Prediction on the Internet. In *CLEF - CEUR-WS Working Notes*.

PLAQUET A. & BREDIN H. (2023). Powerset multi-class cross entropy loss for neural speaker diarization. In *Proc. INTERSPEECH 2023*.

PLUTCHIK R. (1980). A general psychoevolutionary theory of emotion. In *Theories of emotion*, p. 3–33. Elsevier.

RADFORD A., KIM J. W., XU T., BROCKMAN G., MCLEAVEY C. & SUTSKEVER I. (2022). Robust speech recognition via large-scale weak supervision. DOI: 10.48550/ARXIV.2212.04356.

RÍSSOLA E. A., LOSADA D. E. & CRESTANI F. (2021). A survey of computational methods for online mental state assessment on social media. *ACM Transactions on Computing for Healthcare*, 2(2), 1–31.

SCHULLER B., STEIDL S. & BATLINER A. (2009). The INTERSPEECH 2009 emotion challenge. In *Proc. Interspeech 2009*, p. 312–315. DOI: 10.21437/Interspeech.2009-103.

SCHULLER B., STEIDL S., BATLINER A., BURKHARDT F., DEVILLERS L., MÜLLER C. & NARAYANAN S. S. (2010). The INTERSPEECH 2010 paralinguistic challenge. In *Proc. Interspeech 2010*, p. 2794–2797. DOI: 10.21437/Interspeech.2010-739.

TRIPATHI S., SAMARTH S. & HOMAYOON B. (2018). Multi-modal emotion recognition on IEMOCAP dataset using deep learning. arXiv preprint arXiv:1804.05788.

YENIGALLA P., KUMAR A., TRIPATHI S., SINGH C., KAR S. & VEPA J. (2018). Speech Emotion Recognition Using Spectrogram & Phoneme Embedding. In *Proc. Interspeech 2018*.

YOON S., BYUN S., DEY S. & JUNG K. (2019). Speech Emotion Recognition Using Multi-hop Attention Mechanism. In *ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*.

YOUGOV I. (2019). Sondage Le Huffigton Post. Publié le 16/09/2019 dans le Huffington Post, https://d25d2506sfb94s.cloudfront.net/cumulus_uploads/document/20u9aq6czp/Copy%20of%20Results%20for%20YouGov%20%28Huf%20Post%20Psy%29%20159%2013.9.2019.pdf.

ZIRIKLY A., ATZIL-SLONIM D., LIAKATA M., BEDRICK S., DESMET B., IRELAND M., LEE A., MACAVANEY S., PURVER M., RESNIK R. & YATES A., Éds. (2022). *Proceedings of the Eighth Workshop on Computational Linguistics and Clinical Psychology*, Seattle, USA. Association for Computational Linguistics.
# Preuve de concept d'un système de génération automatique en Langue française Parlée Complétée

## Brigitte Bigi, Núria Gala

LPL, CNRS, Aix-Marseille Univ, 5 avenue Pasteur, 13100 Aix-en-Provence
brigitte.bigi@cnrs.fr, nuria.gala@univ-amu.fr

## RÉSUMÉ

La Langue française Parlée Complétée (LfPC) est un système de communication développé pour les personnes sourdes afin de compléter la lecture labiale avec une main, au niveau phonétique. Il est utilisé par les enfants pour acquérir des compétences en lecture, en lecture labiale et en communication orale. L'objectif principal est de permettre aux enfants sourds de devenir des lecteurs et des locuteurs compétents en langue française. Nous proposons une preuve de concept (PoC) d'un système de réalité augmentée qui place automatiquement la représentation d'une *main codeuse* sur la vidéo pré-enregistrée d'un locuteur. Le PoC prédit la forme et la position de la main, le moment durant lequel elle doit être affichée, et ses coordonnées relativement au visage dans la vidéo. Des photos de mains sont ensuite juxtaposées à la vidéo. Des vidéos annotées automatiquement par le PoC ont été montrées à des personnes sourdes qui l'ont accueilli et évalué favorablement.

## ABSTRACT

### Toward an Automatic Cued Speech System for French Language

Cued Speech is a communication system developed for deaf people to complement speechreading at the phonetic level with hands. It is used by children to acquire skills in reading, in lip reading and oral communication. The main goal is to allow deaf children to become proficient readers and speakers of an oral language. We propose a Proof of Concept (PoC) of an augmented reality system that automatically places the representation of a coding hand on a video of a pre-recorded speaker. The PoC is predicting the key to be coded (shape and position), when it has to be coded relatively to the audio and its coordinates relatively to the face in the video. Photos of human hands are then juxtaposed to the video. Videos automatically encoded with this system have been shown to deaf people who have welcomed and positively evaluated.

**MOTS-CLÉS** : LfPC, automatisation, PoC, surdité, vidéo, annotation.

**KEYWORDS:** Cued Speech, automatic, PoC, deaf, video, annotation.

## 1 Introduction

Lorsque la LSF n'est pas utilisée, la lecture labiale est l'une des principales modalités visuelles qui permet l'accès à la parole pour les personnes sourdes ou malentendantes. Elle est utilisée en conjonction avec d'autres stratégies de communication, comme les aides auditives, et/ou des solutions visuelles. Parmi ces dernières, en 1966, R. Orin Cornett a inventé le « Cued Speech » (CS), un codage qui ajoute des informations visuelles sur les sons qui ne sont pas différentiables sur les lèvres (Cornett, 1967). Ce codage CS représente chaque son avec une forme de main pour une consonne et

<figure><img src="image_210.png" /></figure>
une position autour du visage pour une voyelle. Leur combinaison forme une clé. Lorsque les sons se ressemblent sur les lèvres, ils sont codés différemment ; la combinaison entre forme labiale et clé implique un percept unique de ce qui est prononcé. Par exemple, "bi" et "mi" qui sont identiques sur les lèvres sont codés avec deux formes différentes de la main. Le CS est souvent utilisé dans les milieux éducatifs, en particulier pour les jeunes enfants ayant une déficience auditive, car il leur donne accès à la langue orale *via* l'information phonémique qu'ils pourraient manquer par des moyens auditifs traditionnels. L'objectif majeur du CS est ainsi de faire en sorte que les enfants sourds puissent accéder plus facilement à la communication orale. L'efficacité de ce codage pour améliorer la perception et la production de la parole a été démontrée dans un grand nombre d'études, notamment (Kaplan, 1975; Neef & Iwata, 1985; Leybaert *et al.*, 2010).

L'automatisation du « Cued Speech », c-à-d l'utilisation d'un système automatisé pour coder et/ou décoder les sons, concerne essentiellement deux domaines : la synthèse – codage, dont cet article fait l'objet, et la reconnaissance –décodage. Avec un système de codage automatique, toutes sortes de vidéos codées pourraient être élaborées et diffusées pour tous les types d'utilisations. Disposer d'outils permettant de s'entraîner à la pratique du code constituerait un bénéfice important pour les parents d'enfants sourds, ainsi que pour les centres d'éducation spécialisée, par exemple. Cela permettrait entre autres de réduire les inégalités d'accès à la LfPC sur le territoire, d'apporter une aide à l'acquisition de la langue orale par les enfants sourds, d'améliorer la communication entre les personnes sourdes ou malentendantes et les membres de leur famille entendants, ou d'aider à développer des compétences de lecture labiale. Dans ce domaine, le premier système *AutoCuer* avait été proposé par l'inventeur du codage (Cornett et al., 1977). Par la suite, dans les années 1995-2000, plusieurs recherches ont été conduites au Massachusetts Institute of Technology (MIT) pour automatiser le codage (Bratakos, 1995; Sexton, 1997; Bratakos et al., 1998; Duchnowski et al., 2000). Ces travaux ont consisté à vérifier la faisabilité d'automatiser la génération des clés, c'est-à-dire à déterminer la séquence de clés qui doit être produite puis générer une vidéo augmentée d'une main codeuse. Un locuteur était filmé pendant qu'il parlait, sans coder. Un système de reconnaissance automatique de la parole permettait d'obtenir la séquence des phonèmes à partir desquels le système déterminait les clés à incruster dans la vidéo. Dans une autre pièce, se trouvait une personne qui devait décoder la vidéo ainsi générée en temps réel. Dans les versions successives de ce système, les mains étaient représentées par des *cliparts*. Les différentes évaluations ont toujours montré *a minima* un petit avantage du décodage avec ajout de l'image de la main codeuse par rapport à la lecture labiale seule.

Malgré les nombreux travaux démontrant ses avantages, et l'intérêt grandissant qu'il suscite, il n'existe aucun système de génération automatique des clés. Les études récentes relatives à l'automatisation du CS se concentrent, en effet, sur la reconnaissance (Sankar et al., 2023). En outre, il n'existe que très peu d'études qui décrivent le fonctionnement du codage, notamment en ce qui concerne l'organisation temporelle et spatiale du code dans sa co-production avec la parole (Attina, 2005).

## 2 Méthodologie proposée

La figure 1 illustre le processus que nous proposons pour implémenter un système de codage automatisé, c-à-d un système qui permettra d'ajouter une main codeuse artificielle à la vidéo d'un locuteur. En amont, l'utilisateur doit préparer un enregistrement audio-vidéo et sa transcription orthographique, alignée dans des unités courtes, telles que les Unités Inter-Pausales (IPUs). Le
système utilise le logiciel libre SPPAS (Bigi, 2015) pour obtenir les annotations audio-vidéo requises en entrée. Pour chaque IPU, SPPAS détermine 1/ la séquence des phonèmes et leur alignement temporel avec l’audio, 2/ les coordonnées de 68 points spécifiques du visage du locuteur dans chacune des images de la vidéo. A partir de ces informations, l’objectif est de produire des annotations qui permettront d’augmenter la vidéo automatiquement avec la main codeuse.

<figure><img src="image_211.png" /><figcaption>FIGURE 1 – Processus proposé pour la génération automatique du codage</figcaption></figure>

Il est prévu que le système final soit implémenté avec des approches hybrides, donc partiellement basé sur des modèles à base de connaissance et partiellement sur des modèles issus de méthodes empiriques. Il sera développé pour le français ; dans ce cas, on utilise l’acronyme francophone LfPC, pour Langue française Parlée Complétée, plutôt que « Cued Speech ».

Pour ce faire, nous avons d'ores et déjà collecté un corpus, le Corpus de Lecture en LfPC (CLeLfPC) accessible sous licence libre (Bigi et al., 2022). Il se compose de 4 heures d'enregistrements audio-vidéo, de 23 locuteurs codant en LfPC. Son enrichissement avec des annotations permettra les analyses requises pour la création de modèles de synchronisation audio-main basés sur des apprentissages supervisés, en répondant à quatre sous-problématiques que nous avons définies, et qui déterminent :

1. **quoi** : la séquence des clés à produire à partir des phonèmes,

2. **quand** : les moments de présentations et de transitions des formes et positions de la main,

3. **où** : les coordonnées, angle et taille de la main par rapport au visage, et,

4. **comment** : l'incrustation de représentations d'une main dans chaque image de la vidéo.

Compte tenu du coût de la collecte et de l'annotation d'un corpus, avant d'aller plus avant dans la création de ce système, il nous a semblé indispensable de connaître l'intérêt réel que le système pourrait apporter, et d'en étudier la faisabilité.

Parallèlement à la création du corpus, nous avons donc élaboré une preuve de concept (PoC), qui est une phase déterminante pour **décider si le système peut et doit être implémenté**. La création des annotations du corpus, leur analyse et, d'une manière générale, l'ensemble des recherches liées à la mise en oeuvre des modèles et du système sont conditionnés **par l'approbation du PoC**. Il se compose de quatre modules, chacun impliquant de répondre à des problématiques spécifiques, afin de
déterminer la séquence de clés à produire à partir d'un signal d'entrée audio vidéo (lecture à haute voix) et de sa transcription orthographique, l'organisation temporelle entre la main et les phonèmes, le positionnement de la main par rapport au visage, et enfin le marquage de la vidéo avec la main.

# 3 Description de la preuve de concept

La preuve de concept est un système qui produit automatiquement des fichiers XML contenant les informations relatives au codage en LfPC. Ces fichiers contiennent les annotations indiquant quelles sont les formes et positions de la main qu'il faut intégrer, à quel moment et où il faut les placer dans la vidéo. D'autre part, le PoC crée un fichier vidéo augmenté avec la représentation de la main codeuse. En entrée, le PoC nécessite de connaître la séquence des phonèmes prononcés et leur position temporelle par rapport à l'audio, ainsi que les coordonnées du visage du locuteur pour chacune des images de la vidéo, comme indiqué dans la figure 1.

## 3.1 Quelles sont les clés ?

Afin de déterminer la séquence des clés à produire à partir des phonèmes, le PoC implémente un système à base de règles de productions, élaborées en collaboration avec des experts du codage.

Pour l'implémenter, dans un premier temps nous avons assigné un numéro à chacune des 8 formes de la main ainsi qu'à la forme neutre (voir figure 2), et nous avons assigné une lettre à chacune des 5 positions que compte la LfPC, autour du visage, et une lettre pour la position neutre sur la poitrine. Le système a donc pour tâche de proposer la séquence de clés qui correspond à la séquence de phonèmes, comme dans l'exemple suivant, dont les phonèmes sont codés en X-SAMPA :

entrée: 9~ d @ m i p o d H i l d @ k o k o

sortie: 5t.1s.5m.1s.1s.4m.6s.1s.2s.2s

Nous avons manuellement annoté une partie du corpus CLeLfPC (5 locuteurs) afin de déterminer les clés produites par les locuteurs, et nous les avons comparées aux clés prédites par le PoC (Auteur, 2023). Cette évaluation a permis de valider le modèle à base de règles que nous proposons. Cependant, la variabilité dans la production orale, notamment liée aux accents ou au contexte de la production, implique une difficulté dans cette tâche et des améliorations sont donc possibles et envisagées, par exemple en laissant le choix à l'utilisateur de modifier les règles de production.

## 3.2 Quand présenter les clés ?

Dans le codage CS, une clé correspond à un groupe spécifique de phonèmes (consonne + voyelle, consonne seule ou voyelle seule). Les mouvements de la main, forme pour la consonne et position pour la voyelle, doivent coïncider avec les phonèmes produits. Cette coordination précise est essentielle pour transmettre avec précision les nuances du langage parlé et combler le fossé entre la communication visuelle et auditive. (Cornett, 1967) avait déjà indiqué que les lèvres et les mouvements de la main n'apparaissent pas en même temps. Par la suite, (Bratakos et al., 1998) indique que la main doit être en avance sur le son, qu'un retard de 33ms n'a que peu de conséquences et que le retard maximal acceptable est de 100ms. (Duchnowski et al., 1998) démontrent ensuite que les scores de décodages sont meilleurs si la main est présentée 100ms avant le mouvement labial. Enfin, (Duchnowski et al.,
<figure><img src="image_212.png" /><figcaption>FIGURE 2 – Représentation du codage en LfPC</figcaption></figure>

2000) indiquent qu'une transition de 150ms doit être opérée pour changer de position. D'autres études ont ensuite été menées pour la langue française, notamment dans (Cathiard et al., 2003; Attina, 2005; Aboutabit, 2007) et ont abouti à la proposition de modèles de synchronisation main-lèvres-son, comme par exemple celui simplifié dans la figure 3. Cette figure représente le modèle que nous avons implémenté dans la preuve de concept. M1 indique le moment durant lequel la main commence à changer de position et M2 le moment où la main arrive à la position cible ; D1 indique le début du changement de forme de la main et D2 son accomplissement. Cependant, il ne couvre pas toutes les situations, et nous l'avons complété de règles à l'aide d'experts du codage. Entre-autres, nous avons traité les cas particuliers relatifs à la transition depuis la position neutre vers une position du visage (anticipée), et la transition depuis une position du visage vers la position neutre (retardée).

<figure><img src="image_213.png" /><figcaption>FIGURE 3 – Reproduction partielle de la synchronisation main-son, (Attina, 2005), figure 32 pp. 136. A1et A3 sont respectivement les moments de début et de fin des phonèmes consonne C, et voyelle V.</figcaption></figure>

## 3.3 Où placer la main par rapport au visage ?

Il faut également modéliser la trajectoire de la main en proposant des modèles qui peuvent prédire à tout moment l'emplacement, l'angle et la taille de la main par rapport au visage du locuteur. Dans ce domaine, nous n'avons trouvé aucune étude antérieure publiée. Dans un premier temps, nous nous sommes appuyés sur les experts du codage pour placer les positions des voyelles par rapport à un visage théorique. Nous avons ensuite décrit ces positions par rapport aux 68 points de ce visage qui sont obtenus avec un système de "Face landmark". Par exemple, les coordonnées de la position 'm' qui représente les sons /i/, /a~/ et /O~/ et se situe proche du coin de la bouche, se calculent avec : $x = x_{48} - |(x_{54} - x_{48})/4|, y = y_{60}$. Cette position est illustrée dans la figure 2.
Nous n'avons introduit aucune variabilité dans l'estimation de ces coordonnées. Ainsi, si la main
doit se trouver à cette position, le doigt cible (bout de l'index ou bout du majeur, selon la forme) est
placé à ces coordonnées sur l'image correspondante dans la vidéo. Par ailleurs, une valeur d'angle
de la main a été fixée pour chacune des positions par les experts du codage. Là aussi, nous n'avons
introduit aucune variabilité : pour une position donnée, la main se place toujours avec le même angle.
De même pour la taille de la main qui est proportionnelle à la hauteur du visage. Enfin, la trajectoire
suivie par la main entre deux positions suit une ligne droite, à vitesse constante. Des analyses devront
être conduites sur le corpus codé afin de rendre ce mouvement plus naturel.

## 3.4 Comment représenter le codage dans la vidéo ?

Une fois que le système a pu prédire quelle clé doit être codée, à quel moment et à quel endroit, le
PoC peut augmenter la vidéo avec la main codeuse. Contrairement aux systèmes proposés par le MIT,
pour le PoC, nous avons choisi d'utiliser des photos (figure 2), plutôt que des représentations imagées.
Nous avons utilisé les fonctions de floutage (blur) et de transparence (fade in/fade out) pour indiquer
respectivement les transitions de position et de forme.

# 4 Évaluations

## 4.1 Protocole

Pour évaluer la pertinence de la preuve de concept, nous avons mis en place un protocole d'évaluation
en créant des séries de vidéos à décoder, sans audio. Le premier auteur de cet article a été filmé en
lisant 4 sessions du corpus CLeLfPC, sans coder. Nous avons ensuite annoté le corpus avec SPPAS, en
suivant le processus proposé dans la figure 1 : détection automatique des IPUs, transcription manuelle,
segmentation automatique en phonèmes, détections des points du visage. Le PoC a ensuite généré
les annotations et les vidéos codées automatiquement. Les vidéos des 4 sessions enregistrées ont été
divisées en 4 séries différentes pour former un ensemble de 16 expériences avec des vidéos différentes.
Chacune des 16 expériences se compose de 34 vidéos codées dont 10 servent de contrôle et 24 de test,
avec un recouvrement des vidéos contrôle/test sur différentes expériences. Chaque vidéo ne contient
qu'un mot ou une expression, que le participant ne peut visionner qu'une seule fois. Parmi les vidéos
de contrôle, 8 ont été extraites du corpus CLeLfPC, codées par des codeurs professionnels. Les deux
autres ont été codées automatiquement par le PoC et avaient été validées par des experts comme étant
correctes.

Durant le stage annuel de l'Association pour la Langue française Parlée Complétée (ALPC), des
personnes sourdes connaissant le code se sont portées volontaires pour décoder les vidéos. Pour
participer, un texte de consentement devait être approuvé. Les expériences étaient anonymes, aucune
donnée personnelle n'a été recueillie. Une vidéo qui décrit le protocole a été présentée à chaque
participant pour s'assurer que tous ont reçu la même information. Durant l'expérience, pour chacune
des 34 vidéos codées, le participant devant remplir les 3 champs suivants d'un formulaire :

- J'ai décodé : ....................................

- J'ai correctement décodé: non ... peut-être ... oui (barre de progression)

- J'ai un commentaire sur cette vidéo (optionnel)
## 4.2 Résultats quantitatifs

Les évaluations ont été réalisées avec l'outil Sclite, un programme inclut dans SCTK, le Nist Scoring Toolkit, habituellement utilisé pour estimer les résultats des systèmes de reconnaissance automatique de la parole. Cet outil permet de comparer des phrases de référence - les phrases à trouver, avec les phrases dites hypothèses - les phrases produites par le système automatisé. Il utilise un algorithme permettant d'estimer le pourcentage de mots correctement reconnus, ainsi que le taux de mots substitués, supprimés et insérés dans l'hypothèse. Parmi les 19 participants, 14 ont été sélectionnés après vérification du taux de décodage des vidéos de contrôle. Effectivement, nous avons estimé que si un participant n'est pas en mesure de décodeer les mots du contrôle au moins à hauteur de 40%, il n'est pas suffisamment qualifié pour évaluer notre système. La table 1 résume les scores, obtenus sur les 14 réponses sélectionnées, dans les deux conditions (vidéos contrôles et vidéos du PoC). Les scores de décodage avec un codeur professionnel sont nettement meilleurs que ceux obtenus avec le PoC. Ils correspondent en fait au taux maximal qu'il est possible d'obtenir par les participants, dans la condition de test réalisée. Les résultats de décodage des vidéos lors du codage automatique avec le PoC s'en approchent et sont très prometteurs; ils sont suffisamment corrects pour valider la méthodologie proposée.

<table><caption>TABLE 1 – Taux d'erreur de décodage des mots</caption><thead><tr><th></th><th># Mots</th><th>Correct</th><th>Substitution</th><th>Suppression</th><th>Insertion</th></tr></thead><tbody><tr><td>contrôle</td><td>356</td><td>77,8 %</td><td>15,4 %</td><td>6,7 %</td><td>3,9 %</td></tr><tr><td>PoC</td><td>828</td><td>67,5 %</td><td>23,3 %</td><td>9,2 %</td><td>6,3 %</td></tr></tbody></table>

## 4.3 Résultats qualitatifs

Nous avons analysé les commentaires des participants sur les différentes vidéos. Dans quelques cas, des erreurs de clés ont été soulevées; elles sont dues, soit à une erreur de conversion graphème-phonème qui a amenée à un mauvais choix de clé, soit à l'accent. D'autres commentaires indiquent que la clé est trop "rapide", ce qui sous-entend que le PoC a sur-estimé le temps de transition et donc sous-estimé le temps d'exposition. Les autres commentaires portent sur l'aspect de la main dans la vidéo : trop transparente et trop floue. En revanche, aucun commentaire n'a porté sur le côté non-naturel de la trajectoire de la main et son angle constant. Toutes ces informations permettront d'établir des priorités sur les actions à mener lors de l'élaboration du système. Ci-après, se trouvent quelques uns des commentaires :

- difficulté à savoir si c'est "à six" ou "assis"

- dans la vidéo, le "è" final de "sorbet", est représenté par la clé du "é"

- dernière clé trop rapide

- main mal positionnée sur la pommette

- la main est un peu trop transparente

- main pas assez claire : trop de flou entre deux clés

Enfin, nous avons recueilli les impressions des participants après leur passage de l'expérience et avons obtenu un retour très positif. Il semble que le système, lorsqu'il sera en phase finale, serait susceptible de trouver sa place dans la communauté. Enfin, le manque de ressources numériques pour la LfPC (vidéos codées notamment) a été mentionné par presque tous les participants.
# 5 Conclusion et perspectives

En combinaison avec les mouvements labiaux, le « Cued Speech » rend les phonèmes d'une langue parlée visuellement différents les uns des autres. Les clés du codage sont positionnées autour du visage, près des lèvres, ce qui facilite le suivi simultané des mouvements des lèvres et des mouvements de la main codeuse. Cet article a décrit une preuve de concept de génération automatique du codage en Langue française Parlée Complétée. La preuve de concept proposée est en mesure de prédire 1/ la clé à coder (position et forme de la main), 2/ les moments pour l'afficher, en changer et la déplacer, 3/ l'emplacement de la main, et 4/ d'augmenter la vidéo avec une main artificielle à partir de ces informations. Ce PoC a été bien accueilli par la communauté concernée, et les évaluations quantitatives ont révélé son fort potentiel, ce qui permet de le considérer comme étant approuvé.

Dans un futur proche, nous développerons un système basé sur l'analyse des annotations du corpus CLeLfPC. Pour la question du "quoi", le système restera à base de règles de productions. Pour les questions de "quand" et "où" placer la clé, nous pensons utiliser des techniques d'apprentissage automatique avec des modèles prédictifs appris à partir des données annotées, afin de rendre le système plus efficace dans les différentes prédictions. Quant à la question du "comment", seule une collaboration avec les personnes concernées permettra de l'améliorer. Avec un tel système de codage automatique, toutes sortes de vidéos codées pourront être élaborées et diffusées pour tous les types d'utilisations. Dans le contexte du présent projet, des textes sélectionnés sur différents thèmes (Gala et al., 2024) seront lus par un acteur, afin de collecter des vidéos. Une fois codées automatiquement, évaluées et sélectionnées, ces vidéos seront assemblées pour créer des capsules pédagogiques destinées au grand public, aux débutants apprenant le code et aux enfants sourds.

# 6 Reproductibilité

Toutes les données et tous les codes sources mentionnés dans ce document respectent les principes de la science ouverte. Le code source de la preuve de concept est déposé sous les termes de la licence libre GNU Affero General Public License v3. Il fait partie du logiciel SPPAS. Les codes sources pour réaliser les expérimentations décrites dans cet article sont sous la licence GNU AGPL v3 et les données utilisées sont soumis aux termes des licences ODbL (Open Database License 1.0) et CC-By-NC-4.0. Nous avons utilisé SPPAS 4.11 https://sppas.org/, et SCTK 2.4.12 https://github.com/usnistgov/SCTK.

# 7 Remerciements

Nous tenons à remercier tous les participants à l'expérience qui ont accepté de donner de leur temps pour nous aider, lors du stage annuel organisé par l'ALPC https://alpc.asso.fr. Nous remercions également l'ALPC de nous avoir offert l'opportunité d'assister au stage et de présenter notre travail.

Les recherches présentées dans cet article ont été réalisées dans le cadre d'un projet financé par la FIRAH sous la référence APa2022_022 https://auto-cuedspeech.org/, en collaboration avec les associations Datha https://datha.io/ et AISAC https://www.academieinternationale.org/.
Références

ABOUTABIT N. (2007). *Reconnaissance de la Langue Française Parlée Complété (LPC) : décodage phonétique des gestes main-lèvres*. Thèse de doctorat, Institut National Polytechnique de Grenoble - INPG.

ATTINA V. (2005). *La Langue Française Parlée Complétée : Production et Perception*. Thèse de doctorat, Institut National Polytechnique de Grenoble - INPG.

BIGI B. (2015). SPPAS - Multi-lingual Approaches to the Automatic Annotation of Speech. *The Phonetician*, **111–112**, 54–69.

BIGI B., ZIMMERMANN M. & ANDRÉ C. (2022). Clelfpc : a large open multi-speaker corpus of french cued speech. In *Proceedings of The 13th Language Resources and Evaluation Conference*, p. 987–994, Marseille, France : European Language Resources Association. https://hal.archives-ouvertes.fr/hal-03794830.

BRATAKOS M. S. (1995). *The effect of imperfect cues on the reception of cued speech*. Thèse de doctorat, Massachusetts Institute of Technology.

BRATAKOS M. S., DUCHNOWSKI P. & BRAIDA L. D. (1998). Toward the automatic generation of cued speech. *Cued Speech Journal*, **6**, 1–37.

CATHIARD M.-A., ATTINA V. & ALLOATTI D. (2003). Labial anticipation behavior during speech with and without cued speech. In *Proceedings of the 15th International Congress of Phonetic Sciences*, p. 1935–1938, Barcelona, Spain.

CORNETT R. O. (1967). Cued speech. *American annals of the deaf*, p. 3–13.

CORNETT R. O., BEADLES R. & WILSON B. (1977). Automatic cued speech. In *Research Conference on Speech Processing Aids for the Deaf*, p. 224–239, Gallaudet College (USA).

DUCHNOWSKI P., BRAIDA L. D., LUM D., SEXTON M., KRAUSE J. & BANTHIA S. (1998). Automatic generation of cued speech for the deaf : status and outlook. In *International Conference on Auditory-Visual Speech Processing*, Sydney, Australia.

DUCHNOWSKI P., LUM D. S., KRAUSE J. C., SEXTON M. G., BRATAKOS M. S. & BRAIDA L. D. (2000). Development of speechreading supplements based on automatic speech recognition. *IEEE transactions on biomedical engineering*, **47**(4), 487–496.

GALA N., BIGI B. & BAUER M. (2024). Automatically estimating textual and phonemic complexity for cued speech : How to see the sounds from french texts. In *The 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING)*, Turin, Italy.

KAPLAN H. (1975). *The effects of cued speech on the speech-reading ability of the deaf*. Thèse de doctorat, ProQuest Information & Learning.

LEYBAERT J., COLIN C. & HAGE C. (2010). *Cued speech and cochlear implants*, p. 107–125.

NEEF N. A. & IWATA B. A. (1985). The development of generative lipreading skills in deaf persons using cued speech training. *Analysis and intervention in developmental disabilities*, **5**(4), 289–305.

SANKAR S., BEAUTEMPS D., ELISEI F., PERROTIN O. & HUEBER T. (2023). Investigating the dynamics of hand and lips in French Cued Speech using attention mechanisms and CTC-based decoding. In *Interspeech 2023 - 24th Annual Conference of the International Speech Communication Association*, Dublin, Ireland.

SEXTON M. G. (1997). *A video display system for an automatic cue generator*. Thèse de doctorat, Massachusetts Institute of Technology.
# Rôle de l'activité laryngale dans la production des consonnes d'arrière en arabe levantin

Jalal Al-Tamimi¹

(1) Université Paris Cité, CNRS, Laboratoire de linguistique formelle, UMR 7110, 5 Rue Thomas Mann, 75013, Paris, France

jalal.al-tamimi@u-paris.fr

## RÉSUMÉ

Cette étude examine le rôle de l'activité laryngale dans la production des consonnes d'arrière en arabe levantin. 26 mesures incluant la hauteur du larynx (HL), le contact de glotte (quotient fermé; QF) et la pente spectrale (PS) ont été obtenues de données d'éléctroglottographies et d'acoustiques synchronisées. À partir des classifications via des forêts aléatoires (Random Forests), sept mesures ont été identifiées comme les plus importantes pour discriminer entre les six classes. Ensuite, une modélisation via des Régressions Additives à Effets-Mixtes montre que les consonnes pharyngales sont associées à ↑HL, ↑QF et ↑PS, résultant d'une différence de la saillance spectrale causée par une constriction épilaryngale. Les consonnes pharyngalisées induisent des traits ⇓HL, ⇓QF et ⇓PS causés par une fermeture abrupte de la glotte; les consonnes uvulaires induisent des traits ↑HL, ↓QF et ↓PS. Ces changements sont corrélés avec le trait [+Constricted Glottis] et suivent les prédictions du Laryngeal Articulator Model.

## ABSTRACT

### Role of the laryngeal activity during the production of back consonants in Levantine Arabic

This study examines the role of the laryngeal activity during the production of back consonants in Levantine Arabic. 26 measures including Larynx Height (LH), glottal contact (Closed Quotient; CQ) and Spectral Tilt (ST) were obtained from synchronised electroglottographic and acoustic data. Using classifications via Random Forests, seven measures were identified as the most important to discriminate between the six classes. Next, modelling the data via Generalised Additive Mixed-Models revealed that pharyngeal consonants to be associated with an ↑LH, a ↑CQ and an ↑ST, resulting from a difference in spectral saliency due to an epilaryngeal constriction. Pharyngealised consonants induced the features ⇓LH, ⇓CQ and ⇓ST caused by an abrupt closure of the glottis. Uvular consonants show the features ↑LH, ↓CQ and ↓ST. These changes are correlated with the feature [+Constricted Glottis] and follow predictions of the Laryngeal Articulator Model.

**MOTS-CLÉS** : Epilarynx; Electroglottographie; Acoustique; Qualité de voix; Consonnes d'arrière; Arabe levantin.

**KEYWORDS** : Epilarynx; Electroglottography; Acoustics; Voice quality; Back consonants; Levantine Arabic.

<figure><img src="image_214.png" /></figure>
# 1 Introduction

Les consonnes d'arrière, ou « gutturales », en arabe sont généralement considérées comme faisant partie d'une classe naturelle à cause d'alternance phonologique particulière et/ou une réalisation dans une zone oro-sensorielle commune tout au long de la cavité pharyngale (McCarthy, 1994; Sylak-Glassman, 2014). Cette classe de consonnes d'arrière est traditionnellement composée de consonnes pharyngales /h ʕ/ (ou épilaryngales /ʔ ʕ h/) et uvulaires /χ v q/ (McCarthy, 1994). Les consonnes pharyngalisées /tʕ dʕ ðʕ sʕ/ (Sylak-Glassman, 2014) et/ou glottales /h ?/ (Zawaydeh, 1999) sont également considérées comme en faisant partie, à cause d'une similarité du lieu (et non pas de degré) de constriction entre les consonnes pharyngalisées et pharyngales (Laufer & Baer, 1988) ou à cause de la similarité d'augmentation du premier formant (F1) associée aux consonnes d'arrière en comparaison avec les consonnes alvéolaires (Zawaydeh, 1999). En suivant les prédictions du Laryngeal Articulator Model (LAM, Esling et al., 2019), les consonnes épilaryngales sont produites dans la partie inférieure de l'épilarynx, les consonnes uvulaires dans la partie supérieure et les consonnes pharyngales/pharyngalisées entre les deux. L'élévation du larynx a pour rôle de faciliter la constriction de l'épilarynx et est associée à une réalisation épilaryngale (Esling et al., 2019).

Utilisant l'échographie de la langue, Al-Tamimi & Palo (2023) ont montré qu'il existe une similarité articulaire entre les consonnes d'arrière concernant les parties de la langue impactées : une dépression de la partie antérieure de la langue est observée avec une élévation et rétraction variable du dos et de la racine de la langue, respectivement. De plus, en utilisant les prédictions des Modèles GAMMs (Régressions Généralisées Additives à Effets-Mixtes) qui s'étendent au-delà des zones observables à partir de l'échographie de la langue, Al-Tamimi & Palo (2023) ont montré que les consonnes d'arrière induisent une élévation variable du larynx. En effet, l'activité laryngale est souvent négligée dans la littérature décrivant la réalisation des consonnes d'arrière. Néanmoins, quelques études ont examiné le rôle du larynx en arabe. Heselwood (2007) a montré l'existence d'une voix craquée variable quantifiée via la mesure $H1-H2$<fnref n="1" /> dans les réalisations variables de /ʕ/ dans les dialectes arabes. Al-Tamimi & Heselwood (2011) ont montré une position plus élevée du larynx lors de la production des consonnes pharyngalisées en utilisant la vidéofluoroscopie. Heselwood & Al-Tamimi (2011) ont également montré une élévation du larynx et une voix craquée dans les consonnes pharyngales en utilisant la vidéofluoroscopie et les analyses acoustiques de $H1-H2$. Enfin et plus récemment, Al-Tamimi (2015, 2017) a montré une baisse générale de la pente spectrale comme corrélat secondaire de la voix tendue associée aux consonnes pharyngalisées en arabe jordanien et en arabe marocain. Les résultats de ces études montrent que l'activité laryngale peut être utilisée afin de valider les prédictions du LAM. Comme indiqué ci-dessus, le LAM prédit qu'une constriction extrême de l'épilarynx entraîne une élévation du larynx, induisant une voix tendue, craquée et/ou laryngalisée, associée à une rétraction importante du dos et de la racine de la langue (Esling et al., 2019). Ces changements doivent être vue comme combinés et non distincts l'un de l'autre qui d'après Sylak-Glassman (2014) contribuent à la caractérisation de la classe des consonnes d'arrière dans la grande majorité des langues.

Ces observations ont motivé l'étude que nous avons menée. Notre but ici est d'examiner le rôle de l'activité laryngale dans la production des consonnes d'arrière en utilisant une combinaison de mesures articulatoires obtenues à partir de l'éléctroglottographie (EGG) et de mesures acoustiques de la qualité de voix. Cette combinaison nous permettra d'évaluer la complémentarité entre corrélats articulatoires et acoustiques pour quantifier les similarités et différences entre ces consonnes d'arrière.

<footnote n="1">1. $H1$ = premier harmonique ; $H2$ = deuxième harmonique</footnote>
# 2 Corrélats articulatoires et acoustiques de qualité de voix

## 2.1 Corrélats articulatoires

Kuang & Keating (2014) ont décrit les corrélats articulatoires obtenus de l'EGG de la voix tendue (en comparaison avec une voix relâchée). ↑QF (Quotient Fermé, % contact) causée par une augmentation du contact dans la glotte. ↓PIC (amplitude du pic positif de la dérivée du signal EGG) et ↓PDC (amplitude du pic négatif de la dérivée d'EGG) sont causées par une fermeture abrupte ou rapide de la glotte induisant une augmentation d'énergie dans les hautes fréquences (Michaud, 2004; Kuang & Keating, 2014). Finalement, ↓SQ (quotient de vitesse d'ouverture/fermeture calculé comme le ratio de la phase de fermeture et la phase d'ouverture) est à observer dans la voix tendue causée par une phase de fermeture plus courte et une phase d'ouverture plus longue (Holmberg et al., 1988; Kuang & Keating, 2014). Enfin, une HL (Hauteur du Larynx) variable est observée en fonction de la catégorie examinée. En suivant les prédictions du LAM, les consonnes pharyngales auront une ↑HL, avec une position variable pour les consonnes pharyngalisées et uvulaires.

## 2.2 Corrélats acoustiques

Pour ce qui est des mesures acoustiques, Kuang & Keating (2014) et Al-Tamimi (2017) ont montré qu'une voix tendue, craquée et/ou laryngalisée conduit à un abaissement global de la pente spectrale, en suivant le modèle psychoacoustique de la qualité de voix (Garellek et al., 2016; Kreiman et al., 2021). Ces changements induisent un abaissement des mesures suivantes<fnref n="2" /> : ↓H1-H2, ↓H1-A1, ↓H1-A2, ↓H2-H4, ↓H4-H2kHz, ↓H2kHz-H5kHz, ↓HNR et ↓SHR (Fulop et al., 1998; Guion et al., 2004; Aralova et al., 2011; Kuang & Keating, 2014; Al-Tamimi, 2015; Garellek et al., 2016; Al-Tamimi, 2017). De plus, un renforcement de la saillance spectrale entre F1 et F2, quantifié via ↓A1-A2, est observé. Enfin, et comme rapporté précédemment dans Al-Tamimi (2015, 2017) pour les consonnes pharyngalisées en arabe jordanien et marocain, nous prédisons que ce type de voix induit une augmentation de l'énergie spectrale autour de F3 et au-delà, qui peut être causée par deux facteurs. Le premier peut résulter d'une fermeture abrupte de la glotte avec augmentation de l'énergie spectrale autour de F3 avec comme conséquence ↓H1-A3, ↓A1-A3 et ↓A2-A3 (Hanson & Chuang, 1999; Hanson et al., 2001; Al-Tamimi, 2015, 2017). Le second est dû à une qualité vocale renforcée causée par une constriction épilaryngale extrême, comme dans le chant (ex. opéra), avec un renforcement bien marqué de l'énergie spectrale autour de F3, F4 et F5 comme conséquences du « formant du chanteur ». Ce qui induit une saillance spectrale autour de F3, F4 et F5 associée à un changement de la saillance spectrale autour de F1 et F2, induisant ↑H1-A3, ↓A1-A3, ↓A2-A3 (Titze & Story, 1997; Moisik & Esling, 2010; Story, 2019). Tous ces changements doivent être évalués en comparaison avec une voix modale, où les changements de pentes spectrales sont minimaux.

Les prédictions sont donc qu'un abaissement global de la pente spectrale dans les consonnes d'arrière est à observer bien qu'on s'attendrait à des différences liées au degré de constriction épilaryngale. On propose donc que les consonnes pharyngales soient associées à une baisse globale de la pente spectrale avec une augmentation de l'énergie dans les hautes fréquences causée par une constriction épilaryngale extrême. Les consonnes pharyngalisées causeront quant à elles une baisse globale de la pente spectrale avec une augmentation de l'énergie dans les hautes fréquences moins marquée que dans les consonnes

<footnote n="2">2. Avec *H1*, 2 ou 4 = Harmonique 1, 2 ou 4; *H2kHz* ou 5kHz = Harmonique proche des 2 ou 5 kHz; *A1-3* = Harmonique proche de F1, F2 ou F3; *HNR* = Ratio d'énergie dans les harmoniques et le bruit; *SHR* = ratio d'énergie subharmonique</footnote>
pharyngales causé par une constriction laryngale. Enfin, les consonnes uvulaires montreront des
similarités avec les deux autres classes avec des conséquences intermédiaires. Cette étude examine
la complémentarité entre corrélats articulatoires et acoustiques permettant la discrimination entre
les consonnes d'arrière en comparaison avec les consonnes alvéolaires vélaires et glottales. Nous
montrerons s'il existe une similarité entre les consonnes d'arrière en quantifiant la gradience de leurs
impacts sur les mesures articulatoires et acoustiques.

# 3 Corpus et méthode

## 3.1 Participants et enregistrements

Dix locuteurs urbains parlant l'arabe levantin<fnref n="3" /> (5 hommes et 5 femmes), âgés entre 25 et 45 ans (moyenne 31,8 ; écart type = 6,9) ont été recrutés. Trois types de données ont été enregistrés simultanément : échographie de la langue (voir Al-Tamimi & Palo, 2023), éléctroglottographie (système à deux-canaux EG2-PCX2 de Glottal Entreprise avec hauteur et contact) et audio (avec un microphone Roland Pro connecté à une carte son Roland Quad-Capture, taux d'échantillonnage à 44.1 kHz, et quantification 16-bits avec distance d'environ 15 cm de la bouche du participant). Les trois systèmes étaient reliés à un système de synchronisation et d'alignement automatique des signaux (pour plus de détails, voir Wrench & Scobbie, 2008). Après l'installation des électrodes et du casque de stabilisation de la sonde de l'échographie de la langue, nous avons vérifié que les capteurs d'EGG étaient bien positionnés sur le larynx de chaque participant et que le traçage automatique du second canal de l'EGG, qui capte les mouvements verticaux du larynx, était au centre des 15 témoins lumineux.

## 3.2 Corpus et segmentation

Les participants ont produit une liste de mots réels (près de 75% du corpus) et des pseudo-mots (25% du corpus) répétés trois fois, dans la séquence /ʔV:CV:/, où V: = les voyelles /i: a: u:/ symétriques ; C = toutes les consonnes possibles en arabe levantin et d'autres variétés arabes = /b t d m n r f θ ð s z ∫ ʒ l w j k g x γ q t̂ d̂ ð̂ ŝ ẑ l̂ ħ ʕ ? h/ (avec un nombre maximal théorique de 2790 items : 31 C * 3 V * 3 répétitions * 10 locuteurs). Ensuite, 21 consonnes ont été retenues pour la suite d'analyse et ont été divisées en six classes, avec un total de 1940 items (21 C * 3 V * 3 répétitions * 10 locuteurs + répétitions additionnelles) : **Alvéolaires** ⇒ /t d ð s z l/, **Vélaires** ⇒ /k g x γ/, **Uvulaire** ⇒ /q/, **Pharyngalisées** ⇒ /t̂ d̂ ð̂ ŝ ẑ l̂/, **Pharyngales** ⇒ /ħ ʕ/ et **Glottales** ⇒ /h ?/.

Les données ont été translittérées manuellement utilisant la convention ATR (Al-Tamimi et al., 2022) et alignées avec le système MAUS (Schiel, 2015) implémenté dans PraatAlign (Lubbers & Torreira, 2013). La segmentation automatique a été corrigée manuellement afin de prévenir les erreurs potentielles (suivant les critères définis dans Al-Tamimi, 2017 et Al-Tamimi & Khattab, 2018).

## 3.3 Extraction des mesures

Les mesures articulatoires et acoustiques ont été obtenues en utilisant EGGWorks (Tehrani, 2020) pour l'EGG et VoiceSauce (Shue et al., 2011) pour les mesures de la pente spectrale avec les

<footnote n="3">3. L'arabe levantin regroupe les parlés urbains de la Palestine, Jordanie, Syrie et du Liban. Même si les participants viennent de différentes régions, ils partagent tous des traits spécifiques aux parlers syro-libanais, à savoir la réalisation de /q/ en Arabe Standard Moderne (ASM) comme /ʔ/, de /θ ð ð̂/ en ASM comme /t d d̂/ ou /s z ẑ/, de /d̥/ en ASM comme /ʒ/ et de /χ ʕ/ en ASM comme /x γ/ (Embarki, 2008)</footnote>
paramètres spécifiques à Praat (Boersma & Weenink, 2020). Les seuils de f0 et de formants ont été adaptés à chaque locuteur (suivant Al-Tamimi, 2017, Al-Tamimi & Khattab, 2018 et Al-Tamimi, 2022) et les mesures de f0 et des quatre premiers formants ont été manuellement vérifiées. Toutes les mesures décrites ci-dessous ont été initialement calculées avec un pas de déplacement d'1 ms. Ensuite, 11 intervalles moyennés sur la durée de chaque segment de la séquence VCV ont été extraits.

Pour les mesures articulatoires, un total de sept mesures a été calculé. La HL a été obtenue du second canal de l'EGG sans normalisation. Ensuite, nous avons calculé les mesures de contact telles que le QF en suivant la méthode hybride (Howard, 1995), le PIC (Michaud, 2004), le PDC, la vitesse d'ouverture et de fermeture, ainsi que leur ratio (voir Kuang & Keating, 2014).

Pour les mesures acoustiques, un total de 19 mesures a été obtenu en suivant deux approches. Pour la première, nous avons calculé toutes les mesures décrites dans le modèle psychoacoustique de la qualité de voix (Garellek et al., 2016; Kreiman et al., 2021) comme : la pente spectrale normalisée suivant Iseli et al. (2007) sur diverses bandes d'harmoniques (ex. *H1*-/*H2*%, *H2*-/*H4*%, *H4*-/*H2kHz*%, *H2kHz*-/*H5kHz*%, *H1*-/*A1*%, *H1*-/*A2*% et *H1*-/*A3%*); les HNR sur plusieurs bandes; SHR; CPP; soe<fnref n="4" />. Pour la seconde, nous avons calculé les trois mesures d'amplitude dans les hautes fréquences (ex. *A1*-/*A2*%, *A1*-/*A3*% et *A2*-/*A3%*) en suivant les prédictions avancées dans Al-Tamimi (2015, 2017).

## 3.4 Approche statistique

Afin d'évaluer la contribution des mesures articulatoires et acoustiques pour montrer les similarités entre les consonnes d'arrière et les différences avec les autres contextes, nous avons procédé à deux types d'analyse. Premièrement, une classification avec les forêts aléatoires (Random Forests) a permis d'évaluer le taux de succès de discrimination suivi de l'évaluation du poids relatif pour chaque variable. Pour ce faire, nous avons entraîné plusieurs forêts aléatoires sur 66.7% des données, avec les mesures articulatoires, acoustiques et leur combinaison afin d'évaluer la robustesse de l'approche. Ces entrainements ont été effectués sur la partie V1, C ou V2 (voyelle précédente, consonne médiane et voyelle suivante, respectivement). Nous avons utilisé deux types de réponses : les six classes (alvéolaires, vélaires, uvulaire, pharyngalisées, pharyngales et glottales), ou deux classes (gutturale = uvulaire, pharyngalisées et pharyngales vs non-gutturale = alvéolaires, vélaires et glottales). Nous avons utilisé l'approche de TidyModels (Kuhn & Wickham, 2020) et la librairie ranger (Wright & Ziegler, 2017). Chaque forêt a été entraînée avec 2000 arbres; le nombre de variables que chaque forêt pouvait utiliser dans l'apprentissage représentait la racine carrée arrondie du nombre total de prédicteurs (3 pour l'EGG; 4 pour l'acoustique; 5 pour l'EGG+acoustique). Une validation croisée avec 10 plis a été effectuée afin d'obtenir un apprentissage robuste sur les données d'entrainement. A la fin, des prédictions sur les données de test (33.3%) ont été effectuées afin d'obtenir le taux de classification et le poids relatif de chaque variable via des tests de permutation (Strobl et al., 2009).

Ensuite, à partir des poids relatifs identifiés dans la classification combinant les mesures articulatoires et acoustiques, nous avons choisi les trois prédicteurs les plus importants pour chacun des V1, C et V2. Au total, nous avons identifié six mesures partagées en plus de la HL. Ces sept mesures ont ensuite été modélisées avec des GAMMs via la librairie mgcv (Wood, 2017). Le but de ces modélisations est de quantifier la dynamique des trajectoires tout au long de la séquence VCV. Pour ce faire, nous avons utilisé le prédicteur comme variable réponse, et l'interaction entre contexte et voyelle (variables ordonnées) et le sexe du locuteur comme variables fixes. Deux trajectoires représentant les 11 intervalles et la position dans la syllabe (1, 2 et 3 pour V1, C, et V2) ont été lissées

<footnote n="4">4. HNR = Ratio d'énergie dans les harmoniques et dans le bruit; CPP = amplitude du pic cepstral; soe = Force d'excitation</footnote>
avec une pénalisation en régression cubique, utilisant une interaction entre les deux trajectoires et avec ajustements par les variables fixes. Comme variables aléatoires, nous avons utilisé le locuteur et le mot ajustés par les deux trajectoires, ainsi que par l'interaction entre contextes et voyelles (pour le locuteur), et le sexe du participant (pour le mot). Nos modèles ont suivi l'approche maximale en régression à effets mixtes (Barr et al., 2013); permettant une normalisation entre locuteurs, avec une approche similaire à celle utilisée dans Al-Tamimi & Palo (2023). Nous avons vérifié la structure de nos modèles avec la fonction *gam.check*. Ensuite, les prédictions de chaque modèle ont été obtenues via la fonction *predict.bam*, qui ont été utilisées pour générées les visualisations de la Figure 2 avec *ggplot2* (Wickham, 2009) de la suite *tidyverse* (Wickham et al., 2019).

# 4 Résultats

## 4.1 Classification avec les forêts aléatoires, Random Forests

Lorsque les deux classes étaient utilisées comme réponses (Figure 1a), les taux de classification variaient entre 64-78% avec les taux les plus élevés se situant dans la V2 en utilisant soit les mesures acoustiques soit EGG+acoustique. Ceci indique clairement une forme de coarticulation progressive vers la V2. Ces taux sont assez élevés mais ne permettent pas une discrimination parfaite des deux classes ; la qualité de voix quantifiée via des méthodes articulatoires et acoustiques joue un rôle secondaire dans la discrimination entre classes. Ce résultat est attendu étant donné que l'arabe n'a pas de contraste phonologique marqué par une différence de phonation. En évaluant la classification par classe, les taux baissent d'une façon spectaculaire avec des taux proches des 37-67%. Il est à noter que lorsque les mesures articulatoires étaient utilisées, les taux étaient les plus bas en comparaison avec les mesures acoustiques, indiquant plus de facilité pour les forêts aléatoires à identifier les schémas spécifiques à nos classes en s'appuyant sur ces dernières. Les Figures 1b, 1c et 1d montrent le poids relatif pour les mesures articulatoires 5. La HL était le prédicteur le plus important dans la classification dans V1 et V2, mais le QF était le prédicteur le plus important pour C. Les Figures 1e, 1f et 1g montrent le poids relatif des dix mesures les plus importantes en combinant toutes les mesures articulatoires et acoustiques. Le QF reste le prédicteur le plus important pour C, tandis que les mesures acoustiques A1*-A3*, A2*-A3*, H1*-A3*, H4*-H2kHz*, H2kHz*-H5kHz* étaient parmi les prédicteurs les plus importants dans toutes les séquences pour discriminer les six classes. Toutes ces mesures sont indicatives de variations liées à la pente spectrale, avec des pentes plus raides indicatives d'une augmentation d'énergie dans les hautes fréquences causée soit par une fermeture abrupte de la glotte (Hanson et al., 2001; Al-Tamimi, 2017) soit par une constriction épilaryngale induisant une qualité de voix renforcée (Titze & Story, 1997; Moisik & Esling, 2010; Story, 2019).

## 4.2 Modélisation avec les GAMMs

Figure 2 montrent les courbes moyennes prédites par nos modèles GAMMs par prédicteur en fonction des six classes par V1, C ou V2. Comme les résultats de A1*-A3* montrent des patterns comparables à ceux de A2*-A3*, nous présentons uniquement ceux de cette dernière. Les changements dynamiques de la qualité de voix au niveau articulatoire et acoustique suivent un pattern générique de ↓ dans V1, ↑/↓ dans C et ↑ dans V2. Plus spécifiquement, une HL variable est observée (Figure 2a) avec les

<footnote n="5">5. CQH = Quotient Fermé hybride; minVel = PDC; peakVel = PIC; SQ2mnSQ1 = phase fermante; SQ4mnSQ3 = phase ouvrante; ratio = Quotient de vitesse; eggHeightMean = Hauteur du Larynx</footnote>
<figure><img src="image_215.png" /><figcaption>FIGURE 1 – Taux de classification par forêt aléatoire sur les données de tests (a, ac = acoustique), le poids relatif (PR) des variables dans la tâche de classification des six classes combinant les mesures articulatoires (EGG) dans V1 (b), C (c) et V2 (d) et les dix mesures les plus importantes en combinant toutes les mesures articulatoires et acoustiques (EGG+acoust) dans V1 (e), C (f) et V2 (g).</figcaption></figure>

consonnes pharyngales montrant un pattern ↑HL tout au long de la séquence VCV, les consonnes pharyngalisées avec un pattern ↓ dans V1, ↑ dans C et ↓ dans V2; la consonne uvulaire suit un pattern similaire mais avec ↑HL dans la phase de relâchement (intervalle 9). Pour le QF (Figure 2b), les courbes semblent plus variées dans C, avec des changements mineurs dans V1 et V2. La consonne uvulaire montre le QF le plus bas, suivi des consonnes glottales et vélaires, puis pharyngales avec les consonnes alvéolaires et pharyngalisées ayant le QF le plus haut (autour de 0,35). Ces résultats corrèlent bien avec un contact moins élevé pour les consonnes uvulaires et pharyngales en comparaison avec les consonnes pharyngalisées. Figures 2c, 2d et 2e montrent des résultats très similaires pour les consonnes uvulaires et pharyngalisées : une réduction globale de A2*-A3*, H1*-A3* et de H4*-H2kHz* est observée, plus marquée dans les consonnes pharyngalisées. Ceci est indicatif d'un changement abrupt de la pente spectrale autour des 2kHz et 3kHz qui peut être corrélé avec une glotte plus serrée; pour les consonnes pharyngales, l'augmentation dans H1*-A3* et la baisse dans les autres mesures indiquent un épilarynx plus serré, suivant les prédictions avancées ci-dessus. Les résultats de H2kHz*-H5kHz* (Figure 2f) montrent un effet inverse avec un changement abrupt de la pente spectrale dans les consonnes pharyngales causé par une augmentation d'énergie dans les hautes fréquences causée par une constriction épilaryngale (avec ↓H2kHz*-H5kHz*) avec une baisse d'énergie dans les consonnes uvulaires et pharyngalisés causée par une constriction glottale.

# 5 Discussion et conclusions

Cette étude a démontré que les consonnes d'arrière en arabe levantin induisent une élévation et une constriction du larynx variables. Les consonnes pharyngales sont produites avec une élévation
<figure><img src="image_216.png" /><figcaption>FIGURE 2 – Résultats des modélisations avec les GAMMs, avec les courbes prédites par V1, C ou V2 pour la HL (a), le QF (b), A2*-A3* (c), H1*-A3* (d), H4*-H2kHz* (e) et H2kHz*-H5kHz* (f).</figcaption></figure>

maximale du larynx tout au long de la séquence VCV causée par une constriction épilaryngale, suivant les prédicitions du LAM. Les consonnes pharyngalisées sont produites avec un abaissement du larynx, qui augmente vers la période du relâchement de la consonne, mais avec une fermeture abrupte de la glotte. La consonne uvulaire partage un larynx plus élevé avec les consonnes pharyngales mais une fermeture abrupte de la glotte avec les consonnes pharyngalisées. Les résultats articulatoires de HL et de QF et acoustiques liés à l'augmentation de l'énergie spectrale dans les hautes fréquences dans les consonnes pharyngalisées va dans le sens d'un contraste marqué par une différence de voix tendue dans ces dernières en comparaison avec une voix relâchée/modale dans les consonnes alvéolaires comparable aux résultats rapportés dans (Kuang & Keating, 2014) de contraste phonologique entre voix tendues et relâchées. La complémentarité entre corrélats articulatoires et acoustiques dans cette étude confirme que les mesures de la pente spectrale, qui sont validées comme permettant de classifier les qualités de voix (Garellek et al., 2016; Kreiman et al., 2021) jouent un rôle important dans la caractérisation des différences phonatoires entre les consonnes d'arrière de l'arabe. Nos résultats articulatoires et acoustiques fournissent une évidence empirique que les consonnes d'arrière en arabe partagent le trait phonologique [+Constricted Glottis] comme trait secondaire actif avec une variation graduelle bien marquée permettant de les différencier. Ces résultats suivent les prédicitions du LAM : les consonnes d'arrière en arabe sont produites avec une constriction graduelle de l'épilarynx qui induit une élévation et une constriction variables de la glotte avec une rétraction variable du dos et de la racine de la langue. Cette complémentarité permet ainsi de conclure que les trois membres de cette classe de consonnes d'arrière partagent des traits phonologiques similaires permettant de les unir.

## Remerciements

Ce travail a bénéficié partiellement d'une aide de l'IdEx Université Paris Cité (ANR-18-IDEX-0001) au titre du Labex Empirical Foundations of Linguistics - EFL. Il a également bénéficié d'un financement de la British Academy/Leverhulme small research grant, Royaume Uni (SG160181; 2017-2019) et d'un financement Leverhulme International Academic Fellowship, Royaume Uni (IAF-2018-016). Ce travail a bénéficié du support pour l'utilisation du High Power Computing (HPC) de l'université de Newcastle, au Royaume Uni, du CNRS/TGIR HUMA-NUM, IN2P3 et du GENCI-IDRIS, France (2022-AD010613733).
Références

AL-TAMIMI F. & HESELWOOD B. (2011). Nasoendoscopic, videofluoroscopic and acoustic study of plain and emphatic coronals in Jordanian Arabic. In B. HESELWOOD & Z. HASSAN, Éds., *Instrumental Studies in Arabic Phonetics*, p. 165–191. John Benjamins. DOI: 10.1075/cilt.319.

AL-TAMIMI J. (2015). Spectral tilt as an acoustic correlate to pharyngealisation in Jordanian and Moroccan Arabic (Article: 0436). In *Proceedings of the 18th International Congress of Phonetic Sciences (ICPhS)*.

AL-TAMIMI J. (2017). Revisiting acoustic correlates of pharyngealization in Jordanian and Moroccan Arabic: Implications for formal representations. *Laboratory Phonology: Journal of the Association for Laboratory Phonology, 8*(1), 1–40. DOI: 10.5334/labphon.19.

AL-TAMIMI J. (2022). Praat-f0-Accurate-Estimation. https://jalalal-tamimi.github.io/Praat-f0-Accurate-Estimation/.

AL-TAMIMI J. & KHATTAB G. (2018). Acoustic correlates of the voicing contrast in Lebanese Arabic singleton and geminate stops. *Journal of Phonetics, 71*, 306–325. DOI: 10.1016/j.wocn.2018.09.010.

AL-TAMIMI J. & PALO P. (2023). Dynamics of the tongue contour in the production of guttural consonants in Levantine Arabic. In *Proceedings of the 20th International Congress of Phonetic Sciences (ICPhS)*, p. 2095–2099.

AL-TAMIMI J., SCHIEL F., KHATTAB G., SOKHEY N., AMAZOUZ D., DALLAK A. & MOUSSA H. (2022). A Romanization System and WebMAUS Aligner for Arabic Varieties. In *Proceedings of the 13th Conference on Language Resources and Evaluation (LREC 2022)*, p. 7269–7276.

ARALOVA N., GRAWUNDER S. & WINTER B. (2011). The Acoustic Correlates of Tongue Root Vowel Harmony in Even (Tungusic). In *Proceedings of the 17th International Congress of Phonetic Sciences, ICPhS*, p. 240–243.

BARR D. J., LEVY R., SCHEEPERS C. & TILY H. J. (2013). Random effects structure for confirmatory hypothesis testing: Keep it maximal. *Journal of Memory and Language, 68*(3), 255–278. DOI: 10.1016/j.jml.2012.11.001.

BOERSMA P. & WEENINK D. (2020). *Praat Software*. University of Amsterdam.

EMBARKI M. (2008). Les dialectes arabes modernes : État et nouvelles perspectives pour la classification géo-sociologique. *Arabica, 55*(5/6), 583–604. DOI: 10.1163/157005808X364616.

ESLING J., MOISIK S., BENNER A. & CREVIER-BUCHMAN L. (2019). *Voice Quality: The Laryngeal Articulator Model*. Cambridge University Press. DOI: 10.1017/9781108696555.

FULOP S. A., KARI E. & LADEFOGED P. (1998). An Acoustic Study of the Tongue Root Contrast in Degema Vowels. *Phonetica, 55*(1-2), 80–98. DOI: 10.1159/000028425.

GARELLEK M., SAMLAN R., GERRATT B. R. & KREIMAN J. (2016). Modeling the voice source in terms of spectral slopes. *The Journal of the Acoustical Society of America, 139*(3), 1404–1410. DOI: 10.1121/1.4944474.

GUION S. G., POST M. W. & PAYNE D. L. (2004). Phonetic correlates of tongue root vowel contrasts in Maa. *Journal of Phonetics, 32*(4), 517–542. DOI: 10.1016/j.wocn.2004.04.002.

HANSON H. M. & CHUANG E. S. (1999). Glottal characteristics of male speakers : Acoustic correlates and comparison with female data. *The Journal of the Acoustical Society of America, 106*(2), 1064–1077. DOI: 10.1121/1.427116.

HANSON H. M., STEVENS K. N., KUO H.-K. J., CHEN M. Y. & SLIFKA J. (2001). Towards models of phonation. *Journal of Phonetics, 29*(4), 451–480. DOI: 10.1006/jpho.2001.0146.
HESELWOOD B. (2007). The 'tight approximant' variant of the Arabic 'ayn. *Journal of the International Phonetic Association*, **37**(1), 1. DOI: 10.1017/S0025100306002787.

HESELWOOD B. & AL-TAMIMI F. (2011). A study of the laryngeal and pharyngeal consonants in Jordanian Arabic using nasoendoscopy, videofluoroscopy and spectrography. In B. HESELWOOD & Z. HASSAN, Éds., *Instrumental Studies in Arabic Phonetics*, p. 101–128. John Benjamins. DOI: 10.1075/cilt.319.

HOLMBERG E. B., HILLMAN R. E. & PERKELL J. S. (1988). Glottal airflow and transglottal air pressure measurements for male and female speakers in soft, normal, and loud voice. *The Journal of the Acoustical Society of America*, **84**(2), 511–529. DOI: 10.1121/1.396829.

HOWARD D. M. (1995). Variation of electrolaryngographically derived closed quotient for trained and untrained adult female singers. *Journal of Voice*, **9**(2), 163–172. DOI: 10.1016/S0892-1997(05)80250-4.

ISELI M., SHUE Y.-L. & ALWAN A. (2007). Age, sex, and vowel dependencies of acoustic measures related to the voice source. *The Journal of the Acoustical Society of America*, **121**(4), 2283–2295. DOI: 10.1121/1.2697522.

KREIMAN J., LEE Y., GARELLEK M., SAMLAN R. & GERRATT B. R. (2021). Validating a psychoacoustic model of voice quality. *The Journal of the Acoustical Society of America*, **149**(1), 457–465. DOI: 10.1121/10.0003331.

KUANG J. & KEATING P. (2014). Vocal fold vibratory patterns in tense versus lax phonation contrasts. *The Journal of the Acoustical Society of America*, **136**(5), 2784–2797. DOI: 10.1121/1.4896462.

KUHN M. & WICKHAM H. (2020). *tidymodels: Easily Install and Load the 'Tidymodels' Packages*.

LAUFER A. & BAER T. (1988). The emphatic and pharyngeal sounds in Hebrew and in Arabic. *Language and Speech*, **31**, 181–205. DOI: 10.1177/002383098803100205.

LUBBERS M. & TORREIRA F. (2013). Praatalign: An interactive Praat plug-in for performing phonetic forced alignment: https://github.com/dopefishh/praatalign. Version 2.0a.

MCCARTHY J. (1994). The phonetics and phonology of Semitic pharyngeals. In P. KEATING, Éd., *Phonological Structure and Phonetic Form*, p. 191–233. Cambridge University Press. DOI: 10.1017/CBO9780511659461.012.

MICHAUD A. (2004). A measurement from electroglottography : DECPA, and its application in prosody. In *Speech Prosody 2004*, p. 633–636.

MOISIK S. & ESLING J. (2010). Examining the Acoustic Contributions of the Epilaryngeal Tube to the Voice Source and Vocal Tract Resonance. *Canadian Acoustics*, **38**(3), 138–139.

SCHIEL F. (2015). A statistical model for predicting pronunciation (Article : 0195). In *Proceedings of the 18th International Congress of Phonetic Sciences (ICPhS)*.

SHUE Y.-L., KEATING P., VICENIK C., YU K. & YEN-LIANG K. P. V. C. Y. K. S. (2011). VoiceSauce: A program for voice analysis. In *Proceedings of the 17th International Congress of Phonetic Sciences, ICPhS*, p. 1846–1849.

STORY B. (2019). The Vocal Tract in Singing. In *The Oxford Handbook of Singing*, p. 144–166. Oxford University Press. DOI: 10.1093/oxfordhb/9780199660773.013.012.

STROBL C., MALLEY J. & TUTZ G. (2009). An introduction to recursive partitioning : Rationale, application, and characteristics of classification and regression trees, bagging, and random forests. *Psychological Methods*, **14**(4), 323–348. DOI: 10.1037/a0016973.

SYLAK-GLASSMAN J. (2014). *Deriving Natural Classes: The Phonology and Typology of Post-Velar Consonants*. Thèse de doctorat, University of California, Berkeley.
TEHRANI H. (2020). http://www.appsobabble.com/functions/eggworks.aspx (accessible 18/02/2020).

TITZE I. R. & STORY B. H. (1997). Acoustic interactions of the voice source with the lower vocal tract. *The Journal of the Acoustical Society of America*, **101**(4), 2234–2243. DOI: 10.1121/1.418246.

WICKHAM H. (2009). *Ggplot2: Elegant Graphics for Data Analysis*. Springer-Verlag New York.

WICKHAM H., AVERICK M., BRYAN J., CHANG W., MCGOWAN L. D., FRANÇOIS R., GRO-LEMUND G., HAYES A., HENRY L., HESTER J., KUHN M., PEDERSEN T. L., MILLER E., BACHE S. M., MÜLLER K., OOMS J., ROBINSON D., SEIDEL D. P., SPINU V., TAKAHASHI K., VAUGHAN D., WILKE C., WOO K. & YUTANI H. (2019). Welcome to the tidyverse. *Journal of Open Source Software*, **4**(43), 1686. DOI: 10.21105/joss.01686.

WOOD S. N. (2017). *Generalized Additive Models: An Introduction with R*. CRC Press/Taylor & Francis Group. DOI: 10.1201/9781315370279.

WRENCH A. A. & SCOBBIE J. M. (2008). High-speed Cineloop Ultrasound vs. Video Ultrasound Tongue Imaging: Comparison of Front and Back Lingual Gesture Location and Relative Timing. In *Proceedings of the 8th International Seminar on Speech Production (ISSP)*, p. 57–60.

WRIGHT M. N. & ZIEGLER A. (2017). Ranger: A Fast Implementation of Random Forests for High Dimensional Data in C++ and R. *Journal of Statistical Software*, **77**(1). DOI: 10.18637/jss.v077.i01.

ZAWAYDEH B. (1999). *The Phonetics and Phonology of Gutturals in Arabic*. Thèse de doctorat, Bloomington, IN: Indiana University.
# Sandhi tonal en shanghaïen : une étude acoustique des contours dissyllabiques chez des locuteurs jeunes

Yu Chen¹, Nathalie Vallée¹, Thi-Thuy-Hien Tran¹, Silvain Gerber¹

(1) Univ. Grenoble Alpes, CNRS, Grenoble INP, GIPSA-lab, 38000 Grenoble, France
yu.chen1@etu.univ-grenoble-alpes.fr, nathalie.vallee@gipsa-lab.grenoble-inp.fr,
thi-thuy-hien.tran@gipsa-lab.grenoble-inp.fr, silvain.gerber@gipsa-lab.grenoble-inp.fr

## RESUME

Le shanghaïen possède deux types de sandhi tonal : *Left Dominant Sandhi* (LDS) dans les composés sémantiques de type syntagme nominal (SN) et *Right Dominant Sandhi* (RDS) dans des phrases prosodiques de type syntagme verbal (SV). Cette étude examine les caractéristiques acoustiques du contour tonal dans des SN et SV dissyllabiques chez trois locutrices jeunes. Nos résultats montrent que les tons des SN subissent des changements phonologiques relevant du LDS, alors que les SV sont plutôt soumis aux effets phonétiques de la coarticulation tonale plutôt qu'au RDS. L'absence de différences significatives entre les SN et les SV ne permet pas de généraliser une distinction entre eux uniquement sur la base des réalisations tonales. Cette étude exploratoire ouvre des perspectives pour de futurs travaux intergénérationnels sur les productions tonales et la perception du sandhi tonal, en étendant le corpus à différentes positions au sein de la phrase et différentes classes d'âge.

## ABSTRACT

Shanghainese has two types of tonal sandhi: Left Dominant Sandhi (LDS) in semantic compounds such as nominal phrase (NP) and Right Dominant Sandhi (RDS) in prosodic phrase such as verbal phrase (VP). This study examines acoustic characteristics of tonal contours in dissyllabic NPs and VPs in Shanghainese in three young female speakers. Our results show that the tones of NPs undergo phonological changes related to LDS, while VPs are rather subject to the phonetic effects of tonal coarticulation rather than RDS. The absence of significant differences between the contours of NPs and those of VPs does not allow for a generalization of a distinction between them solely based on tonal realizations. This exploratory study opens perspectives for future intergenerational work on tonal productions and on the perception of tonal sandhi, by extending the corpus to different positions within the sentence and to different age groups.

**MOTS-CLÉS** : langues wu ; coarticulation tonale ; propagation ; directionalité ; contraste

**KEYWORDS** : Wu languages; tone coarticulation; spreading; directionality; contrast

## 1 Introduction

Comme la plupart des langues chinoises, les langues wu (wuu, code ISO 639-3, groupe linguistique sino-tibétain) présentent des phénomènes complexes de sandhi tonal, probablement en raison de la complexité de leur système tonal, où les unités de base sont définies par des combinaisons complexes

<figure><img src="image_217.png" /></figure>
de contours, de hauteurs et de types phonatoires, mais aussi en raison de la variabilité des formes de surface. Cela se traduit par le fait que, très souvent, les tons de base (tons absolus ou tons de citation) subissent des modifications lorsqu'ils sont inclus dans des enchainements composés de deux syllabes ou plus (Wee, 2018 ; Zhang, 2022). Par surcroît, les tons relevés dans le domaine de réalisation du sandhi peuvent ne pas exister dans le système des tons de base (Yan et al., 2020). La directionalité de l'influence tonale est aussi un facteur important à considérer. En effet, par exemple, les langues wu présentent un système de type *Left Dominant Sandhi* (LDS) très productif où le ton précédent influence le ton suivant, tandis que les autres langues chinoises ont essentiellement le système inverse *Right Dominant Sandhi* (RDS) (Xu B. et al., 1981 ; Yan, 2018 ; Yan et al., 2020 ; Zee & Maddieson, 1980 ; Zhang & Meng, 2016). Ainsi, le sandhi tonal en wu comporte les deux directionalités – bien que RDS soit bien plus restreint que LDS – lesquelles auraient un rôle contrastif en permettant aux auditeurs de discriminer deux séquences disyllabiques homophones (au niveau segmental) relevant l'une d'une fonction plutôt morpholexicale, l'autre d'une fonction plutôt morphosyntaxique. Plus précisément, LDS se manifeste au sein des composés de type Modificateur+Nom et de certains composés de type Verbe+Nom, Verbe+Modificateur, Sujet+Prédicat et composés par coordination (Qian, 1992 ; Xu B. et al., 1981, 1988; Yan et al., 2020). Cela permet à certains linguistes de soutenir que le domaine LDS shanghaïen correspondrait à un mot prosodique ou phonologique (Ling & Liang, 2017, 2019 ; Zhang et al., 2011 ; Zhang & Meng, 2016). RDS est quant à lui restreint à des structures syntaxiques spécifiques, telles que Verbe-Objet, Sujet-Prédicat, Verbe-Complément, Adverbe-Verbe, et s'étend également à des constructions coordonnées et aux structures adjectivales endocentriques (Feng, 2009 ; Xu B. et al., 1981, Xu B. et al., 1988). En conséquence, certains linguistes tels Ling & Liang (2019), Yan (2018) ou encore Zhang & Meng (2016) proposent que le domaine d'application du RDS correspondrait à une phrase phonologique/prosodique située à un niveau de construction supérieur par rapport à LDS lequel s'appliquerait plutôt à un mot prosodique/phonologique.

Dans de telles langues, les règles de formation du sandhi tonal impliqué dans la discrimination et la catégorisation de fonctions linguistiques font partie intégrante du fonctionnement tonal. Cependant, bien que des règles aient été formulées à partir de plusieurs études pour le shanghaïen (p. ex. Qian, 1992 ; Xu B. et al., 1981 ; Yan, 2018 ; cf. Table 1), elles sont exposées, dans leurs réalisations, à des variations considérables dues à des facteurs sociolinguistiques qui ont principalement pour origine l'influence dominante du chinois mandarin. De plus en plus de jeunes parlent les langues locales avec une influence forte du mandarin et, parmi les plus jeunes, beaucoup ne les parlent pas au quotidien et continuent à utiliser fréquemment le mandarin à la maison, même si le wu reste généralement pratiqué par les parents et grands-parents (Gao, 2016 ; Xu B. & Tao, 1997 ; Yan et al., 2020 ; Zhu Y. & Jiao, 2021).

<table><thead><tr><th>σ1</th><th>T1 (52)</th><th>T2 (34)</th><th>T3 (23)</th><th>T4(<u>55</u>)</th><th>T5(<u>13</u>)</th></tr></thead><tbody><tr><th>T1 (52)</th><td>53 + 31</td><td>53 + 31</td><td></td><td></td><td></td></tr><tr><th>T2 (34)</th><td>33 + 44</td><td>33 + 44</td><td></td><td></td><td></td></tr><tr><th>T3 (23)</th><td>22 + 44</td><td>22 + 44</td><td></td><td></td><td></td></tr><tr><th>T4 (<u>55</u>)</th><td><u>33</u> + 44</td><td><u>33</u> + 44</td><td></td><td></td><td></td></tr><tr><th>T5 (<u>13</u>)</th><td><u>11</u> + 13</td><td><u>11</u> + 13</td><td></td><td></td><td></td></tr></tbody></table>

<table><caption>TABLE 1: Règles de sandhi tonal du shanghaïen pour *Left Dominant Sandhi* (à gauche) et *Right Dominant Sandhi* (à droite). Le soulignement indique une syllabe courte (coda glottale /?/).</caption><thead><tr><th>σ1</th><th>T1 (52)</th><th>T2 (34)</th><th>T3(23)</th><th>T4(<u>55</u>)</th><th>T5(<u>13</u>)</th></tr></thead><tbody><tr><th>T1 (52)</th><td>44 + 52</td><td>33 + 52</td><td>44 + 52</td><td>22 + 52</td><td></td></tr><tr><th>T2 (34)</th><td>44 + 34</td><td>33 + 34</td><td><u>44</u> + 34</td><td><u>22</u> + 34</td><td></td></tr><tr><th>T3 (23)</th><td>44 + 23</td><td>33 + 23</td><td><u>44</u> + 23</td><td><u>22</u> + 23</td><td></td></tr><tr><th>T4 (<u>55</u>)</th><td>44 + <u>55</u></td><td>33 + <u>55</u></td><td><u>44</u> + <u>55</u></td><td><u>22</u> + <u>55</u></td><td></td></tr><tr><th>T5 (<u>13</u>)</th><td>44 + <u>13</u></td><td>33 + <u>13</u></td><td><u>44</u> + <u>13</u></td><td><u>22</u> + <u>13</u></td><td></td></tr></tbody></table>
## 2 Objectifs et questions de recherche

L'étude que nous présentons ici est préliminaire à un projet de recherche plus ambitieux qui démarre. Celui-ci propose d'examiner la variabilité acoustique et la stabilité du système tonal wu et, en particulier, celle du sandhi tonal afin de répondre aux questions suivantes : quelles sont les règles de formation du sandhi tonal en wu ? Sont-elles homogènes ou sujettes à la variation selon l'âge, le genre du locuteur, le NSE, la variété dialectale, la situation géographique ? Nous pensons que les jeunes générations pourraient présenter des variations différentes de celles des générations plus âgées, et que le sandhi pourrait être influencé par d'autres langues, en particulier le mandarin, langue de scolarisation et de communication entre les jeunes, impulsant une dynamique de changement avec peut-être des répercussions sur l'ensemble du système tonal. De plus, les langues wu peuvent s'influencer mutuellement, en particulier depuis Shanghai. L'objectif de ce projet sera aussi de considérer l'impact de la variation sur le traitement perceptif des contrastes basés sur le sandhi tonal.

Mais revenons à cette étude initiale pour laquelle nous avons examiné les caractéristiques acoustiques des contours tonals des deux types de sandhi, LDS et RDS, dans les productions de trois jeunes adultes shanghaïens, en choisissant comme cibles des séquences dissyllabiques d'acceptations morphologique et syntaxique bien définies et couramment utilisées dans la langue. En puisant dans des recherches antérieures (Ling & Liang, 2019 ; Takahashi, 2011 ; Zhang & Meng, 2016 ; Yan et al., 2020 entre autres), nous nous interrogeons sur la réalisation des règles de sandhi lorsqu'elles sont produites par des jeunes adultes et cherchons pour cela à examiner et comparer la variation des réalisations tonales dans des syntagmes nominaux (censés soumis à LDS) ainsi que dans des syntagmes verbaux (soumis à RDS), présentant une structure syllabique identique.

## 3 Méthode

### 3.1 Corpus enregistré

Afin de convenir à l'ensemble des combinaisons tonales décrites dans les règles du sandhi tonal (cf. Table 1), quatre séquences dissyllabiques (deux pour la condition LDS et 2 pour la condition RDS) ont été sélectionnées en consultant principalement le *Grand dictionnaire du shanghaïen* de Qian et al. (2007) ainsi que le *Dictionnaire électronique du shanghaïen* créé par l'École de langues wu (吳語學堂, 2023), laquelle est animée par une communauté en ligne de locuteurs du shanghaïen et des autres langues wu. Nous nous sommes aussi référés aux listes de mots de Zhang & Meng (2016), Xu B. et al. (1981) et Takahashi (2011). Les quatre séquences ont aussi été sélectionnées de manière à pouvoir apparier les syllabes à attaque nasale entre les deux types de sandhi pour leur effet sur la fréquence fondamentale (diminution de hauteur) (cf. Xu Y., 1999). À noter aussi qu'un intérêt particulier a été porté aux tons T1 et T2 qui permettent d'obtenir des séquences dissyllabiques identiques au niveau segmental (et de même structure syllabique) dans les deux conditions de concatenation tonale de manière à ce que seul le sandhi tonal porte le contraste entre les paires. Enfin, le phénomène de sandhi générant des valeurs tonales qui ne sont pas forcément présentes dans les tons de base (p. ex. Yan et al., 2020), nous avons aussi retenu les monosyllabes correspondant aux deux éléments des dissyllabes cibles de manière à ce que leur prononciation isolée serve de référence (baseline) dans les analyses des effets de la contextualisation tonale.

Notre étude est ainsi basée sur l'examen des contours tonals d'une liste de 100 dissyllabes (5 tons de citation × 5 tons de citation × 4 stimuli = 100 stimuli) qui correspondent tous à des objets et des aliments couramment rencontrés dans la vie quotidienne. Le corpus a été soumis au préalable à
l'expertise d'une locutrice native du shanghaïen née en 1997 et a ensuite été mis en ordre aléatoire en raison d'un ordre par participant et chaque liste de 100 stimuli répétée 3 fois.

Les conditions de production LDS et RDS ont été contrôlées en utilisant deux phrases porteuses de structures morphosyntaxiques distinctes (TABLE 2). Ces deux phrases assurent un contrôle strict de l'environnement des mots-cibles, tout en permettant un environnement sémantiquement et syntaxiquement correct, mettant ainsi en évidence la relation entre la morphosyntaxe et les unités suprasegmentales.

<table><caption>TABLE 2: Phrases porteuses pour *LDS* (à gauche) et *RDS* (à droite) avec exemples de mot cible.</caption><tr><td>荷蘭賣 + SN (p. ex. 炒飯)</td><td>後天我 + SV (p. ex. 炒飯)</td></tr><tr><td>/hùu<sup>22</sup> lɛ<sup>33</sup> ma<sup>23</sup>/ + /tsʰɔ<sup>33</sup> vɛ<sup>44</sup>/</td><td>/hɪs<sup>22</sup> tʰi<sup>33</sup> ŋu<sup>23</sup>/ + /tsʰɔ<sup>44</sup> vɛ<sup>13</sup>/</td></tr><tr><td>Les Pays-Bas vendent <i>le riz frit</i></td><td>Le jour après demain, je vais faire <i>frire du riz</i></td></tr></table>

La consigne était donnée aux participants de lire à voix haute et à une vitesse d'élocution normale les phrases présentées une par une sur un écran de 23". Celles-ci étaient transcrites en chinois simplifié. La liste des monosyllabes était acquise en suivant le même protocole à l'issue du recueil de la liste de phrases. Les enregistrements ont été réalisés dans la chambre anéchoïque du Gipsa-lab à l'Université Grenoble Alpes pendant l'été 2023. Les équipements utilisés sont un enregistreur numérique Marantz PMD 670 et un microphone AKG C1000 S. Les signaux ont été échantillonnés à 44.1 kHz.

## 3.2 Participants

Trois locutrices natives du shanghaïen, nées en 2000 à Shanghai et ayant grandi dans cette ville, ont accepté de participer à l'étude. Elles sont chacune originaires du quartier qu'elles ont toujours habité : Minhang, Qingpu et Putuo. Ces locutrices étaient étudiantes à la Faculté de la Langue Française de l'Université des Études Internationales de Shanghai et, au moment de l'enregistrement, étaient en programme d'échange en France depuis environ six mois. Leur profil linguistique est remarquablement similaire, maîtrisant toutes le shanghaïen, le mandarin, l'anglais et le français. Selon leurs auto-évaluations, elles ont un niveau natif en shanghaïen et en mandarin, tandis que leur maîtrise de l'anglais et du français se situe autour du niveau B2-C1. Quant à l'utilisation du shanghaïen, d'après leurs réponses, elles l'utilisent principalement avec leur famille, alors que le mandarin prédomine dans les autres circonstances. Ce profil linguistique est représentatif de la jeune génération shanghaienne, où le shanghaïen de la famille et le mandarin de l'école sont les deux langues premières, et au moins une langue étrangère (principalement l'anglais) est pratiquée. Le profil linguistique de ces trois participantes devrait nous permettre de cibler des tendances actuelles dans la réalisation du sandhi tonal en shanghaïen.

## 3.3 Traitements et analyses

Le corpus a été segmenté avec Praat (Boersma & Weenink, 2023) et annoté manuellement au niveau des séquences cibles, de leur décomposition en syllabes et en phones. L'extraction des valeurs de la *f0* pour chaque syllabe a été effectuée automatiquement, après vérification et parfois quelques ajustements manuels, avec le script ProsodyPro, développé par Xu Y. (2013). À partir de l'algorithme de lissage intégré pour la représentation des contours (utilisant une fenêtre triangulaire de Bartlett de 301 échantillons), dix mesures temporellement équidistantes ont été effectuées sur la totalité de la durée de la syllabe si l'attaque est voisée et sur la totalité de la rime dans le cas d'attaque
non voisée, avec un pas de 10. Les valeurs de $f_0$ ont été converties en demi-tons avec $y = 12 \log_2(\frac{Hz}{50})$ puis ces valeurs ont été normalisées selon une transformation logarithmique z-score recommandée par Zhu X. (1995): $z = \frac{y_i - \mu}{\sqrt{\frac{1}{n}\sum_{i=1}^{n}(y_i - \mu)^2}}$, avec $y_i = \log_{10}x$, $\mu = \bar{y}_i$ et $x$ = valeur de $f_0$ observée.

L'analyse statistique des différences de niveaux de $f_0$ a été réalisée à l'aide d'un modèle linéaire mixte pour étudier l'impact des effets fixes : COMBINAISON TONALE, TYPE DE SANDHI et POINT DE MESURE (considéré ici comme une variable catégorielle, de 10 jusqu'à 100 par pas de 10), et de leur interaction, sur la variable réponse $f_0$. Ce modèle permet à la fois de tenir compte de la répétition des mesures (le facteur LOCUTEUR a été introduit comme effet aléatoire dans le modèle), de la variance résiduelle et/ou de la variabilité inter-individuelle qui peut changer d'un contexte à l'autre, d'un ton à l'autre ou d'un point de mesure à l'autre, mais aussi de la corrélation entre les valeurs de la variable réponse pour les différents points de mesures. Pour réaliser le modèle, nous avons utilisé la fonction lme du package nlme du logiciel R. Puis nous avons utilisé la fonction glht du package multcomp du logiciel R pour réaliser des comparaisons multiples d'où sont issues les p valeurs données ci-après. Les graphiques sont générés à l'aide des fonctions du package ggplot2.

# 4 Résultats

## 4.1 Tons de citation

Examinons d'abord les réalisations des cinq tons de citation. Les lignes noires tracées FIGURE 1 et FIGURE 2 représentent les contours normalisés des tons de citation prononcés dans la condition monosyllabique (prononciation isolée). Nous les superposons avec leurs contours correspondants dans les deux conditions dissyllabiques afin de faciliter plus loin les comparaisons. De manière générale, nos résultats sont conformes aux résultats d'études antérieures (Qian, 1992 ; B. Xu et al., 1988 ; Zhu X., 1995) : T1 est le seul ton haut descendant, T3 et T5 sont tous deux des tons bas montants, et T4 est un ton haut plat. Il faut pourtant noter que bien que T5 (13) et T3 (23) soient décrits différemment à l'initiation de la réalisation tonale, les contours de T5 et T3 sont en réalité trouvés très similaires, ce qui ne semble pas justifier cette différence de description. De plus, la tendance montante du contour de T2 (34) n'est pas tellement évidente et ne semble pas confirmer les observations des recherches antérieures (Qian, 1992 ; B. Xu et al., 1988 ; Zhu X., 1995).

## 4.2 Ton de sandhi vs ton de citation

Parmi les 25 combinaisons tonales de LDS examinées (FIGURE 1), onze présentent des différences significatives avec les tons de citation. La plupart de ces différences se manifestent au niveau de la deuxième syllabe confirmant pour ces cas l'existence d'une combinatoire vers la droite dans les contextes tonals T1+T1, T1+T4, T1+T5, T3+T1, T4+T1 et T5+T1, ainsi qu'au niveau de la frontière entre les deux syllabes T3+T3, T3+T5, T5+T2, T5+T3 et T5+T5. Seule la combinaison tonale T5+T3 montre une différence significative de la $f_0$ sur presque toute la durée de la première syllabe (désormais $\sigma_1$) – de 20 % à 100 % de la durée totale ($-4.445 \le z \le 8.997, p \le 0.09$) – en plus d'un écart significatif au début de la syllabe 2 (désormais $\sigma_2$) – de 10 % à 40 % ($4.051 \le z \le 9.75, p \le 0.02$). Il convient de remarquer que certaines combinaisons présentent des différences de $f_0$ importantes entre les tons dissyllabiques et les tons monosyllabiques comme cela est montré FIGURE 1, mais ces différences ne sont pas reflétées dans le modèle statistique en raison d'une forte
variabilité intra- et inter-locuteur. Cela concerne par exemple la combinaison T5+T4 (1.401 ≤ *z* ≤ 2.958, *p* ≥ 0.117). On remarque également que les combinaisons T2+X ne présentent jamais de différences significatives entre tons de citation et tons de sandhi LDS ; idem pour T4+X sauf si X=T1 (3.26 ≤ *z* ≤ 3.974, *p* ≤ 0.044). La raison est soit parce que contours et hauteur de *f*₀ sont similaires, soit il existe une forte variabilité des réalisations.

<figure><img src="image_218.png" /><figcaption>FIGURE 1: Contours moyens normalisés de *f*₀ pour les monosyllabes (ligne noire, ▲) et les dissyllabes sous l'effet du sandhi LDS (ligne colorée, ○). Les zones rouges indiquent les différences significatives (*p* ≤ 0,05).</figcaption></figure>

Les contours des tons de sandhi diffèrent des contours des tons de citation, surtout concernant σ₂. Pour T1+X, σ₁ perd la tendance descendante pour devenir un ton haut plat, tandis que σ₂, quel que soit son ton de citation, devient un ton descendant. De plus, les contours tonals T2+X, T3+X et T5+X présentent globalement une hauteur de ton légèrement supérieure pour σ₂ par rapport à σ₁. Cependant, contrairement aux études antérieures (Qian, 1992 ; Xu B. et al., 1988) qui décrivent les tons des séquences dissyllabiques T2/T3/T5+X comme des tons plats (cf. TABLE 1), les contours que nous observons présentent souvent des descentes ou des montées de faible amplitude, possiblement en raison de l'influence de la hauteur des tons environnants. Le contour tonal T4+X est quasiment plat et de hauteur similaire sur σ₁ et σ₂, ce qui diffère de la description traditionnelle (33+44).

Pour le cas de RDS, seules quatre des 25 combinaisons, T3+T5, T5+T1, T5+T3 et T5+T5, présentent des différences significatives dans la condition RDS (FIGURE 2). Parmi elles, T5+T3, ainsi qu'une partie de T5+T5 et T3+T5 affichent ces différences à la jonction entre les deux syllabes. Seule la combinaison T3+T5 montre un effet de RDS sur le début de σ₁. Enfin σ₂ est la plus impactée par le sandhi dans la combinaison T5+T1 sur la première moitié de sa durée et sur la totalité dans T5+T5. Ces résultats montrent qu'une combinatoire vers la gauche de la coarticulation tonale est peu présente dans le phénomène de RDS. À l'exception de quelques cas figurant dans les zones rouges, les contours des tons de σ₁ et σ₂ ne diffèrent pas beaucoup des tons de citation correspondants et des variations se produisent principalement aux frontières entre les deux syllabes. De plus, le ton de sandhi conserve souvent la hauteur et la tendance du contour de citation, ce qui souscrit davantage à la description de Takahashi (2011) qu'à celles de Qian (1992) et de Xu B. et al. (1988).
<figure><img src="image_219.png" /></figure>

FIGURE 1 : Contours moyens normalisés de $f_0$ pour les monosyllabes (ligne noire, ▲) et les dissyllabes sous le sandhi RDS (ligne colorée, ○). Les zones rouges indiquent les différences significatives ($p \le 0,05$).

## 4.3 LDS vs RDS

<figure><img src="image_220.png" /></figure>

FIGURE 3 : Valeurs moyennes normalisées de $f_0$ et contours tonals moyens des dissyllabes sous le sandhi LDS (ligne rouge, ●) et RDS (ligne bleue, ▲). Les zones vertes indiquent les différences significatives ($p \le 0,05$).

FIGURE 3 sont présentés les contours superposés des deux types de sandhi. À notre grande surprise, les comparaisons entre LDS et RDS pour les mêmes combinaisons tonales montrent peu de différences significatives dans les valeurs de $f_0$, mise à part T5+T4 qui présente un effet de la directionnalité du sandhi sur la quasi-totalité de la durée des deux syllabes (FIGURE 3). Pour trois autres combinaisons, T1+T1, T1+T4 et T4+T5, le seuil de significativité est atteint seulement à partir de la deuxième moitié de $\sigma_2$. Bien que nous puissions conclure que les différences significatives entre SN et SV résultent de différentes réalisations du sandhi tonal, nous ne pouvons pas écarter la possibilité de l'influence d'autres phénomènes prosodiques, tels que le patron intonatif de l'assertion
et ses caractéristiques en fin de phrase. En outre, bien que les réalisations tonales T4+T3 montrent
des différences entre les deux types de sandhi, l'analyse statistique n'indique qu'une seule différence
significative à 70 % de la durée de σ₂ (p = 0,044), ce qui est toutefois marginal. Nos observations
concordent avec les résultats statistiques : à l'exception des cas signalés par les zones rouges et le
cas de T4+T3, il n'existe guère de différence entre les contours de ton entre les types SV (RDS) et
SN (LDS). Les contours tonals sont même quasi identiques dans certaines combinaisons telles que
T2+T4 et T5+T1.

4.4 Variations tonales en fonction du rang syllabique et du contexte tonal

Pour présenter ces variations, nous les divisons en dix sous-catégories : T1+X, X+T1, T2+X, X+T2, T3+X, X+T3, T4+X, X+T4, T5+X et X+T5 (cf. FIGURE 3). Dans les SN (LDS), les seules différences significatives pour σ₁ sont trouvées uniquement dans les comparaisons entre T1+T4 et l'ensemble des autres combinaisons T1+X (-3.642 ≤ z ≤ -6.491, p ≤ 0.027), ainsi que dans les comparaisons entre T5+T4 et l'ensemble des autres combinaisons T5+X (-3.499 ≤ z ≤ -4.39, p ≤ 0.046). En revanche, en ce qui concerne les réalisations tonales de σ₂, les différences significatives sont trouvées principalement dans les contextes T3/T5+Tx et T2/T4+Tx, Tx représentant ici le même ton sur σ₂, p. ex. T2/T4+T5 vs T3/T5+T5 (3.745 ≤ z ≤ 7.508, p ≤ 0.018) ; T2/T4+T3 vs T3/T5+T3 (3.587 ≤ z ≤ 5.744, p ≤ 0.033). Dans ces cas, les réalisations jusqu'au milieu de σ₂ dans les contextes T3/T5+Tx présentent systématiquement une hauteur plus basse que dans les contextes T2/T4+Tx. Dans les SV (RDS), les différences tonales significatives sont juste trouvées au niveau de la finalisation de σ₁ et dans T5+T4 sur toute la durée de σ₁. Les variations tonales sur σ₂ sont toujours observées au niveau de la première moitié de sa durée et liées à la hauteur tonale de la deuxième partie de σ₁. Ainsi, les effets de la concaténation tonale sont majoritairement à l'initiation de σ₂.

5 Conclusion

Notre étude indique que généralement les valeurs de f₀ au niveau de σ₁ dans les SNs et SVs observés ne diffèrent pas significativement de celles mesurées pour les monosyllabes. Juste quelques différences ont été relevées à la frontière avec σ₂ qui peuvent être attribuées à la coarticulation tonale. Ce résultat est révélateur de l'effet du LDS dans les SNs, où le ton de citation est maintenu sur σ₁, tandis que σ₂ reçoit une valeur tonale en fonction du ton de σ₁. En revanche, les tons de citation semblent conservés sur les deux syllabes des SVs, avec quelques différences interprétables comme des effets de coarticulation tonale influençant de manière très brève les tons juste au niveau de la frontière syllabique. Par conséquent, nos résultats ne montrent pas l'existence d'une neutralisation tonale dans les SVs confirmant ainsi Takahashi (2011), tout comme ils ne montrent pas la présence de RDS chez nos trois jeunes locutrices contrairement aux descriptions « traditionnelles » citées plus haut. La présence d'un effet persévératif du ton de σ₁ sur le tout début de σ₂ ne relève pas du sandhi tonal phonologique ; cependant son rôle dans la perception et la catégorisation des syntagmes est certainement un domaine à explorer, tout comme d'ailleurs l'absence de RDS.

Nous prenons la mesure des limites de notre étude (3 participantes jeunes adultes, pas de contraste de position syntaxique, possibilité de variation par quartier urbain). L'extension du corpus est en cours en conservant les mêmes listes de mots et en recueillant des données cette fois sur le terrain wu. La prolongation de cette étude est d'autant plus nécessaire que les descriptions des langues wu n'ont pas encore réussi à proposer des règles de sandhi tonal claires. Nous testerons si cette situation est la conséquence d'une variation diatopique et diastratique importante avec pour principaux facteurs le développement de la mégapole de Shanghai, l'influence du mandarin, ainsi que le contact avec les langues de populations immigrantes (42 % de la population de la ville).
Références

Boersma, P., & Weenink, D. (2023). *Praat, a system for doing phonetics by computer*. (Version 6.3.09)
[Computer software]. https://www.fon.hum.uva.nl/praat/

Feng, L. (2009). *Parlons shanghaïen*. l’Harmattan.

Gao, J. (2016). Sociolinguistic motivations in sound change: On-going loss of low tone breathy voice in Shanghai Chinese. *Papers in Historical Phonology, 1*, 166.

Ling, B., & Liang, J. (2017). Focus encoding and prosodic structure in Shanghai Chinese. *The Journal of the Acoustical Society of America, 141*(6), EL610-EL616.
https://doi.org/10.1121/1.4989739

Ling, B., & Liang, J. (2019). The nature of left- and right-dominant sandhi in Shanghai Chinese—Evidence from the effects of speech rate and focus conditions. *Lingua, 218*, 38–53.
https://doi.org/10.1016/j.lingua.2018.02.004

Qian, N. (1992). 當代吳語研究[Studies in the contemporary Wu-dialects] (1st ed.). Shanghai Educational Publishing House.

Qian, N., Tang, Z., & Xu, B. (2007). 上海話大詞典[Grand dictionnaire du shanghaïen]. Shanghai Lexicographical Publishing House.

Takahashi, Y. (2011). 上海語声調音韻論における窄用式変調の地位. 中国語学, 258, 99–114.
Wee, L.-H. (2018). *Phonological tone*. Cambridge University Press.

Xu, B., Tang, Z., & Qian, N. (1981). 新派上海方言的連續變調[Sandhi tonal in modern Shanghainese]. *方言* [*Dialects*], 2, 145–155.

Xu, B., Tang, Z., You, R., & Qian, N. (Eds.). (1988). 上海市區方言志[Dialect documents of Shanghai Municipal]. Shanghai Educational Publishing House.

Xu, B., & Tao, H. (1997). *上海方言詞典[Dictionary of Shanghai dialect]* (1st ed.). Jiangsu Education Publishing, Ltd.

Xu, Y. (1999). Effects of tone and focus on the formation and alignment of f0 contours. *Journal of Phonetics*, 27(1), 55–105. https://doi.org/10.1006/jpho.1999.0086

Yan, H. (2018). *The Nature of Variation in Tone Sandhi Patterns of Shanghai and Wuxi Wu* (Vol. 4). Springer Singapore. https://doi.org/10.1007/978-981-10-6181-3

Yan, H., Chien, Y.-F., & Zhang, J. (2020). Priming the Representation of Left-Dominant Sandhi Words: A Shanghai Dialect Case Study. *Language and Speech*, 63(2), 362–380.
https://doi.org/10.1177/0023830919849081

Zee, E., & Maddieson, I. (1980). Tones and tone sandhi in Shanghai: Phonetic evidence and phonological analysis. *Glossa*, 14(1), 45–88.

Zhang, J. (2022). Tonal Processes Defined as Tone Sandhi. In C.-R. Huang, Y.-H. Lin, & I.-H. Chen (Eds.), *The Cambridge Handbook of Chinese Linguistics* (1st ed., pp. 291–312). Cambridge University Press. https://doi.org/10.1017/9781108329019.017

Zhang, J., Lai, Y., & Sailor, C. (2011). Modeling Taiwanese speakers’ knowledge of tone sandhi in reduplication. *Lingua, 121*(2), 181–206. https://doi.org/10.1016/j.lingua.2010.06.010

Zhang, J., & Meng, Y. (2016). Structure-dependent tone sandhi in real and nonce disyllables in Shanghai Wu. *Journal of Phonetics*, 54, 169–201. https://doi.org/10.1016/j.wocn.2015.10.004

Zhu, X. (1995). *Shanghai Tonetics* [Doctoral dissertation]. The Australian National University.

Zhu, Y., & Jiao, Z. (2021). A Case Study of Intergenerational Inheritance of Shanghai Dialect in the Environment of Mandarin Popularization. *Journal of Tianjin Foreign Studies University, 28*(2), 98–108.

吳語學堂. (2023). https://www.wugniu.com/
# Synthèse de syllabes avec un modèle de Maeda piloté par une représentation complexe

Frédéric Berthommier

Univ. Grenoble Alpes, CNRS, Grenoble INP, GIPSA-lab, 38000 Grenoble, France
frederic.berthommier@gipsa-lab.grenoble-inp.fr

## RÉSUMÉ

Un modèle mathématique est construit sur une notion de coordination des articulateurs à partir d'une représentation bidimensionnelle complexe. Les voyelles sont représentées par des positions en bordure du cercle unité, et pour le modèle de Maeda, les paramètres articulatoires sont générés avec une fonction de coordination facile à configurer. Les consonnes plosives /bdg/ sont encodées de la même manière, mais pour produire des syllabes, le graphe reliant les positions phonétiques distingue les arcs vocaliques et les arcs consonantiques. Un flux de paramètres articulatoires est dérivé par application sélective de la fonction de coordination. Les contributions de deux groupes d'articulateurs sont ainsi superposées et synchronisées pour piloter le modèle de Maeda et obtenir la synthèse de trajectoires formantiques. Ce modèle possède un schéma déterministe similaire à celui de la phonologie articulatoire, mais de nombreuses simplifications sont opérées.

## ABSTRACT

**Syllable synthesis with a Maeda model driven by a complex representation**

A mathematical model is built on a notion of articulator coordination based on a complex two-dimensional representation. Vowels are represented by positions at the edge of the unit circle, and for the Maeda model, articulatory parameters are generated with an easy-to-configure coordination function. The plosive consonants /bdg/ are encoded in the same way, but to produce syllables, the graph linking phonetic positions distinguishes between vowel arcs and consonant arcs. A stream of articulatory parameters is derived by selective application of the coordination function. The contributions of two groups of articulators are thus superimposed and synchronised to drive a Maeda model and obtain the synthesis of formantic trajectories. This model has a deterministic scheme similar to that of articulatory phonology, but many simplifications are made.

**MOTS-CLÉS** : synthèse articulatoire, relation articulatori-acoustique, voyelles, consonnes, syllabes, coordination des articulateurs, phonologie articulatoire.

**KEYWORDS:** articulatory synthesis, articulatory-acoustic relationship, vowels, consonants, syllables, coordination of articulators, articulatory phonology.

# 1 Introduction

Lors de la production de la parole, les mouvements de la langue, de la mâchoire et des lèvres sont pseudo-périodiques. Prosaïquement, le geste associé à /aiua/ est une rotation de la langue, d'abord vers le haut et l'avant pour /ai/, puis vers l'arrière avec /iu/ et enfin vers l'arrière et vers le bas pour clore le cycle avec /ua/. Ici, la cyclicité de la position des formants est observable avec un simple

<figure><img src="image_221.png" /></figure>
spectrogramme et on en déduit une dépendance entre gestes de la langue et position des formants. Des *nomogrammes* synthétisant la relation articulatori-acoustique ont été construits avec le tube de Fant (Badin *et al.*, 1990) en faisant varier la position et l'ouverture d'une constriction représentant la langue ainsi que l'ouverture à une extrémité. Malheureusement, cette relation est très complexe et elle ne peut pas être modélisée mathématiquement. Dans un spectrogramme ordinaire, les modulations formantiques sont bien présentes, mais on ne peut pas en déduire facilement les mouvements du tractus vocal à cause de la non-linéarité de la relation et surtout de la multiplicité des configurations articulatoires produisant un ensemble de formants donné. De fait, ceci limite considérablement l'étude de la relation entre perception et production de la parole.

Les consonnes sont engendrées par des constrictions du conduit vocal disposées en demi-cercle depuis les lèvres pour le /b/, en position coronale pour le /d/, palatale ou vélaire pour /g/ jusqu'aux lieux d'articulation pharyngal et épiglottal (Schwartz et al., 2012). La Task Dynamics (TD) avec (Nam et al., 2004) encode explicitement les lieux d'articulation des consonnes comme des angles et il est suggéré que des positions angulaires discrètes émergent aussi pour les voyelles avec le modèle de Maeda (Gaines et al., 2021). Pour réaliser les constrictions de concert avec la production des voyelles, la langue effectue des mouvements qui sont potentiellement planifiables dans une représentation complexe par le biais d'un codage angulaire. L'intérêt de celle-ci semble secondaire si on ne coordonne pas tous les articulateurs (la langue et les lèvres) au cours du temps. Coordination et synchronisation sont les clefs de la planification syllabique selon (Xu, 2017, 2020) et nous introduisons ces deux mécanismes en faisant appel à une représentation complexe.

C'est à rebours des approches fondées sur les réseaux neuronaux que nous proposons une méthode de synthèse des syllabes basée sur des régularités du mécanisme de production exprimables dans des espaces de très faible dimension. Le modèle de Maeda (Maeda, 1979, 1990) est construit à partir de coupes sagittales et la factorisation de ces données en termes de commandes articulatoires favorise cette approche. Les aspects cognitifs et la notion d'apprentissage sont relégués au second plan pour privilégier l'identification de ces régularités. En établissant une continuité entre l'espace vocalique et la structure syllabique de la parole avec l'appui de quelques travaux, le but n'est pas de construire des applications, mais d'offrir un éclairage sur la structure profonde de la parole, complémentaire de celui apporté par les réseaux neuronaux (Dupoux, 2018).

## 2 La construction de l'espace vocalique

Préalablement, nous avons montré que le DRM, constitué de huit tubes (Mrayati *et al.*, 1988), est très approprié pour construire une *bijection* entre le cercle unité et l'espace vocalique F1-F2 en exploitant les relations décrites entre variations formantiques et variations du diamètre de chacun des tubes (Berthommier, 2021). Ce modèle n'est pas anatomique et les diamètres des tubes représentent grossièrement, par régions distinctives, la fonction d'aire obtenue à partir d'une coupe sagittale du conduit vocal. Nous avons remplacé la méthode itérative de couverture de l'espace vocalique partant du tube neutre par une détermination directe de la périphérie, où sont situées les voyelles cardinales. Une fonction de coordination du diamètre des tubes est définie à partir des diamètres fixés pour les trois voyelles cardinales /aiu/ (Berthommier, 2021). Cette fonction relie une position dans le cercle unité avec les diamètres des tubes en les corrélant. Pour aller vers les modèles articulatoires, une comparaison a été réalisée entre le DRM et le modèle de Fant pour la construction du triangle vocalique. Dans les deux cas, la détermination de la fonction de coordination n'est pas triviale, car
on associe une représentation trigonométrique à la géométrie linéaire d'un système de tubes. En revanche, avec un modèle de Maeda, ici représenté par VLAM (Boë & Maeda, 1998), nous constatons que cette fonction est déductible sans calcul. Ceci atteste la compatibilité entre un modèle dérivé d'une statistique de configurations articulatoires réelles projetées sur une grille semi-polaire et la fonction de coordination qui génère des configurations à partir d'une représentation complexe.

<figure><img src="image_222.png" /><figcaption>FIGURE 1 – (a) Configuration du modèle de Maeda. (b) Action des 7 paramètres articulatoires. (c) Représentation des trajectoires paramétriques en pile pour la syllabe /udai/ où les valeurs apparaissent verticalement. Les trajectoires vocaliques /ua/ et /ai/ sont en rouge et en bleu pour la consonne /d/.</figcaption></figure>

La configuration de la fonction de coordination Fig 1a est basée sur la moyenne $\Omega$ et l'étendue $\Psi_1$ de chaque paramètre (données a priori de VLAM) plus un angle à déterminer $\Psi_2$. La valeur de chaque paramètre articulatoire $P_i, i = 1..7$ est calculée indépendamment pour un point donné ($\rho_V, \theta_V$) du domaine complexe. La coordination entre $P_i$ est assurée par le produit du même complexe conjugué $\rho_V e^{-j\theta_V}$ avec chaque valeur complexe $\Psi_i$ du modèle :

$$ 
\begin{align} 
P_i - \Omega_i &= \operatorname{Re} [\Psi_i \rho_V e^{-j\theta_V}] \\ 
\mathbf{P} - \mathbf{\Omega} &= \operatorname{Re} [\mathbf{\Psi} \rho_V e^{-j\theta_V}] = \rho_V \mathbf{\Psi}_1 \cos(\mathbf{\Psi}_2 - \theta_V) \tag{1}
\end{align} 
$$

Remarquons que c'est une simple cosinusoïde. Les angles inconnus $\Psi_2$ sont fixés afin que les angles des voyelles /iau/ sur le cercle unité ($\rho_V = 1$) soient $\theta_V = \{\frac{5\pi}{3}, \pi, \frac{\pi}{3}\}$. Pour cela, on assigne l'une des voyelles /iau/ à chaque articulateur de telle sorte que $P_i - \Omega_i = \Psi_{1i}$ pour cet articulateur lorsque $\theta = \Psi_{2i}$. Le paramètre corps de la langue (Body) est aligné sur la réalisation du /i/, l'ouverture des lèvres (LipH), l'abaissement de la pointe (Tip) et de la mâchoire (Jaw) sur /a/ et l'allongement du conduit vocal (LipP, Hy) ainsi que la flexion de la langue (Dorsum) avec /u/ (Fig. 1b pour l'action des paramètres). Ces spécifications établissent une bijection entre le domaine du cercle unité Fig. 2a et une surface dans l'espace des formants F1-F2-F3 (dite surface vocalique Fig. 2c). La répartition angulaire d'autres voyelles cardinales est déductible par antisymétrie centrale. Par exemple, l'angle de $/\epsilon/$ est égal à $\frac{\pi}{3} + \pi = \frac{4\pi}{3}$ avec comme conséquence un renversement de la valeur des paramètres articulatoires du /u/ par rapport à la valeur du neutre car $\cos(x + \pi) = -\cos(x)$. Les angles $\theta_V \in \{0, \frac{\pi}{3}, \frac{\pi}{2}, \frac{2\pi}{3}, \pi, \frac{4\pi}{3}, \frac{3\pi}{4}, \frac{5\pi}{3}\}$ sont associés respectivement aux voyelles /i, u, o, \o, a, \epsilon, e, i/. Celles-ci résultent de l'application de la fonction de coordination et elles ne nécessitent pas d'ajustement particulier. En revanche, nous avons retrouvé à l'écoute l'angle $\frac{11\pi}{6}$ pour la voyelle /y/ moins fréquente (Moran & McCloy, 2019). Les paramètres articulatoires du modèle de Maeda reflètent les commandes musculaires du tractus vocal essentiellement basées sur des relations agonistes-antagonistes (Kröger & Bekolay, 2022). L'antisymétrie centrale est une conséquence directe de la
structure anatomique associant forme semi-circulaire du tractus vocal et commandes musculaires. Cet ensemble est physiquement relié à la structure de l'espace vocalique (Schroeder, 1967; Mrayati et al., 1988; Berthommier, 2021). Ces régularités sont prises en compte par la fonction de coordination, expression mathématique qui ancre l'espace vocalique dans l'anatomie du tractus vocal en établissant une continuité structurelle forte (Fig. 2).

<figure><img src="image_223.png" /></figure>

FIGURE 2 – Illustration de l’effet de la fonction de coordination. Un parcours entre 0 et $2\pi$ dans le sens trigonométrique dans (a) l'espace de planification où les voyelles cardinales sont codées par des angles se traduit par des parcours elliptiques dans (b) l'espace paramétrique. Le point de départ ⊙ et le secteur $\{0, \pi/3\}$ sont figurés. Ici, les paramètres articulatoires sont séparés en 2 groupes visibles {Jaw, LipP, LipH} et non visibles {Body, Dorsum, Apex} pour figurer les corrélations induites par la fonction de coordination. La représentation du paramètre Hy est omise bien qu'il soit pris en compte. (c) Ces mêmes paramètres entraînent un parcours de la périphérie d'une surface vocalique exprimée par la position des formants F1-F2-F3. On retrouve dans l'ordre les voyelles cardinales /u, o, ɔ, a, ε, e, i/ notées ◦ en périphérie de cette surface. La fonction de coordination établit une bijection qui associe tout point du domaine complexe situé à l'intérieur du cercle unité avec un vecteur de paramètres inclus dans les deux ellipses et un point situé sur la surface vocalique, calculé avec (Badin & Fant, 1984) à partir de ce même vecteur.

La relation qu'entretiennent les deux surfaces Fig. 2a-c avec l'espace paramétrique de dimension 6 est visualisée Fig. 2b à l'aide de deux ellipses placées dans un espace 3D. Chacune d'elles représente 3 paramètres visibles et non visibles avec deux points qui sont en rotation lorsque l'on parcourt le cercle unité Fig. 2a. À droite Fig. 2c, la périphérie de la surface vocalique est décrite de façon concomitante. Si l'on se dirige vers le centre du cercle unité, les paramètres se rapprocheront de ceux de la voyelle neutre, et les formants des valeurs (f1n, f2n, f3n) en suivant cette surface. Cela réduit considérablement le calcul de la trajectoire d'une diphtongue dans l'espace paramétrique à sept dimensions. Sans une telle simplification et dans un espace plus grand, la synthèse des diphtongues avec VocalTractLab se montre laborieuse (Xu et al., 2023). (Story et al., 2018) construisent une bijection entre une paramétrisation 2D des formes du conduit vocal et F1-F2. Il s'agit du résultat le plus proche du nôtre, mais il est obtenu avec un modèle à tubes et l'espace vocalique résultant présente des défauts notables. Ici, le pointage exercé depuis le domaine complexe vers la surface F1-F2-F3 est très régulier et les trajectoires dessinées dans l'un apparaissent peu déformées sur l'autre.
## 3 La représentation des consonnes et leur coproduction

Nous proposons d'étendre l'usage de la fonction de coordination aux consonnes en les plaçant dans le même référentiel. Selon (Öhman, 1966) avec des syllabes V1CV2, les consonnes plosives perturbent la trajectoire de F2 marquant une transition entre les voyelles V1 et V2. La modélisation la coproduction voyelles/consonne (Öhman, 1967) est basée sur une pondération qui ne sépare pas les parties du conduit vocal pour les affecter à la constriction ou à cette transition vocalique. Par contre, la structure du DRM est très appropriée pour effectuer une telle séparation. L'effet de perturbation de F2 est obtenu en sélectionnant le tube du lieu d'articulation pour effectuer la constriction et en laissant les autres tubes contribuer à la transition vocalique (Carré & Chennoukh, 1995). Fondé sur un principe équivalent, TubeTalker (Story, 2009, 2013) utilise des formes anatomiques issues d'IRMs, mais le pincement des tubes dans la région orale n'est pas anatomique. On obtient les plosives /bdg/ sur le plan acoustique avec une trace correcte de la coarticulation (Story & Bunton, 2021) mais cela ne renseigne pas bien sur la relation articulatori-acoustique et son contrôle. Cependant, la propriété de séparabilité des paramètres mise en évidence avec ces modèles est intéressante car elle simplifie la coproduction envisagée par (Öhman, 1967). Comme amélioration aboutissant à un résultat audible, (Birkholz, 2013) dispose pour chaque consonne de 3 cibles articulatoires pour /aiu/ et il réalise une moyenne pondérée pour les autres voyelles. Pour planifier la synthèse de syllabes, VocalTractLab possède un niveau vocalique spécifique dans son panel de planification gestuelle. Mais n'y a pas de séparabilité comme avec les modèles à tubes. La TD adopte une solution flexible en coordonnant et en pondérant la participation des articulateurs à une tâche de constriction. La synthèse d'un sous-ensemble de VCVs avec un modèle composite suivant ses principes et à l'aide du modèle de Maeda a été décrite récemment (Alexander et al., 2019). La propriété de séparabilité des articulateurs n'est pas ou peu appliquée en dehors des modèles à tubes.

<figure><img src="image_224.png" /><figcaption>FIGURE 3 – Répartition des consonnes plosives relative à la surface vocalique. La marge périphérique du cercle unité est parcourue tout en bloquant les 3 paramètres {LipH, LipP, Hy} en position neutre. (a) Dans l'espace F1-F2-F3 (b) Référence F1-F2 (Schwartz et al., 2012) (c) Dans l'espace F1-F2.</figcaption></figure>

Les consonnes plosives /bdg/ ont des caractéristiques dynamiques complexes et elles sont présentes en grande proportion dans les langues du Monde, ce qui motive leur choix. En phonologie articulatoire (Saltzman & Munhall, 1989), la notion de tâche pour la réalisation de constrictions *privilégie* implicitement les consonnes par rapport aux voyelles associées à des formes globales du tractus vocal. Cependant, une analogie de production entre consonnes et voyelles est inhérente au lieu de
constriction (Gaines et al., 2021). Une statistique exhaustive des lieux de constriction a été réalisée avec VLAM par (Schwartz et al., 2012). Par le biais d'un nomogramme, elle met en relation les lieux d'articulation des consonnes avec les formants F1-F2-F3 produits au relâchement de la constriction.

Avec la fonction de coordination, les résultats de (Schwartz et al., 2012) sont reproduits sans recourir à des simulations de Monte Carlo Fig. 3b. Avec le même principe que pour les voyelles et en délimitant $1 \le \rho_C \le 1.2$ tout en parcourant le cercle unité, on ne sélectionne que les 4 paramètres contrôlant la langue et la mâchoire Fig. 1a-b, en fixant en position neutre les trois paramètres restants Fig. 3a-c. D'une part, cette sélection laisse libres trois paramètres qui sont séparables pour effectuer une tâche de coproduction des voyelles. D'autre part, en augmentant les valeurs de $\rho$, une fermeture du conduit vocal, limitée par une rectification douce, est engendrée sur une partie du cercle unité. Consonnes et voyelles se retrouvent plongées dans une représentation commune. La procédure de découverte proposée comme analogue au babillage (Schwartz et al., 2012) est également simplifiée puisque les angles attribuables aux consonnes /dg/ (respectivement $\theta_C \approx \{\frac{3\pi}{2}, -\frac{\pi}{12}, \frac{\pi}{3}\}$ avec deux positions, antérieure et postérieure, pour /g/) sont très proches de ceux des voyelles cardinales /e, i, u/. Avec un tel a priori, leur découverte ne demande que peu de tâtonnements et nous restons dans le cadre de l'émergence structurale mise en évidence pour les voyelles cardinales. Les phonèmes sont replacés dans un cadre intrinsèquement structuré et le conflit inhérent au choix de contrôle des lieux de constriction plutôt que celui de la forme globale du tractus vocal est résolu naturellement.

# 4 La synthèse des syllabes

Pour définir une coproduction fondée sur la séparabilité des articulateurs, nous proposons que la structure syllabique soit représentée par un graphe constitué de noeuds pour les phonèmes et d'arcs représentant des trajectoires entre chaque noeuds, planifiées dans le plan complexe. On distingue les trajectoires vocaliques et consonantiques entre deux points de rendez-vous avec une *synchronisation* (Xu, 2017, 2020). Les articulateurs associés à chacune des branches sont définis par un processus de sélection. La synchronisation est quant à elle obtenue en associant les arcs à des multiples entiers d'une période de référence T. La structure temporelle de la production est liée à l'enchaînement des gestes articulatoires qui forment des unités syllabiques de taille intermédiaire puis des mots par concatenation. Sur le plan temporel, nous faisons l'hypothèse que les segments ont une durée relativement constante à court terme mais que la structure superficielle reste pseudo-périodique.

La synthèse des syllabes CV découle de cette représentation des consonnes. En effet, les articulateurs qui ne sont pas affectés sont *libres* pour les transitions vocaliques. S'il est couramment admis que C et V ont un début synchrone, en phase selon la phonologie articulatoire (Browman & Goldstein, 1992), il faut spécifier l'anticipation de la forme des lèvres. Exemple classique, l'arrondissement des lèvres précède l'onset consonantique pour /Cu/ (Daniloff & Moll, 1968). Pour réaliser la coproduction CV et assurer la synchronisation des articulateurs, nous introduisons comme point d'ancrage une voyelle réduite (centralisée). Ici, on assigne à la trajectoire $/u_r/$ (réduit) vers $/u/$ les paramètres qui ne sont pas nécessaires à l'articulation de la consonne. Pour /Cu/, l'anticipation de la protrusion des lèvres apparaît avec le paramètre LipP.

Les trajectoires des voyelles et des consonnes sont planifiées dans le plan complexe Fig. 4a en formant des arcs entre 2 points $(\rho_1, \theta_1)$ et $(\rho_2, \theta_2)$ :

$$z(t) = (1 - \rho(t)) \rho_1 e^{j\theta_1} + \rho(t) \rho_2 e^{j(\theta_2 + \frac{\nu}{K} \theta(t))} \quad (2)$$
où $t$ varie entre 0 et $nT$, $\rho(t) = \cos(\frac{\theta(t)}{2})$ détermine le profil de vitesse et $\nu = \pm 1$ et $K$ sont des paramètres de forme de la trajectoire (voir aussi (Berthommier, 2023)). Lorsque $K$ est grand ($K = 30$ pour les arcs de voyelles et $K = 10$ pour les arcs de consonnes), les trajectoires deviennent plus rectilignes dans le plan complexe (voir Fig. 4a).

À chaque instant $t$, l'ensemble des paramètres est coordonné avec l'équation 1 et la trajectoire paramétrique est obtenue par enchaînement de périodes de temps de durée $nT$. Au cours de chaque période, les trajectoires des paramètres sont la partie réelle du produit du vecteur colonne complexe $\Psi$ qui représente le modèle articulaire, et du vecteur ligne complexe $\bar{z}(t)$ issu de la planification. Il en résulte des matrices de dimension $7 * nT$ qui sont concatenées :

$$ P(t) - \Omega = Re [\Psi \bar{z}(t)] = (1 - \rho(t)) \rho_1 \Psi_1 \cos(\Psi_2 - \theta_1) \\ + \rho(t) \rho_2 \Psi_1 \cos(\Psi_2 - \theta_2 - \frac{\nu}{K} \theta(t)) \quad (3) $$

Il reste à instancier le processus de sélection reposant sur la séparabilité des articulateurs. Les trajectoires des segments vocaliques et des pauses sont définies par l'équation précédente seule, tandis que la superposition des trajectoires vocaliques et consonantiques nécessite une coordination séparée. Notons que la fonction de coordination s'applique alors en chaque $t$ sur les deux trajectoires $\bar{z}_v$ et $\bar{z}_c$. La coarticulation entre voyelles et consonnes est produite par la superposition de ces 2 branches ayant la même durée $nT$ ainsi que les mêmes points de départ et d'arrivée qui sont des voyelles éventuellement réduites (i.e. VCVr pour VC ou VrCV pour CV) :

$$ P(t) - \Omega = Re [S_v \Psi \bar{z}_v(t) + S_c \Psi \bar{z}_c(t)] \quad (4) $$

où $S_v$ et $S_c$ sont les deux vecteurs de sélection exclusifs composés de zéros et de uns pour les articulateurs sélectionnés avec $S_v + S_c = 1$ (un vecteur colonne de $7*1$). Avec un produit de Hadamard, les composantes non sélectionnées du vecteur complexe $\Psi$ sont annulées. La composition de ces vecteurs dépend de la (ou des) consonnes. Nous avons vu que pour /dg/, la mâchoire et les 3 paramètres de la langue sont nécessaires tandis que pour /b/ la sélection de l'ouverture des lèvres est complémentée par la mâchoire et le corps de la langue. D'autres détails concernant la sélection des articulateurs et la planification des clusters consonantiques sont disponibles (Berthommier, 2023).

Dans l'exemple /udai/ Fig. 4a, la trajectoire /ua/ est perturbée par /d/. Durant cette coproduction, deux ensembles d'articulateurs notés Fig. 1a sont coordonnés séparément. Tandis que le premier ensemble (consonne) suit la trajectoire de /u/ vers /d/ puis vers /a/ en deux périodes T, le second (voyelle) va de /u/ à /a/ de façon synchronisée. Les trajectoires visibles dans la pile paramétrique Fig. 1c sont différentes et leurs effets sur l'unique trajectoire formantique se superposent. Mathématiquement, la conséquence de la superposition est d'augmenter la dimension de la planification de 2 (1 nombre complexe) à 4 (2 nombres complexes). Cette augmentation est observable dans l'espace des formants Fig. 4c : alors que la trajectoire de la diphtongue /ai/ reste sur la surface vocalique, la trajectoire des segments superposés /uda/ Fig. 4c en sort. La coarticulation du /d/ est réalisée par une attraction du locus situé au point de rebroussement de la trajectoire, vers la branche /ua/ portée par les lèvres et le larynx. Notons enfin que si la méthode est adaptée pour planifier Fig. 4a les trajectoires des formants Fig. 4c-d et offrir des animations du modèle de Maeda, ce qui concerne le contrôle effectif des articulateurs reste très hypothétique. Comme nous l'avons indiqué, le champ d'application est celui de la phonologie articulaire où il peut apporter une série de simplifications, en particulier sur la planification des syllabes. Pour la reproduction de gestes articulatoires, la TD s'appuie sur des enregistrements de données EMA correspondant aux variables articulatoires du modèle, tandis qu'ici une telle référence n'existe pas. En revanche, les paramètres de Maeda issus d'une factorisation par
<figure><img src="image_225.png" /><figcaption>FIGURE 4 – Synthèse de la syllabe /udai/. (a) Graphe de planification syllabique avec en rouge les trajectoires vocaliques et en bleu les consonantiques. Elles relient les phonèmes situés en position périphérique du cercle unité. (b) Flux de 7 paramètres articulatoires évalués par périodes T=120 ms concatenées sans lissage (ici 5T). (c) Trajectoire des 3 premiers formants mise en rapport avec la surface vocalique. (d) Enveloppe et spectrogramme de sortie. Une modulation construite à partir de la structure syllabique et pour les consonnes plosives /bdg/ est appliquée.</figcaption></figure>

PCA guidée reflètent des groupes musculaires dont le contrôle serait séparable (Maeda & Honda, 1994; Kröger & Bekolay, 2022). Très hypothétiquement, on obtiendrait ici Fig. 4b une image de leurs modulations d'activité.

# 5 Conclusion

Avec un dessin équivalent, combinant une planification à l'échelle syllabique et une inférence des commandes articulatoires d'un modèle, les simplifications exercées par rapport l'AP/TD (Saltzman & Munhall, 1989; Browman & Goldstein, 1992) sont nombreuses. Les relations temporelles entre gestes articulatoires étant fixées au moment de la planification syllabique, le recours à une évaluation dynamique à l'aide d'oscillateurs couplés n'est pas nécessaire (Xu, 2020). Ceci entraîne des différences de description de la structure syllabique. En ce qui concerne la TD, nous avons vu qu'il n'est pas nécessaire de réaliser une transformation pour déduire des paramètres de commande d'un modèle articulatoire à partir de variables articulatoires liées aux tâches de constriction. En effet, ces paramètres sont obtenus directement, et les trajectoires vocaliques sont pointées spatialement depuis la représentation complexe, reliant production et formes acoustiques résultantes de façon cohérente.
Références

ALEXANDER R., SORENSEN T., TOUTIOS A. & NARAYANAN S. (2019). A modular architecture for articulatory synthesis from gestural specification. *The Journal of the Acoustical Society of America*, **146**(6), 4458–4471. DOI: 10.1121/1.5139413.

BADIN P. & FANT G. (1984). *Notes on vocal tract computations*. Stl- qpsr 2-3/1984, Royal Institute of Technology, Stockholm, Sweden.

BADIN P., PERRIER P., BOË L. & ABRY C. (1990). Vocalic nomograms : Acoustic and articulatory considerations upon formant convergences. *The Journal of the Acoustical Society of America*, **87**(3), 1290–1300. DOI: 10.1121/1.398804.

BERTHOMMIER F. (2021). A mathematical model of the vowel space. DOI: 10.48550/arXiv.2111.00868.

BERTHOMMIER F. (2023). Why can big.bi be changed to bi.gbi? a mathematical model of syllabification and articulatory synthesis. DOI: 10.48550/arXiv.2307.02299.

BIRKHOLZ P. (2013). Modeling consonant-vowel coarticulation for articulatory speech synthesis. *PLOS ONE*, **8**(4), 1–17. DOI: 10.1371/journal.pone.0060603.

BOË L.-J. & MAEDA S. (1998). Modélisation de la croissance du conduit vocal. journées d'Études linguistiques. In *La voyelle dans tous ses états*, p. 98–105.

BROWMAN C. P. & GOLDSTEIN L. M. (1992). Articulatory phonology : An overview. *Phonetica*, **49**, 155–180. DOI: 10.1159/000261913.

CARRÉ R. & CHENNOUKH S. (1995). Vowel-consonant-vowel modeling by superposition of consonant closure on vowel-to-vowel gestures. *Journal of Phonetics*, **23**(1), 231–241. DOI: 10.1016/S0095-4470(95)80045-X.

DANILOFF R. & MOLL K. (1968). Coarticulation of lip rounding. *Journal of Speech and Hearing Research*, **11**(4), 707–721. DOI: 10.1044/jshr.1104.707.

DUPOUX E. (2018). Cognitive science in the era of artificial intelligence : A road-map for reverse-engineering the infant language-learner. *Cognition*, **173**, 43–59. DOI: 10.1016/j.cognition.2017.11.008.

GAINES J. L., KIM K. S., PARRELL B., RAMANARAYANAN V., NAGARAJAN S. S. & HOUDE J. F. (2021). Discrete constriction locations describe a comprehensive range of vocal tract shapes in the Maeda model. *JASA Express Letters*, **1**(12), 124402. DOI: 10.1121/10.0009058.

KRÖGER B. J. & BEKOLAY T. (2022). Producing syllables : motor planning, motor programming and execution. In O. NIEBUHR, M. S. LUNDMARK & H. WESTON, Éds., *Studientexte zur Sprachkommunikation : Elektronische Sprachsignalverarbeitung 2022*, p. 1–8 : TUDpress, Dresden.

MAEDA S. (1979). Un modèle articulaire de la langue avec des composantes linéaires. In *Actes 10 èmes Journées d'Etude sur la Parole*, p. 152–162.

MAEDA S. (1990). Compensatory articulation during speech : Evidence from the analysis and synthesis of vocal-tract shapes using an articulatory model. In D. J. HARDCASTLE & A. MARCHAL, Éds., *Speech Production and Speech Modelling*, NATO ASI Series, p. 131–149. Springer Netherlands, Dordrecht. DOI: 10.1007/978-94-009-2037-8_6.

MAEDA S. & HONDA K. (1994). From emg to formant patterns of vowels : The implication of vowel spaces. *Phonetica*, **51**(1-3), 17–29. DOI: 10.1159/000261955.

MORAN S. & MCCLOY D., Éds. (2019). *PHOIBLE 2.0*. Jena : Max Planck Institute for the Science of Human History.
MRAYATI M., CARRÉ R. & GUÉRIN B. (1988). Distinctive regions and modes : A new theory of speech production. *Speech Commun.*, **7**(3), 257–286. DOI: 10.1016/0167-6393(88)90073-8.

NAM H., GOLDSTEIN L., SALTZMAN E. & BYRD D. (2004). Tada: An enhanced, portable task dynamics model in matlab. *The Journal of the Acoustical Society of America*, **115**(5), 2430–2430. DOI: 10.1121/1.4781490.

SALTZMAN E. L. & MUNHALL K. G. (1989). A dynamical approach to gestural patterning in speech production. *Ecological Psychology*, **1**(4), 333–382. DOI: 10.1207/s15326969eco0104_2.

SCHROEDER M. R. (1967). Determination of the geometry of the human vocal tract by acoustic measurements. *The Journal of the Acoustical Society of America*, **41**(4B), 1002–1010. DOI: 10.1121/1.1910429.

SCHWARTZ J.-L., BOË L.-J., BADIN P. & SAWALLIS T. R. (2012). Grounding stop place systems in the perceptuo-motor substance of speech : On the universality of the labial–coronal–velar stop series. *Journal of Phonetics*, **40**(1), 20–36. DOI: 10.1016/j.wocn.2011.10.004.

STORY B. H. (2009). Vowel and consonant contributions to vocal tract shape. *The Journal of the Acoustical Society of America*, **126**(2), 825–836. DOI: 10.1121/1.3158816.

STORY B. H. (2013). Phrase-level speech simulation with an airway modulation model of speech production. *Computer Speech and Language*, **27**(4), 989–1010. DOI: 10.1016/j.csl.2012.10.005.

STORY B. H. & BUNTON K. (2021). Identification of voiced stop consonants produced by acoustically driven vocal tract modulations. *JASA Express Letters*, **1**(8), 085203. DOI: 10.1121/10.0005917.

STORY B. H., VORPERIAN H. K., BUNTON K. & DURTSCHI R. B. (2018). An age-dependent vocal tract model for males and females based on anatomic measurements. *The Journal of the Acoustical Society of America*, **143**(5), 3079–3102. DOI: 10.1121/1.5038264.

XU A., VAN NIEKERK D., KRUG P., PROM-ON S., BIRKHOLZ P. & XU Y. (2023). Computational models for articulatory learning of english diphthongs : One dynamic target vs. two static targets. In *Proc. of the 20th International Congress of Phonetic Sciences (ICPhS 2023)*, p. 4140–4144.

XU Y. (2017). Syllable as a synchronization mechanism. In *Proceedings of 8th Tutorial and Research Workshop on Experimental Linguistics*, p. 9–12. DOI: 10.36505/ExLing-2017/08/0003/000305.

XU Y. (2020). Syllable is a synchronization mechanism that makes human speech possible. DOI: 10.31234/osf.io/9v4hr.

ÖHMAN S. E. G. (1966). Coarticulation in vcv utterances : Spectrographic measurements. *The Journal of the Acoustical Society of America*, **39**(1), 151–168. DOI: 10.1121/1.1909864.

ÖHMAN S. E. G. (1967). Numerical model of coarticulation. *The Journal of the Acoustical Society of America*, **41**(2), 310–320. DOI: 10.1121/1.1910340.
# Traitement incrémental de la prosodie en L2

Giuseppina Turco¹ Chie Nakamura², Hiyon Yoo¹

(1) Université Paris-Cité, CNRS, Laboratoire de Linguistique Formelle,
Rue Albert Einstein, F-75013 Paris,

(2) Global Center for Science and Engineering, Waseda University, Tokyo, Japon
giuseppina.turco@cnrs.fr, cnakamura@aoni.waseda.jp, hi-yon.yoo@u-paris.fr

## RESUME

Les auditeurs natifs s'appuient sur des indices prosodiques pour résoudre les ambiguïtés syntaxiques à un stade très précoce du traitement en ligne des phrases. Nous proposons de tester si un mécanisme similaire est utilisé par les auditeurs de langue seconde. En utilisant un paradigme du monde visuel, nous avons testé des phrases en anglais avec une ambiguïté d'attachement du syntagme prépositionnel avec des apprenants français d'anglais L2. L'impact de la frontière prosodique placée avant ou après le Syntagme Nominal objet a été examiné (p. ex. *The boy will write to % the panda with the crayon*, ou *The boy will write to the panda % with the crayon*). Nos résultats préliminaires montrent que les apprenants français sont capables d'intégrer l'information des frontières prosodiques pour résoudre l'ambiguïté syntaxique plus rapidement que les populations d'apprenants testées précédemment (c.-à-d. L1 japonais et L2 anglais). Cela suggère que les apprenants exploitent des indices prosodiques fins dans les décisions d'analyse syntaxique pour localiser l'information de frontière.

## ABSTRACT

Native listeners rely on prosodic cues for the resolution of syntactic ambiguity at very early stage of online sentence processing. In the current study we test whether a similar mechanism is shared by second language (L2) listeners. In a visual word paradigm experiment, we used sentences with PP attachment ambiguity such as the boy will write to the panda with the crayon and tested French learners of L2 English. We examined the impact of the prosodic boundary that was placed either before or after the patient NP (e.g., *The boy will write to % the panda with the crayon*, or *The boy will write to the panda % with the crayon*). Our preliminary results show that French learners can integrate prosodic boundary information for the resolution of syntactic ambiguity faster than previously tested learner populations (i.e. L1 Japanese-to-L2 English). This suggests that learners exploit fine-grained prosodic cues in parsing decisions to locate boundary information.

**MOTS-CLES :** prosodie L2, frontière prosodique, traitement prosodique, oculométrie

**KEYWORDS :** L2 prosody, prosodic boundary, processing, eye-tracking

## 1. Introduction

La frontière prosodique peut être utilisée comme indice prosodique pour signaler la structure syntaxique (voir Pierrehumbert 1980 ; Shafer et al. 2000 ; pour le français, Michelas et D'Imperio 2015 et références y citées). Il a été précédemment montré que les auditeurs intègrent rapidement les informations de la frontière prosodique (telles que le ton de frontière, l'allongement de la fin de phrase, etc.) pour résoudre certaines ambiguïtés syntaxiques (p. ex. Nakamura et al. 2012). L'exemple dans (1) illustre un cas où l'ambiguïté existe à cause de la portée du syntagme

<figure><img src="image_226.png" /></figure>
prépositionnel (SP), qui peut donner lieu à une interprétation du SP comme *instrument* ou *modificateur* du syntagme nominal (SN) objet.

The boy will write to the panda with the crayon. (1)
Le garçon écrira au panda [avec le crayon]

(Interprétation de l'instrument : le garçon écrira au panda en utilisant le crayon)

(Interprétation du modificateur : Le garçon écrira au panda qui a le crayon)

Dans la présente étude, nous cherchons à savoir si les apprenants de L2 utilisent des indices prosodiques pour construire des prédictions structurelles. Certaines études sur le traitement des phrases en L2 suggèrent que les apprenants ne sont pas capables d'anticiper les informations à venir et qu'ils sont donc moins performants dans le traitement prédictif que les natifs (Grüter & Rohde 2013, Ito et al. 2018). Le paradigme expérimental de modalité visuelle a été utilisé pour tester le traitement prédictif notamment quand la prosodie entre en jeu (Ito et al. (2018) ; Nakamura et al. (2019). Contrairement à Ito et al. (2018), Nakamura et al. (2019) ont montré que les apprenants japonais L2 d'anglais étaient en effet capables de désambiguïser les structures avec un SP potentiellement ambigu en utilisant la prosodie, mais qu'ils le faisaient avec un décalage temporel par rapport aux natifs. Selon eux, un tel retard peut s'expliquer par : i) un effort cognitif accru causé par plusieurs sources d'information que les apprenants doivent traiter pendant le traitement en ligne (Hale 2006 ; Levy 2008), et ii) et un accès plus faible des apprenants aux régularités distributionnelles statistiques en raison de leur exposition limitée à la L2 (voir Farmer 2013).

L'objectif de la présente étude est donc de tester ces possibilités auprès d'une population d'apprenants dans laquelle les L1 et L2 utilisent des indices prosodiques plus similaires pour signaler l'attachement du SP. À cette fin, nous avons testé des apprenants français d'anglais L2 en adoptant le paradigme du monde visuel et les stimuli utilisés dans Nakamura et al. (2019). Bien que le français et le japonais partagent les mêmes principes phrastiques (c.-à-d., la phrase accentuelle, Jun & Fougeron 2002 pour le français, Venditti 2005 pour le japonais), ils diffèrent dans la pondération des indices prosodiques utilisés pour localiser les frontières. Le français est plus proche de l'anglais en ce sens qu'ils utilisent tous deux des modèles d'allongement final et de montée de la F0 (Beckman 1986 ; Féry 2016) bien que les deux langues présentent des différences au niveau du nombre de constituants de frontières et « scaling tonal » au sein de ces niveaux, entre autres (voir Michelas & D'Imperio 2015). En revanche, le japonais utilise un ton de frontière bas à la fin des groupes prosodiques (Pierrehumbert & Beckman 1988).

En outre, des travaux antérieurs sur le traitement des phrases par des auditeurs natifs ont montré que les attentes en matière de traitement peuvent changer en cas de variation de l'input linguistique. Les régularités statistiques disponibles dès l'input sont fortement exploitées par les auditeurs L1 afin de générer des prédictions fortes sur les informations à venir, et elles sont continuellement mises à jour lorsque l'input diffère de ce qui était attendu (cf. *adaptation linguistique*, Norris *et al.* 1995). Comme pour les apprenants japonais d'anglais L2, nous testons ici si les apprenants français d'anglais L2 sont capables de faire de telles adaptations lorsqu'ils sont confrontés à la variabilité de l'input linguistique.

# 1 Protocole expérimental

L'expérience 1 cherche à établir si les apprenants français d'anglais L2 utilisent les frontières prosodiques de manière incrémentale pour résoudre l'ambiguïté syntaxique liée à l'attachement du SP. L'expérience 2 cherche à savoir si les apprenants sont capables de faire des ajustements lorsque les frontières prosodiques ne s'alignent pas sur la syntaxe, c'est-à-dire si le degré auquel les
apprenants utilisent les indices prosodiques dans l'analyse structurelle est modulé par la fiabilité de la prosodie.

En utilisant un design 2x2, nous avons manipulé i) l'emplacement de la frontière prosodique (étiquetée "LH%" ci-dessous) qui a été placée avant (2a-3a) ou après (2b-3b) le modificateur (par exemple, le panda) et ii) la plausibilité (2a-b) ou non plausibilité (3a-b) de l'instrument (p. ex., la gelée). Ces deux manipulations ont donné lieu à 4 conditions, présentées dans le Tableau 1. Si les apprenants de L2 utilisent des informations sur les frontières prosodiques pour l'analyse structurelle en ligne, nous nous attendons à i) plus de regards vers l'objet modificateur (p. ex. panda tenant un crayon, panda tenant de la gelée) en entendant la prosodie du modificateur (2a-3a dans le Tableau 1), et ii) plus de regards vers l'objet de l'instrument (p. ex., le crayon) en entendant la prosodie de l'instrument (2b). En outre, nous nous attendons à iii) des effets « garden-path » en entendant "gelée" dans la condition de non-concordance (c.-à-d. 3b).

<table><caption>Tableau 1: Exemple d'élément utilisé dans quatre conditions. La frontière prosodique avant et après le modificateur (c.-à-d. "panda") est étiquetée avec les tons de frontière L-H%. Le ton de frontière L-L% signale la fin de la phrase.</caption><thead><tr><th></th><th>Instrument plausible</th><th>Instrument non plausible</th></tr></thead><tbody><tr><th>Modificateur</th><td>2a) The boy<sub>L-H%</sub> will write to<sub>L-H%</sub> the panda with the crayon<sub>L-L%</sub>.</td><td>3a) The boy<sub>L-H%</sub> will write to<sub>L-H%</sub> the panda with the jelly<sub>L-L%</sub>.</td></tr><tr><th>Instrument</th><td>2b) The boy<sub>L-H%</sub> will write to the panda<sub>L-H%</sub> with the crayon<sub>L-L%</sub>.</td><td>3b) The boy<sub>L-H%</sub> will write to the panda<sub>L-H%</sub> with the jelly<sub>L-L%</sub>.</td></tr></tbody></table>

Les deux expériences étaient toutes les deux composées du même ensemble de 24 éléments expérimentaux, à l'exception des fillers. La scène visuelle contenait cinq images correspondant à des objets représentés sous forme de dessins animés. Leur position sur l'écran était contrebalancée.

Chaque énoncé a été enregistré par un locuteur natif anglais. Les items expérimentaux ont été intercalés avec 48 items de fillers et pseudo-randomisés sur quatre listes suivant une procédure de carré latin. Afin de tester si les apprenants de L2 sont capables de s'adapter à la fiabilité de l'information prosodique, l'Expérience 2 contenait des fillers produits avec une frontière prosodique placée dans des positions inattendues de la phrase (« fillers avec frontière atypique »). En d'autres termes, la frontière L-L%, habituellement utilisée en fin de phrase, a été produite entre le déterminant et le syntagme nomina (SN) final de la phrase (phrase (2) ci-dessous).

The boy<sub>L-H%</sub> will touch the tie and the razor<sub>L-L%</sub>. (2)
(Au lieu de : Le garçon<sub>L-H%</sub> touchera L-H% la cravate et le rasoir L-L% utilisés dans l'Exp. 1)

<figure><img src="image_227.png" /><figcaption>FIGURE 1(A)-(B) : Scènes visuelles - image plausible de rattachement à l'instrument (a : à gauche) et image non plausible de l'instrument (b : à droite).</figcaption></figure>

Vingt-et-un locuteurs natifs français autopositionnés de niveau B2/C1 selon le Cadre européen commun de référence pour les langues (CECR, 2021) ont participé à l'expérience 1, et 14 locuteurs natifs français à l'expérience 2. Tous les participants ont déclaré n'avoir aucune déficience visuelle ou auditive. Les expériences se sont déroulées dans la salle d'expérience au Laboratoire de Linguistique Formelle de l'Université Paris-Cité.
La tâche était d'écouter les énoncés tout en prêtant attention à la scène visuelle affichée sur l'écran de l'ordinateur. Après les instructions, l'œil dominant de chaque participant a été calibré à l'aide d'une échelle de 9 points. Les mouvements oculaires des participants ont été enregistrés à l'aide de l'Eye-link II. Pour chaque session, les éléments ont été présentés comme suit : la scène visuelle est apparue en premier et a été suivie (après 2500 ms) par l'item auditif (présentée par des haut-parleurs). Chaque session était suivie d'une question afin de s'assurer que les participants restent concentrés pendant la durée de l'expérience (30 minutes). Une correction de la dérive a été mise en place au début de chaque essai.

## 2 Analyse des données

Le logit des regards a été calculé pour chaque objet par rapport aux regards portés sur tous les objets de la scène, y compris l'arrière-plan (Barr 2008). Les analyses statistiques ont été réalisées à l'aide de modèles linéaires à effets mixtes (Baayen et al. 2008).

Nous avons analysé les regards portés sur les deux objets cibles (modificateur et instrument) dans deux fenêtres temporelles. Tout d'abord, dans la fenêtre de ce que nous appelons « fenêtre d'anticipation », nous avons analysé les regards portés sur les deux objets cibles pendant une durée de 341ms depuis l'apparition de la préposition (« with » avec) jusqu'à l'apparition du mot final (« crayon/jelly », crayon/gelée). Il s'agit de déterminer si les participants ont adopté une analyse structurelle du SP, basée sur l'emplacement des frontières prosodiques avant de rencontrer la cible. Si les apprenants utilisent l'emplacement des frontières pour anticiper la résolution structurelle de l'ambiguïté d'attachement du SP, des mouvements oculaires prédictifs vers l'image la plus compatible avec la structure attendue devront être observés à l'intérieur de cette fenêtre.

Ensuite, nous avons analysé les regards portés sur les deux objets cibles pendant une durée de 618 ms, depuis l'apparition du mot final de la phrase jusqu'au décalage minimal de la phrase (« fenêtre mot final de la phrase »). Dans le cas critique, les auditeurs entendent d'abord la prosodie instrumentale suivie d'un nom qui est incompatible avec une interprétation instrumentale (i.e. *crayon*), comme dans (3b). Si les apprenants anticipent une interprétation instrumentale du SP, la rencontre d'un nom d'instrument non plausible (i.e. *gelée*) dans le SP devrait générer un décalage entre l'audio et leurs attentes, retardant les regards vers le nom d'instrument non plausible, car c'est la mention de l'objet d'instrument plausible (i.e. *crayon*) qui est attendue. Autrement dit, les regards portés sur l'objet instrument dans la fenêtre temporelle du mot final de la phrase seront également analysés afin d'examiner si les apprenants rencontrent des difficultés de traitement lorsque l'attente de la structure à venir ne correspond pas à l'objet dans le SP.

Pour chaque analyse, nous avons exploré la possibilité que les participants adoptent différentes stratégies au cours de l'expérience en analysant les changements des mouvements oculaires vers chaque objet dans la première et la seconde moitié de l'expérience. Le modèle LME utilisé pour chaque analyse comprenait des effets fixes de PROSODIE (prosodie du modificateur, dorénavant, « PM » ou prosodie d'instrument « PI »), de TYPE D'IMAGE (image d'instrument plausible ou non plausible) et de BLOC (premier ou deuxième bloc de l'expérience). L'interaction des trois effets a été prise en compte. Les mêmes analyses statistiques ont été effectuées pour tester les résultats de l'expérience 2.

### 2.1 Résultats de l'expérience 1 (construite avec des fillers sans frontière atypique)

Ci-dessous, nous ne présentons que les résultats significatifs du modèle en ce qui concerne les regards vers les objets cibles (modificateur, instrument) dans les deux différentes fenêtres temporelles. Les résultats du modèle dans la fenêtre temporelle d'anticipation pour les regards vers l'objet modificateur ont montré un effet principal du BLOC (β=-2.09, SE=0.49, t=-4.29, p<0.001).
ansi qu'une interaction entre la PROSODIE et le BLOC ($\beta$=-1.29, SE=0.65, t=-1.98, p<0.05). Des analyses supplémentaires sur l'effet de la PROSODIE dans chaque bloc de l'expérience ont montré que l'effet de la PROSODIE était significatif uniquement dans la seconde moitié de l'expérience (p=0.46 dans le premier bloc, p<0.05 dans le second bloc). Cette interaction suggère que les apprenants ont regardé significativement plus l'objet modificateur (panda tenant un crayon/une gelée dans la Figure 1) lorsqu'on leur présentait la PM que la PI au fur et à mesure qu'ils faisaient plus d'essais dans l'expérience (Figure 2(A)).

<figure><img src="image_228.png" /><figcaption>FIGURE 2(A)-(B) : Changement des regards d'une session à l'autre de l'expérience portés sur l'objet modificateur (figure de gauche) et ceux portés sur l'objet instrument (figure de droite) dans deux types de prosodie dans la fenêtre temporelle d'anticipation.</figcaption></figure>

Les résultats pour les regards vers l'objet instrument (i.e. le *crayon* dans la Figure 1) ont révélé une interaction entre la PROSODIE et le BLOC ($\beta$=0.96, SE=0.41, t=2.32, p<0.05). Des analyses supplémentaires sur l'effet de la PROSODIE dans chaque bloc de l'expérience ont montré que l'effet de la PROSODIE n'était significatif que dans la seconde moitié de l'expérience (p=0.22 dans le premier bloc, p<0.05 dans le second bloc, voir Figure 2(B)). Comme pour les résultats de la Figure 2(A), cela suggère que plus ils font d'essais, plus les apprenants regardent significativement l'objet instrument lorsqu'on leur présente la PI que la PM.

Les résultats du modèle dans la fenêtre temporelle mot final de la phrase pour les regards vers l'objet modificateur ont montré un effet principal de la PROSODIE ($\beta$=-1.18, SE=0.34, t=-3.46, p<0.001) et du BLOC ($\beta$=-1.47, SE=0.41, t=-3.56, p<0.01). L'effet principal de la PROSODIE indique que les apprenants ont regardé significativement plus l'objet modificateur avec la PM qu'avec la PI (Figure 3(A)). L'effet principal du BLOC indique qu'ils regardent moins l'objet modificateur à mesure qu'ils se familiarisent avec l'expérience quel que soit le type de prosodie ou le type d'image. Les résultats du modèle pour les regards vers l'objet instrument ont montré un effet principal de la PROSODIE ($\beta$=0.53, SE=0.25, t=2.13, p <0.05) et du TYPE D'IMAGE ($\beta$=-1.03, SE=0.25, t=-4.05, p<0.001). Comme dans la Figure 3(B), l'effet principal de la PROSODIE démontre que les apprenants ont regardé l'objet instrument plus souvent lorsqu'on leur a présenté la PI que la PM.

Comme l'illustre également la Figure 3(B), l'effet principal du TYPE D'IMAGE montre que les apprenants regardent significativement plus l'instrument avec l'image plausible de l'instrument (Figure 1(A)) qu'avec l'image non plausible de l'instrument (Figure 1(B)), quel que soit le type de prosodie. Cela indique qu'en entendant le mot final de la phrase, les participants ont regardé l'objet instrument plus souvent lorsque la phrase se terminait par un nom d'objet instrumental et que la scène visuelle contenait deux objets instrumentaux du même type (p. ex., deux *crayons de couleur* dans la Figure 1(A) par rapport à un *crayon de couleur* dans la Figure 1(B)).