# La reconnaissance automatique de phonèmes est-elle réellement adaptée pour l'analyse de la parole spontanée ?

Vincent P. Martin¹ Colleen Beaumard²,³ Charles Brazier²

Jean-Luc Rouas² Yaru Wu⁴

(1) DDP Research Unit, Department of Precision Health, LIH, L-1445 Strassen, Luxembourg

(2) Univ. Bordeaux, CNRS, Bordeaux INP, LaBRI, UMR 5800, F-33400 Talence, France

(3) Univ. Bordeaux, CNRS, SANPSY, UMR 6033, F-33000 Bordeaux, France

(4) Université de Caen, CRISCO/UR4255, France

vincentp.martin@lih.lu, {colleen.beaumard,

charles.brazier, jean-luc.rouas}@labri.fr, yaru.wu@unicaen.fr

## RÉSUMÉ

La transcription phonémique automatique de la parole spontanée trouve des applications variées, notamment dans l'éducation et la surveillance de la santé. Ces transcriptions sont habituellement évaluées soit par la précision de l'identification des phonèmes, soit par leur segmentation temporelle. Jusqu'à présent, aucun système n'a été évalué simultanément sur ces deux tâches. Cet article présente l'évaluation d'un système de transcription phonémique du français spontané (corpus Rhapsodie) basé sur Kaldi. Ce système montre de bons résultats en identification des phonèmes et de leurs catégories, avec des taux d'erreur de 19,2% et 13,4% respectivement. Il est cependant moins performant en segmentation, manquant en moyenne 40% de la durée des phonèmes et 34% des catégories. Les performances s'améliorent avec le niveau de planification de la parole. Ces résultats soulignent le besoin de systèmes de transcription phonémique automatique fiables, nécessaires à des analyses plus approfondies de la parole spontanée.

## ABSTRACT

### Is automatic phoneme recognition suitable for spontaneous speech analysis ?

Automatic phonemic transcription of spontaneous speech has a wide range of applications, particularly in education and health monitoring. These transcriptions are usually evaluated either by the accuracy of phoneme identification or by their temporal segmentation. To date, no system has been evaluated simultaneously on both tasks. This article presents the evaluation of a Kaldi-based phonetic transcription system on spontaneous French in the Rhapsodie database. The system performed well in phoneme and category identification, with error rates of 19.2% and 13.4% respectively. However, its segmentation performances are low, missing on average 40% of phoneme duration and 34% of categories. Performance improves with the level of speech planning. These results underline the need for reliable automatic phonetic transcription systems, necessary for more in-depth analyses of spontaneous speech.

**MOTS-CLÉS** : Reconnaissance Automatique de la Parole, Reconnaissance de phonèmes, Segmentation de phonèmes.

**KEYWORDS:** Speech recognition, Phoneme recognition, Phoneme segmentation.

<figure><img src="image_178.png" /></figure>
# 1 Introduction

## 1.1 Contexte

Depuis les modèles fondateurs des années 1970 basés sur des modèles statistiques (Baker, 1975; Jelinek, 1976), le domaine de la transcription automatique de la parole a considérablement évolué, jusqu'au modèles d'apprentissage profond bout-en-bout (Alharbi et al., 2021). Alors que les systèmes de transcription étaient initialement basés sur la modélisation des phonèmes, les modèles les plus récents et les plus performants fournissent directement une transcription des mots, à partir d'estimations des mots directement, de portions de mots, ou de caractères (Alharbi et al., 2021). Cependant, un petit sous-ensemble de cas d'usages nécessitent encore une transcription phonémique, afin d'évaluer la précision de la prononciation lors de l'apprentissage d'une langue, de détecter les mots qui sont hors vocabulaire, (par exemple, pour la parole des enfants (Gelin et al., 2021)) ou d'évaluer l'impact des pathologies sur l'articulation (Huckvale et al., 2023; Beaumard et al., 2023). Le domaine de la transcription automatique de la parole en phonèmes est partagé entre deux sous-applications différentes : d'un côté, l'estimation correcte de la séquence de phonèmes, mesurée par le Pourcentage d'Erreur de Phonèmes (PER); de l'autre, la segmentation correcte du fichier audio en phonèmes, délimitant leurs emplacements (généralement mesurée en termes de sensibilité, de spécificité et de score F1).

Concernant l'estimation automatique des phonèmes, le modèle le plus récent pour le français à notre connaissance repose sur le modèle Wav2Vec2 de Meta ré-entraîné plus finement sur Common Voice v13 et publié par Huggingface<fnref n="1" />. Ce système atteint des PER de 5,5% et 4,4% sur Common Voice v13 et Librispeech respectivement, qui sont tous deux des corpus de parole lue. Nous n'avons trouvé aucune évaluation récente concernant les performances de transcription phonémique pour la parole spontanée en français. En ce qui concerne la segmentation des signaux de parole en phonèmes, les dernières approches comprennent l'apprentissage auto-supervisé (Strgar & Harwath, 2023) et les modèles autorégressifs(Kim & Choi, 2023), atteignant des scores F1 autour de 90% sur les corpus TIMIT et Buckeye. Cependant, à notre connaissance, ces systèmes n'ont été évalués que sur l'une de deux tâches de détection ou de segmentation des phonèmes. Aucun système n'a donc été évalué conjointement sur les deux tâches.

## 1.2 Objectif

Notre objectif est d'évaluer un système standard de transcription de la parole en phonèmes pour différents styles de parole spontanée en français, tant en termes de reconnaissance des phonèmes (taux d'erreur phonémique) que de précision temporelle (rappel, précision et score F1). Cette double évaluation sera utile pour tout type d'analyse des phonèmes extraits automatiquement, que ce soit par exemple pour l'évaluation de la prononciation pour des apprenants de langues ou l'analyse de la parole pathologique.

Ce document est organisé comme suit. Nous introduisons le corpus Rhapsodie, notre modèle et les métriques de performance dans la Section 2. Nous rapportons et discutons les résultats du système conçu dans la Section 3 et concluons dans la Section 4.

<footnote n="1">1. https://huggingface.co/Cnam-LMSSC/wav2vec2-french-phonemizer</footnote>
# 2 Méthode

## 2.1 Système de reconnaissance automatique de la parole

Dans cette étude, nous utilisons un système de transcription automatique de la parole entraîné avec la boîte à outils Kaldi (Povey et al., 2011). Il s'agit d'un modèle TDNN-HMM entraîné avec la fonction LF-MMI. Le réseau neuronal est un réseau à délai temporel échantillonné avec 7 couches TDNN, chacune ayant 1024 unités. La valeur de pas temporel est réglée sur 1 pour les trois premières couches, 0 pour la quatrième, et 3 pour les suivantes. Le modèle acoustique est basé sur un vecteur MFCC de haute résolution à 40 dimensions concatené avec un i-vecteur de 100 dimensions (Gupta et al., 2014). Les données d'apprentissage sont un sous-ensemble des corpus ESTER 1 et 2 (Galliano et al., 2009) (discours radiophoniques). Ce système atteint un taux d'erreur de mots de 13.7% sur le sous-corpus de test d'ESTER (Boyer, 2021), ce qui est proche des performances systèmes état-de-l'art sur le même corpus (taux d'erreurs en mots légèrement inférieur à 12% (Heba, 2021)). Les phonèmes et leur alignement temporel sont obtenus avec la commande `lattice-align-phones`, qui permet d'obtenir une annotation et une segmentation en 35 phonèmes standards.

<table><caption>TABLE 1 – Description du corpus Rhapsodie : nombre d'échantillons, nombre de locuteurs, durée du corpus. Semi-spt : Semi-spontané. Les trois styles de parole spontanée sont ceux fournis dans les métadonnées du corpus.</caption><thead><tr><th>Source</th><th>Description</th><th>#enr.</th><th>#loc.</th><th>Durée</th><th>Style</th></tr></thead><tbody><tr><td>CFPP2000</td><td>Corpus de Français Parlé Parisien, interviews à propos des quartiers de Paris (Branca-Rosoff & Lefeuvre, 2016)</td><td>3</td><td>2 H / 5 F</td><td>15min.</td><td>Semi-spt (3)</td></tr><tr><td>Avanzi</td><td>Collecté par M. Avanzi pour l'étude intonosyntaxique des phénomènes macrosyntaxiques (Avanzi, 2013)</td><td>18</td><td>7 H / 15 F</td><td>14 min.</td><td>Spontané (17)</td></tr><tr><td>Lacheret</td><td>Collecté pour la modélisation continue et fonctionnelle du français (Lacheret-Dujour, 2003)</td><td>2</td><td>3 H / 1 F</td><td>9 min.</td><td>Planifié (1), Spontané (1)</td></tr><tr><td>Mertens</td><td>Collecté pour la modélisation intonosyntaxique du français (Mertens, 1987)</td><td>2</td><td>4 H / 0 F</td><td>10 min.</td><td>Planifié (1), Semi-spt (1)</td></tr><tr><td>C-Prom</td><td>Collecté pour étudier les proéminences syllabiques en français (Avanzi & Simon, 2010)</td><td>1</td><td>1 H / 0 F</td><td>3 min.</td><td>Planifié (1)</td></tr><tr><td>ESLO</td><td>L'Enquête Sociolinguistique à Orléans, recueillie à Orléans, France en 1968-74 avec un objectif sociolinguistique (Eshkol-taravella et al., 2011)</td><td>1</td><td>2 H / 0 F</td><td>7 min.</td><td>Planifié (1)</td></tr><tr><td>PFC</td><td>Phonologie du français contemporain, conversations dirigées entre un sujet et un intervieweur et conversations informelles entre deux personnes appartenant à un réseau social dense, (Durand et al., 2009)</td><td>3</td><td>2 H / 4 F</td><td>14 min.</td><td>Spontané (3)</td></tr><tr><td>Film</td><td>Monologues dans lesquels 7 intervenants différents sont invités, dans un cadre informel, à décrire une courte scène d'un film de Charlie Chaplin collectée pour le projet Rhapsodie</td><td>7</td><td>4 H / 3 F</td><td>9 min.</td><td>Spontané (7)</td></tr><tr><td>Professionnel</td><td>Monologues et dialogues dans un contexte professionnel collectés pour le projet Rhapsodie</td><td>3</td><td>2 H / 2 F</td><td>8 min.</td><td>Spontané (3)</td></tr><tr><td>Télédiffusion</td><td>14 monologues diffusés, dialogues et conversations téléchargés d'Internet pour le projet Rhapsodie</td><td>14</td><td>22 H / 6 F</td><td>67 min.</td><td>Planifié (7), Spontané (6)</td></tr><tr><td>Tous</td><td></td><td>54</td><td>49 H / 36 F</td><td>2h 41m</td><td></td></tr></tbody></table>
## 2.2 Corpus Rhapsodie

Nos analyses ont été réalisées sur le corpus Rhapsodie, un corpus multigenre de français parlé (Lacheret-Dujour et al., 2019). Le corpus contient au total trois heures de parole (~33000 mots), composées de 54échantillons courts (5 minutes en moyenne). Il inclut des interviews en face à face, des émissions de radio et de télévision, pour un total de 89 locuteurs. Les transcriptions phonétiques sont obtenues en utilisant un outil de conversion automatique graphème-vers-phonème (g2p) (Easysalign (Goldman, 2011) dans Praat (Boersma, 2001)), suivi d'une vérification manuelle (Lacheret et al., 2014). Les pauses ont été détectées automatiquement. Deux enregistrements, D0001 et D1003 (respectivement dans les sous-corpus CFPP2000 et Rhapsodie Professionnel) ont été exclus en raison de leur mauvaise qualité acoustique. Un autre fichier, M2006 (sous-corpus Télédiffusion), a été exclu en raison d'erreurs dans les frontières temporelles de l'annotation phonétique de la vérité terrain. Tous les résultats et statistiques ultérieurs n'incluent pas ces fichiers. Les différentes sources de données utilisées dans le corpus Rhapsodie sont décrites dans le Tableau 1.

Le corpus Rhapsodie contient plusieurs variables pour représenter les caractéristiques discursives de chaque échantillon. Nous nous concentrons dans cette étude sur l'analyse des résultats du système de transcription phonémique automatique en fonction du degré de planification de la parole, tel qu'annoté dans les métadonnées du corpus : parole planifiée, semi-spontanée ou spontanée.

## 2.3 Vérité terrain : phonèmes et catégories

Les 54 fichiers du corpus représentent un total de 96756 phonèmes, qui ont une durée moyenne de 81.2ms. Pour faciliter l'interprétation des résultats, les 35 phonèmes ont été regroupés en 10 catégories standards : 5 catégories pour les consonnes (occlusives, fricatives, nasales, liquides, glissantes) et 5 catégories pour les voyelles (antérieures arrondies, antérieures non arrondies, centrales, postérieures arrondies, nasales).

## 2.4 Métriques de performance

Le Pourcentage d'Erreur Phonétique (PER) est la métrique utilisée dans le domaine de la reconnaissance automatique de la parole pour mesurer la précision de la transcription phonémique. Le PER est calculé par la somme du nombre de substitutions (S), d'insertions (I) et de suppressions (D) de phonèmes dans l'hypothèse fournie par le système par rapport au nombre total de phonèmes dans la transcription de référence (N) : $PER = 100 \times (S + I + D)/N$

Une faible valeur de PER indique une bonne précision dans la reconnaissance automatique des phonèmes. Le PER ne prend cependant pas en compte les erreurs dues aux mauvais placement des frontières puisqu'il ne prend en compte que la séquence de symboles phonétiques.

Pour compléter le PER, nous souhaitons également mesurer les performances du système en termes de durée. À cette fin, nous utilisons l'outil trackeval (marge d'erreur = 0) qui a été utilisé lors de la campagne d'évaluation ESTER pour estimer les performances de la détection d'événements audio (Galliano et al., 2009). Ici, les événements à identifier correctement sont les phonèmes. Ce faisant, nous avons mesuré trois indicateurs :

- le score de Rappel, qui est le rapport de la durée de détection correcte d'un phonème sur la durée totale de cet événement dans le fichier de référence : $R = \hat{d}_{corr}(phon)/d_{ref}(phon)$

- le score de Précision, qui est le rapport entre la durée de détection correcte d'un phonème sur la durée totale de détection de ce phonème (y compris les insertions) : $P =$
$$ \hat{d}_{corr}(phon) / \hat{d}_{corr+ins}(phon) $$

— et le F-score, une métrique combinant la Précision et le Rappel en une seule métrique :

$$ F = 2 \times (P \times R) / (P + R) $$

Une score de Rappel élevé indique que le phonème considéré est bien détecté, tandis qu'un score de Précision élevé montre que le système détecte le phonème principalement lorsqu'il est réellement présent (peu d'insertions). Idéalement, un bon système de segmentation des phonèmes doit donc avoir à la fois des scores de Précision et de Rappel élevé, et donc une Mesure-F élevée.

Les métriques de PER et de segmentation sont également recalculées sur les catégories phonétiques.

## 3 Résultats et discussion

<figure><img src="image_179.png" /><figcaption>FIGURE 1 – Exemple de sortie du système de reconnaissance phonétique. En haut : résultats de la détection automatique ; au milieu : annotation phonétique de référence ; en bas : transcription en mots.</figcaption></figure>

La Figure 1 montre un exemple de sortie de notre système automatique de reconnaissance phonétique. Cet exemple est un extrait du fichier D1001 du corpus Rhapsodie, provenant de la base de données ESLO (Eshkol-taravella et al., 2011). Cet enregistrement date de 1968 et est un monologue d'un locuteur masculin.

Dans cet exemple, la plupart des phonèmes sont correctement détectés à l'exception de deux substitutions, dans deux couples de phonèmes proches l'un de l'autre : /9~/ a été substitué par /e~/; et /e/ par /E/. Étant donné les bonnes performances d'identification des phonèmes, si le système de reconnaissance phonétique se comporte de la même manière pour tous les fichiers, nous espérons obtenir de faibles valeurs de PER, démontrant l'efficacité du système automatique dans l'identification des phonèmes. Ceci est discuté dans la section 3.1.

Cependant, alors que la séquence de phonèmes est correctement identifiée, nous observons des inexactitudes sur les emplacements des frontières des phonèmes, particulièrement à la fin de l'extrait (pour le mot « actuels »). Ces inexactitudes peuvent poser problème dans l'utilisation de cette segmentation automatique pour d'autres analyses, telles que l'analyse prosodique ou l'analyse de la qualité de la voix sur des phonèmes spécifiques. La qualité de la segmentation est discutée dans la section 3.3.
## 3.1 Performances de reconnaissance des phonèmes

<figure><img src="image_180.png" /><figcaption>FIGURE 2 – Performances du système automatique de reconnaissance phonétique pour chaque phonème. Les valeurs entre parenthèses indiquent le ratio du nombre d'occurrences du phonème par rapport au nombre total de phonèmes</figcaption></figure>

Les performances de notre système sur chaque phonème sont rapportées dans la Figure 2. Les erreurs les plus communes sont les substitutions, sauf pour /2/ et /9/ qui sont principalement supprimés. En particulier, la voyelle /e/ a un taux de substitution élevé. En effet, dans la parole continue, /e/ est interchangeable avec /E/ par les locuteurs natifs du français. Puisque le système ne permet pas de choix libre entre les deux phonèmes dans le dictionnaire, nous supposons qu'il tend à étiqueter /e/ lorsqu'il rencontre un son similaire à /e, E/. D'autre part, le taux d'insertion élevé pour le schwa /@/ est fortement lié au fait que le système n'est pas informé du caractère facultatif de la voyelle en français.

Lorsque l'on considère les catégories phonétiques (Figure 3), nous observons une réduction drastique du nombre de substitutions, montrant que la plupart de ces erreurs sont faites sur des phonèmes appartenant à la même catégorie. De plus, une observation intéressants peut être faite sur les taux d'erreur observés pour les consonnes : plus la consonne est sonore, plus il est difficile pour le système de l'identifier.

<figure><img src="image_181.png" /><figcaption>FIGURE 3 – Performances du système sur les catégories de phonèmes. Les valeurs entre parenthèses indiquent le ratio du nombre d'occurrences du phonème appartenant à la catégorie par rapport au nombre total de phonèmes</figcaption></figure>

## 3.2 Performances de reconnaissance des phonèmes en fonction du style

Les performances de reconnaissance des phonèmes en termes de phonèmes et de catégories de phonèmes en fonction de chaque sous-corpus sont rapportées dans les Tableaux 2 et 3. Pour les deux
unités de mesure, le taux d'erreur diminue avec le degré de préparation de la parole spontanée.

Cependant, puisque la plupart des fichiers du sous-corpus planifié proviennent de la source "Télédif-fusion" de la base de données Rhapsodie, nous nous attendions à ce que le système de transcription automatique fonctionne mieux sur ces données que sur les autres sous-corpus, car il est entraîné sur des échantillons du même type (bien que d'une période différente). Ce n'est pas le cas, en partie à cause d'un échantillon de nature plus spontanée que la parole planifiée (D2002, discussion sur un livre) résultant en de mauvaises performances (PER=24,9%). Néanmoins, le système obtient d'assez bonnes performances sur les autres sous-corpus semi-spontanés. Alors que le taux d'erreur augmente avec le degré de spontanéité, les taux d'insertion restent relativement constants, tandis que les taux de substitution augmentent légèrement. Le type d'erreur qui augmente le plus est le taux de délétion (de 3% sur la parole planifiée à 8,5% sur la parole spontanée), atteignant un maximum de 24,9% sur le fichier D2004 de la source Lacheret (locuteur avec un fort accent régional).

Concernant le fait que même pour la parole spontanée, plus de 80% des phonèmes sont détectés correctement (87% pour les catégories phonétiques) et que les erreurs sont principalement dues à des suppressions, nous pourrions penser que la détection automatique des phonèmes peut être adaptée pour l'analyse phonétique de la parole spontanée.

<table><caption>TABLE 2 – Erreurs pour la détection des tokens phonétiques pour différents styles de parole</caption><thead><tr><th>style</th><th># fichiers</th><th># phonèmes</th><th>Corr</th><th>Sub</th><th>Sup</th><th>Ins</th><th>Err</th></tr></thead><tbody><tr><td>Tout</td><td>54</td><td>96756</td><td>83,9</td><td>9,4</td><td>6,7</td><td>3,4</td><td>19,5</td></tr><tr><td>planifié</td><td>11</td><td>30549</td><td>89,2</td><td>7,6</td><td>3,2</td><td>3,0</td><td>13,8</td></tr><tr><td>semi-spt</td><td>4</td><td>15302</td><td>82,8</td><td>9,3</td><td>7,9</td><td>3,3</td><td>20,5</td></tr><tr><td>spontané</td><td>39</td><td>50905</td><td>81,0</td><td>10,5</td><td>8,5</td><td>3,6</td><td>22,6</td></tr></tbody></table>

<table><caption>TABLE 3 – Erreurs pour la détection des catégories phonétiques pour différents styles de parole</caption><thead><tr><th>style</th><th># fichiers</th><th># phonèmes</th><th>Corr</th><th>Sub</th><th>Sup</th><th>Ins</th><th>Err</th></tr></thead><tbody><tr><td>Tout</td><td>54</td><td>96756</td><td>89,7</td><td>3,5</td><td>6,7</td><td>3,4</td><td>13,6</td></tr><tr><td>planifié</td><td>11</td><td>30549</td><td>94,9</td><td>1,9</td><td>3,2</td><td>3,0</td><td>8,1</td></tr><tr><td>semi-spt</td><td>4</td><td>15302</td><td>88,7</td><td>3,5</td><td>7,8</td><td>3,3</td><td>14,6</td></tr><tr><td>spontané</td><td>39</td><td>50905</td><td>87,0</td><td>4,5</td><td>8,6</td><td>3,6</td><td>16,7</td></tr></tbody></table>

## 3.3 Performances de segmentation de phonèmes

Le Tableau 4 rapporte les performances de la segmentation des phonèmes selon les métriques détaillées dans la section 2.4.

Sur un total de 7912 secondes à détecter, seules 4746 s. (R=60,0%) sont correctement détectées au niveau du phonème, avec une précision de P=68,2%, conduisant à un score F de 0.62. Cette valeur atteint 5232 s. lorsque l'on considère les catégories phonétiques (66,1%), avec une précision supérieure P = 71,0%, conduisant à un score F correspondant de 0.68.

Concernant l'effet du degré de planification, de manière similaire à ce que nous avons observé dans la section 3.1, ajouter plus de spontanéité dégrade les résultats, à la fois pour les phonèmes (d'un score F1 de 0,67 pour le discours planifié à 0,58 pour le discours spontané) et pour les catégories phonétiques (de F=0,73 à F=0,68).
De plus, notre système fonctionne de manière inégale selon les classes phonétiques : alors qu'il segmente avec de bonnes performances les voyelles nasales (durée cible=823 s., R=71%, P=81%, F=0,76) et les consonnes fricatives (durée cible=1117 s., R=71%, P=78%, F=0,74), il a du mal à estimer les frontières des voyelles centrales (durée cible=330 s., R=60%, P=47%, F=0,53), des voyelles antérieures arrondies (durée cible=595 s., R=30%, P=72%, F=0,42) et des consonnes glissantes (durée cible=170 s., R=57%, P=48%, F=0,52). Les autres catégories phonétiques sont segmentées avec des scores F entre 0,60 et 0,68.

<table><caption>TABLE 4 – Évaluation de la segmentation pour la détection des tokens phonétiques pour différents styles de parole</caption><thead><tr><th rowspan="2"></th><th rowspan="2">cible</th><th colspan="3">Phonèmes</th><th colspan="3">Catégories de phonèmes</th></tr><tr><th>%R</th><th>%P</th><th>F</th><th>%R</th><th>%P</th><th>F</th></tr></thead><tbody><tr><td>planifié</td><td>2596s</td><td>66,5</td><td>68,2</td><td>0,67</td><td>72,3</td><td>74,1</td><td>0,73</td></tr><tr><td>semi-spt</td><td>1198s</td><td>59,0</td><td>64,6</td><td>0,62</td><td>65,2</td><td>71,3</td><td>0,68</td></tr><tr><td>spontané</td><td>60,8</td><td>55,5</td><td>61,5</td><td>0,58</td><td>62,5</td><td>68,8</td><td>0,65</td></tr><tr><td>Tous</td><td>7912s</td><td>60,0</td><td>64,4</td><td>0,62</td><td>66,1</td><td>71,0</td><td>0,68</td></tr></tbody></table>

## 4 Conclusion

Cet article évalue les performances d'un système de reconnaissance automatique des phonèmes pour le français spontané, non seulement en termes de détection de phonèmes mais aussi sur l'identification correcte de leurs frontières. Basé sur le corpus Rhapsodie, qui contient de la parole spontanée de plusieurs sources avec trois degrés de spontanéité, nous avons calculé des métriques d'identification et de segmentation tant au niveau phonémique qu'en fonction de dix catégories phonétiques standards (5 types de voyelles et 5 types de consonnes). Nous avons montré qu'un système de transcription automatique pouvait en même temps obtenir des performances satisfaisantes en identification des phonèmes (PER global de 19,5%, taux d'erreur de 13,6% sur les catégories) et des performances de segmentation insatisfaisantes (F-score de 0,62 et 0,68 pour les phonèmes et les catégories respectivement). Cependant, dans les deux évaluations, de nombreuses disparités ont été observées en fonction du type de parole et des phonèmes considérés.

La prise en compte des catégories de phonèmes améliore les performances dans les deux évaluations, suggérant que les substitutions sont effectuées dans le même groupe phonétique. De plus, toutes les métriques de performance augmentent avec le degré de planification de la parole spontanée considérée. Comme la plupart des systèmes de reconnaissance phonétique sont uniquement évalués sur la parole lue, ces résultats incitent à être très prudents lors de l'utilisation de tels systèmes pour l'analyse linguistique ou prosodique de la parole spontanée.

## Remerciements

Cette recherche est financée par l'Agence Nationale de la Recherche (ANR) dans le cadre de l'axe Autonom-Health du PEPR Santé Numérique, convention de subvention n°ANR-22-PESN-0009. VPM a reçu le soutien financier du programme de recherche et d'innovation européen Horizon Europe à travers le projet Marie Skłodowska-Curie MATER (No. 101106577). CB a reçu le soutien financier de la MITI du CNRS (projet PRIME 80 DSM-HEALTH).
Références

ALHARBI S., ALRAZGAN M., ALRASHED A., ALNOMASI T., ALMOJEL R., ALHARBI R., ALHARBI S., ALTURKI S., ALSHEHRI F. & ALMOJIL M. (2021). Automatic speech recognition : Systematic literature review. *IEEE Access, 9*, 131858–131876. DOI: 10.1109/ACCESS.2021.3112535.
AVANZI M. (2013). *L'interface prosodie/syntaxe en français*.

AVANZI M. & SIMON A. C. (2010). C-PROM : An Annotated Corpus for French Prominence Study. *Speech Prosody*.

BAKER J. K. (1975). *Stochastic modeling as a means of automatic speech recognition*. Carnegie Mellon University.

BEAUMARD C., MARTIN V. P., WU Y., ROUAS J.-L. & PHILIP P. (2023). Automatic detection of schwa in French hypersomniac patients. In *Journée Santé et Intelligence Artificielle (Evènement affilié à PFIA 2023)*.

BOERSMA P. (2001). Praat, a system for doing phonetics by computer. *Glot. Int.*, **5**(9), 341–345.

BOYER F. (2021). *Reconnaissance de Parole Pour Le Français et Intégration Dans Un Système de Compréhension Du Langage Parlé*. Thèse de doctorat, Université de Bordeaux.

BRANCA-ROSOFF S. & LEFEUVRE F. (2016). Le CFPP2000 : constitution, outils et analyses. Le cas des interrogatives indirectes. *Corpus*, (15). DOI: 10.4000/corpus.3043.

DURAND J., LAKS B. & LYCHE C. (2009). Phonologie, variation et accents du français. chapitre Le projet PFC : une source de données primaires structurées, p. 19–61. Hermès.

ESHKOL-TARAVELLA I., BAUDE O., MAUREL D., HRIBA L., DUGUA C. & TELLIER I. (2011). Un grand corpus oral disponible : le Corpus d'Orléans 1968-2012 [A Large available oral corpus : Orleans corpus 1968-2012]. *Traitement Automatique des Langues, 52*(3), 17–46.

GALLIANO S., GRAVIER G. & CHAUBARD L. (2009). The ester 2 evaluation campaign for the rich transcription of French radio broadcasts. In *Interspeech 2009*, p. 2583–2586. DOI: 10.21437/Interspeech.2009-680.

GELIN L., PELLEGRINI T., PINQUIER J. & DANIEL M. (2021). Simulating Reading Mistakes for Child Speech Transformer-Based Phone Recognition. In *Proc. Interspeech 2021*, p. 3860–3864. DOI: 10.21437/Interspeech.2021-2202.

GOLDMAN J.-P. (2011). Easyalign : an automatic phonetic alignment tool under praat. In *Twelfth Annual Conference of the International Speech Communication Association*.

GUPTA V., KENNY P., OUELLET P. & STAFYLAKIS T. (2014). I-vector-based speaker adaptation of deep neural networks for French broadcast audio transcription. In *ICASSP*, p. 6334–6338. DOI: 10.1109/ICASSP.2014.6854823.

HEBA A. (2021). *Reconnaissance Automatique de La Parole à Large Vocabulaire : Des Approches Hybrides Aux Approches End-to-End*. Theses, Université toulouse 3 Paul Sabatier.

HUCKVALE M., LIU Z. & BUCIULEAC C. (2023). Automated voice pathology discrimination from audio recordings benefits from phonetic analysis of continuous speech. *Biomedical Signal Processing and Control, 86*, 105201. DOI: https://doi.org/10.1016/j.bspc.2023.105201.

JELINEK F. (1976). Continuous speech recognition by statistical methods. *Proceedings of the IEEE*, **64**(4), 532–556. DOI: 10.1109/PROC.1976.10159.

KIM H. & CHOI H.-S. (2023). Towards trustworthy phoneme boundary detection with autoregressive model and improved evaluation metric. In *ICASSP 2023 - 2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*, p. 1–5. DOI: 10.1109/ICASSP49357.2023.10096748.
LACHERET A., KAHANE S., BELIAO J., DISTER A., GERDES K., GOLDMAN J.-P., OBIN N., PIETRANDREA P. & TCHOBANOV A. (2014). Rhapsodie : a prosodic-syntactic treebank for spoken French. In N. CALZOLARI, K. CHOUKRI, T. DECLERCK, H. LOFTSSON, B. MAEGAARD, J. MARIANI, A. MORENO, J. ODIJK & S. PIPERIDIS, Éds., *Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC’14)*, p. 295–301, Reykjavik, Iceland : European Language Resources Association (ELRA).

LACHERET-DUJOUR A. (2003). *La prosodie des circonstants en français parlé*. Collection linguistique (Paris). Paris : Peeters.

LACHERET-DUJOUR A., KAHANE S. & PIETRANDREA P. (2019). *Rhapsodie : A Prosodic and Syntactic Treebank for Spoken French*. John Benjamins.

MERTENS P. (1987). *L'intonation Du Français : De La Description Linguistique à La Reconnais-sance Automatique*. Thèse de doctorat.

POVEY D., GHOSHAL A., BOULIANNE G., BURGET L., GLEMBEK O., GOEL N., HANNEMANN M., MOTLICEK P., QIAN Y., SCHWARZ P., SILOVSKY J., STEMMER G. & VESELY K. (2011). The kaldi speech recognition toolkit. In *IEEE 2011 Workshop on Automatic Speech Recognition and Understanding*, Hilton Waikoloa Village, Big Island, Hawaii, US : IEEE Signal Processing Society.

STRGAR L. & HARWATH D. (2023). Phoneme segmentation using self-supervised speech models. In *IEEE Spoken Language Technology Workshop (SLT)*, p. 1067–1073. DOI : 10.1109/SLT54892.2023.10022827.
# La sonorité n'est pas l'intensité :
le cas des diphtongues dans une langue tonale

Yunzhuo XIANG Jiayin GAO Cédric GENDROT

Laboratoire de Phonétique et Phonologie (CNRS & Sorbonne Nouvelle)

yunzhuo.xiang@sorbonne-nouvelle.fr

## RÉSUMÉ

Cette étude explore le lien entre la sonorité et l'intensité dans la production des diphtongues ouvrantes et fermantes en mandarin de Pékin. Étant donné qu'une voyelle ouverte est considérée comme plus sonore qu'une voyelle fermée, nous nous attendons à constater une augmentation d'intensité dans une diphtongue ouvrante et une diminution d'intensité dans une diphtongue fermante. Or, nos résultats, basés sur les modèles GAMM (modèles additifs généralisés à effets mixtes) révèlent un pattern différent de nos attentes : la dynamique d'intensité au sein de la diphtongue n'est pas liée à l'aperture vocalique. En revanche, conformément aux études précédentes, nous trouvons une corrélation positive entre la F0 et l'intensité. Nous nous interrogeons ainsi sur la validité de définir la sonorité à base de l'intensité seule. Enfin, nous discutons du rôle de la F0 dans la définition de la sonorité et l'apport de notre étude pour modéliser la sonorité dans une langue tonale.

## ABSTRACT

Sonority is not intensity : the case of diphthongs in a tonal language.

This study explores the link between sonority and intensity in the production of rising and falling diphthongs in Beijing Mandarin. Considering that a low vowel is more sonorant than a high vowel, we expected an increase in intensity in a rising diphthong and a decrease in intensity in a falling diphthong. However, our results based on GAMM (Generalized Additive Mixed Models) reveal an unexpected pattern. That is, the change of intensity within a vowel is not related to vowel height. On the other hand, we find a positive correlation between F0 and intensity, in line with previous findings. We thus raise our concern about the legitimacy of defining sonority based on intensity alone. We conclude our paper with a discussion on the role of F0 in the definition of sonority and its implication for the modeling of sonority in a tonal language.

MOTS-CLÉS : intensité, sonorité, fréquence fondamentale, diphtongue, ton, Mandarin.

KEYWORDS: intensity, sonority, fundamental frequency, diphthong, tone, Mandarin.

## 1 Introduction

L'échelle de sonorité est largement utilisée en phonologie pour expliquer divers phénomènes synchro-niques (tels que la formation syllabique et la resyllabation) et diachroniques (tels que la fortition et la lénition). Cependant, les corrélats phonétiques de sonorité sont débattus. Au niveau articulatoire, la sonorité est reliée au degré d'ouverture du conduit vocal. Au niveau perceptif, la sonorité est associée à la perception de la force sonore (voir Parker, 2002, pp. 43–48, pour une revue de littérature).

<figure><img src="image_182.png" /></figure>
Quant aux corrélats acoustiques, de nombreuses tentatives ont été faites pour définir la sonorité à base de paramètres acoustiques tels que périodicité, intensité, durée, fréquence fondamentale (F0), structure formantique et enveloppe spectrale. La complexité est telle que certains chercheurs proposent d'abandonner complètement l'échelle de sonorité puisqu'il est difficile de la vérifier empiriquement (Ohala & Kawasaki-Fukumori, 1997). Parmi les paramètres acoustiques, le lien entre la sonorité et l'intensité est le plus recherché (par ex. Ladefoged & Johnson, 2015). D'autre part, l'intensité est corrélée avec la F0 et elle varie en fonction de multiples facteurs tels que la structure prosodique (Gordon & Roettger, 2017). Le présent article approfondit la question sur la relation entre l'intensité et la sonorité sous l'influence tonale à travers une étude sur les diphtongues en mandarin de Pékin.

## 1.1 Intensité et sonorité : classification des voyelles

Il est accepté que les voyelles sont plus sonores que toutes les autres classes des sons. Alors que la version minimale de l'échelle de sonorité ne donne pas de détail sur les différences de sonorité entre les voyelles (par ex. Clements, 1990), toutes les versions plus nuancées traitent les voyelles ouvertes comme plus sonores que les voyelles fermées (par ex. Selkirk, 1984). Ici, le lien avec l'intensité semble évident : toutes choses égales par ailleurs, une voyelle ouverte est intrinsèquement plus intense qu'une voyelle fermée (Fairbanks et al., 1950; Rossi, 1971).

Les diphtongues, quant à elles, sont quasi-inexistantes dans les propositions de l'échelle de sonorité, sans doute en raison de la dynamique au sein de la voyelle. En revanche, deux catégories de diphtongues sont définies en termes de *dynamique* de sonorité : « montantes » et « descendantes ». Les diphtongues montantes telles que [ua] et [ia] sont caractérisées par une augmentation de sonorité, tandis que les diphtongues descendantes telles que [au] et [ai] par une diminution de sonorité (Jones, 1954). (En terme articulatoire, elles sont appelées « ouvrantes » et « fermantes », respectivement.) Selon Miret (1998), la cohésion d'une diphtongue est favorisée par une différence marquée de sonorité entre les deux parties vocaliques, donnant lieu à un pic de sonorité au sein de la syllabe, conformément au principe de sonorité séquentielle.

Toutes ces propositions reposent sur la prémisse selon laquelle il y a une forte corrélation entre la sonorité et l'intensité intrinsèque liée à la voyelle. Cependant, à notre connaissance, peu d'études mettent en évidence le lien entre la dynamique de sonorité et celle d'intensité dans une diphtongue. Ainsi, le but principal de notre étude consiste à vérifier si le lien entre sonorité et intensité est étayé par nos données sur les diphtongues en mandarin.

## 1.2 Intensité et F0 : le cas des langues à tons

Il est également reconnu que l'intensité varie en fonction de la F0 pour des raisons physiologiques comme la pression sous-glottique et l'adduction des plis vocaux, contrôlés par les muscles respiratoires et la configuration laryngée (par ex. les muscles crico-thyroïdiens et thyro-arytéroïdiens) (Van den Berg, 1957; Giovanni et al., 2003; Honda, 2004). Cela constitue une des raisons pour lesquelles on trouve une corrélation positive entre la F0 et le niveau d'intensité dans les langues tonales comme le taiwanais et le mandarin, même si cette corrélation n'est pas linéaire (Zee, 1978; Whalen & Xu, 1992; Zhang, 2017). La question se pose donc de savoir comment l'intensité d'une voyelle est modulée par le ton lexical dans une langue tonale. Le deuxième but de notre étude est donc d'explorer cette modulation dans les diphtongues d'une langue tonale, le mandarin de Pékin.
## 1.3 La présente étude : diphtongues en mandarin de Pékin

Notre étude examine la dynamique d'intensité dans quatre diphtongues du mandarin de Pékin : deux diphtongues descendantes ([ai], [au]) et deux diphtongues montantes ([ia], [ua]). La comparaison entre ces diphtongues ainsi qu'entre elles et les monophtongues [i, u, a] nous permettrait de vérifier les hypothèses suivantes :

H1. Toutes choses étant égales par ailleurs, les voyelles ouvertes sont plus intenses que les voyelles fermées.

H2. Toutes choses étant égales par ailleurs, les diphtongues descendantes et montantes diffèrent entre elles en termes de changement dynamique d'intensité : les diphtongues descendantes diminuent en intensité et les diphtongues montantes augmentent en intensité.

H3. L'intensité vocalique est modulée par le ton lexical : pour la même voyelle, l'intensité augmente quand la F0 augmente.

Si H1 et H2 sont confirmées, nous anticipons un schéma de dynamique d'intensité comme illustré dans le cas de [i, a, ia, ai] dans la figure 1. Toutes choses égales par ailleurs (c.-à-d. les caractéristiques telles que la F0, la durée et l'accentuation étant comparables), [i] a une intensité plus faible que [a]. [ia] et [ai] se trouvent entre le niveau d'intensité de [i] et celui de [a], avec [ia] qui augmente en intensité et [ai] qui diminue en intensité. Quant à l'hypothèse H3, nous anticipons une modulation d'intensité sous l'interaction entre la F0 et le type de voyelle. Ensemble, ces questions contribuent à mieux comprendre la relation entre la sonorité, l'intensité, et la F0 à l'intérieur d'une diphtongue, et à explorer la base acoustique pour la bonne formation syllabique dans une langue tonale.

<figure><img src="image_183.png" /><figcaption>FIGURE 1 – Schéma qui prédit les intensités des monophtongues et des diphtongues montantes et descendantes, quelle que soit leur unité tonale.</figcaption></figure>

# 2 Méthode

## 2.1 Participants et Matériels

Dix locutrices originaires de Pékin résidant à Paris ont été recrutées pour cette étude. Leur âge varie entre 20 et 27 ans, avec une moyenne de 23,7 ans. Aucune d'entre elles ne présente de trouble pathologique lié au langage. Les enregistrements ont été effectués entre novembre et décembre 2023 dans un studio d'enregistrement ou au domicile de l'expérimentateur, à l'aide d'un microphone serre-tête AKG-C520L positionné à environ 2,5 cm devant le côté inférieur droit de la bouche et une carte son KOMPLETE AUDIO 2. Les matériaux d'enregistrement sont des mots monosyllabiques
du mandarin pékinois, comprenant trois monophtongues [i], [u], [a], ainsi que deux diphtongues descendantes [ai] et [au] et deux diphtongues montantes [ia] et [ua]. La voyelle cible est précédée d'une occlusive, une affriquée ou une latérale selon les contraintes phonotactiques.

Pour les tons lexicaux, nous avons sélectionné pour notre analyse le ton 1 (plat et haut, transcrit comme "55" <fnref n="1" />), le ton 2 (montant, transcrit comme "35") et le ton 4 (descendant, transcrit comme "51"). Dans nos enregistrements, le ton 3 (descendant-montant, transcrit comme "214") est souvent prononcé sans sa partie montante (donc seulement "21") avec la voyelle devenue craquée et/ou dévoisée, ce qui affecte considérablement l'analyse de la F0 et de l'intensité. (La partie dévoisée est très diminuée en intensité, ce qui rend la comparaison d'intensité insensée quand le dévoisement n'est pas systématique ni entre les items ni à l'intérieur d'un item.) Par conséquent, le ton 3 n'a pas été inclus dans notre analyse. Les syllabes analysées sont répertoriées dans le tableau 1. Chaque syllabe a été produite d'abord en isolation, ensuite dans la position de focus d'une phrase cadre pour assurer une intonation comparable « X, zhè zèr zán běijīnghuà niàn X ba » (X représentant la syllabe cible) 'X, ce caractère est prononcé X en pékinois'. Pour cette étude, seule la syllabe prononcée dans la phrase cadre sera analysée.

<table><caption>TABLE 1 – Syllabes analysées. Les syllabes sont transcrites avec le *pīnyīn*, le système officiel de romanisation des caractères chinois. L’accent macron représente le ton 1 (55), l’accent aigu représente le ton 2 (35) et l’accent grave représente le ton 4 (51).</caption><thead><tr><th colspan="2">Consonne</th><th rowspan="2">p</th><th rowspan="2">t</th><th rowspan="2">k</th><th rowspan="2">k<sup>h</sup></th><th rowspan="2">l</th><th rowspan="2">tç</th><th rowspan="2">tş</th><th rowspan="2">Sans-attaque</th></tr><tr><th>Voyelle</th><th></th></tr></thead><tbody><tr><td>i</td><td></td><td>pī pí pì</td><td>tī tí tì</td><td></td><td></td><td>lí lì</td><td></td><td></td><td></td></tr><tr><td>u</td><td></td><td>pù</td><td>tū tú tù</td><td></td><td></td><td>lū lú lù</td><td></td><td></td><td></td></tr><tr><td>a</td><td></td><td>pā pá pà</td><td>tā tá tà</td><td></td><td></td><td>lā là</td><td></td><td></td><td></td></tr><tr><td>ai</td><td></td><td>pāi pái pài</td><td>tāi tài</td><td></td><td></td><td>lái lài</td><td></td><td></td><td></td></tr><tr><td>au</td><td></td><td>pāu pàu</td><td>tāu tàu</td><td>kāu kàu</td><td></td><td>lāu láu làu</td><td></td><td></td><td></td></tr><tr><td>ia</td><td></td><td></td><td></td><td></td><td></td><td></td><td>tçiā tciá tçià</td><td></td><td></td></tr><tr><td>ua</td><td></td><td></td><td></td><td>kuā kuà</td><td>k<sup>h</sup>uā k<sup>h</sup>uà</td><td></td><td></td><td></td><td></td></tr></tbody></table>

## 2.2 Analyse de F0 et d'intensité

Nous avons extrait les valeurs de F0 et d'intensité sur 21 points temporels <fnref n="2" /> équidistants du début jusqu'à la fin de chaque voyelle cible, à l'aide d'un script Praat (Boersma & Weenink, 2023). Afin de tester notre hypothèse, des modèles de GAMMs (Wood, 2017; Sóskuthy, 2017; van Rij et al., 2022; Wieling, 2018) ont été ajustés aux données d'intensité en fonction du type de la voyelle. Le modèle de GAMMs nous permet de modéliser le changement non-linéaire des données et de comparer statistiquement la différence entre deux courbes. Nous avons établi 2 (monophtongue, diphtongue) × 3 (ton 1, 2 et 3) = 6 modèles pour comparer l'intensité des voyelles en fonctions du ton. Ils sont expliqués dans les codes suivants. Pour ces modèles, nous avons divisé les données en TYPE DE VOYELLE × TON.

Chaque modèle inclut des smooths de facteurs d'effet fixé de VOYELLE, CONSONNE et LOCUTEUR, ainsi que des smooth d'effet aléatoire non-linéaire de LOCUTEUR ajusté par CONSONNE et VOYELLE. Pour les smooths, nous avons choisi $k = 21$ parce qu'on a 21 points temporels.

$$ \text{Modèles} = \text{bam}(\text{Intensité} \sim \text{Voyelle}) + s(\text{Points temporels}, \text{bs}='cr', k=21) + s(\text{Points temporels}, \text{by}=\text{Consonne}(\text{by}=\text{Voyelle}, \text{Locuteur}), \text{bs}='cr', k=21) $$

<footnote n="1">1. sur l'échelle de Chao (1930)</footnote>

<footnote n="2">2. Toutes les voyelles sont supérieures à la durée minimale (105ms) requise de 21 points.</footnote>
+ s(Points temporels, locuteur, m=1, xt=list(bs='tp')),bs='fs', k=21)+ s(Points temporels, locuteur, by=Consonne(by=Voyelle), bs='fs',k=21),
data=nos données, method='fREML', AR.start=données$pointInitial, rho=rho calculé

Ensuite, nous voudrions explorer la relation entre l'intensité et les tons. Un modèle de la F0 ~ton est établi pour montrer le changement mélodique des tons. Comparé aux modèles intensité ~voyelle, le modèle de la F0 ~ton inclut un *random intercept* par LOCUTEUR et deux *random slope* par TON pour CONSONNE et VOYELLE : ...s(locuteur,bs='re',k=21)+ s(tone,consonant,bs='re',k=21) + s(tone,vowel,bs='re',k=21)...

Enfin, compte tenu des erreurs possibles de l'intensité absolue, nous avons mesuré la valeur de l'intensité relative en prenant le point initial de la voyelle comme la référence et en soustrayant la valeur de référence de la valeur de chaque point qui suit ce point initial, et puis nous avons modélisé l'intensité normalisée en fonctions des tons. Par rapport aux modèles de l'intensité ~voyelle. Cette modèle inclut un facteur d'effet non-linéaire de VOYELLE adjusté par TON, CONSONNE et LOCUTEUR : ...s(Points temporels, voyelle, by=consonne(by=ton, locuteur), m=1, xt=list(bs='tp')), bs='fs', k=21) +...

# 3 Résultat

## 3.1 Intensité et voyelles

La figure 2 montre les modèles Intensité ~Voyelle pour chaque type de ton. Les monophtongues sont à gauche et les diphtongues sont à droite. La durée normalisée est en x et l'intensité en y. Les ombres de différentes couleurs représentent les intervalles de confiance (95%) de chaque courbe. Les résumés des modèles montrent que les déviances expliquées de tous les modèles sont supérieurs à 90%.

Rappelons-nous que l'hypothèse H1 prédit une intensité plus forte pour [a] que pour [i, u], et que l'hypothèse H2 prédit une opposition de direction dans la dynamique d'intensité entre les diphtongues descendantes [ai, au] et les diphtongues montantes [ia, ua]. Or, nos résultats ne permettent pas de montrer de différence d'intensité entre les voyelles. Puisque les intervalles de confiance des courbes se recouvrent entre eux, nous ne pouvons pas dire avec certitude qu'une classe de voyelles est plus intense qu'une autre. Ces résultats montrent un caractère non systématique lié à la qualité vocalique. Par exemple, la courbe d'intensité de [a] du ton 2 est plus élevée que [i] et [u] au début, mais elle est plus inférieure au milieu. La seule différence significative est trouvée sur la partie 50% – 80% des diphtongues du ton 4, où les diphtongues descendantes significativement plus intenses que les diphtoneus montante.

## 3.2 Intensité et tons

Nous allons maintenant regarder la relation entre l'intensité et le ton, pour vérifier l'hypothèse H3. L'image en haut à gauche de la figure 3 montre notre modèle F0 ~ton, qui explique 89.9% de déviances. Les tons 1 (55) et 4 (51) conforment à la transcription tonale sauf que le ton 4 commence plus haut que le ton 1. Le ton 2, au lieu de monter dès le départ, présente une courbe plus basse et un retard de montée par rapport à sa transcription. L'image en haut à droite de la figure 3 montre notre modèle de l'intensité normalisée ~ton (les déviances expliquées = 80.7%). Par rapport au modèle de la F0, la direction de changement d'intensité suit en général le changement de F0. Un test de corrélation de Pearson montre une corrélation positive et significative entre F0 et intensité (Pearson's r = 0.407, t = 54.536, df = 14941, p < 0.001).
<figure><img src="image_184.png" /><figcaption>FIGURE 2 – Les courbes d’intensité prédites par les modèles de GAMMs pour les monophtongues [i], [u], [a] (à gauche), les diphtongues montantes[ia], [ua] et diphtongues descendantes [ai], [au] (à droite) pour chaque ton. L’intensité est représentée en y.</figcaption></figure>

Les différences d'intensité entre les tons sont illustrées avec les packages *tidymv* (Coretta, 2023) et *ggplot2* (Wickham, 2016), présentées dans les trois images en bas de la figure 3 sous forme d'une courbe de deux couleurs. Cette courbe représente le chevauchement d'intervalle de confiance (95%) entre les deux courbes d'intensité de l'image en haut à droite, où la ligne *y* = 0 ne représente aucune différence de valeurs entre les deux courbes. La partie rouge représente une différence significative.

Les images montrent que les différences entre ces courbes d'intensité des différents tons sont statistiquement significatives. La courbe d'intensité relative du ton 1 est plus élevée que celle du ton 2 pour la majeure partie du milieu, de même que plus élevée que celle du ton 4 dans la seconde moitié de la voyelle. La courbe d'intensité relative du ton 4 est plus élevée que celle du ton 2 dans la première moitié, mais l'intensité du ton 4 diminue avec la baisse de F0, donc le ton 2 est plus élevé que le ton 4 dans la partie finale.
<figure><img src="image_185.png" /></figure>

FIGURE 3 – Les courbes de F0 (en haut à gauche) et les courbes d'intensité (en haut à droite) prédites par les modèles GAMM en fonction des tons. Les différences entre les courbes d'intensité entre chaque paire de tons (en bas).

## 4 Discussion

En résumé, les hypothèses H1 et H2 ne sont pas validées ni par nos données des monophtongues ni par celles des diphtongues. Il n'y a pas de lien évident entre l'intensité et l'aperture vocalique pour les monophtongues ou à l'intérieur d'une diphtongue. En revanche, l'hypothèse H3 est validée par nos résultats : l'intensité augmente quand la F0 augmente.

Le résultat nous mène ainsi à poser des questions sur la validité de définir la sonorité basée sur l'intensité. Dans la littérature, nous trouvons des tentatives pour quantifier la sonorité à partir du seul paramètre d'intensité. Inspiré des données de Fry (1979), Koffi (2020) propose une formule logarithmique pour dériver la sonorité à partir de l'intensité mesurée sur un segment<fnref n="3" />. Parker (2002) conçoit une version des indices de sonorité en intégrant plus de 100 propositions antérieures, et trouve que la corrélation entre l'indice de sonorité et l'intensité est presque parfaite pour les segments en anglais et en espagnol. Selon l'auteur, cela justifierait la mesure de l'intensité seule pour déduire la sonorité. De même, bien que le rôle de la F0 soit reconnu, selon Ladefoged & Johnson (2015, p. 255), la quantification de la sonorité est basée sur l'intensité, à condition que la F0, ainsi que la durée et l'accentuation, soient comparables.

Nos données vont clairement à l'encontre de ces propositions. Si la sonorité dépendait de l'intensité, même en prenant en compte l'effet de la F0, nous devrions constater une différence d'intensité entre les types de voyelles pour la même catégorie tonale. Or, pour toutes les catégories tonales, y compris le Ton 1 où la F0 est égale, cette différence d'intensité liée à la voyelle n'est pas constatée (Figure 2). En revanche, nos résultats sur une corrélation positive entre l'intensité et la F0 sont cohérents avec les travaux précédents (voir §1.2). Une possibilité est que cette corrélation prévaut sur l'intensité intrinsèque des voyelles dans une langue tonale, peut-être parce que le rôle de l'intensité

<footnote n="3">3. index de sonorité = $2 \times 10 \times \log_{10} \frac{\text{Intensité maximale du segment}}{60 \text{ dB}}$</footnote>
dans l'identification tonale est plus important que ce à quoi l'on pourrait s'attendre. Nous notons ici qu'afin d'isoler l'effet tonal de l'effet lié à l'intensité intrinsèque des voyelles, nous aurions besoin de plus de travaux sur l'intensité des voyelles, et notamment sur la dynamique d'intensité dans les diphtongues en comparant des langues non tonales à des langues tonales.

Ainsi, notre étude montre que l'intensité ne pourrait pas être utilisée pour dériver l'échelle de sonorité pour les segments vocaliques en mandarin de Pékin, à moins d'abandonner la notion de sonorité du moins pour les segments vocaliques. Alors, *quid* du rôle de la F0 dans la sonorité ? Bien que la F0 ait été proposée comme un des corrélats acoustiques de la sonorité (par ex. Nathan, 1989), ce n'est que récemment qu'une proposition très complète a été faite sur la modélisation de la sonorité à partir de l'intelligibilité de la hauteur de la voix ('pitch intelligibility'), estimée sur l'énergie des composantes périodiques ('period energy')<fnref n="4" /> (Albert & Nicenboim, 2022; Albert, 2023). Autrement dit, la dynamique de la F0 y joue un rôle important, mais l'énergie périodique représente des données plus riches que la F0, en intégrant les dimensions spectrales et temporelles. Selon ces auteurs, la relation entre intensité et sonorité n'est que corrélationnelle, tandis que la relation entre l'intelligibilité de la hauteur et la sonorité est causale. C'est aussi pour cette raison qu'ils considèrent que cette relation causale est aussi importante pour expliquer la sonorité (au niveau segmental et syllabique) et la proéminence (au niveau prosodique) que ce soit dans une langue à tons ou à intonation.

Si cette proposition est sur la bonne voie, nous devrions avoir un autre regard sur la notion de sonorité. La sonorité (interprétée comme la perception de la force sonore) dépendrait de l'intégration de multiples paramètres, dont la F0 qui joue un rôle primordial dans l'intelligibilité de la hauteur. Si nous continuons ce raisonnement, dans une langue tonale en particulier, la bonne formation syllabique (c.-à-d. en suivant le principe de sonorité séquentielle) dépendrait non seulement des propriétés segmentales, mais aussi de leur intégration avec la dynamique de la F0 liée aux tons lexicaux. Nos études futures cherchent à creuser cette spéculation au moyen de plus de données empiriques, ainsi que de l'exploration du lien entre la perception de la force sonore et la modélisation de la notion de l'intelligibilité de la hauteur proposée par Albert & Nicenboim (2022).

# 5 Limites de l'étude

Comme un des reviewers l'indique, l'intensité liée à l'ouverture vocalique doit correspondre à l'intensité perçue (Rossi, 1971). Notre étude exploratrice est uniquement basée sur l'intensité en dB SPL sans pondération, comme dans les études citées dans §1.2 sur les langues tonales ainsi que certaines tentatives de l'index de sonorité (Koffi, 2020). Une mesure des intensités pondérées selon les bandes fréquentielles (par ex. pondération A) pourrait sans doute donner des résultats plus indicatifs.

# Remerciements

Cette étude a bénéficié du soutien de l'Agence Nationale de la Recherche, dans le cadre d'une bourse de M2 du projet « Investissements d'Avenir » (référence : ANR-10-LABX-0083-LabExEFL), attribuée au premier auteur. Elle contribue à IdEx U. Paris (ANR-18-IDEX-0001). Nous remercions Jalal Al-Tamimi pour ses conseils sur les modèles GAMMs de cette étude.

<footnote n="4">4. periodic energy = $10 \times \log 10 \times \frac{\text{periodic power}}{\text{periodic floor}}$</footnote>
Références

ALBERT A. (2023). *A model of sonority based on pitch intelligibility*. language science press.

ALBERT A. & NICENBOIM B. (2022). Modeling sonority in terms of pitch intelligibility with the nucleus attraction principle. *Cognitive Science*, **46**, e13161.

BOERSMA P. & WEENINK D., Éds. (2023). *Praat : doing phonetics by computer* [Computer program].

CHAO Y. (1930). A system of tone letters. *Le Maître Phonétique*, **3**, 1–30.

CLEMENTS G. N. (1990). The role of the sonority cycle in core syllabification. **1**, 283–333.

CORETTA S. (2023). tidymv : Tidy model visualisation for generalised additive models. R package.

FAIRBANKS G., HOUSE A. S. & STEVENS E. L. (1950). An experimental study of vowel intensities. *The Journal of the Acoustical Society of America*, **22**(4), 457–459.

FRY D. B., Éd. (1979). *The physics of speech*. Cambridge University Press.

GIOVANNI A., OUAKNINE M. & GARREL R. (2003). Physiologie de la phonation. *Encyl Méd Chir Paris : Elsevier SAS*, p. 20–632.

GORDON M. & ROETTGER T. (2017). Acoustic correlates of word stress : A cross-linguistic survey. *Linguistics Vanguard*, **3**(1), 20170007.

HONDA K. (2004). Physiological factors causing tonal characteristics of speech : from global to local prosody. In *Proc. Speech Prosody 2004*, p. 739–744.

JONES D. (1954). Falling and rising diphthongs in Southern English. *Le Maître Phonétique*, **32**, 1–12.

KOFFI E. (2020). A comprehensive review of intensity and its linguistic applications. *Linguistic Portfolios*, **9**(1).

LADEFOGED P. & JOHNSON K. (2015). *A course in phonetics* [5th edition]. Cengage learning.

MIRET F. S. (1998). Some reflections on the notion of diphthong. *Papers and studies in contrastive linguistics*, **34**, 27–51.

NATHAN G. S. (1989). Preliminaries to a theory of phonological substance : The substance of sonority. In R. L. CORRIGAN, F. R. ECKMAN & M. NOONAN, Éds., *Linguistic categorization*, p. 55–67.

OHALA J. & KAWASAKI-FUKUMORI H. (1997). Alternatives to the sonority hierarchy for explaining segmental sequential constraints. *Language and its ecology : Essays in memory of Einar Haugen*, **100**, 343.

PARKER S. G. (2002). *Quantifying the sonority hierarchy*. Thèse de doctorat, University of Massachusetts Amherst.

ROSSI M. (1971). L'intensité spécifique des voyelles. *Phonetica*, **24**(3), 129–161.

SELKIRK E. (1984). On the major class features and syllable theory. p. 107–136. MIT press.

SÓSKUTHY M. (2017). Generalised additive mixed models for dynamic analysis in linguistics : A practical introduction. *arXiv preprint arXiv : 1703.05339*.

VAN DEN BERG J. (1957). Subglottic pressures and vibrations of the vocal folds : Remarks on a high-speed film of piquet, decroix and libersa. *Folia Phoniatrica et Logopaedica*, **9**(2), 65–71. DOI : 10.1159/000262761.

VAN RIJ J., WIELING M., BAAYEN R. H. & VAN RIJN H. (2022). itsadug : Interpreting time series and autocorrelated data using gamms. R package version 2.4.1.
WHALEN D. H. & XU Y. (1992). Information for mandarin tones in the amplitude contour and in brief segments. *Phonetica*, **49**(1), 25–47.

WICKHAM H., Éd. (2016). *ggplot2: Elegant Graphics for Data Analysis*. Springer-Verlag New York.

WIELING M. (2018). Analyzing dynamic phonetic data using generalized additive mixed modeling : A tutorial focusing on articulatory differences between 11 and 12 speakers of english. *Journal of Phonetics*, **70**, 86–116.

WOOD S. N., Éd. (2017). *Generalized additive models : an introduction with R*. CRC press.

ZEE E. (1978). Duration and intensity as correlates of f0. *Journal of Phonetics*, **6**(3), 213–220.

ZHANG X. (2017). *Les tons lexicaux du chinois mandarin en voix modale et en voix chuchotée*. Thèse de doctorat, Université de Strasbourg.
# Le /r/ du mandarin est-il une fricative plutôt qu'une liquide ?

Yezhou Jiang¹, Rachid Ridouane¹, Pierre Hallé¹

¹Laboratoire de Phonétique et Phonologie (CNRS & Université Sorbonne Nouvelle)

4 Rue des Irlandais, Paris, France

yezhou.jiang@sorbonne-nouvlle.fr, rachid.ridouane@sorbonne-nouvelle.fr, pierre.halle@sorbonne-nouvelle.fr

## RÉSUMÉ

Cette étude contribue au débat sur la nature phonologique de la consonne du mandarin notée <r> en pinyin : liquide ou obstruante ? /r/ ou /z/ ? Nous savons que les clusters C1C2 sont d'autant plus sujets à la réparation perceptive C1C2 > C1əC2 que le profil de sonorité de C1C2 est marqué : pour C1=occlusive, nous devrions observer davantage de réparations lorsque C2 = /s/ que lorsque C2 = /l/. Qu'en sera-t-il avec C2=(/r/ présumé) ? Nous utilisons la difficulté de discrimination de C1C2-C1əC2 comme index de réparation de C1C2 (auditeurs mandarins ; stimuli produits par une bilingue mandarin-russe). Conformément aux prédictions, la discrimination est moins bonne pour /s/ que pour /l/. Mais de manière cruciale, la discrimination est aussi mauvaise pour le /r/ présumé que pour /s/ (pərou–prou ≈ pəsou–psou << pəlou–plou). Ces données suggèrent que la consonne notée <r> du mandarin est plutôt une obstruante qu'une liquide : /z/ plutôt que /r/.

## ABSTRACT

### Is Mandarin /r/ a fricative rather than a liquid?

This study contributes to the debate on the phonological nature of the Mandarin consonant written <r> in pinyin: is it a liquid or an obstruent? /r/ or /z/?

We know that C1C2 clusters are all the more prone to the C1C2 > C1əC2 perceptual repair that the C1C2 sonority profile is marked: For C1=stop, we anticipate more repairs for C2=/s/ than for C2=/l/. What about C2=(presumed /r/)? To assess C1C2 repairs, we took as a proxy the difficulty at discriminating between C1C2 and C1əC2 (Mandarin-speaking listeners; stimuli produced by a Mandarin-Russian bilingual). As expected, discrimination is poorer for /s/ than for /l/. Crucially, discrimination is as poor for the presumed /r/ as it is for /s/ (pərou–prou ≈ pəsou–psou << pəlou–plou). These data suggest that the Mandarin consonant written <r> should be phonologically classified as an obstruent rather than a liquid: that is, /z/ rather than /r/.

**MOTS-CLÉS** : liquides, rhotiques, sonorité, perception, groupes consonantiques

**KEYWORDS** : liquids, rhotics, sonority, perception, consonant clusters

<figure><img src="image_186.png" /></figure>
# 1 Introduction

Les consonnes liquides “rhotiques” (“R-sounds”) sont difficiles à définir. Habituellement, on les note collectivement /r/, même lorsque leur réalisation n’est pas le [r] de l’API ; on les transcrit avec la lettre “r” (ou un équivalent) dans les systèmes d’écriture alphabétiques. Il existe une grande variabilité dans la réalisation phonétique de ces consonnes, tant articulatoire qu’acoustique, selon les langues et les dialectes (Lindau, 1980 ; Spreafico & Vietti, 2013), les contextes et les locuteurs. Il y a cependant un consensus sur la place des liquides (dont les rhotiques) dans les hiérarchies de sonorité proposées (e.g., Clements, 1990): les liquides sont placées entre les glides et les nasales. Parmi les liquides, les rhotiques sont parfois considérées comme plus sonores que les latérales (Wiese, 2001, 2011). Elles sont en tout cas plus sonores que les obstruantes : un point crucial pour notre étude.

En mandarin, il existe un son transcrit en pinyin par la lettre <r>, qui apparaît principalement en position initiale mais aussi en position finale de syllabe, soit comme une coda dans quelques mots monosyllabiques (par exemple, 二, 耳, etc., tous transcrits <er>), soit, plus fréquemment, comme un suffixe rétroflexe -r, reflétant le processus morphophonologique appelé "erhua" (儿化). En position initiale de mot, la nature phonologique du son transcrit <r> est controversée. Pour cette position, les analyses phonologiques récentes suggèrent que le <r> du pinyin note une rhotique /r/, proche de l'approximante [r] ou [t] de l'anglais américain, qui forme un contraste avec la latérale /l/ : le contraste liquide /r/-/l/. Plusieurs études ont montré que ce /r/ supposé (pour simplifier, nous le notons désormais simplement '/r/') est réalisé avec un F3 particulièrement bas, ce qui est vu comme une signature acoustique des approximantes rétroflexes, et souvent avec peu de bruit de friction, ce qui indiquerait une approximante plutôt qu'une fricative (Lee, 2005 ; Smith, 2010 ; Chen & Mok, 2019 ; Xing, 2021). Concernant l'articulation en position prévocalique, le /r/ mandarin est fréquemment articulé comme une consonne rétroflexe, similaire à celle du /r/ anglais américain. Pendant la production, la pointe ou la lame de la langue est soulevée vers le palais post-alvéolaire ou le palais dur, tandis que la partie antérieure de la langue reste relativement plate ou neutre. (Gick et al., 2006 ; Chen & Mok, 2021 ; Xing, 2021).

Du point de vue diachronique, les travaux en phonologie historique du chinois ont montré que le /r/ du mandarin n'est pas le réflexe d'une rhotique. Il provient d'une nasale alvéo-palatale voisée (*ŋ) du chinois archaïque (CA), qui a évolué en chinois moyen en une fricative alvéolo-palatale /z/, pour finalement devenir la fricative rétroflexe /z/ du mandarin (Baxter & Sagart, 2014). Le // du mandarin provient entre autres de la nasale sourde qui correspond à la sonore *ŋ* en CA (Baxter & Sagart, 2014). Ces changements diachroniques sont en accord avec le point de vue traditionnel selon lequel le /r/ mandarin est une fricative /z/ dont la contrepartie sourde est /ch/ (Karlgren, 1915 ; Chao, 1968 ; Ye, 1981 ; Duanmu, 2007 ; Lin, 2007). Dans les manuels actuels d'enseignement du chinois langue étrangère, le pinyin <r> est regroupé avec les fricatives et affriquées rétroflexes /ʃ/, /tʃ/ et /tʃh/ (<sh, zh, ch>), prononcées avec la pointe de la langue relevée, approchant ou touchant la partie avant du palais dur. Ce regroupement est phonologiquement justifié par une distribution similaire des rimes possibles après <sh, r, zh, ch>, distribution très différente de celle trouvée après /l/. Cet argument distributionnel suggère un appariement des sons transcrits <sh> et <r> (contraste /ʃ/-/z/) plutôt que de <l> et <r> (contraste /l/-/r/). En particulier, les fricatives et affriquées rétroflexes, et non /l/, peuvent précéder la voyelle apicale rétroflexe /h/. Inversement, /l/, et non le groupe rétroflexe, peut précéder les voyelles ou les semi-voyelles hautes et antérieures (/i, j, q/). Tout cela suggérerait que le mandarin possède un contraste /ʃ/-/z/ plutôt qu'un contraste /r/-/l/.
Il existe peu de recherches explorant la nature du /r/ mandarin du point de vue de la sonorité perçue. La sonorité perçue du /r/ mandarin est-elle plus proche de celle d'une liquide ou de celle d'une obstruante ? Nous tentons de répondre à cette question, en suivant la hiérarchie de sonorité la plus simple et consensuelle : voyelle > glide > liquide > nasale > obstruante (Clements, 1990).

Selon le Principe de Sonorité Séquentielle (PSS), les syllabes où l'attaque a un profil de sonorité montante sont mieux formées (moins marquées, plus acceptables) que celles où l'attaque a un profil "plateau" ou, pire encore, tombant (Clements, 1990 ; Berent et al., 2007). Berent et ses collègues (Berent et al., 2008, 2012) ont montré que les attaques plus marquées sont perçues moins fidélement et sont plus souvent "réparées" perceptivement, en général par insertion de voyelle énthétique. Par exemple, Zhao et Berent (2016) ont étudié la perception par des locuteurs mandarins de clusters CC en position initiale, différant par le profil de sonorité. Le mandarin bannit tout cluster. Les sujets mandarins avaient tendance à percevoir les clusters CC comme des séquences CɔC avec schwa énthétique (par exemple, blif perçu bɔlif). Cela se traduisait par une mauvaise discrimination des contrastes CɔC-CC (par exemple, blif-bɔlif). La discrimination était d'autant plus mauvaise que les profils de sonorité des CC étaient mal-formés. Les locuteurs du mandarin sont donc sensibles au PSS : Ils discriminent mieux bl-bɔl que bd-bɔd et mieux bd-bɔd que lb-lɔb, suivant la marque croissante bl < bd < lb. Nous exploitons ici cette sensibilité pour déterminer où se place, pour un locuteur mandarin, le /r/ mandarin dans l'échelle de sonorité : du côté des liquides ou des obstruantes ?

Les effets PSS en perception sont ainsi susceptibles d'éclairer la nature phonologique du /r/
mandarin (fricative ou liquide ?). Cette étude compare la sonorité perçue du /r/ mandarin à celle de
la fricative /s/ et la latérale /l/, obstruante et liquide sans équivoque. Nous testons des auditeurs
chinois sur leur discrimination de contrastes C1C2-C1ɔC2 en début de mot, qui varient selon le
profil de sonorité de C1C2. C1 est toujours une occlusive et C2 est soit /l/, soit /s/, soit le /r/
mandarin. Pour que cette étude soit possible, les stimuli ont été produits par une locutrice bilingue
sino-russe : en tant que locutrice du russe, elle pouvait parfaitement produire les clusters CC requis
(le russe autorise en attaque des CC avec profil de sonorité montant, plateau, et même tombant) ;
en tant que locutrice du mandarin, elle pouvait parfaitement produire tous les C1s et C2s propres au
mandarin, en particulier le /r/ mandarin comme C2 après une occlusive C1. Pour chaque type de
contraste C1C2-C1ɔC2 (C2=/l, s, r/), le taux de non-discrimination et le temps de réponse indexent
la difficulté de discrimination de ces contrastes (ou le taux de réparation perceptive C1C2 > C1ɔC2)
qui doit dépendre du profil de sonorité de C1C2.

Tout d'abord, nous prédisons un taux de réparation plus élevé pour /s/ que pour /l/, étant donné les nombreuses résultats allant dans ce sens dans la littérature (Berent et al., 2008, 2012), et en particulier pour des locuteurs du mandarin (Zhao & Berent, 2016). Comme C1 est une occlusive, les clusters C1+/s/ (profil de sonorité plateau) devraient induire davantage de réparation que les clusters C1+/l/ (profil de sonorité montant donc mieux formé). La question cruciale porte sur les clusters C1+/r/ : se comportent-ils plutôt comme C1+/s/ ou plutôt comme C1+/l/ ? Le second cas suggérerait que le /r/ mandarin fonctionne comme un liquide, tandis que le premier cas indiquerait qu'il fonctionne comme une obstruante. Les cas intermédiaires seraient difficiles à interpréter.
# 2 Méthodes

## 2.1 Stimuli

Une locutrice bilingue mandarin-russe a enregistré cinq répétitions de 18 paires de non-mots du type {C1əC2R, C1C2R}, où C1 est l'occlusive /p/ ou /t/ ; C2 est /l/, /s/ ou le /r/ mandarin ; R est l'une des rimes suivantes, possibles en mandarin : /aŋ/, /oŋ/ ou /ou/ (Tableau 1).

<table><caption>TABLEAU 1: Contrastes (notés en pinyin) utilisés pour l'expérience de discrimination.</caption><tr><td>belou-blou</td><td>belang-blang</td><td>belong-blong</td><td>delou-dlou</td><td>delang-dlang</td><td>delong-dlong</td></tr><tr><td>berou-brou</td><td>berang-brang</td><td>berong-brong</td><td>derou-drou</td><td>derang-drang</td><td>derong-drong</td></tr><tr><td>besou-bsou</td><td>besang-bsang</td><td>besong-bsong</td><td>desou-dsou</td><td>desang-dsang</td><td>desong-dsong</td></tr></table>

Après analyse acoustique et prosodique sous Praat (Boersma & Weenink, 2024), trois stimuli ont été sélectionnés parmi les 5 répétitions de chaque item en sorte que (1) les CC ne contiennent pas de voyelle épenthétique et que (2) les contrastes CC-CəC soient minimalement marqués par des différences de contour f0 et/ou de durée. La fréquence fondamentale moyenne des stimuli sélectionnés varie entre de 240 à 270 Hz. Le pic d'intensité a été égalisé à 75 dB SPL. La durée de /ə/ dans CəCR a été égalisée à environ 40 ms en utilisant l'implémentation de PSOLA dans Praat.

Au cours de la sélection, nous avons observé des variations phonétiques intéressantes dans les /r/ mandarin de la locutrice bilingue. Pour les items du type CərR et CrR, environ 78% de ses /r/ avaient une structure formantique claire et peu de bruit de friction. Seuls ~22 % de ses /r/ présentaient un bruit de friction notable.

## 2.2 Participants

Vingt-quatre étudiants (15 femmes, 9 hommes) de 18 à 20 ans, recrutés à l'université Jimei en Chine, ont participé à l'expérience. Tous ont indiqué que leur langue maternelle était le mandarin et que leurs deux parents parlaient également le mandarin. Aucun d'entre eux n'avait vécu à l'étranger, mais tous avaient suivi des cours d'anglais à l'école pendant au moins neuf ans ; leur niveau moyen d'anglais auto-évalué sur une échelle de 1 à 5 était de 3,6 pour la compréhension et de 3,3 pour la production orale. Aucun ne souffrait de troubles auditifs ou linguistiques.

## 2.3 Procédure

Nous avons utilisé le paradigme AXB de discrimination, avec un intervalle inter-stimuli de 1 sec. et un time-out de 3 secondes pour les réponses. Chacun des 18 contrastes C1C2R-C1əC2R (2 C1 x 3 C2 x 3 rimes) était présenté 12 fois : pour chacune des quatre combinaisons AAB, BBA, ABB et BAA, trois triplets ont été construits par rotation des trois tokens des items A et B de sorte que chaque token apparaisse de façon équiprobable dans chacune des trois position et jamais deux fois dans le même essai. D'où un total de 18 x 12 = 216 essais test. La phase de test était précédée par une phase d'entraînement de huit essais faciles (e.g., belang-belang-belou) pour familiariser les participants avec la tâche.
L'expérience a été conduite en ligne avec PsyToolkit (Stoet, 2017). Il était demandé aux participants de passer l'expérience dans une pièce calme, avec aussi peu de distractions visuelles ou auditives que possible, de mettre leur téléphone en mode silencieux, et de porter des écouteurs avec le niveau sonore réglé à un niveau confortable. L'expérience proprement dite était accompagnée d'un questionnaire pour collecter les métadonnées sur les participants (en particulier sur leur background linguistique). Le questionnaire ainsi que toutes les instructions aux participants apparaissant à l'écran étaient rédigées en chinois.

À chaque essai, les participants recevaient trois stimuli (AXB) et devaient indiquer si le deuxième stimulus X leur semblait plus semblable au premier (A) ou au troisième (B) stimulus en appuyant sur l'une de deux touches (S ou L). Il leur était demandé de répondre aussi rapidement et correctement que possible. Les temps de réponse (RT) étaient mesurés à partir du début du troisième stimulus B. Au cours de l'entraînement, les participants recevaient un feed-back sur leur réponse : RT (en ms) affiché en vert ou rouge (correct ou incorrect) ou "trop lent" en cas de dépassement des 3 secondes. Au cours de la phase de test, ils ne recevaient plus que le feed-back de time-out. Chaque participant recevait les essais dans un ordre aléatoire différent. La durée de l'expérience était d'environ 30 minutes.

## 3 Résultats

La figure 2.a montre les pourcentages de discrimination correcte en fonction de la consonne critique C2 (/l/, /s/, ou /r/ : i.e., les trois contrastes testés Cəl-Cl, Cəs-Cs et Cər-Cr). La figure 2.b montre le détail des taux d'erreur de discrimination : selon C2, C1 (/p/ ou /t/) et R (rime -ang, -ong ou -ou). Considérant C2 comme le facteur principal, la performance de discrimination est la meilleure pour les contrastes Cəl-Cl (taux d'erreur moyen le plus bas : 14.6%), suivie des contrastes Cəs-Cs (taux d'erreur de 32.2%), puis Cər-Cr (taux d'erreur de 34.8%). Du point de vue de la rime, la performance est la meilleure pour les contrastes C1əC2ong-C1C2ong en '-ong' (taux d'erreur 15,7%), suivis par les contrastes en '-ang' et '-ou' (taux d'erreur 31,4% et 34.5%, respectivement). Nous avons analysé les données de taux d'erreur et de temps de réponse à l'aide de modèles linéaires mixtes (régression logistique pour les données de taux d'erreur) sous R (R Core Team, 2016), avec pour effets fixes principaux C1, C2, Rime et leurs interactions, et pour effets aléatoires les intercepts par sujets. Nous avons également inclus les effets fixes structurels Pattern (primauté vs. récence : AAB ou BBA vs. ABB ou BAA) et Target (X avec vs. sans schwa). La significativité de chaque effets a été évaluée en comparant les meilleurs modèles avec et sans cet effet (statistique Chi2). Nous avons effectué des comparaisons par paires entre les trois niveaux de C2 (/l, s, r/) en testant les modèles sur des sous-ensembles ne contenant que les deux niveaux à comparer.

Les effets fixes structurels n'étaient significatifs ni pour les taux d'erreur ni pour les RTs. Pour les taux d'erreur, C2 était significatif (Figure 2.a), avec moins d'erreurs pour /l/ que pour /s/ ($\chi^2(1) = 6.62, p < .01$) ou /r/ ($\chi^2(1) = 8.26, p < .001$), donc une meilleure discrimination pour Cəl-Cl que pour Cəs-Cs ou Cər-Cr. La différence entre /r/ et /s/ n'était pas significative ($\chi^2(1) = 0.10, p = .76$), indiquant une performance de discrimination similaire pour Cəs-Cs et Cər-Cr (taux d'erreurs 32.2% et 34.8%, respectivement). Rime était significatif (Figure 2.b), avec moins d'erreurs pour '-ong' que pour '-ang' ($\chi^2(1) = 5.23, p = .02$) et '-ou' ($\chi^2(1) = 7.04, p < .01$), donc une meilleure discrimination pour CəCong-CCong. C1 n'était pas significatif ($\chi^2(1) = 0.66, p = .41$), malgré un taux d'erreur numériquement plus élevé pour /p/ (30.2%) que pour /t/ (24.2%).
<figure><img src="image_187.png" /><figcaption>FIGURE 2.a. Taux d'erreur de discrimination selon C2 = /l/, /s/ et /r/</figcaption></figure>

<figure><img src="image_188.png" /><figcaption>FIGURE 2.b. Taux d'erreur selon C1, C2, et la rime R</figcaption></figure>

Pour les RTs (réponses correctes), les effets de C2 étaient parallèles à ceux trouvés pour les taux d'erreur. Les temps de réponse étaient plus courts pour /l/ que pour /s/ ou /r/ (938 ms < 1025 ou 1064 ms : $\chi^2(1) = 3.85, p < .05$ ou $\chi^2(1) = 7.93, p < .01$, respectivement). Les RTs ne différaient pas entre /r/ et /s/, $\chi^2(1) = 0.73, p = .39$. La Figure 3 montre les distributions des temps de réponses correctes pour /l/, /s/ et /r/. Encore une fois, nous constatons que la discrimination est plus facile pour C2=/l/ que pour /s/ ou /r/, et que /s/ et /r/ ne diffèrent pas de manière significative. En d'autres termes, les trois contrastes peuvent être regroupés en deux catégories : /l/ d'un côté et /s, r/ de l'autre. La discrimination est plus facile pour /l/ par rapport à /s, r/, suggérant moins de réparations par schwa épenthètique avec /l/ qu'avec /s, r/ comme C2 dans les clusters occlusive+C2.
<figure><img src="image_189.png" /><figcaption>FIGURE 3. Distributions des temps de réponses correctes pour C2=/l/, /s/ et /r/</figcaption></figure>

Le Tableau 2 montre un résumé d'une analyse ANOVA effectuée en parallèle sur les taux d'erreur, avec les facteurs intra-sujets C1, C2, Rime, Pattern et Target et les interactions C1 x C2 et C2 x Rime. Cette analyse confirme celle par modèles mixtes.

<table><caption>TABLEAU 2. Sommaire de l'analyse ANOVA des taux d'erreur</caption><thead><tr><td>Facteur</td><td>d.f.</td><td>F</td><td>p</td></tr></thead><tbody><tr><td>C1</td><td>1, 24</td><td>1.05</td><td>0.32</td></tr><tr><td>C2</td><td>2, 23</td><td>6.15</td><td>0.007</td></tr><tr><td>Rime</td><td>2, 73</td><td>8.98</td><td>0.0003</td></tr><tr><td>Pattern</td><td>3, 22</td><td>1.19</td><td>0.34</td></tr><tr><td>Target</td><td>1, 24</td><td>0.15</td><td>0.7</td></tr><tr><td>C1 x C2</td><td>5, 20</td><td>3.93</td><td>0.01</td></tr><tr><td>C2 x Rime</td><td>4, 67</td><td>2.00</td><td>0.1</td></tr></tbody></table>

## 4 Discussion

Nos résultats, qui comparent les performances de discrimination des auditeurs du chinois mandarin sur les contrastes Cəl-Cl, Cəs-Cs et Cər-Cr, montrent des performances plus faibles pour Cəs-Cs et Cər-Cr que pour Cəl-Cl, en termes de précision et temps de réponse. L'effet de réparation phonotactique par insertion de schwa est donc similaire pour les clusters occlusive+/s/ et occlusive+/r/, et plus fort que pour les clusters occlusive+/l/. Notre prédiction initiale que les clusters occlusive+/s/ de profil de sonorité plateau induisent davantage de réparation que les clusters occlusive+/l/ de profil montant est confirmée, en accord avec les résultats de la litérature (Berent et al., 2007; Zhao & Berent, 2016). Quant au /r/, les clusters occlusive+/r/ se comportent comme les occlusive+/s/ de profil de sonorité plateau. Nous devons en conclure que, pour les auditeurs du mandarin, ce /r/ présumé a une sonorité perçue bien plus proche de celle de /s/ que de /l/. Autrement dit, le /r/ mandarin se comporte perceptivement comme une obstruante plutôt qu'une liquide : le son transcrit par le pinyin <r> n'est pas une rhotique /r/ mais plutôt une fricative /z/.
Nous avons noté que la plupart des '/r/' de nos stimuli (~78%) avaient peu de friction. La sonorité perçue d'une consonne n'est donc sans doute pas directement liée à sa réalisation phonétique.

Quelques remarques supplémentaires sont nécessaires. Tout d'abord, trois contrastes spécifiques: besong-bsong, desong-dsong et derong-drong ont été très bien perçus par les participants, avec des taux d'erreur de 9.8%, 7.2% et 14.1%, respectivement, bien inférieurs aux taux moyens de 35.7% et 28.9% pour les contrastes de type dəs-ds et dər-dr (Figure 2.b). L'examen détaillé des stimuli impliqués dans ces contrastes suggère des explications phonétiques, même si elles restent spéculatives. (1) Le /r/ dans drong-derong est réalisé proche du tap russe [r] dans drong, mais proche du /r/ mandarin typique dans derong. On peut supposer que la locutrice bilingue est passé par inadvertance au russe pour les items "drong". Les données pour le contraste drong-derong auraient donc dû être écartées. (2) Pour les items "dsong", la séquence /t+/s/ est plus étroitement coarticulée que les deux autres rimes, ce qui rend la séquence /ts/ plus facile à confondre avec l'affriquée /ts/ du mandarin (pinyin <z>) dans laquelle il est peu probable de percevoir un schwa épenthétique. (3) De même, pour les items "bsong", la séquence /p+/s/ est plus étroitement coarticulée que pour les deux autres rimes, avec une confusion possible entre /ps/ et /ph/ (pinyin <p>). L'aspiration perçue aiderait les auditeurs mandarins à distinguer besong de bsong. Enfin, le taux d'erreur pour les contrastes dəl-dl est assez faible (8.1%). Une explication plausible est la réparation perceptive /tl>/kl/ que l'on trouve chez les auditeurs mandarins (Chen et al., 2022) tout comme chez les français ou américains (Hallé & Best, 2007). Le contraste dəl-dl équivaudrait ainsi au contraste /təl/-/kl/, logiquement plus facile à percevoir que /pəl/-/pl/. Un dernier aspect atténuant le pattern d'ensemble de la Figure 2.a est la difficulté de discrimination du contraste belou-blou (cf. Figure 2.b), pour laquelle nous n'avons pas d'explication.

Pour résumer ces remarques, différents aspects ont pu affecter nos données pour la rime '-ong' et pour l'initiale C1 /t/ suivie de /l/ ou /s/, rendant moins net le pattern global de sonorité perçue /l/ > {/s/ ≈ '/r/'}. Ces perturbations expliquent en partie l'effet du facteur Rime et de l'interaction C1 × C2. Malgré ces perturbations, le pattern global qui ressort est bien la hiérarchie de sonorité /l/ > {/s/ ≈ '/r/'}. Nous en tirons donc pour l'instant la conclusion que le /r/ mandarin est, en perception, une fricative plutôt qu'une liquide.

# 5 Conclusion

Nos résultats répliquent tout d'abord ceux de Zhao et Berent (2016) pour ce qui est du rôle du profil de sonorité dans l'acceptabilité perceptive des clusters dont le profil montant versus plateau est non équivoque (occlusive+/l/ vs. occlusive+/s/). Même si tous ces clusters sont également illégaux en chinois, ceux à profil montant sont plus acceptables que ceux à profil plateau : ils sont perçus plus fidèlement, induisent moins de réparation perceptive par épenthèse de schwa, et donc une meilleure perception des contrastes CC-CəC. Nous trouvons en effet que, par exemple, belang-blang est mieux discriminé que besang-bsang, tout comme Zhao et Berent rapportent que belif-blif est mieux discriminé que bedif-bdif. Ce qui est nouveau dans nos données relève de la consonne du mandarin transcrite <r> en pinyin. Cette consonne, un /r/ présumé, se comporte, du point de vue de la perception de la sonorité, comme un /s/ plutôt qu'un /l/. Autrement dit, ce /r/ présumé du mandarin se comporte en perception comme une obstruante plutôt qu'une liquide. Dans le débat encore non résolu sur la nature de ce '/r/' mandarin, nos résultats vont donc à l'appui du point de vue traditionnel : le pinyin <r> représente une fricative plutôt qu'une liquide.
Références

BAXTER W., SAGART L. (2014). Old Chinese: A New Reconstruction. Oxford University Press.
New York. DOI: 10.1093/acprof:oso/9780199945375.001.0001.

BERENT I., STERIADE D., LENNERTZ T. & VAKNIN V. (2007). What we know about what we have never heard: Evidence from perceptual illusions. *Cognition*, 104 (3), p. 591-630. DOI: 10.1016/j.cognition.2007.01.006.

BERENT I., LENNERTZ T. & ROSSELLI M. (2008). Language universals in human brains. *Proceedings of the National Academy of Sciences*, 105(14), p. 5321-5325. DOI: 10.1073/pnas.0801469105.

BERENT I., LENNERTZ T., JUN J., MORENO M.A. & SMOLENSKY P. (2012). Universal phonological restrictions and language-specific repairs: Evidence from Spanish. *The Mental Lexicon*, 13, p. 275-305. DOI: 10.1075/ml.7.3.02Ber.

BOERSMA, P. & WEENINK, D. (2024). Praat: doing phonetics by computer [Computer program]. Version 6.4.05, retrieved 27 January 2024 from http://www.praat.org/.

CHAO Y. (1968). A Grammar of Spoken Chinese. University of California Press. Berkeley.

CHEN S., MOK P. (2021). Articulatory and acoustic features of Mandarin /ɪ/: a preliminary study. *12th international symposium on Chinese spoken language processing*, p. 1-5. DOI: 10.1109/ISCSLP49672.2021.9362070.

CHEN X., RIDOUANE R., HALLÉ P. (2022). Perception des clusters selon leur profil de sonorité : le cas des auditeurs du mandarin confrontés à des clusters russes. *JEP 2022 (34e Journées d'Études sur la Parole)*, p. 183-192. DOI: 10.21437/JEP.2022-20.

CLEMENTS G. (1990). The role of the sonority cycle in core syllabification. In J. Kingston & M. Beckman (Eds.), *Papers in Laboratory Phonology*, pp. 283-333. Cambridge: Cambridge University Press.

DUANMU S. (2007). The Phonology of Standard Chinese. Oxford University Press. Oxford & New York.

GICK B., CAMPBELL F., OH S. & TAMBURRI-WATT L. (2006). Toward universals in the gestural organization of syllables: A crosslinguistic study of liquids. *Journal of Phonetics*, 34(1), p. 49-72. DOI: 10.1016/j.wocn.2005.03.005.

GREENBERG J.H. (1978) in GREENBERG J.H, FERGUSON C.A, MORAVCSIK E.A, Éds., *Universals of Human Language*, Vol 2, p. 243-279.

HALLÉ P., BEST C. (2007). Dental-to-velar perceptual assimilation: a cross-linguistic study of the perception of dental stop+/l/ clusters. *The Journal of the Acoustical Society of America*, 121, p. 2899-2914. DOI: 10.1121/1.2534656.

KARLGREN B. (1915). Études sur la phonologie chinoise. Thèse de doctorat, Université d'Upsala.

LEE W. (2015). A phonetic study of the “er-hua” rimes in Beijing Mandarin. *INTERSPEECH*, 2005, p. 1093-1096. DOI: 10.21437/Interspeech.2005-433.

LIN Y. (2007). The sounds of Chinese. Cambridge University Press. Cambridge.

LINDAU M. (1980). The story of /r/. *The Journal of the Acoustical Society of America*, 67, S27. DOI: 10.1121/1.2018134.

MASSARO D., COHEN M. (1983). Phonological context in speech perception. *Perception and Psychophysics*, 34, p. 338-348. DOI: 10.3758/BF03203046.

R CORE TEAM. (2016). R: A language and environment for statistical computing. *R Foundation for Statistical Computing*. http://www.R-project.org.
SPREAFICO, L., & VIETTI, A. (2013). Rhotics: New data and perspectives. Bozen-Bolzano University Press. DOI: 10.13124/9788860461025.

SMITH J. (2010). Acoustic properties of English /l/ and /r/ produced by Mandarin Chinese speakers. Mémoire de master, University of Toronto.

WIESE R. (2001). The phonology of /r/. In D.G.Mouton: *In Distinctive feature theory*, p. 335-368. DOI: 10.1515/9783110886672.335.

WIESE R. (2011). The representation of rhotics. *In The Blackwell Companion to Phonology: Vol. vol.1*, p. 711-729. DOI: 10.1002/9781444335262.wbtcp0030.

XING K. (2021). Phonetic and phonological perspectives on rhoticity in Mandarin. Thèse de doctorat, University of Manchester.

YE M. (1981). The investigation of acoustic origin of the syllable-initial /r/. 日母音值源流考. *In Chifeng Institute Journal* 赤峰学院学报, 1981(1), p. 20-63.

ZHAO X., BERENT I. (2016). Universal restrictions on syllable structure: evidence from mandarin Chinese. *Journal of Psycholinguistic Research*, 01 Aug 2016, 45(4), p. 795-811. DOI: 10.1007/s10936-015-9375-1.
# Le rythme : un marqueur d'atteinte du nerf laryngé supérieur ?

Hélène Massis¹, Marie-Hélène Degombert², Juliette Dindart³, Diane Lazard⁴, Christophe Trésallet⁵, Frédérique Frouin³, Claire Pillot-Loiseau¹,

(1) Laboratoire de Phonétique et Phonologie UMR 7018, 4 rue des Irlandais, 75005 Paris

(2) Cabinet Libéral, 78ter rue Guynemer, 92400 Courbevoie

(3) LITO, Inserm, Institut Curie, Université Paris Saclay, 91400 Orsay

(4) Service ORL et Maxillo-faciale, Centre hospitalier Princesse Grace, Monaco
(5) Service de chirurgie digestive, bariatrique et endocrinienne, hôpital universitaire Paris-Seine-Saint-Denis, hôpital Avicenne, 125 rue de Stalingrad, 93000 Bobigny

[helene.massis, claire.pillot]@sorbonne-nouvelle.fr, orthodegombert@gmail.com, [juliette.dindart, frederique.frouin]@curie.fr, dianelazard@yahoo.fr, christophe.tresallet@aphp.fr

## RESUME

Après thyroïdectomie totale, la plainte vocale des patients, hors paralysie récurrentielle, est attribuée à l'atteinte du nerf laryngé supérieur (NLS) difficilement objectivable. Cette étude détermine si des paramètres rythmiques (ici temporels) de la parole de ces patients peuvent servir à son diagnostic. Elle a été menée chez 28 femmes avec suspicion d'atteinte de la branche crico-thyroïdienne du NLS (CT-), comparées à 27 autres sans dommage (CT+) après thyroïdectomie, au regard d'une population témoin (T). Les paramètres rythmiques étudiés montrent une diminution de la proportion des intervalles vocaliques sur tout l'énoncé, ainsi qu'une augmentation de la durée des intervalles consonantiques, moins variables, chez les CT-. La mobilisation des plis vocaux serait plus complexe et la réalisation des consonnes semblerait mettre en difficulté les CT-. Cette étude innovante sur le rythme des CT-, a tout son intérêt pour répondre aux attentes des patients et des professionnels de la voix.

## ABSTRACT

### Rhythm as a marker of upper laryngeal nerve damage?

After total thyroidectomy, patients' vocal complaints, excluding recurrent paralysis, are attributed to damage to the superior laryngeal nerve (SLN), which is difficult to objectify. The aim of this study was to determine whether rhythmic parameters (here temporal) of these patients' speech could be used in their diagnosis. It was carried out in 28 women with suspected damage to the crico-thyroid branch of the SLN (CT-), compared with 27 others without damage (CT+) after thyroidectomy, against a control population (T). The rhythmic parameters studied showed a decrease in the proportion of vowel intervals throughout the utterance, and an increase in the duration of the less variable consonant intervals in CT-. Mobilization of the vocal folds was more complex, and consonant realization appeared to be more difficult for CT- speakers. This innovative study of CT-rhythm is of great interest in meeting the expectations of patients and voice professionals.

**MOTS-CLES** : rythme, parole, nerf laryngé supérieur, thyroïdectomie, qualité vocale.

**KEYWORDS** : rhythm, speech, superior laryngeal nerve, thyroidectomy, voice quality.

<figure><img src="image_190.png" /></figure>
# 1 Introduction

Les différents trajets anatomiques possibles de la branche externe du nerf laryngé supérieur (NLS) la rendent vulnérable aux pathologies de la structure la plus proche, à savoir la thyroïde, et aux interventions chirurgicales avec leurs possibles conséquences lésionnelles. La prévalence de l'atteinte du NLS oscille entre 14% et 58% des cas après chirurgie thyroïdienne (Barczyński et al., 2013 ; Neri et al., 2011). La lésion du NLS altère la contraction du muscle crico-thyroïdien (CT) provoquant un défaut d'élongation et de tension du pli vocal, et donc atteint la voix (Orestes & Chhetri, 2014). La prévalence de cette lésion est difficile à caractériser du fait d'un diagnostic encore incertain malgré tout le panel d'examens possibles. Sans outils diagnostiques fiables, cette lésion et la plainte étaient jusqu'à récemment encore peu étudiées et sous-estimées. Le terme de « suspicion d'atteinte » est d'ailleurs préférablement employé. Il convient alors d'écouter les patients et d'évaluer leur voix.

L'atteinte vocale a d'abord été particulièrement observée en voix chantée, mais les patients atteints d'une paralysie du NLS témoignent aussi communément d'une baisse de la fréquence fondamentale ($f_0$, Orestes & Chhetri, 2014 ; Roy et al., 2016), une difficulté à projeter la voix et l'impossibilité d'atteindre les sons aigus (Orestes & Chhetri, 2014). En conversation, la voix est décrite comme affaiblie, soufflée et monotone (Roy et al., 2016), mais aussi fatigable (Neri et al., 2011). Selon plusieurs auteurs, la fatigue vocale s'explique par l'installation de mécanismes compensatoires permettant d'augmenter la pression sous-glottique et la résistance laryngée (Orestes & Chhetri, 2014). Par des mesures aérodynamiques, Barczyński et al. (2013) objectivent l'augmentation de la pression sous-glottique et le débit d'air réduit lorsque le NLS est atteint, d'où un contrôle de l'air plus difficile au niveau des plis vocaux. Outre les phénomènes décrits précédemment, des interruptions inopinées, des pauses impromptues ou encore une accélération du débit de la parole comme phénomène de compensation sont attendues. La gestion vocale au quotidien de ces patients en proie à des difficultés pneumo-phonatoires pose question. Au-delà du trouble vocal lui-même, le rythme de la parole est donc ici étudié.

Le rythme est un élément incontournable pour le traitement de la parole. Du fait d'une notion faisant débat, s'accorder sur une définition du rythme est en soit un enjeu. Par rythme, nous évoquons ici uniquement des aspects temporels de la parole faisant appel au principe de Di Cristo (2013, 2016 dans Pillot-Loiseau et Xie, 2018) soit la construction d'« une alternance plus ou moins régulière de temps forts et de temps faibles ». Pillot-Loiseau et Xie (2018, p. 3) avancent qu'« une bonne maîtrise de l'aspect temporel d'une langue favorise l'intercompréhension entre interlocuteurs et ceux-ci tendent à considérer ce genre de production plus agréable et plus naturelle ». Le rythme soutient la production langagière et aide à la clarté du discours transmis (Arvaniti, 2012). Kohler (2009) insiste sur l'importance de son étude, très peu analysé dans la littérature. Ce paramètre est pourtant un argument majeur dans la classification des langues. Ainsi, on trouve un intérêt dans l'utilisation d'une telle méthode de catégorisation lorsqu'on l'applique à une même langue (Arvaniti, 2012). « Il semblait donc probable que les mesures [rythmiques] seraient en mesure d'identifier les déviations par rapport au rythme normal et serviraient donc d'outil de diagnostic » (Lowit, 2014, p. 2-3). L'auteur pense également que les paramètres rythmiques pourraient même servir à évaluer la sévérité d'un trouble et mesurer l'efficacité d'un traitement thérapeutique. Cette littérature démontre donc que l'étude du rythme chez une population pathologique est envisageable et pourrait mettre en lumière des altérations reflétant une certaine co-morbidité dans des pathologies d'origine vocale. Mener une telle étude sur la voix pathologique permet d'explorer un domaine peu étudié.
Plusieurs mesures rythmiques existent et reposent sur différents éléments de la production (voyelle, consonne, syllabe, segment). Le tableau 1 reprend ces mesures utilisées dans la littérature (Mairano & Romano, 2009 ; Pillot-Loiseau & Xie, 2018 ; Ramus, 1999b).

<table><caption>TABLE 1 : Définition des paramètres temporels locaux (Mairano & Romano, 2009 ; Pillot-Loiseau & Xie, 2018 ; Ramus, 1999b)</caption><thead><tr><th></th><th></th></tr></thead><tbody><tr><td>%V</td><td>Proportion des intervalles vocaliques de l'énoncé</td></tr><tr><td>ΔC</td><td>Ecart-type des intervalles consonantiques de l'énoncé</td></tr><tr><td>ΔV</td><td>Ecart-type de la durée des intervalles vocaliques de l'énoncé</td></tr><tr><td>Vmean</td><td>Moyenne de la durée des voyelles</td></tr><tr><td>Cmean</td><td>Moyenne de la durée des consonnes</td></tr><tr><td>VarcoΔC</td><td>Coefficient de variation de ΔC</td></tr><tr><td>VarcoΔV</td><td>Coefficient de variation de ΔV</td></tr><tr><td>rPVI-C</td><td>Variabilité brute des intervalles consonantiques successifs</td></tr><tr><td>rPVI-V</td><td>Variabilité brute des intervalles vocaliques successifs</td></tr><tr><td>nPVI-C</td><td>Variabilité normalisée des intervalles consonantiques successifs</td></tr><tr><td>nPVI-V</td><td>Variabilité normalisée des intervalles vocaliques successifs</td></tr></tbody></table>

L'objectif de cette étude<fnref n="1" /> est de montrer que les mesures rythmiques peuvent distinguer des voix pathologiques après thyroïdectomie et en cas de suspicion d'atteinte du NLS, de voix non pathologiques. A partir d'épreuves de parole et d'une comparaison de sujets avec suspicion d'atteinte du NLS (CT-), sans atteinte (CT+) suite à une thyroïdectomie totale et de témoins (T), nous cherchons à définir des variables rythmiques permettant de discriminer la voix pathologique de la voix sans dommage. Il s'agit d'identifier un ou des marqueurs d'altération rythmique de la parole chez ces patientes, pour confirmer l'hypothèse du retentissement de l'atteinte sur le rythme de la parole et aider à l'objectivation de la plainte et au diagnostic en pratique clinique.

# 2 Matériels et méthode

## 2.1 Population et matériel

Cette recherche cible des femmes ayant subi une thyroïdectomie totale avec suspicion d'atteinte de la branche crico-thyroïdienne du NLS (population CT-). Ces patientes sont comparées avec des femmes ayant subi la même chirurgie mais n'ayant aucun dommage suspecté (population CT+), et avec une population témoin (T) appariée en âge à ces deux populations. Cette étude s'est déroulée en collaboration avec un chirurgien expert, ayant opéré toutes les patientes des populations CT- et CT+, et un chirurgien ORL expert du même service qui pose seul le diagnostic de suspicion d'atteinte du NLS sur la base de l'examen fibroscopique laryngé mais aussi des plaintes, le Voice Handicap Index (Jacobson et al., 1997) étant plus élevé chez les CT- (24,7/120) que les CT+ (11,2/120) et les témoins (6,4/120, voir Le Pape et al., 2021 pour plus de détails). Les patientes sont âgées entre 24 ans et 85 ans et ont toutes été opérées entre 2016 et 2019. Elles ont été enregistrées entre 1 à 20 mois après leur date d'opération. Les examens cliniques et laryngoscopiques, en post-opératoire, ont éliminé toute atteinte de la mobilité des plis vocaux, toute lésion du nerf récurrent, myasthénie ou dystonie. Dans chaque groupe, les critères de non-inclusion comprennent toute personne non-

<footnote n="1">¹ Ayant bénéficié de l'autorisation CNIL n°2217748</footnote>
francophone, toute personne atteinte de troubles neurologiques et/ou neuromusculaires, de maladie auto-immune, de troubles auditifs et cognitifs, toute personne avec antécédents de troubles vocaux et sans traitement hormonal de substitution. De même, n'ont pas été incluses les personnes bilingues avec un accent non francophone, influençant le rythme, ainsi que les personnes avec un faible niveau de lecture et les patientes avec une prise en charge orthophonique. Cette étude fait suite à celle de Le Pape et al. (2021) : ont été repris une partie de leurs enregistrements et de nouveaux sujets (témoins et patientes) ont été recrutés. Au total, a été constituée une cohorte de 82 participants. Elle comprend 28 patientes pour la population CT- (âge moyen : 56,6 ans ; 26-78 ans), 27 patientes pour la population CT+ (âge moyen : 57 ans ; 24-85 ans) et 27 sujets pour la population T (âge moyen : 55,7 ans ; 26-81 ans). Pour la population CT-, le délai entre la chirurgie et l'enregistrement est de 1 à 6 mois pour 11 patientes, de 7 à 12 mois pour 4 patientes et de 13 à 20 mois pour les 13 dernières. Ce délai est compris entre 1 à 6 mois pour la population CT+. Le matériel utilisé reprend le dispositif mis en place dans Le Pape et al. (2021) qui a suivi les recommandations du guide du *Committee on Phoniatrics* (Dejonckere et al., 2001). Les captations vocales ont été enregistrées grâce à un micro casque AKG C520 situé à deux doigts de la commissure des lèvres (angle de 45°). La voix des sujets a été recueillie avec une carte son Audient ID-4 sur le logiciel Audacity® via un ordinateur avec le système d'exploitation macOS Mojave version 10.14.3. Les enregistrements ont pu être effectués à l'hôpital ou chez le patient.

## 2.2 Corpus et mesures effectuées

Avant la passation des épreuves, une note d'informations a été donnée et le formulaire de consentement a été recueilli. Le corpus comprend la lecture d'un extrait de « La poupée rouge » de Pierre Gripari (1994). Pour cette étude, les enregistrements, identiques pour les trois populations, ont été annotés à l'aide du logiciel PRAAT (Boersma & Weenink, 2022) par deux examinateurs formés dans le cadre de ce protocole (47% des découpages effectués par le premier examinateur et 53% par le second examinateur). Toutes les annotations ont été reprises par un seul examinateur (premier examinateur) afin de respecter la conformité des découpages. Un accord intra-juge a été calculé afin de vérifier la fiabilité des découpages effectués. Un coefficient alpha de $\alpha=0,876$ a pu être calculé et permet de conclure à une bonne fiabilité interne. Ces découpages comportent plusieurs niveaux : phrases, mots, syllabes et phonèmes. Les frontières droites des voyelles ont été positionnées à la disparition des premier et second formants. Le logiciel *Correlatore* (Mairano & Romano, 2009) a été utilisé pour extraire des fichiers TextGrid des variables rythmiques locales présentées au tableau 1. Les mesures temporelles globales (durée, débits de parole et articulatoire, durée des pauses, nombre et proportion des pauses) ont également été relevées. Notre analyse statistique compare ces mesures extraites des découpages des enregistrements entre les groupes CT+, CT- et T pour déterminer quelles mesures sont les plus altérées chez les patientes appartenant au groupe CT-. Elle a utilisé le test de Student avec le logiciel R.

# 3 Résultats

Les mesures temporelles globales ne sont pas significativement différentes entre les trois populations (figure 1). Concernant les mesures rythmiques locales (figure 2 et tableau 2), %V montre des différences significatives des moyennes entre les trois populations. La moyenne de %V des CT- est significativement inférieure à celle des CT+ et à celle de la population T. Cependant, les moyennes de CT+ et T ne se distinguent pas. Cmean des CT- est significativement supérieur à celle des CT+ mais aussi avec celle des témoins. On ne retrouve pas cette distinction entre les CT+ et les témoins T. La mesure de variabilité *nPVI-C* des patientes CT- est significativement inférieure à celle des CT+ et T. Aucune différence n'est trouvée entre les CT+ et les T. La mesure de variation *VarcoΔC*
des CT- est significativement inférieure à celle des patientes sans atteinte du NLS. Cette même différence se retrouve avec les témoins avec une meilleure significativité. On ne retrouve pas de différences notables entre les moyennes des CT+ et des T. Concernant les autres paramètres temporels locaux, aucune différence n'est retrouvée entre les scores des trois populations.

<figure><img src="image_191.png" /><figcaption>FIGURE 1 : Moyenne (+), médiane (trait horizontal) et variabilité de la durée de parole (Durée, en haut à gauche), du débit de parole (en haut au milieu), du débit articulatoire (en haut à droite), de la durée des pauses (en bas à gauche), du nombre de pauses (en bas au milieu) et de la proportion des pauses (en bas à gauche) des patientes post-thyroïdectomie avec suspicion d'atteinte du NLS (CT-, rouge), sans suspicion (CT+, saumon) et des femmes témoins (T, gris).</figcaption></figure>

Test de Student

<table><thead><tr><th rowspan="2"></th><th colspan="3">%V (ddl 52)</th><th colspan="3">ΔC (ddl 50)</th><th colspan="3">ΔV (ddl 52)</th></tr><tr><th>M (ET)</th><th>CT-</th><th>CT+</th><th>M (ET)</th><th>CT-</th><th>CT+</th><th>M (ET)</th><th>CT-</th><th>CT+</th></tr></thead><tbody><tr><td>CT-</td><td>51,9 (2,52)</td><td></td><td></td><td>52,3 (5,92)</td><td></td><td></td><td>55,3 (14,7)</td><td></td><td></td></tr><tr><td>CT+</td><td>55,2 (4,02)</td><td>0,0007</td><td></td><td>50,1 (5,34)</td><td>0,165</td><td></td><td>55,8 (5,30)</td><td>0,272</td><td></td></tr><tr><td>T</td><td>55,2 (4,48)</td><td>0,002</td><td>0,973</td><td>51,6 (8,15)</td><td>0,728</td><td>0,433</td><td>59,8 (15,5)</td><td>0,276</td><td>0,920</td></tr><tr><td></td><th colspan="3">Vmean (ddl 53)</th><th colspan="3">Cmean (ddl 52)</th><th colspan="3">VarcoΔC (ddl 53)</th></tr><tr><td></td><th>M (ET)</th><th>CT-</th><th>CT+</th><th>M (ET)</th><th>CT-</th><th>CT+</th><th>M (ET)</th><th>CT-</th><th>CT+</th></tr><tr><td>CT-</td><td>104 (11,7)</td><td></td><td></td><td>101 (9,45)</td><td></td><td></td><td>52,6 (3,76)</td><td></td><td></td></tr><tr><td>CT+</td><td>111 (13,6)</td><td>0,056</td><td></td><td>93,7 (12,3)</td><td>0,022</td><td></td><td>55,8 (5,30)</td><td>0,012</td><td></td></tr><tr><td>T</td><td>107 (18,9)</td><td>0,475</td><td>0,424</td><td>89,5 (7,59)</td><td>0,00001</td><td>0,149</td><td>57,6 (7,39)</td><td>0,002</td><td>0,304</td></tr><tr><td></td><th colspan="3">VarcoΔV (ddl 52)</th><th colspan="3">rPVI-C (ddl 52)</th><th colspan="3">rPVI-V (ddl 53)</th></tr><tr><td></td><th>M (ET)</th><th>CT-</th><th>CT+</th><th>M (ET)</th><th>CT-</th><th>CT+</th><th>M (ET)</th><th>CT-</th><th>CT+</th></tr><tr><td>CT-</td><td>52,7 (10,2)</td><td></td><td></td><td>63,4 (6,3)</td><td></td><td></td><td>52,8 (11,2)</td><td></td><td></td></tr><tr><td>CT+</td><td>54,4 (9,8)</td><td>0,546</td><td></td><td>63,2 (10)</td><td>0,956</td><td></td><td>57,8 (14)</td><td>0,152</td><td></td></tr><tr><td>T</td><td>54,7 (8,9)</td><td>0,441</td><td>0,887</td><td>61,4 (9)</td><td>0,352</td><td>0,477</td><td>56 (12,8)</td><td>0,330</td><td>0,627</td></tr><tr><td></td><th colspan="3">nPVI-C (ddl 53)</th><th colspan="3">nPVI-V (ddl53)</th><td colspan="3"></td></tr><tr><td></td><th>M (ET)</th><th>CT-</th><th>CT+</th><th>M (ET)</th><th>CT-</th><th>CT+</th><td colspan="3"></td></tr><tr><td>CT-</td><td>62,3 (4,22)</td><td></td><td></td><td>45 (5,2)</td><td></td><td></td><td colspan="3"></td></tr><tr><td>CT+</td><td>68 (5,98)</td><td>0,0001</td><td></td><td>45,2 (6,1)</td><td>0,870</td><td></td><td colspan="3"></td></tr><tr><td>T</td><td>67,5 (6,53)</td><td>0,0009</td><td>0,755</td><td>45,4 (5,7)</td><td>0,755</td><td>0,897</td><td colspan="3"></td></tr></tbody></table>
<figure><img src="image_192.png" /><figcaption>TABLE 2 : Moyenne (M), écart-type (ET) et résultats du test de Student (p) pour les paramètres temporels locaux des patientes CT-, CT+ et des témoins (T).</figcaption></figure>

FIGURE 2 : Moyenne (+), médiane (trait horizontal) et variabilité du pourcentage d'intervalles vocaliques (%V, gauche), de la durée des intervalles consonantiques (Cmean, milieu gauche), du coefficient de variation de ΔC (VarcoΔC, milieu droite) et de la variabilité normalisée des intervalles consonantiques (nPVI-C, droite) des patientes post-thyroïdectomie avec suspicion d'atteinte du NLS (CT-, rouge), sans suspicion (CT+, saumon) et des femmes témoins (T, gris).

# 4 Discussion

Seules les mesures rythmiques locales %V, Cmean, VarcoΔC, et nPVI-C permettent de distinguer significativement les productions des patientes atteintes du NLS des deux autres populations. Le rythme dans son aspect temporel de la parole de ces patientes est donc impacté par la lésion suspectée. Du fait de la limitation des capacités de modulation vocale, une compensation sur le rythme est présente dans la parole de ces patientes.

Nous avons notamment identifié %V comme marqueur d'altération du rythme dans la parole issue de voix pathologiques, avec un score abaissé chez les CT-. Comme il n'est pas attendu en français qu'il y ait une grande variabilité de la durée des voyelles du fait de l'isochronie syllabique (Pillot-Loiseau & Xie, 2018), la différence des moyennes au-delà du seuil de significativité interroge sur les modifications de parole de notre population. Il semble que la réalisation du voisement et donc la mise en vibration des plis vocaux mette en difficulté les CT-. Cette observation est en lien avec les constatations déjà faites sur les difficultés rencontrées par les patients avec suspicion d'atteinte du NLS, autour de la réduction de la plage de variation de la fréquence fondamentale et de la fatigue vocale (Neri et al., 2011 ; Orestes & Chhetri, 2014). A la lumière de nos résultats, nous pourrions parler de l'apparition d'une certaine isochronie dans la production de parole des CT-.

En outre, des moyennes significativement plus élevées de Cmean (durée des consonnes) et plus basses de VarcoΔC (Coefficient de variation des intervalles consonantiques de l'énoncé) et de nPVI-C (Variabilité normalisée des intervalles consonantiques successifs) pour les CT- laissent penser à des modifications majoritairement localisées au niveau consonantique. Du fait d'une variabilité déjà observée au niveau des voyelles, il serait intéressant d'explorer plus en avant une possible modification au niveau du rapport des consonnes voisées et non-voisées. Les patientes avec suspicion d'atteinte du NLS allongent les consonnes, réduisent les intervalles vocaliques et varient peu la production des intervalles consonantiques. L'altération de ces paramètres témoigne de troubles rythmiques chez les patientes avec suspicion d'atteinte du NLS.

Le français étant une langue syllabique, il est également important de mettre en regard les données rythmiques globales avec le nombre de syllabes et la durée de la parole, dont il a été démontré que
les moyennes n'étaient pas significativement différentes entre nos trois populations. L'absence de variation significative démontre l'intérêt à pousser l'investigation rythmique au niveau des mesures locales.

Notre étude ouvre une nouvelle piste sur l'interaction entre la voix pathologique et la parole. Nos résultats indiquent qu'un trouble vocal est susceptible d'induire des altérations dans la parole continue. Les perturbations retrouvées se retrouvent principalement autour de la modification de la durée des consonnes. Elles reflèteraient une hyperarticulation tributaire des troubles vocaux. Cette observation induit la notion d'adaptation du discours au sein de l'*hypospeech* selon la théorie de Lindblom (1990). Les troubles vocaux acquis pourraient entraîner une production soudainement plus coûteuse sur le plan des mouvements articulatoires requis. La personne souffrant d'un trouble vocal pourrait ainsi ressentir l'importance d'insister sur la production consonantique afin d'assurer l'intelligibilité de son message, augmentant ainsi leur attente en termes de cible phonémique. Lindblom (1990) démontre déjà que lorsque le discours se veut plus « clair » -soit comprenant une surarticulation- cela induit une réduction de la durée des voyelles. Ainsi la théorie *H&H* de Lindblom (1990) permet de mieux appréhender les modifications observées sur nos données rythmiques. La réduction des durées vocaliques associée à une complexité dans la production des consonnes seraient un début de réponse expliquant les compensations retrouvées chez les patientes avec suspicion d'atteinte du NLS suite à une thyroïdectomie.

En outre, la majorité des études relatives à ce sujet sont faites en langue anglaise : Liss et al. (2009) et Lowit (2014) utilisent les variables rythmiques dans un but de distinction de populations d'une même langue. Cependant, aucune des études à notre connaissance ne porte sur l'étude du rythme de la parole dans le contexte particulier de troubles vocaux. De plus, Liss et al. (2009) ne font qu'une distinction intra-pathologie (pour des troubles de parole) et non population pathologique versus population témoin. Notre étude est donc une première dans l'utilisation des valeurs rythmiques dans l'objectif de diagnostiquer une pathologie vocale.

L'une des difficultés majeures de cette recherche se trouve dans le diagnostic initial de la pathologie étudiée. Aucun examen à ce jour ne permet de confirmer objectivement l'atteinte du NLS (Orestes & Chhetri, 2014). Cette observation est à la fois ce qui motive cette étude et ce qui la questionne.

En vue d'améliorer la validité de cette étude et pour de recherches futures, nous préconisons d'apparier les groupes de manière plus satisfaisante en termes de délai d'enregistrement. Nous avons inclus les patientes avec un délai entre l'opération et l'enregistrement de 20 mois maximum. Or, chez certains patients, une régression spontanée de la paralysie de la NLS suspectée peut être observée (Orestes & Chhetri, 2014). Barczyński et al. (2013) évoquent des récupérations spontanées mais aucune étude à notre connaissance ne permet de connaître avec précision ce délai de récupération. Il serait donc plus rigoureux de recruter une population de patientes à maximum 6 mois du geste opératoire afin de mieux garantir que la récupération spontanée n'a pas eu lieu et comparer ainsi des voix de patientes au plus proche de la chirurgie. La récupération possible de certaines patientes a pu influer nos résultats même si notre cohorte a permis de limiter cet écueil en partie, comme l'attestent nos résultats.

Par ailleurs, les conditions d'enregistrement n'ont pas été strictement identiques pour tous. Les gains réglés sur la carte son ont été conservés à l'identique mais nous n'avons pas pu procéder à un calibrage de l'intensité par sonomètre. De plus, certains sujets ont été enregistrés à leur domicile et non à l'hôpital comme la plupart des patientes de notre cohorte. Ainsi les enregistrements ont pu être impactés par ces différentes conditions.
# 5 Conclusion

Notre étude montre de manière inédite des paramètres rythmiques modifiés de la parole de patientes présentant une dysphonie particulière : %V, Cmean, VarcoΔC et nPVI-C. Au niveau des voyelles, une réduction vocalique témoigne de la difficulté de la mise en vibration des plis vocaux chez les CT-. Au niveau des consonnes, les paramètres altérés renvoient vers une augmentation de l'allongement dans la production des consonnes, une réduction des intervalles consonantiques et leur moindre variation. Le nombre de syllabes et la durée de parole étant proches entre nos populations, les variables mesurées sont robustes. Notre étude confirme l'hypothèse selon laquelle certaines composantes du rythme sont altérées dans la parole de patientes avec suspicion d'atteinte du NLS.

Malgré des opinions très diverses parmi les auteurs, les mesures rythmiques semblent donc pouvoir être investies d'une perspective diagnostique, non seulement pour quantifier, mais aussi pour qualifier la perturbation (Lowit, 2014). Afin de valider les mesures extraites des corpus, il serait intéressant de les comparer à des résultats perceptifs (Arvaniti, 2012 ; Lowit, 2014). Les études s'accordent sur l'idée que la comparaison des corpus avec une évaluation perceptive de locuteurs de la même langue maternelle permettrait de donner plus de valeur aux mesures. Du fait de la mise en évidence d'altérations particulièrement importantes autour de la production des consonnes, il serait également intéressant de poursuivre l'exploration des résultats sur cette piste. Nous pourrions constater une production particulière chez les patientes avec suspicion d'atteinte du NLS et les caractériser plus précisément.

# Remerciements

Cette recherche a été financée par l'ANR "VOCALISE" (ANR-22-CE19-0035) et par le LabEx EFL(ANR-10-LABX-0083) qui contribue à l'IdEx Université de Paris (ANR-18-IDEX-0001).

# Références

ARVANITI A. (2012). The usefulness of metrics in the quantification of speech rhythm. *Journal of Phonetics*, 40(3), 351-373. DOI: [10.1016/j.wocn.2012.02.003](https://doi.org/10.1016/j.wocn.2012.02.003).

BARCZYŃSKI M., RANDOLPH G. W., CERNEA C. R., DRALLE H., DIONIGI G., ALESINA P. F., MIHAI R., FINCK C., LOMBARDI D., HARTL D. M., MIYAUCHI A., SERPELL J., SNYDER S., VOLPI E., WOODSON G., KRAIMPS J. L., HISHAM A. N. & THE INTERNATIONAL NEURAL MONITORING STUDY GROUP. (2013). External branch of the superior laryngeal nerve monitoring during thyroid and parathyroid surgery: International Neural Monitoring Study Group standards guideline statement: IONM During Thyroid Surgery. *The Laryngoscope*, 123, S1-S14. DOI: [10.1002/lary.24301](https://doi.org/10.1002/lary.24301).

BOERSMA P. & WEENINK D. (1992–2022) Praat: doing phonetics by computer [Computer program]. Version 6.2.06, retrieved 23 January 2020 from https://www.praat.org.

DEJONCKERE P. H., BRADLEY P., CLEMENTE P., CORNUT G., CREVIER-BUCHMAN L., FRIEDRICH G., VAN DE HEYNING P., REMACLE M. & WOISARD V. (2001). A basic protocol for functional assessment of voice pathology, especially for investigating the efficacy of (phonosurgical) treatments and evaluating new assessment techniques. *European Archives of Oto-Rhino-Laryngology*, 258(2), 77-82. DOI: [10.1007/s004050000299](https://doi.org/10.1007/s004050000299).

KOHLER K. J. (2009). Rhythm in Speech and Language. *Phonetica*, 66(1-2), 29-45. DOI: [10.1159/000208929](https://doi.org/10.1159/000208929).
LE PAPE G., LAZARD D.-S., GATIGNOL P., TRESALLET C. & PILLOT-LOISEAU C. (2021). Modulation vocale, ressenti et branche motrice du nerf laryngé supérieur. *Annales françaises d'Oto-rhino-laryngologie et de Pathologie Cervico-faciale*, 138(4), 249-254. DOI: 10.1016/j.aforl.2020.05.018.

LINDBLOM B. (1990). Explaining Phonetic Variation: A Sketch of the H&H Theory. In W. J. Hardcastle & A. Marchal (Éds.), *Speech Production and Speech Modelling* (p. 403-439). Springer Netherlands. DOI: 10.1007/978-94-009-2037-8_16.

LISS J. M., WHITE L., MATTYS S. L., LANSFORD K., LOTTO A. J., SPITZER S. M. & CAVINESS J. N. (2009). Quantifying Speech Rhythm Abnormalities in the Dysarthrias. *Journal of Speech, Language, and Hearing Research*, 52(5), 1334-1352. DOI: 10.1044/1092-4388(2009/08-0208).

LOWIT A. (2014). Quantification of rhythm problems in disordered speech: A re-evaluation. *Philosophical Transactions of the Royal Society B: Biological Sciences*, 369(1658), 20130404. DOI: 10.1098/rstb.2013.0404.

MAIRANO P. & ROMANO A. (2009). Un Confronto Tra Diverse Metriche Ritmiche Usando CORRELATORE. In S. Schmid, M. Schwarzenbach, & D. Studer, *La dimensione temporale del parlato* (p. 79-100). EDK.

NERI G., CASTELLIO F., VITULLO F., DE ROSA M., CIAMMETTI G. & CROCE A. (2011). Post-thyroidectomy dysphonia in patients with bilateral resection of the superior laryngeal nerve: A comparative spectrographic study. *Acta Otorhinolaryngol Ital.*, 31(4), 228-234. PMID: 22065652; PMCID: PMC3203714.

ORESTES M. I. & CHHETRI D. K. (2014). Superior laryngeal nerve injury: Effects, clinical findings, prognosis, and management options. *Current Opinion in Otolaryngology & Head and Neck Surgery*, 22(6), 439-443. DOI: 10.1097/MOO.0000000000000097.

PILLOT-LOISEAU C. & XIE H. (2018). Transfert rythmique du chinois mandarin au français dans l'apprentissage du Français Langue Étrangère: Acoustique et perception. *SHS Web of Conferences*, 46, 09001. DOI: 10.1051/shsconf/20184609001.

RAMUS F. (1999a). La discrimination des langues par la prosodie: Modélisation linguistique et études comportementales. *De la caractérisation à l'identification des langues, Actes de la lère journée d'étude sur l'identification automatique des langues*, 186-201.

RAMUS F. (1999b). *Rythme des langues et acquisition du langage* [École des Hautes Études en Sciences Sociales (EHESS)]. HAL: tel-00242452.

ROY N., FETROW R. A., MERRILL R. M. & DROMEY C. (2016). Exploring the Clinical Utility of Relative Fundamental Frequency as an Objective Measure of Vocal Hyperfunction. *Journal of Speech, Language, and Hearing Research*, 59(5), 1002-1017. DOI: 10.1044/2016_JSLHR-S-15-0354.
# Nouvelle tâche sémantique pour le corpus de compréhension de parole en français MEDIA

Nadège Alavoine¹ Gaëlle Laperrière² Christophe Servan¹,²
Sahar Ghannay¹ Sophie Rosset¹

¹Université Paris-Saclay, CNRS, LISN, Campus Universitaire bât,507 - Rue du Belvédère - 91405 Orsay

²Avignon Université, LIA, 339 chemin des Meinajariés - BP 1228 - 84911 Avignon Cedex 9

³QWANT, 10 bvd Haussmann - Paris 75009

{firstname.lastname}@lisn.upsaclay.fr

## RÉSUMÉ

La détection d'intention et de concepts sont des tâches essentielles de la compréhension de la parole (SLU). Or il n'existe que peu de données annotées en français permettant d'effectuer ces deux tâches conjointement. Cependant, il existe des ensembles de données annotées en concept, dont le corpus MEDIA. Ce corpus est considéré comme l'un des plus difficiles. Néanmoins, il ne comporte que des annotations en concepts et pas en intentions. Dans cet article, nous proposons une version étendue de MEDIA annotée en intentions pour étendre son utilisation. Cet article présente une méthode semi-automatice pour obtenir cette version étendue. De plus, nous présentons les premiers résultats des expériences menées sur cet ensemble de données en utilisant des modèles joints pour la classification des intentions et la détection de concepts.

## ABSTRACT

### New Semantic Task for the French Spoken Language Understanding MEDIA Benchmark

Intention and concepts detection are essential tasks in speech understanding (SLU). There are a few annotated data sets in French, both in concepts and intention. However, there are some French datasets annotated in concept, including MEDIA. This French dataset, distributed since 2005 by ELRA, is one of the top SLU task. Unfortunately, it is only annotated in concepts and not in intent. In this article, we propose an improved version of MEDIA annotated with intentions to extend its use. This article presents the semi-automatic methodology used to obtain this improved version. In addition, we present the first results of experiments on this improved dataset using joint models for intention classification and concepts detection.

**MOTS-CLÉS** : Données d'évaluation, compréhension de la parole, détection jointe de l'intention et de concepts, tri-apprentissage.

**KEYWORDS:** Benchmark Dataset, Spoken Language Understanding, Joint Intent Detection And Slot-filling, Tri-training.

## 1 Introduction

Le module de compréhension de la parole (en anglais *Spoken Language Understanding* – SLU) est un élément crucial d'un système de dialogue oral. Les tâches de SLU regroupent trois sous-tâches : la classification de domaine, la détection d'intentions, et l'annotation de séquences en concepts sémantique (ou détection de concepts) (Tur & Mori, 2011). Dans cette étude, nous nous sommes

<figure><img src="image_193.png" /></figure>
intéressés à la détection d'intentions et à la tâche de remplissage de formulaire. Cette dernière tâche peut également être considérée comme une tâche de détection de concepts (Bonneau-Maynard et al., 2006).

La plupart des systèmes de dialogue traitent ces tâches séparément en développant des modules indépendants insérés dans un pipeline (Hakkani-Tür et al., 2016). Ces approches pipeline souffrent généralement de la propagation d'erreurs en raison de leurs modèles indépendants. Ainsi, des modèles joints de classification des intentions et de détection de concepts ont été proposés pour résoudre ce problème et pour améliorer mutuellement ces deux tâches (Weld et al., 2022). Pour ces modèles joints, plusieurs approches ont été explorées, telles que, des modèles fondés sur des champs conditionnels aléatoires (CRF) (Jeong & Lee, 2008), des réseaux de neurones convolutionels (Xu & Sarikaya, 2013), récurrents (Guo et al., 2014; Hakkani-Tür et al., 2016; Liu & Lane, 2016), avec des portes de remplissages (slot-gated models) (Goo et al., 2018), avec mécanisme d'attention (Chen et al., 2016; Hakkani-Tür et al., 2016; Liu & Lane, 2016), et des modèles Transformers pré-entraînés (Chen et al., 2019; Castellucci et al., 2019; Wang et al., 2020; Qin et al., 2021; Han et al., 2021) ou des modèles convolutionels graphiques (Tang et al., 2020). Pour l'anglais, les modèles joints sont traditionnellement évalués sur des tâches annotées avec des intentions et de concepts : ATIS (Hemphill et al., 1990) et SNIPS (Coucke et al., 2018). Cependant, en français, moins de ressources sont disponibles. Il existe des données ATIS étendues au français dans le corpus MultiATIS++ (Xu et al., 2020) par traduction. La version étendue MultiATIS++ ne dispose malheureusement pas des supports audios correspondants aux nouvelles langues. Les données MEDIA comportent les supports audios. Malheureusement, ces données ne sont annotées qu'en concepts et pas en intention, même si en l'état ce corpus est considéré comme l'un des plus difficiles (Béchet & Raymond, 2019).

Cet article présente une version mise-à-jour des données MEDIA avec des annotations d'intention à l'aide d'une approche semi-automatique. De plus, nous présentons les premiers résultats des expériences de compréhension sur cet ensemble de données amélioré à l'aide de modèles conjoints pour la classification des intentions et la détection de concepts.

## 2 Annotation du corpus MEDIA en intentions

Le corpus MEDIA est composé d'appels téléphoniques enregistrés pour la réservation d'hôtel. Il est dédié à l'extraction sémantique de l'information de la parole dans le contexte des dialogues homme-machine recueillis en utilisant la méthode Wizard-of-Oz (Bonneau-Maynard et al., 2005). L'ensemble de données représente 1258 dialogues enregistrés de 250 différents locuteurs et environ 70 heures de conversations. Seuls les tours de parole des utilisateurs sont annotés avec des transcriptions manuelles et des annotations sémantiques complexes (concepts), et utilisés dans ce travail. Le corpus MEDIA est disponible en version full ou relax. Dans le second, les attributs sont simplifiés en excluant les spécifieurs. Récemment, Laperrière et al. (2022) ont proposé une version mise-à-jour de l'ensemble de données MEDIA. Le travail présenté ici est fondé sur cette version de MEDIA que nous notons MEDIA 2022 par la suite.

À notre connaissance, le corpus MEDIA n'a jamais été annoté avec des intentions. Contrairement à d'autres ensembles de données de référence comme ATIS (Hemphill et al., 1990) ou SNIPS (Coucke et al., 2018), seule la détection de concepts a été prise en compte. Nous proposons ici une version étendue du corpus MEDIA 2022 annotée en intentions. Pour cela, nous avons défini une liste de 11 intentions après avoir examiné attentivement le contenu de l'ensemble de données. Un tour de parole peut recevoir plusieurs intentions. Dans un tel cas, les labels sont séparées par le signe #. Les détails de cette liste, des exemples et des contre-exemples sont disponibles dans un guide d'annotation.
## 2.1 Méthodologie

L'annotation d'un ensemble de données peut être une tâche chronophage. Pour réduire le coût et le temps d'annotation, nous avons utilisé une méthode de tri-apprentissage (Zhou & Li, 2005) pour augmenter la taille des données d'apprentissage. Le tri-apprentissage est une méthode inductive épisodique semi-supervisée (van Engelen & Hoos, 2020) visant à améliorer les performances de n'importe quel type de système en ajoutant des données non-étiquetées. Il utilise un trio de classificateurs formés sur différents ensembles de données d'apprentissage. A chaque épisode de l'algorithme, ces classificateurs attribuent une pseudo-étiquette (Chen et al., 2019) à des données non-étiquetées. Lorsque deux classificateurs du trio s'accordent sur une pseudo-étiquette, les données correspondantes pseudo-étiquetées sont ajoutées à l'ensemble d'apprentissage du troisième modèle. Lors de l'épisode suivant, les classificateurs pourront poursuivre leur apprentissage sur les ensembles de données mis à jour. L'algorithme de tri-apprentissage s'arrête quand aucun changement ne peut être observé dans l'apprentissage de tous les classificateurs du trio.

Récemment, Boulanger et al. (2022) ont montré que le tri-apprentissage pouvait être utilisé dans un cadre de faible ressource sur une tâche de reconnaissance d'entité nommée (REN). Nous avons décidé d'utiliser un système similaire pour entrainer et évaluer des trios de classificateurs. Le meilleur trio sera retenu pour annoter l'ensemble du corpus MEDIA en intention.

### 2.1.1 Ensembles de données pour le tri-apprentissage

Une partie des données annotées manuellement est nécessaire pour l'apprentissage et l'évaluation des trios de classificateurs. À cette fin, nous avons utilisé une version transcrite de l'ensemble de données MEDIA résultant du système de segmentation le plus couramment utilisé, avec des mots tronqués conservés comme mots entiers ("mer ci") est écrit "merci"). Cette version sera notée "MEDIA original". Un sous-ensemble d'énoncés choisis au hasard à partir de l'ensemble du corpus d'apprentissage original et d'autres choisis explicitement pour leur contenu ont été annotés manuellement en suivant notre guide d'annotation (disponible en ligne dans le dépôt). Cette annotation a été réalisée hors contexte : chaque déclaration a été traitée sans tenir compte des précédents énoncés dans le dialogue. 1551 énoncés ont été annotés manuellement pour le tri-apprentissage, 1240 constituant le corpus d'apprentissage, 124 pour le corpus de développement et 187 pour le corpus d'évaluation.

<table><caption>TABLE 1 – Distribution des étiquettes dans un sous-échantillonage du corpus MEDIA utilisé pour le tri-apprentissage (partie de gauche) et sur l'ensemble de données MEDIA (partie de droite). Ces sous-ensembles sont découpés en apprentissage (Appr.), validation (Val.) et évaluation (Éval.).</caption><thead><tr><th rowspan="2">Intentions</th><th colspan="4">Tri-apprentissage</th><th colspan="4">MEDIA</th></tr><tr><th>Appr.</th><th>Val.</th><th>Éval.</th><th>Total</th><th>Appr.</th><th>Val.</th><th>Éval.</th><th>Total</th></tr></thead><tbody><tr><td>annulation</td><td>15</td><td>1</td><td>1</td><td>17</td><td>32</td><td>1</td><td>15</td><td>48</td></tr><tr><td>incompréhension</td><td>6</td><td>1</td><td>4</td><td>11</td><td>273</td><td>30</td><td>94</td><td>397</td></tr><tr><td>marqueur_de_discours</td><td>38</td><td>6</td><td>5</td><td>49</td><td>282</td><td>40</td><td>113</td><td>435</td></tr><tr><td>modification</td><td>7</td><td>1</td><td>1</td><td>9</td><td>115</td><td>10</td><td>31</td><td>156</td></tr><tr><td>merci</td><td>47</td><td>5</td><td>6</td><td>58</td><td>713</td><td>100</td><td>200</td><td>1013</td></tr><tr><td>information</td><td>114</td><td>11</td><td>19</td><td>144</td><td>1611</td><td>159</td><td>401</td><td>2171</td></tr><tr><td>réponse_oui</td><td>392</td><td>42</td><td>52</td><td>486</td><td>4325</td><td>419</td><td>1190</td><td>5934</td></tr><tr><td>réponse_indécis</td><td>9</td><td>1</td><td>3</td><td>13</td><td>37</td><td>5</td><td>9</td><td>51</td></tr><tr><td>réponse_non</td><td>362</td><td>35</td><td>57</td><td>454</td><td>1315</td><td>88</td><td>344</td><td>1747</td></tr><tr><td>réservation</td><td>352</td><td>30</td><td>48</td><td>430</td><td>5437</td><td>522</td><td>1410</td><td>7369</td></tr><tr><td>salutation</td><td>43</td><td>8</td><td>6</td><td>57</td><td>717</td><td>101</td><td>206</td><td>1024</td></tr></tbody></table>

### 2.1.2 Protocole expérimental

Notre cas d'utilisation diffère du travail de Boulanger et al. (2022), car nous avons beaucoup de données non annotées. Nous avons adapté leur code en désactivant la génération de données synthétiques
et en modifiant le classificateur pour réaliser une pseudo-annotation *multi-label*. Il utilise l'état caché final du jeton spécial [CLS] combiné avec une couche sigmoïde et un seuil de 0,5 pour déterminer l'intention à associer avec la phrase.

Nous avons utilisé deux modèles français de Transformers (Vaswani et al., 2017) : CamemBERT (Martin et al., 2020), un modèle dérivé de RoBERTA (Zhuang et al., 2021), et FrALBERT (Cattan et al., 2021), un modèle compact dérivé d'ALBERT (Lan et al., 2020). Nous avons évalué deux versions comparables, formées sur 4 gigabytes (GB) de texte à partir du site Web de Wikipedia : CamemBERT-base-Wikipedia-4GB<fnref n="1" /> et FrALBERT-base<fnref n="2" />. Cattan et al. (2022) ont montré que les classifieurs basés sur ces modèles avaient de bonnes performances en SLU sur l'ensemble de données d'évaluation MEDIA pour la tâche de détection de concepts (*slot-filling*).

Avant l'algorithme de tri-apprentissage, un échantillonnage aléatoire de 1000 énoncés parmi les 1240 qui constituent notre corpus d'apprentissage de tri-apprentissage est effectué pour chaque modèle de trio. Le réglage fin (*fine-tuning*) de nos modèles sur cette portion de données diminue les chances que les trois classifieurs produisent les mêmes résultats. L'algorithme est entraîné sur un maximum de 30 époques, bien qu'il s'arrête une fois qu'aucune variation du score d'évaluation n'est observée sur le corpus de validation. Les hyperparamètres sont fixés avec un taux d'apprentissage de 1e-5, une taille de lot d'apprentissage de 16 et une valeur de dropout de 0,1. Le nombre maximal d'époques par épisode est de 1000, avec une méthode d'arrêt précoce de 20 époques.

Les performances des classifieurs sont évaluées au cours de l'apprentissage avec le rapport de correspondance exact (*Exact Match Ratio*, abrégé EMR) (Sorower, 2010) d'intention sur l'ensemble de validation. Une fois l'algorithme de tri-apprentissage arrêté, EMR, précision, rappel et F-mesure (ou score F1) sont évalués sur l'ensemble d'évaluation présenté dans le Tableau 1 (partie de gauche). Ces performances sont calculées sur les votes majoritaires des prédictions de trios de modèles.

### 2.1.3 Évaluation

Les résultats de nos expériences utilisant les données présentées dans la partie gauche du Tableau 1 sont présentés dans le Tableau 2. La plupart des expériences se sont arrêtées après 3 ou 4 époques de tri-apprentissage. Les trios utilisant le modèle CamemBERT obtiennent de meilleurs résultats que les trios utilisant FrALBERT en les dépassant de 7,17 points sur le EMR et de 5,09 points sur la F-mesure. Ils ont également moins de variabilité dans leurs résultats, avec un écart type oscillant entre 0,33 et 0,70 sur les différentes mesures par rapport à 0,81 à 1,62 pour FrALBERT.

<table><caption>TABLE 2 – Résultats de classification en intentions avec l'algorithme de tri-apprentissage en utilisant une partie de l'ensemble de données MEDIA.</caption><thead><tr><td>Transformer</td><td>EMR</td><td>Précision</td><td>Rappel</td><td>F1</td></tr></thead><tbody><tr><td>CamemBERT</td><td>92,09 ±0,45</td><td>95,29 ±0,70</td><td>93,48 ±0,36</td><td>93,73 ±0,33</td></tr><tr><td>FrALBERT</td><td>84,92 ±1,62</td><td>90,86 ±0,81</td><td>87,97 ±1,44</td><td>88,64 ±1,37</td></tr></tbody></table>

Suite à ces résultats, nous avons examiné de plus près les performances de notre meilleur trio de modèles de CamemBERT. Ce trio sera retenu pour annoter automatiquement l'ensemble de données MEDIA. Le trio obtient un EMR de 92,51 points et une F-mesure de 93,85 points par échantillon. En ce qui concerne la performance de la macro F-mesure, elle est à 58,99 points. Cette macro F-mesure semble fortement influencée par une proportion importante de faux négatifs dans certaines

<footnote n="1">1. https://huggingface.co/CamemBERT/CamemBERT-base-Wikipedia-4GB</footnote>

<footnote n="2">2. https://huggingface.co/qwant/FrALBERT-base</footnote>
étiquettes, avec un macro rappel de 60, 98 points. En revanche, les faux positifs sont rares, avec une macro précision de 93, 77 points. Les faux négatifs concernent principalement les étiquettes avec peu d'exemples dans notre jeu d'évaluation présenté dans le Tableau 1 car ils n'affectent pas la moyenne de l'échantillon de rappel et de F-mesure autant.

### 2.1.4 Discussion, annotations, et corrections

Ce travail représente une première approche vers l'utilisation d'un algorithme de tri-apprentissage avec des classifieurs basés sur les Transformers pour annoter un ensemble de données. Puisque notre but était d'accélérer l'annotation, nous avons gardé la pseudo-étiquette pour lequel notre meilleure trio a obtenu un consensus. Pour chaque combinaison de pseudo-étiquettes, les énoncés correspondants ont été présentés à l'annotateur, qui a dû invalider les tentatives erronées. Les énoncés avec pseudo-étiquettes erronées ou sans aucune pseudo-étiquette attribuée, faute de consensus du trio de modèles, ont été annotés manuellement. Il y a eu 3122 intentions totalement ou partiellement erronées (19, 51 % des données de 16005 pseudo-étiquetées et 137 de non-pseudo-étiquetées). L'ensemble des intentions étiquetées sur le corpus MEDIA sont présentées dans la partie de droite du Tableau 1.

## 2.2 Annotation de la version MEDIA 2022

La version MEDIA 2022 a également été annotée. Pour les ensembles d'apprentissage, validation et d'évaluation, la méthodologie utilisée diffère de celle décrite dans la section 2.1 puisque nous avions déjà les intentions associées à chaque énoncé. Une correspondance sur le contenu textuel des énoncés a été réalisée pour récupérer les annotations dans la mesure du possible.

# 3 Expériences sur les transcriptions manuelles

En utilisant l'ensemble enrichi des données MEDIA, nous présentons une première évaluation sur les transcriptions manuelles, en effectuant l'apprentissage joint des tâches de détection d'intentions et de concepts.

## 3.1 Architecture neuronale

Le modèle joint de détection d'intention et de concepts utilisé dans nos expériences est le modèle JointBERT (Chen et al., 2019). Pour la tâche de détection des intentions, ce modèle combine l'état caché final du jeton [CLS] à une couche softmax. Pour la détection de concepts, il détermine quel concept peut être associé à chaque mot en fournissant l'état final de chaque première sous-position d'un mot à une couche softmax. Le modèle est affiné en optimisant la somme des pertes d'entropie croisée pour les deux tâches.

La probabilité $P_i$ pour qu'une phrase soit associée à une intention $i$ passant $h_{[CLS]}$ (le dernier état caché du transformeur pour le jeton[CLS]) à une couche de poids $W^i$ et de biais $b^i$ est définie comme suit : $P_i = \text{sigmoide}(W^i h_{[CLS]} + b^i) > 0,5$. Une perte d'entropie croisée binaire remplace la perte d'entropie croisée précédemment utilisée pour la classification des intentions. Le modèle est optimisé sur la somme des pertes d'entropie croisée binaires et non binaires pour la classification d'intentions et la détection de concepts respectivement.
## 3.2 Protocole expérimental

Pour la tâche de détection de concepts, nous avons utilisé un format BIO. Les performances sont évaluées en termes de micro F-mesure, couramment utilisée pour les modèles joints (Weld et al., 2022), et de Concept Error Rate (CER) qui est la mesure officielle utilisée dans la campagne MEDIA (Bonneau-Maynard et al., 2006). Pour une comparaison avec les expériences sur les sorties de reconnaissance automatique de la parole (RAP), nous utilisons la micro F-mesure calculée sur des vecteurs multi-hot (abrégée F1mh) de concepts présents dans les annotations attendues et obtenues.

Pour la classification des intentions, lorsqu'il y a plusieurs intentions, nous les concaténons en utilisant le caractère (#). Dans la plupart des modèles conjoints, la performance de cette tâche est évaluée à l'aide de l'exactitude (accuracy en anglais, abrégée Exa.) (Weld et al., 2022). Comme nous utilisons un système de classification multi-label, l'exactitude proposée par Godbole & Sarawagi (2004) et EMR ont été évaluées. L'exactitude du cadre sémantique de la phrase (sentence-level semantic frame accuracy, abrégée SFA) - correspondant au nombre d'énoncés avec une intention et des concepts correctement trouvés divisés par le nombre de phrases - couramment utilisée pour les modèles joints (Weld et al., 2022), est également évaluée.

Nous avons choisi le modèle de base CamemBERT entrainé sur 135 GB de texte de CCNET (CamemBERT-base-CCNET) (Martin et al., 2020) ainsi que les modèles de base CamemBERT-base-Wikipedia-4GB et FrALBERT utilisés précédemment. Ces modèles ont montré des résultats à l'état-de-l'art, ou proches de ceux-ci, pour la détection de concepts sur les transcriptions manuelles MEDIA (Ghannay et al., 2020; Cattan et al., 2022). Nous avons également choisi un modèle français BERT, FlauBERT, optimisé pour quelques époques sur des données transcrites par RAP (FlauBERT-oral-ft) (Hervé et al., 2022) qui a également obtenu des performances proches de l'état-de-l'art sur les sorties MEDIA ASR (Pelloin et al., 2022).

De la même manière que Cattan et al. (2022), nous avons utilisé un algorithme génétique, le *population based training* (abrégé PBT) (Jaderberg et al., 2017), pour déterminer les meilleurs hyperparamètres.

## 3.3 Résultats sur les transcriptions manuelles

Les performances sur la version originale et relax de MEDIA, sur la version relax de MEDIA 2022, et la version full de MEDIA 2022 sont affichées dans la partie gauche du Tableau 3.

En ce qui concerne les scores de la tâche de détection de concepts, nous pouvons logiquement observer que les modèles obtiennent de meilleurs résultats sur la version relax que la version full. Par exemple, sur MEDIA 2022, il y a une différence de 2,42 points de F-mesure pour les meilleurs résultats obtenus entre la version relax et la version full, en faveur de la version relax. Plus surprenamment, tous les modèles fonctionnent mieux sur les deux tâches avec la version relax d'origine que sur la version MEDIA 2022 relax. Cela pourrait s'expliquer par la conservation de mots tronqués dans MEDIA 2022, qui compliquerait ces tâches.

# 4 Expériences sur la reconnaissance automatique de la parole

Nous évaluons les performances des deux approches à l'aide des mesures utilisées dans la section 3.2, à l'exception de la F-mesure de la détection de concepts.
<table><caption>TABLE 3 – Meilleures performances de nos modèles optimisés par PBT sur le jeu d’évaluation de MEDIA. Les résultats ont été obtenus à partie des transcriptions manuelles (partie gauche du tableau) ou des sorties RAP (approche en cascade, partie droite).</caption><thead><tr><th rowspan="3">Modèle</th><th colspan="5">Transcriptions manuelles</th><th colspan="5">Cascade avec RAP</th></tr><tr><th colspan="3">Intentions</th><th colspan="3">Concepts</th><th colspan="3">Concepts</th><th colspan="3">Concepts</th></tr><tr><th>Exa.</th><th>EMR</th><th>F1</th><th>F1mh</th><th>CER</th><th>SFA</th><th>Inten-<br>tions<br>Exa.</th><th>EMR</th><th>F1mh</th><th>CER</th><th>SFA</th></tr></thead><tbody><tr><th colspan="13" style="text-align: left;">MEDIA original, relax</th></tr><tr><td>CamemBERT-base-CCNET</td><td>93,87</td><td>91,79</td><td>88,52</td><td><strong>95,97</strong></td><td>8,68</td><td><strong>76,26</strong></td><td>92,07</td><td>89,82</td><td><strong>93,82</strong></td><td>13,93</td><td><strong>65,69</strong></td></tr><tr><td>CamemBERT-base-Wikipedia-4GB</td><td><strong>93,98</strong></td><td><strong>91,84</strong></td><td>87,93</td><td>95,41</td><td>9,34</td><td>75,58</td><td><strong>92,43</strong></td><td><strong>90,08</strong></td><td>93,29</td><td>15,03</td><td>65,49</td></tr><tr><td>FlauBERT-oral-ft</td><td>93,66</td><td>91,19</td><td>87,93</td><td>95,63</td><td>8,95</td><td>76,04</td><td>92,28</td><td>89,77</td><td>93,12</td><td>14,19</td><td>65,55</td></tr><tr><td>Base FrALBERT</td><td>92,27</td><td>89,88</td><td>84,24</td><td>93,66</td><td>13,14</td><td>72,12</td><td>90,81</td><td>88,18</td><td>91,14</td><td>19,97</td><td>62,91</td></tr><tr><th colspan="13" style="text-align: left;">MEDIA 2022, relax</th></tr><tr><td>CamemBERT-base-CCNET</td><td>91,87</td><td><strong>89,78</strong></td><td>86,95</td><td>94,66</td><td>10,33</td><td>72,68</td><td>90,16</td><td><strong>88,00</strong></td><td>92,74</td><td>12,78</td><td>64,43</td></tr><tr><td>CamemBERT-base-Wikipedia-4GB</td><td>91,25</td><td>88,66</td><td>86,88</td><td>94,88</td><td>10,24</td><td>72,60</td><td>89,39</td><td>86,75</td><td>92,90</td><td>13,19</td><td>64,00</td></tr><tr><td>FlauBERT-oral-ft</td><td><strong>92,10</strong></td><td>89,73</td><td><strong>87,75</strong></td><td><strong>95,41</strong></td><td><strong>9,18</strong></td><td><strong>73,29</strong></td><td><strong>90,40</strong></td><td>87,95</td><td><strong>93,40</strong></td><td><strong>11,93</strong></td><td><strong>64,96</strong></td></tr><tr><td>FrALBERT-base</td><td>90,71</td><td>88,37</td><td>82,48</td><td>92,94</td><td>14,71</td><td>69,18</td><td>89,29</td><td>86,86</td><td>91,00</td><td>17,81</td><td>62,01</td></tr><tr><th colspan="13" style="text-align: left;">MEDIA 2022, full</th></tr><tr><td>CamemBERT-base-CCNET</td><td>92,28</td><td>89,73</td><td><strong>85,33</strong></td><td><strong>92,87</strong></td><td><strong>11,61</strong></td><td>72,13</td><td><strong>90,86</strong></td><td><strong>88,29</strong></td><td><strong>91,06</strong></td><td><strong>14,18</strong></td><td><strong>64,14</strong></td></tr><tr><td>CamemBERT-base-Wikipedia-4GB</td><td>91,81</td><td>89,25</td><td>85,24</td><td>92,42</td><td>12,11</td><td><strong>72,15</strong></td><td>90,62</td><td>88,13</td><td>90,60</td><td>15,19</td><td>63,66</td></tr><tr><td>FlauBERT-oral-ft</td><td><strong>92,31</strong></td><td><strong>89,97</strong></td><td>84,26</td><td>92,34</td><td>12,68</td><td>71,54</td><td>90,23</td><td>87,76</td><td>90,68</td><td>15,11</td><td>63,10</td></tr><tr><td>FrALBERT-base</td><td>90,64</td><td>88,29</td><td>80,10</td><td>90,38</td><td>17,40</td><td>68,04</td><td>88,89</td><td>86,25</td><td>88,22</td><td>20,16</td><td>61,24</td></tr></tbody></table>

## 4.1 Approche en cascade

L’approche en cascade (ou séquentielle) consiste à utiliser deux modules séparés et se suivant pour résoudre des problèmes spécifiques. Ici, un module de RAP est suivi d’un module de compréhension.

Le modèle RAP utilisé pour l’approche en cascade est constitué d’un encodeur de parole (LeBenchmark FR 3k large (Evain et al., 2021)), suivi de 3 couches de bi-LSTM et d’une couche linéaire de 1024 neurones. Le modèle utilise l’optimiseur Adam avec un taux d’apprentissage de 0,0001, tandis que la couche de sortie linéaire utilise un optimiseur Adadelta avec un taux d’apprentissage de 1,0. La fonction de coût de la classification temporelle connexionniste (CTC) est optimisée pour 100 époques, visant le meilleur taux d’erreur de mots (WER pour Word Error Rate en anglais) possible. Nous obtenons un score de 9,49% de WER sur MEDIA 2022 et de 10,51% sur l’ensemble de données MEDIA original avec ce système.

Les sorties du module de RAP sont ensuite transmises au modèle joint présenté dans la section 3.1. Ce second modèle prédit donc les informations sémantiques (concepts et intentions) à partir des transcriptions automatiques. Les résultats du système cascade sont présentés dans la partie droite du Tableau 3.

## 4.2 Approche bout-en-bout

Une approche de bout-en-bout (end-to-end en anglais) vise à développer un système unique, directement optimisé pour extraire des informations sémantiques de la parole sans utiliser de transcriptions intermédiaires. Notre modèle de bout-en-bout est composé de l’encodeur de parole SAMU-XLSR original (Khurana et al., 2022), ou SAMU-XLSR<sub>IT⊕FR</sub> spécialisé (Laperrière et al., 2023), suivi de deux blocs de décodage différents de 3 couches bi-LSTM de 1024 neurones. Chaque bloc est suivi d’une couche entièrement connectée de la même dimension, activée avec *Leaky ReLU* et une fonction *softmax*. Un bloc est optimisé pour produire les intentions des segments audio, tandis que l’autre exécute la tâche de détection de concepts de MEDIA.

Nous avons optimisé les fonctions de coût (loss en anglais) CTC sur 100 époques avec les mêmes optimiseurs que ceux utilisés dans l’approche en cascade, à l’exception de la couche linéaire de
l'optimiseur de classification des intentions dont le taux d'apprentissage est fixé à 0, 1. La somme des deux *loss* est définie comme suit : $loss = \frac{1}{4} * lossintent) + loss(

<table><caption>TABLE 4 – Résultats pour l’approche bout-en-bout sur les différents corpus MEDIA.</caption><thead><tr><th rowspan="2">Modèle</th><th colspan="2">Intent</th><th colspan="3">Slot-filling</th></tr><tr><th>Accuracy</th><th>EMR</th><th>F1mh</th><th>CER</th><th>SFA</th></tr></thead><tbody><tr><td colspan="6" style="text-align: center; font-weight: bold;">MEDIA original, relax</td></tr><tr><td>SAMU-XLSR</td><td><b>92,02</b></td><td><b>90,14</b></td><td>91,68</td><td>16,01</td><td>71,57</td></tr><tr><td>SAMU-XLSR<sub>IT⊕FR</sub></td><td>91,74</td><td>90,02</td><td><b>92,35</b></td><td>15,44</td><td><b>72,51</b></td></tr><tr><td>LeBenchmark FR 3k large</td><td>91,75</td><td>89,91</td><td>91,98</td><td>15,51</td><td>71,12</td></tr><tr><td colspan="6" style="text-align: center; font-weight: bold;">MEDIA 2022, relax</td></tr><tr><td>SAMU-XLSR</td><td><b>90,74</b></td><td><b>88,85</b></td><td>90,01</td><td>15,28</td><td>68,50</td></tr><tr><td>SAMU-XLSR<sub>IT⊕FR</sub></td><td>90,53</td><td>88,64</td><td>90,65</td><td>15,16</td><td>70,83</td></tr><tr><td>LeBenchmark FR 3k large</td><td>90,18</td><td>87,98</td><td><b>90,77</b></td><td><b>15,08</b></td><td><b>71,12</b></td></tr><tr><td colspan="6" style="text-align: center; font-weight: bold;">MEDIA 2022, full</td></tr><tr><td>SAMU-XLSR</td><td>90,52</td><td>88,69</td><td>88,88</td><td>18,50</td><td>69,72</td></tr><tr><td>SAMU-XLSR<sub>IT⊕FR</sub></td><td><b>90,98</b></td><td><b>88,93</b></td><td><b>89,14</b></td><td><b>18,30</b></td><td><b>70,63</b></td></tr><tr><td>LeBenchmark FR 3k large</td><td>90,07</td><td>88,02</td><td>87,99</td><td>19,67</td><td>69,06</td></tr></tbody></table>

Le Tableau 4 présente les résultats sur les tâches de classification d’intention et de détection de concepts avec cette approche de bout-en-bout. Pour la tâche de classification en intentions, l’approche de bout-en-bout obtient globalement de meilleurs résultats sur MEDIA 2022 que l’approche en cascade. Pour la tâche de détection des concepts, la tendance semble s’inverser. Cependant, les écarts entre les résultats du Tableau 4 et du Tableau 3 pourraient ne pas être suffisamment importants pour déterminer si une approche est favorable à l’autre. Néanmoins, nous obtenons de meilleurs scores de SFA avec notre approche de bout-en-bout pour toutes les versions du corpus MEDIA.

# 5 Conclusion

Dans cet article, nous avons présenté une version de l’ensemble de données de référence MEDIA enrichi avec des annotations de l’intention. Nous espérons ainsi ouvrir plus largement l’utilisation de ce corpus à la communauté internationale. Nous avons présenté également les premiers résultats expérimentaux sur cet ensemble de données enrichi en utilisant des modèles joints pour la classification des intentions et la détection de concepts.

Nous avons présenté différents systèmes réalisant conjointement la classification des intentions et la détection des concepts, que ce soit sur les transcriptions manuelles, les transcriptions automatiques (cascade) ou les signaux de parole (bout-en-bout). Les résultats expérimentaux sur les transcriptions manuelles et automatiques n’ont pas pu atteindre les résultats antérieurs de l’état-de-l’art pour la tâche détection de concepts, mais sont toujours compétitifs. Les modèles de bout-en-bout faisant l’optimisation jointe semblent obtenir de meilleurs résultats sur les deux tâches que les modèles en cascade.

Les annotations en intention sont librement disponibles dans un dépôt public<fnref n="3" /> incluant le manuel d’annotation.

<footnote n="3">3. https://gitlab.lisn.upsaclay.fr/nlp/corpora/media-benchmark-intent-annotations</footnote>
Références

BONNEAU-MAYNARD H., AYACHE C., BECHET F., DENIS A., KUHN A., LEFEVRE F., MOSTEFA D., QUIGNARD M., ROSSET S., SERVAN C. & VILLANEAU J. (2006). Results of the French evalda-media evaluation campaign for literal understanding. In *Proceedings of the Fifth International Conference on Language Resources and Evaluation (LREC'06)*, Genoa, Italy: European Language Resources Association (ELRA).

BONNEAU-MAYNARD H., ROSSET S., AYACHE C., KUHN A. & MOSTEFA D. (2005). Semantic annotation of the French media dialog corpus. In *Proceedings Interspeech 2005*, p. 3457–3460.
DOI: 10.21437/Interspeech.2005-312.

BOULANGER H., LAVERGNE T. & ROSSET S. (2022). Generating unlabelled data for a tri-training approach in a low resourced NER task. In *Proceedings of the Third Workshop on Deep Learning for Low-Resource Natural Language Processing*, p. 30–37, Hybrid : Association for Computational Linguistics. DOI: 10.18653/v1/2022.deeplo-1.4.

BÉCHET F. & RAYMOND C. (2019). Benchmarking Benchmarks : Introducing New Automatic Indicators for Benchmarking Spoken Language Understanding Corpora. In *Proceedings Interspeech 2019*, p. 4145–4149. DOI: 10.21437/Interspeech.2019-3033.

CASTELLUCCI G., BELLOMARIA V., FAVALLI A. & ROMAGNOLI R. (2019). Multi-lingual intent detection and slot filling in a joint bert-based model. *ArXiv*, abs/1907.02884.

CATTAN O., GHANNAY S., SERVAN C. & ROSSET S. (2022). Benchmarking Transformers-based models on French Spoken Language Understanding tasks. In *Proceedings Interspeech 2022*, p. 1238–1242. DOI: 10.21437/Interspeech.2022-385.

CATTAN O., SERVAN C. & ROSSET S. (2021). On the Usability of Transformers-based Models for a French Question-Answering Task. In *Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2021)*, p. 244–255, Held Online : INCOMA Ltd.

CHEN Q., ZHUO Z. & WANG W. (2019). Bert for joint intent classification and slot filling. *ArXiv*, abs/1902.10909.

CHEN Y.-N., HAKANNI-TÜR D., TUR G., CELIKYILMAZ A., GUO J. & DENG L. (2016). Syntax or semantics ? knowledge-guided joint semantic frame parsing. In *2016 IEEE Spoken Language Technology Workshop (SLT)*, p. 348–355. DOI: 10.1109/SLT.2016.7846288.

COCKE A., SAADE A., BALL A., BLUCHE T., CAULIER A., LEROY D., DOUMOURO C., GISSELBRECHT T., CALTAGIRONE F., LAVRIL T., PRIMET M. & DUREAU J. (2018). Snips Voice Platform : an embedded Spoken Language Understanding system for private-by-design voice interfaces. *ArXiv*, abs/1805.10190.

EVAIN S., NGUYEN H., LE H., BOITO M. Z., MDHAFFAR S., ALISAMIR S., TONG Z., TOMASHENKO N. A., DINARELLI M., PARCOLLET T., ALLAUZEN A., ESTÈVE Y., LECOUTEUX B., PORTET F., ROSSATO S., RINGEVAL F., SCHWAB D. & BESACIER L. (2021). LeBenchmark : A reproducible framework for assessing self-supervised representation learning from speech. In *Interspeech*, p. 1439–1443.

GHANNAY S., SERVAN C. & ROSSET S. (2020). Neural networks approaches focused on French spoken language understanding : application to the MEDIA evaluation task. In *Proceedings of the 28th International Conference on Computational Linguistics*, p. 2722–2727, Barcelona, Spain (Online) : International Committee on Computational Linguistics. DOI: 10.18653/v1/2020.coling-main.245.
GODOBLE S. & SARAWAGI S. (2004). Discriminative methods for multi-labeled classification. In H. DAI, R. SRIKANT & C. ZHANG, Éds., *Advances in Knowledge Discovery and Data Mining*, p. 22–30, Berlin, Heidelberg: Springer Berlin Heidelberg.

GOO C.-W., GAO G., HSU Y.-K., HUO C.-L., CHEN T.-C., HSU K.-W. & CHEN Y.-N. (2018). Slot-gated modeling for joint slot filling and intent prediction. In *Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2018)*, p. 753–757, New Orleans, Louisiana: Association for Computational Linguistics. DOI: 10.18653/v1/N18-2118.

GUO D., TUR G., YIH W.-T. & ZWEIG G. (2014). Joint semantic utterance classification and slot filling with recursive neural networks. In *2014 IEEE Spoken Language Technology Workshop (SLT)*, p. 554–559. DOI: 10.1109/SLT.2014.7078634.

HAKKANI-TÜR D., TUR G., CELIKYILMAZ A., CHEN Y.-N., GAO J., DENG L. & WANG Y.-Y. (2016). Multi-Domain Joint Semantic Frame Parsing Using Bi-Directional RNN-LSTM. In *Proceedings Interspeech 2016*, p. 715–719. DOI: 10.21437/Interspeech.2016-402.

HAN S. C., LONG S., LI H., WELD H. & POON J. (2021). Bi-directional joint neural networks for intent classification and slot filling. In *Interspeech*.

HEMPHILL C. T., GODFREY J. J. & DODDINGTON G. R. (1990). The ATIS Spoken Language Systems Pilot Corpus. In *Speech and Natural Language : Proceedings of a Workshop Held at Hidden Valley, Pennsylvania, June 24-27,1990*.

HERVÉ N., PELLOIN V., FAVRE B., DARY F., LAURENT A., MEIGNIER S. & BESACIER L. (2022). Using ASR-generated text for spoken language modeling. In *Proceedings of BigScience Episode #5 – Workshop on Challenges & Perspectives in Creating Large Language Models*, p. 17–25, virtual+Dublin: Association for Computational Linguistics. DOI: 10.18653/v1/2022.bigscience-1.2.

JADERBERG M., DALIBARD V., OSINDERO S., CZARNECKI W. M., DONAHUE J., RAZAVI A., VINYALS O., GREEN T., DUNNING I., SIMONYAN K., FERNANDO C. & KAVUKCUOGLU K. (2017). Population based training of neural networks. *ArXiv, abs/1711.09846*.

JEONG M. & LEE G. G. (2008). Triangular-chain conditional random fields. *IEEE Transactions on Audio, Speech, and Language Processing*, **16**(7), 1287–1302. DOI: 10.1109/TASL.2008.925143.

KHURANA S., LAURENT A. & GLASS J. (2022). Samu-xlsr: Semantically-aligned multimodal utterance-level cross-lingual speech representation. *IEEE Journal of Selected Topics in Signal Processing*, **16**(6), 1493–1504. DOI: 10.1109/JSTSP.2022.3192714.

LAN Z., CHEN M., GOODMAN S., GIMPEL K., SHARMA P. & SORICUT R. (2020). ALBERT: A Lite BERT for Self-supervised Learning of Language Representations. In *8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020 : OpenReview.net*.

LAPERRIÈRE G., NGUYEN H., GHANNAY S., JABAIAN B. & ESTÈVE Y. (2023). Semantic enrichment towards efficient speech representations. In *Interspeech*, p. 705–709.

LAPERRIÈRE G., PELLOIN V., CAUBRIÈRE A., MDHAFFAR S., CAMELIN N., GHANNAY S., JABAIAN B. & ESTÈVE Y. (2022). The Spoken Language Understanding MEDIA Benchmark Dataset in the Era of Deep Learning: data updates, training and evaluation tools. In *Proceedings of the Thirteenth Language Resources and Evaluation Conference*, p. 1595–1602, Marseille, France: European Language Resources Association.

LIU B. & LANE I. (2016). Attention-based recurrent neural network models for joint intent detection and slot filling. *ArXiv, abs/1609.01454*.

MARTIN L., MULLER B., ORTIZ SUÁREZ P. J., DUPONT Y., ROMARY L., DE LA CLERGERIE E., SEDDAH D. & SAGOT B. (2020). CamemBERT: a Tasty French Language Model. In *Proceedings*
of the 58th Annual Meeting of the Association for Computational Linguistics, p. 7203-7219, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.645.

PELLOIN V., DARY F., HERVÉ N., FAVRE B., CAMELIN N., LAURENT A. & BESACIER L. (2022). ASR-Generated Text for Language Model Pre-training Applied to Speech Tasks. In *Proceedings Interspeech 2022*, p. 3453-3457. DOI: 10.21437/Interspeech.2022-352.

QIN L., LIU T., CHE W., KANG B., ZHAO S. & LIU T. (2021). A co-interactive transformer for joint slot filling and intent detection. In *ICASSP 2021 - 2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)* : IEEE. DOI: 10.1109/icassp39728.2021.9414110.

SOROWER M. S. (2010). A literature survey on algorithms for multi-label learning.

TANG H., JI D. & ZHOU Q. (2020). End-to-end masked graph-based crf for joint slot filling and intent detection. *Neurocomputing*, **413**, 348-359. DOI: https://doi.org/10.1016/j.neucom.2020.06.113.

TUR G. & MORI R. D. (2011). *Spoken Language Understanding: Systems for Extracting Semantic Information from Speech*. John Wiley & Sons.

VAN ENGELEN J. E. & HOOS H. H. (2020). A survey on semi-supervised learning. *Machine Learning*, **109**(2), 373-440. DOI: 10.1007/s10994-019-05855-6.

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER L. & POLOSUKHIN I. (2017). Attention is All you Need. In *Advances in Neural Information Processing Systems*, volume 30 : Curran Associates, Inc.

WANG C., HUANG Z. & HU M. (2020). Sasgbc: Improving sequence labeling performance for joint learning of slot filling and intent detection. In *Proceedings of 2020 6th International Conference on Computing and Data Engineering, ICCDE'20*, p. 29-33, New York, NY, USA : Association for Computing Machinery. DOI: 10.1145/3379247.3379266.

WELD H., HUANG X., LONG S., POON J. & HAN S. C. (2022). A survey of joint intent detection and slot filling models in natural language understanding. *ACM Comput. Surv.*, **55**(8). DOI: 10.1145/3547138.

XU P. & SARIKAYA R. (2013). Convolutional neural network based triangular crf for joint intent detection and slot filling. In *2013 IEEE Workshop on Automatic Speech Recognition and Understanding*, p. 78-83. DOI: 10.1109/ASRU.2013.6707709.

XU W., HAIDER B. & MANSOUR S. (2020). End-to-end slot alignment and recognition for cross-lingual NLU. In *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, p. 5052-5063, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.emnlp-main.410.

ZHOU Z.-H. & LI M. (2005). Tri-training: exploiting unlabeled data using three classifiers. *IEEE Transactions on Knowledge and Data Engineering*, **17**(11), 1529-1541. DOI: 10.1109/TKDE.2005.186.

ZHUANG L., WAYNE L., YA S. & JUN Z. (2021). A Robustly Optimized BERT Pre-training Approach with Post-training. In *Proceedings of the 20th Chinese National Conference on Computational Linguistics*, p. 1218-1227, Huhhot, China : Chinese Information Processing Society of China.
# Perception des frontières prosodiques intonatives du français par des natifs : Études comportementale et électroencéphalographique

Lei Xi¹ Rachid Ridouane¹ Frédéric Isel¹, ²

(1) Laboratoire de Phonétique et Phonologie (CNRS & Sorbonne Nouvelle)

(2) Modèles, Dynamiques, Corpus (CNRS & Université Paris Nanterre)

lei.xi@sorbonne-nouvelle.fr, rachid.ridouane@sorbonne-nouvelle.fr, frederic.isel@parisnanterre.fr,

## RESUME

Deux expériences sur la désambiguïsation syntaxique par prosodie sont exposées dans cette étude. Dans l'expérience perceptive, nous avons demandé à 20 francophones natifs de compléter des phrases localement ambiguës afin de déterminer leur capacité à assigner correctement les mots cibles à leurs fonctions syntaxiques sur la base des indices prosodiques disponibles. Dans l'expérience électroencéphalographique (EEG), le signal continu de 20 francophones natifs a été enregistré pendant qu'ils écoutaient les mêmes phrases ambiguës. Les résultats perceptifs ont montré que les participants, bien que natifs du français, ont eu des difficultés à établir la fonction syntaxique du mot cible par l'indice prosodique. En revanche, les données neurocognitives suggèrent que les frontières intonatives ont été analysées comme l'atteste la *Closure Positive Shift* (CPS), présentant un maximum autour de 400 à 500 ms après l'onset de la dernière syllabe qui précède la frontière prosodique. Nos données soulignent l'importance du contexte prosodique complet et informatif en perception de la parole.

## ABSTRACT

### Perception of French prosodic boundary by native speakers: behavioral and electroencephalographic studies

Two experiments exploring the role of prosody in syntactic disambiguation are presented in this study. In a perceptual experiment, we asked 20 French native speakers to complete locally ambiguous sentences. The aim was to determine their ability to correctly assign target words to their syntactic functions based on available prosodic cues. In an electroencephalography (EEG) experiment, the EEG signal of 20 French natives was recorded while they listened to the same ambiguous sentences. The results showed that, behaviorally, listeners, even if they are native speakers of French, had difficulty establishing the correct syntactic relationship between the target word and the preceding verb. In contrast, at the neurocognitive level, prosodic boundary processing was associated with a component thought to be related to intonation boundary processing, i.e., a Closure Positive Shift (CPS), peaking around 400-500 ms after the onset of the last syllable preceding the intonational phrase boundary. We discussed our results in two frameworks of sentence processing.

**MOTS-CLES** : Perception de la frontière prosodique, EEG, ERP, CPS, français

**KEYWORDS** : Perception of prosodic boundary, EEG, ERP, CPS, French

<figure><img src="image_194.png" /></figure>
# 1 Introduction

L'encodage et le décodage de la frontière prosodique jouent un rôle fondamental dans la production et dans la perception de la parole. Le rôle de la frontière prosodique est d'autant plus crucial que certaines structures syntaxiques ambiguës ne peuvent se distinguer que par l'intonation, utilisée très tôt dans le traitement par l'auditeur pour prédire la structure syntaxique, résoudre l'ambiguïté et ainsi décodeur l'information émise par le locuteur (Beach, 1991; Price et al., 1991; Marslen-Wilson et al., 1992; Nagel et al., 1996; Speer et al., 1996; Kjelgaard & Speer, 1999). Le décodage des indices fournis par la prosodie permet ainsi à l'auditeur d'établir les bonnes relations entre les unités syntaxiques et de désambiguïser le sens des phrases en fonction de l'intention du locuteur (Lehiste, 1973; Schafer et al., 2000; Carlson et al., 2009a, 2009b).

La plupart des études qui ont examiné comment la prosodie aide à désambiguïser des phrases syntaxiquement ambiguës se sont basées sur des tâches de production et/ou de perception. Pour le français, il y a notamment les travaux de Millotte et al. (2007, 2008) qui ont examiné la désambiguïsation au niveau du syntagme phonologique, avec les paires de phrases comme « *Le petit chien #mord la laisse qui le retient.* » vs « *Le petit chien mort #sera enterré demain.* ». Leurs études de production et de perception ont montré que les francophones natifs ont spontanément produit les indices prosodiques (montée de F0 et allongement final, Di Cristo, 1998; Jun & Fougeron, 2002) qui différencient les paires de phrases ambiguës, sans même se rendre compte de l'ambiguïté. D'autre part, les auteurs ont également montré que les francophones natifs ont recouru à ces indices prosodiques pour prédire la structure syntaxique et résoudre l'ambiguïté syntaxique dans une tâche de perception.

La perception des frontières prosodiques peut aussi être étudiée en neuroimagerie, notamment à partir de l'examen électroencéphalographique (EEG) des potentiels évoqués. Un de ces potentiels évoqués, la *Closure Positive Shift* (CPS), découvert en allemand par Steinhauer et al. (1999), est supposé marquer le traitement de frontières d'intonation majeure (et non de pauses). Cette composante de polarité positive présente une latence du pic environ 500 ms après la frontière prosodique et est distribuée bilatéralement sur les électrodes centro-pariétales. Après avoir été montrée en allemand (voir aussi Isel et al., 2005), la CPS a été répliquée dans différentes langues : en chinois (Li et al., 2008; Li & Yang, 2010), en anglais (Peter et al., 2014), en néerlandais (Bögels et al., 2011), en coréen (Hwang & Steinhauer, 2011) et en portugais (Batista et al., 2023), entre autres. Ainsi, Bögels et al. (2011) concluent dans leur revue de questions sur la CPS que cette déflection positive constitue un marqueur fiable de frontière prosodique, indépendant de la modalité sensorielle. En effet, la CPS a été trouvée en lecture silencieuse (Steinhauer & Friederici, 2001; Drury et al., 2016), mais aussi lors du traitement de parole délexicalisée ou synthétisée (Pannekamp et al., 2005; Honbolygó et al., 2016) ou encore de phrasé musical (Knösche et al., 2005; Neuhaus et al., 2006; Glushko et al., 2016). Des études ultérieures (Kerkhofs et al., 2008; Glushko et al., 2016) ont apporté de nouvelles précisions : la CPS peut être déclenchée par des frontières prosodiques de tailles différentes, mais son amplitude peut varier en fonction de la saillance perceptive. Prises dans leur ensemble, ces études multimodales suggèrent que lorsqu'un auditeur ou un lecteur s'appuie sur les informations prosodiques pour segmenter et structurer un signal continu (auditif ou visuel) en entités discrètes de taille variable, une CPS est observée. Toutefois, à ce jour, ce résultat neurophysiologique est difficilement généralisable à toutes les langues, puisque certaines, comme le français, ont été peu étudiées. À notre connaissance, il n'existe qu'une seule étude EEG (Gilbert et al., 2023), portant sur le français canadien, qui a répliqué une CPS en réponse au traitement de frontières prosodiques par des auditeurs francophones. Afin d'apporter des données complémentaires, cette étude a été conçue dans le but d'examiner le traitement de frontières prosodiques situées dans deux positions différentes (clôture précoce (CP) versus clôture tardive (CT)) chez des natifs du français métropolitain. Pour ce faire, nous avons d'abord analysé nos
données en production et en perception, avant de procéder à l'analyse par EEG. L'objectif est double : 1) d'une part, au niveau comportemental, déterminer si les francophones natifs utilisent en temps réel les indices prosodiques pour résoudre des cas d'ambiguïté syntaxique en français ; 2) d'autre part, au niveau neurocognitif, vérifier que le traitement prosodique de clôtures précoces ou tardives dans des phrases localement ambiguës du français module la CPS. La contribution majeure de cette étude est d'examiner si la CPS est déclenchée lors de la perception de la frontière prosodique du français chez des locuteurs natifs en combinant des mesures comportementales perceptives et des mesures neurophysiologiques.

# 2 Partie expérimentale

## 2.1 Stimuli

Inspirés de Pauker (2013), les stimuli utilisés dans les deux expériences sont construits à partir de 50 paires de phrases localement ambiguës (cf. Ces phrases sont disponibles sur la plateforme OSF). Chaque paire de phrases a été construite de sorte à avoir les frontières prosodiques situées dans deux positions différentes, l'une précédant le syntagme nominal, compatible avec une clôture précoce (CP) et l'autre suivant le syntagme nominal, compatible avec une clôture tardive (CT). Un exemple de ces paires de phrases est présenté dans la TABLE 1. Le même syntagme nominal dans chaque paire (ici 'le rat') a deux fonctions syntaxiques différentes, qui sont *sujet* dans la condition CP et *complément d'objet direct* dans la condition CT. En plus de ces 100 phrases (50 paires de phrases), 50 autres phrases, ne présentant aucune ambiguïté, ont été ajoutées pour servir de distracteurs (par exemple, « Chaque fois que j'allais à la piscine, il y avait du monde. »).

<table><caption>TABLE 1 : Exemple d'une paire de phrases utilisée dans cette étude</caption><thead><tr><td>Condition prosodique</td><td>Exemple</td></tr></thead><tbody><tr><td>Clôture précoce (CP)<br>(Early Closure)</td><td>Chaque fois que le serpent mange<sub>ait</sub>, le rat se cachait.</td></tr><tr><td>Clôture tardive (CT)<br>(Late Closure)</td><td>Chaque fois que le serpent mange<sub>ait</sub> le rat, le lapin se cachait.</td></tr></tbody></table>

Les 150 phrases ont été lues dans un ordre aléatoire par une locutrice native du français dans la chambre sourde du Laboratoire de Phonétique et Phonologie (CNRS & Sorbonne Nouvelle). Les phrases enregistrées ont été digitalisées à 16,000 Hz et à 16 Bits. Afin de mieux examiner les stimuli au niveau de la désambiguïsation syntaxique, nous avons procédé à deux analyses : acoustique et perceptive.

### 2.1.1 Caractéristiques acoustiques

Des analyses acoustiques et statistiques ont été effectuées pour déterminer les différences de F0 et de durée des voyelles finales<fnref n="1" /> du syntagme verbal (SV) (en rouge dans la TABLE 1) et du syntagme nominal (SN) (en vert) dans les deux conditions CP et CT. Les analyses acoustiques et statistiques ont montré que la locutrice enregistrée avait bien réalisé les indices acoustiques attendus pour marquer la frontière du syntagme intonatif : la montée de F0, l'allongement final et la pause.

<figure><img src="image_195.png" /></figure>

<footnote n="1">¹ Les T tests ont révélé un effet significatif de la Condition (2 modalités : CP et CT) sur chacune des variables dépendantes mesurées : la F0 et la durée, tant pour les SN (F0 : t(49)=-6,72, p<.001 ; durée : t(49)=-10,89, p<.001) que pour les SV (F0 : t(49)=14,43, p<.001 ; durée : t(49)=26,3, p<.001). Par ailleurs, une pause est systématiquement marquée à la frontière du syntagme intonatif de chaque phrase (FIGURE 1).</footnote>
FIGURE 1 : Signaux acoustiques et contours mélodiques d'une paire de phrase ambiguës (CP : gauche vs CT : droite), avec les valeurs moyennes des différences de F0 et de durée de la même voyelle dans SN (entourée en rouge) et dans SN (entourée en vert)

## 2.1.2 Caractéristiques perceptives

Nous avons ensuite mené une étude perceptive afin de savoir si les auditeurs francophones natifs seront capables, au niveau comportemental, d'utiliser les indices acoustiques présents dans les stimuli pour désambiguïser les relations syntaxiques.

### 2.1.2.1 *Participants et procédure*

Vingt locuteurs francophones natifs (quatre hommes, seize femmes ; âge moyen : 23,1 ans ; écart-type = 4,4 ans) ont été recrutés pour prendre part à cette expérience. Tous les participants sont des locuteurs natifs du français et ne souffrent d'aucun trouble langagier ou auditif. Parmi les 150 phrases lues, 45 ont été choisies pour l'expérience perceptive (20 en condition CP, 20 en condition CT et 5 distracteurs sans ambiguïté). Nous avons tronqué ces phrases pour créer des stimuli identiques se distinguant uniquement sur le plan prosodique (e.g. « *Chaque fois que le serpent mangeait, le rat se eachait.* » vs « *Chaque fois que le serpent mangeait le rat, le lapin se eachait.* »). Les 40 phrases ambiguës ainsi obtenues ont été réparties dans deux blocs pour que deux phrases issues de la même paire n'apparaissent jamais dans le même bloc. À cela s'ajoutent dans chaque bloc les 5 mêmes phrases distraictrices. Chaque participant a reçu la consigne suivante : « *Cette expérience consiste en une tâche de complétion de phrases, où vous devez écrire ce qui vous vient à l'esprit après chaque stimulus entendu, sous condition que la phrase complétée soit grammaticalement correcte.* ».

### 2.1.2.2 Résultats

Nous avons analysé un total de 500 phrases, complétées par les 20 participants. Chaque participant a évalué 20 conditions prosodiques ambiguës, comprenant 10 conditions CP et 10 conditions CT, en plus des 5 distracteurs, pour déterminer si les syntagmes nominaux ont été traités comme sujets ou comme complément d'objet direct. Les résultats obtenus sont présentés dans la FIGURE 2. L'analyse descriptive de ces résultats montre que les participants ont identifié correctement les syntagmes nominaux dans la CT, mais pas dans la CP. Autrement dit, le syntagme nominal est traité comme complément d'objet direct dans la CT alors qu'il est traité tantôt comme sujet et tantôt comme complément d'objet dans la CP.

<figure><img src="image_196.png" /><figcaption>FIGURE 2 : Nombres de réponses correctes dans les conditions CP et CT pour les participants francophones natifs</figcaption></figure>
Nous avons utilisé une analyse de covariance (ANCOVA) pour comparer le nombre de réponses correctes entre les conditions CP et CT, en prenant compte le bloc (1 ou 2) comme facteur covariable. Nous avons constaté un effet significatif pour la « condition prosodique » (F(1, 37)=36,1, p<.001), mais aucun effet significatif pour le « bloc » (F(1, 37)=1,6, p=0,32).

## 2.2 Expérience électroencéphalographique (EEG)

### 2.2.1 Stimuli et participants

Nous avons réalisé une deuxième expérience en utilisant la technique EEG pour examiner les processus neurocognitifs impliqués dans le traitement de frontières prosodiques en français. Les stimuli étaient constitués des 150 phrases non tronquées présentées dans la section 2.1. Pour chacune des 100 phrases localement ambiguës, deux marqueurs d'événement (*triggers*) ont été placés à l'onset de la dernière syllabe du syntagme verbal et du syntagme nominal. Cela nous a permis de comparer les réponses électriques du cerveau (potentiels évoqués) en fonction de la présence d'une frontière majeure, mineure ou en l'absence de la frontière prosodique.

Nous avons recruté 20 locuteurs ayant le français comme seule langue maternelle (6H, 14F ; âge moyen : 22,2 ans, ET=3,3 ans) pour participer à cette expérience. Tous les participants sont droitiers (Oldfield, 1971), et ont une vision normale ou corrigée. Aucun d'entre eux ne présente de signe de trouble langagier, auditif, neurologique ou psychiatrique. Par ailleurs, aucun des 20 participants n'a pris part à l'expérience perceptive, garantissant qu'ils n'ont jamais écouté les stimuli utilisés dans l'expérience EEG.

### 2.2.2 Procédure

Le protocole expérimental a été examiné et approuvé par le Comité d'Éthique de Recherche de la Sorbonne Nouvelle (Avis CER-USN-01-2023) et par le Service de Protection des Données du CNRS (2-22087). L'expérience s'est déroulée au Laboratoire MoDyCo (CNRS & Université Paris Nanterre). Les 150 stimuli ont été aléatoirement répartis en 5 blocs, avec 30 stimuli dans chaque bloc. Cette répartition a permis aux participants de faire une courte pause entre chaque bloc. Les participants ont été testés individuellement dans une pièce isolée de plans électrique et acoustique. Les participants étaient confortablement installés sur un fauteuil, face à un écran d'ordinateur (à 80 cm de leurs yeux) et un haut-parleur. L'expérimentateur a donné la consigne suivante : « Vous allez écouter 150 phrases en français. Après chaque phrase, un mot s'affiche sur l'écran. Si ce mot apparaît dans la phrase que vous venez d'entendre, vous appuyez, avec la main droite, sur la touche « J » du clavier pour le choix « oui » ; s'il n'apparaît pas dans la phrase, vous appuyez sur la touche « F » du clavier pour le choix « non » (tâche de vérification lexicale). Il faut rester le plus immobile possible pendant l'expérience. ». Après l'explication des consignes, un bloc d'entraînement constitué de 9 stimuli (qui ne font pas partie des 150 stimuli) a été proposé au participant afin qu'il se familiarise avec la tâche expérimentale. L'expérience était lancée une fois que le participant avait confirmé avoir bien compris la consigne. Les stimuli ont été diffusés un par un par le logiciel Presentation (version 24.0), avec le mot cible projeté sur l'écran à la fin de chaque stimulus. Entre chaque bloc (tous les 30 stimuli), une pause d'un temps illimité a été insérée pour que le participant puisse se reposer.

Les signaux EEG ont été enregistrés en continu à l'aide de 64 électrodes (Ag-AgCl électrodes ; Bisomei ActiveTwo system, Amesterdam, Pays-Bas) placées sur un bonnet, avec deux électrodes supplémentaires au niveau des mastoïdes. Afin de détecter les mouvements oculaires, quatre électrodes EOG (électrooculographie) ont été utilisées, une à gauche et une à droite de chaque œil, et une au-dessus et une au-dessous de l'œil gauche. Les signaux EEG étaient numérisés à une fréquence d'échantillonnage de 512 Hz. Un filtrage en temps réel a été appliqué avec une bande passante entre 0,05 Hz et 100 Hz.
### 2.2.3 Prétraitement des signaux EEG

Les données ont été prétraitées hors ligne à l'aide des logiciels Matlab (R2023b) et EEGLAB (Delorme & Makeig, 2004). Chaque ensemble de données EEG continues a été re-référencées aux deux électrodes mastoïdes, ré-échantillonnées à 256 Hz et filtrées dans une bande passante de 0,5 à 30 Hz. Ensuite, les données ont été visuellement inspectées pour éliminer les segments affectés par d'importants artéfacts de mouvements de la tête et remplacer les canaux de signal de mauvaise qualité par des données d'interpolation spatiale. Les artéfacts, comprenant les mouvements oculaires et clignements des yeux, ont été supprimés à l'aide d'une Analyse en Composantes Indépendantes (ICA). Des segments de données (*epochs*) correspondant aux deux conditions prosodiques (CP et CT) ont été extraits dans ERPLAB (Lopez-Calderon & Luck, 2014) : le segment temporel a été choisi entre 200 ms avant le trigger (ligne de base) et 1500 ms après (i.e. une époque de [-200, 1500]). Tout segment présentant un voltage dépassant 100 µV dans n'importe quel canal du scalp a été supprimé. Le taux de rejet de chaque participant était compris entre 1% et 30% (moyenne de rejet : 13,22%). Les signaux restants, exempts d'artéfacts, ont été inclus dans la procédure statistique de grand moyennage.

En nous basant sur les études antérieures utilisant la CPS comme marqueur de frontières prosodiques, nous avons défini trois régions d'intérêt (ROI), avec 14 électrodes dans chaque ROI : frontale (F1, F3, F5, FP1, AF3, AF7 ; FPz, Fz ; F2, F4, F6, FP2, AF4, AF8) ; centrale (FC1, FC3, FC5, C1, C3, C5 ; FCz, Cz ; FC2, FC4, FC6, C2, C4, C6) et pariétale (CP1, CP3, CP5, P1, P3, P5 ; CPz, Pz ; CP2, CP4, CP6, P2, P4, P6). Pour déterminer si la CPS est déclenchée par la perception des frontières prosodiques, les conditions CP et CT ont été examinées séparément. Après une inspection visuelle du signal ERP, trois fenêtres temporelles (FT) ont été sélectionnées pour l'analyse entre CP vs nonCP (syllabes en rouge dans TABLE 1) : [0-400], [400-800] et [800-1200], et ensuite pour CT vs nonCT (syllabes en vert) : [0-450], [450-1000] et [1000-1400].

Les valeurs de l'amplitude moyenne des électrodes ont ensuite été extraites à l'aide du logiciel EPRLAB (Lopez-Calderon & Luck, 2014) dans les trois FTs et pour toutes les conditions prosodiques. Les amplitudes moyennes ont été analysées à l'aide d'un modèle linéaire mixte pour chaque FT. Cela implique de tester l'effet de la frontière prosodique (deux niveaux : CP vs nonCP ; CT vs nonCT) et l'effet des ROIs (trois niveaux : frontale vs centrale vs pariétal). Les participants ont été considérés comme facteur à effet aléatoire. Le modèle établi était donc le suivant : [Amplitude moyenne ~ Condition prosodique * ROI + (1 | Participant)] et puis analysé dans JASP (Version 0.18.1).

### 2.2.4 Résultats

#### 2.2.4.1 La condition CP vs nonCP

Les modèles ont révélé une différence significative pour toutes les FTs : avec une amplitude significativement plus positive dans la condition CP que nonCP dans la FT 400-800 ms. En revanche, dans les deux FTs [0-400 ms] et [800-1200 ms], l'amplitude de l'onde était significativement plus négative dans la CP que nonCP (FIGURE 2). Aucune interaction entre condition prosodique et ROI n'a été observée pour les trois FTs (TABLE 2). L'absence d'interaction indique que la CPS observée dans la FT [0-400 ms] n'a pas varié à travers les trois ROIs (FIGURE 2).

<table><caption>TABLE 2 : résultats du modèle linéaire mixte pour la condition CP vs nonCP dans les trois FTs</caption><thead><tr><td>Fenêtre temporelle (FT) (ms)</td><td>Effet de condition prosodique</td><td>Interaction (Condition prosodique * ROI)</td></tr></thead><tbody><tr><td>0-400</td><td>b= -0,29, SE=0,03, t= -8,74, p&lt;.001</td><td>b= -0,04, SE=0,05, t= -0,77, p=0,44</td></tr><tr><td>400-800</td><td>b=0,37, SE=0,05, t=6,84, p&lt;.001</td><td>b=0,007, SE=0,08, t=0,10, p=0,92</td></tr><tr><td>800-1200</td><td>b= -0,61, SE=0,07, t= -9,42, p&lt;.001</td><td>b= -0,07, SE=0,09, t= -0,76, p=0,45</td></tr></tbody></table>
<figure><img src="image_197.png" /><figcaption>FIGURE 2 : Variation d'amplitudes moyennes de la condition CP vs nonCP pour toutes les électrodes des ROIs dans les trois FTs (0-400 ms : gauche, 400-800 ms : milieu, 800-1200 ms : droite)</figcaption></figure>

<figure><img src="image_198.png" /><figcaption>FIGURE 3 : Effet CPS sur l'électrode Cz et cartes topographiques pour la condition CP (gauche) vs nonCP (droite)</figcaption></figure>

### 2.2.4.2 La condition CT vs nonCT

Le même schéma de résultat a été trouvé dans les trois FTs pour la condition CT vs nonCT : l'amplitude moyenne de la CPS est significativement plus positive dans la condition CT que nonCT, indépendamment de la ROI, mais uniquement dans la FT [450-1000 ms] (TABLE 3 & FIGURE 4).

<table><caption>TABLE 3 : résultats du modèle linéaire mixte pour la condition CT vs nonCT dans les trois FTs</caption><thead><tr><td>Fenêtre temporelle (FT) (ms)</td><td>Effet de condition prosodique</td><td>Interaction (Condition prosodique * ROI)</td></tr></thead><tbody><tr><td>0-450</td><td>b= -0,55, SE=0,04, t= -13,63, p&lt;.001</td><td>b= -0,007, SE=0,06, t= -0,12, p=0,9</td></tr><tr><td>450-1000</td><td>b=0,16, SE=0,05, t=2,91, p=0,004</td><td>b=0,02, SE=0,08, t=0,22, p=0,83</td></tr><tr><td>1000-1400</td><td>b= -0,29, SE=0,06, t= -4,78, p&lt;.001</td><td>b=0,09, SE=0,09, t=1,02, p=0,31</td></tr></tbody></table>

<figure><img src="image_199.png" /><figcaption>FIGURE 4 : Variation d'amplitudes moyennes de la condition CT vs nonCT pour toutes les électrodes des ROIs dans les trois FTs (0-450 ms : gauche, 450-1000 ms : milieu, 1000-1400 ms : droite)</figcaption></figure>
<figure><img src="image_200.png" /><figcaption>FIGURE 5 : Effet CPS sur l'électrode Cz et cartes topographiques pour la condition CT (gauche) vs nonCT (droite)</figcaption></figure>

## 3 Discussion et conclusion

Dans ces deux expériences, nous avons étudié les performances comportementales et neurocognitives d'auditeurs francophones natifs lors de l'écoute de syntagmes nominaux inclus dans des phrases localement ambiguës. L'expérience perceptive a montré que les auditeurs avaient des difficultés à identifier correctement la fonction syntaxique des syntagmes nominaux lorsqu'ils agissent en tant que sujets (i.e. quand le syntagme nominal est situé après la frontière). Bien qu'ils aient donné plus de réponses CP pour la condition CP et plus de réponses CT pour la condition CT, le nombre de réponses correctes différait significativement entre les deux conditions. En effet, les auditeurs natifs ont préféré l'interprétation CT, ce qui a entraîné des difficultés de traitement dans les structures CP. Au contraire, les résultats de l'expérience EEG ont montré que sur la plan neurocognitif, les conditions CP et CT ont été différenciées. La CPS a été déclenchée environ 400-450 ms après la dernière syllabe accentuée avant la frontière, avec une large distribution bilatérale (FIGURES 3 & 5). Ces résultats confirment l'hypothèse selon laquelle l'analyse neurocognitive des frontières prosodiques par les locuteurs natifs du français est associée à une CPS. De plus, dans notre étude, la CPS est observée pour les frontières prosodiques situées dans deux syntagmes intonatifs différents (CP et CT). Ces données convergent avec celles d'études antérieures menées dans d'autres langues, et soutiennent l'idée que la CPS constitue un marqueur neurocognitif fiable et probablement universel de frontières prosodiques. Lorsque nous comparons les résultats des données perceptives à ceux des données EEG, une contradiction apparaît. En effet, l'expérience perceptive a révélé que le syntagme nominal est traité tantôt comme sujet tantôt comme complément d'objet dans la condition CP, suggérant ainsi une moindre saillance perceptive de la frontière prosodique pour CP par rapport à CT. Cependant, les résultats EEG montrent que le cerveau a été sensible aux frontières intonatives comme l'atteste la CPS observée quelle que soit la position de la clôture.

Cette apparente contradiction peut être attribuée à la différence entre les stimuli présentés lors des deux expériences. Dans l'étude perceptive, les phrases ont été tronquées après le syntagme nominal ambigu, privant ainsi les auditeurs d'une structure prosodique complète et contextuelle, les limitant à un traitement local (qui peut être d'autant plus influencé par la fréquence d'utilisation des verbes comme transitifs ou intransitifs). Cette observation est conforme aux prédictions de l'Informative Boundary Hypothesis (Clifton Jr. et al., 2002; Watson & Gibson, 2005; Carlson et al., 2009a, 2009b) et de Late Closure Preference (Frazier, 1979), selon lesquelles l'effet d'une frontière prosodique donnée dépend d'autres frontières apparues avant et après dans la phrase. Lorsque les informations prosodiques ne sont pas suffisamment saillantes pour établir la bonne relation syntaxique entre les syntagmes, les auditeurs ont tendance à attacher automatiquement le mot ambigu à la partie précédente de la phrase, ce qui explique pourquoi certaines conditions CP ont été interprétées comme CT. En revanche, dans l'étude EEG, aucune troncation de phrases n'a été effectuée, permettant ainsi un traitement de la structure syntaxico-prosodique globale (Lee & Garnsey, 2012). Ce contexte prosodique complet et suffisamment informatif a permis au cerveau des auditeurs d'établir et d'ajuster la hiérarchie prosodique et la relation syntaxique entre syntagmes, facilitant ainsi le traitement neurocognitif des deux conditions CP et CT.
Références

BATISTA A., CATRONAS D., FOLIA V. & SILVA S. (2023). Increased Pre-Boundary Lengthening Does Not Enhance Implicit Intonational Phrase Perception in European Portuguese: An EEG Study. *Brain Sciences*, 13, 441.

BEACH C. (1991). The Interpretation of Prosodic Patterns at Points of Syntactic Structure Ambiguity: Evidence for Cue Trading Relations. *Journal of memory and language*, 30, 644-663.

BOERSMA P. & WEENINK D. (2022). *Praat* (version 6.2.15): doing phonetics by computer.

BÖGELS S., SCHRIEFERS H., VONK W. & CHWILLA D. (2011). Prosodic Breaks in Sentence Processing Investigated by Event-Related Potentials. *Language and Linguistics Compass*, 5/7, 424-440.

CARLSON K., FRAZIER L. & CLIFTON JR C. (2009a). How prosody constrains comprehension: A limited effect of prosodic packaging. *Lingua*, 119(7), 1066-1082.

CARLSON K., CLIFTON JR C. & FRAZIER L. (2009b). Nonlocal effects of prosodic boundaries. *Memory & Cognition*, 37(7), 1014-1025.

CLIFTON JR C., CARLSON K. & FRAZIER L. (2002). Informative Prosodic Boundaries. *Language and Speech*, 45(2), 87-144.

DELORME A. & MAKEIG S. (2004). EEGLAB: an open source toolbox for analysis of single-trial EEG dynamics including independent component analysis. *Journal of Neuroscience Methods*, 134, 9-21.

DI CRISTO A. (1998). Intonation in French. In D. HIRST & A. DI CRISTO, Éds., *Intonation Systems A Survey of Twenty Languages*, chapter 11, p. 195-218. Cambridge University Press.

DRURY J., BAUM S., VALERIOTE H. & STEINHAUER K. (2016). Punctuation and Implicit Prosody in Silent Reading: An ERP Study Investigating English Garden-Path Sentences. *Frontiers in Psychology*, Volume 7: 1375.

FRAZIER L. (1979). *On comprehending sentences: Syntactic parsing strategies*. Thèse de doctorat, University of Connecticut, États-Unis.

GILBERT A., LEE J., WOLPERT M. & BAUM S. (2023). Phrase parsing in a second language as indexed by the closure positive shift: The impact of language experience and acoustic cue salience. *European Journal of Neuroscience*, 58, 3838-3858.

GLUSHKO A., STEINHAUER K., DE PRIEST J. & KOELSCH S. (2016). Neurophysiological Correlates of Musical and Prosodic Phrasing: Shared Processing Mechanisms and Effects of Musical Expertise. *PLoS ONE*, 11(5): e0155300.

HONBOLYGÓ F., TÖRÖK Á., BÁNRÉTI Z., HUNYADI L. & CSÉPE V. (2016). ERP correlates of prosody and syntax interaction in case of embedded sentences. *Journal of Neurolinguistics*, 37, 22-33.

HWANG H. & STEINHAUER K. (2011). Phrase Length Matters: The Interplay between Implicit Prosody and Syntax in Korean “Garden Path” Sentences. *Journal of Cognitive Neuroscience*, 23:11, 3555-3575.

ISEL F., ALTER K. & FRIEDERICI A. (2005). Influence of Prosodic Information on the Processing of Split Particles: ERP Evidence from Spoken German. *Journal of Cognitive Neuroscience*, 17:1, 154-167.

JASP TEAM. (2023). JASP (Version 0.18.1).

JUN S. & FOUGERON C. (2002). Realization of Accentual Phrase in French Intonation. *Pobus*, 14, 147-172.
KERKHOFS, R., VONK, W., SCHRIEFERS, H., CHWILLA, D. (2008). Sentence processing in the visual and auditory modality: Do comma and prosodic break have parallel functions? *Brain Research*, 1224, 102-118.

KJELGAARD M. & SPEER S. (1999). Prosodic Facilitation and Interference in the Resolution of Temporary Syntactic Closure Ambiguity. *Journal of Memory and Language*, 40, 153-194.

KNÖSCHE T., NEUHAUS C., HAUEISEN J., ALTER K., MAESS B., WITTE O. & FRIEDERICI A. (2005). Perception of Phrase Structure in Music. *Human Brain Mapping*, 24, 259-273.

LEE E. & GARNSEY S. (2012). Do contrastive accents modulate the effect of intonational phrase boundaries in parsing? *Lingua*, 122, 1763-1775.

LEHISTE I. (1973). Phonetic disambiguation of syntactic ambiguity. *The Journal of the Acoustical Society of America*, 53(1), 380.

LI W. & YANG Y. (2010). Perception of Chinese Poem and Its Electrophysiological Effects. *Neuroscience*, 168, 757-768.

LI W., WANG L., LI X. & YANG Y. (2008). Closure Positive Shifts Evoked by Different Prosodic Boundaries in Chinese Sentences. In R. WANG, E. SHEN & F. GU, Éds., *Advances in Cognitive Neurodynamics*, Chapter 88, p. 505-509. Springer.

LOPEZ-CALDERON J. & LUCK S. (2014). ERPLAB: an open-source toolbox for the analysis of event-related potentials. *Frontiers in Human Neuroscience*, Volume 8, 213.

MARSLEN-WILSON W., TYLER L., WARREN P., GRENIER P. & LEE C. (1992). Prosodic Effects in Minimal Attachment. *The Quarterly Journal of Experimental Psychology*, 45A(1), 73-87.

MILLOTTE S., RENÉ A., WALES R. & CHRISTOPHE A. (2008). Phonological Phrase Boundaries Constrain the Online Syntactic Analysis of Spoken Sentences. *Journal of Experimental Psychology: Learning, Memory, and Cognition*, Vol. 34 No. 4, 874-885.

MILLOTTE S., WALES R. & CHRISTOPHE A. (2007). Phrasal prosody disambiguates syntax. *Language and cognitive processes*, 22(6), 898-909.

NAGEL H., SHAPIRO L., TULLER B. & NAVY R. (1996). Prosodic Influences on the Resolution of Temporary Ambiguity During On-Line Sentence Processing. *Journal of Psycholinguistic Research*, Vol. 25 No. 2, 319-344.

NEUHAUS C., KNÖSCHE T. & FRIEDERICI A. (2006). Effects of Musical Expertise and Boundary Markers on Phrase Perception in Music. *Journal of Cognitive Neuroscience*, 18:3, 472-493.

OLDFIELD R. (1971). The Assessment and Analysis of Handedness: The Edinburgh Inventory. *Neuropsychologia*, Vol. 9, 97-113.

PANNEKAMP A., TOEPEL U., ALTER K., HAHNE A. & FRIEDERICI A. (2005). Prosody-driven Sentence Processing: An Event-related Brain Potential Study. *Journal of Cognitive Neuroscience*, 17:3, 407-421.

PAUKER E. (2013). *How multiple prosodic boundaries of varying sizes influence syntactic parsing: Behavioral and ERP evidence.* Thèse de doctorat, McGill University, Canada.

PETER V., MCARTHUR G. & CRAIN S. (2014). Using event-related potentials to measure phrase boundary perception in English. *BMC Neuroscience*, 15, 129.

PRICE P., OSTENDORF M., SHATTUCK-HUFNAGEL S. & FONG C. (1991). The use of prosody in syntactic disambiguation. *The journal of the Acoustical Society of America*, 90(6), 2956-2970.

SCHAFER A., SPEER S., WARREN P. & WHITE S. (2000). Intonational Disambiguation in Sentence Production and Comprehension. *Journal of Psycholinguistic Research*, Vol. 29 No. 2, 169-182.

SPEER S., KJELGAARD M. & DOBROTH K. (1996). The Influence of Prosodic Structure on the Resolution of Temporary Syntactic Closure Ambiguities. *Journal of Psycholinguistic Research*, Vol. 25 No.2, 249-271.
STEINHAUER K. & FRIEDERICI A. (2001). Prosodic Boundaries, Comma Rules, and Brain Responses: The Closure Positive Shift in EPRs as a Universal Marker for Prosodic Phrasing in Listeners and Readers. *Journal of Psycholinguistic Research*, Vol. 30 No. 3, 267-295.

STEINHAUER K., ALTER K. & FRIEDERICI A. (1999). Brain potentials indicate immediate use of prosodic cues in natural speech processing. *Nature Neuroscience*, volume 2 no 2, 191-196.

WATSON D. & GIBSON E. (2005). Intonational phrasing and constituency in language production and comprehension. *Studia linguistica*, 59(2-3), 279-300.

XI L. & RIDOUANE R. (2022). Quand la syntaxe a besoin de la prosodie : comment les indices prosodiques en français aident les apprenants sinophones à traiter l'information syntaxique – une étude perceptive. In *Actes des 34ème Journées d'Études sur la Parole – JEP 2022 « Parole, Geste, Musique : des unités à leur organisation »*, p. 173-182.
# Peut-on évaluer la compréhensibilité de la parole sans référence quant aux intentions de communication du locuteur ? Une étude auprès d'apprenants germanophones de FLE

Verdiana De Fino¹, ² Isabelle Ferrané¹ Julien Pinquier¹ Lionel Fontan²

(1) IRIT, Université de Toulouse, CNRS, Toulouse INP, UT3, Toulouse, France

(2) Archean LABS, Montauban, France

verdiana.defino@irit.fr, isabelle.ferrane@irit.fr, lfontan@archean.tech, julien.pinquier@irit.fr

## RÉSUMÉ

En didactique des langues étrangères, la compréhensibilité des énoncés produits par les apprenants est le plus souvent évaluée de manière subjective, à l'aide d'échelles qualitatives. Très souvent, ces évaluations sont menées sans que l'évaluateur ne soit informé du contenu sémantique du message que souhaitait transmettre l'apprenant. L'évaluateur peut donc ignorer des divergences entre ce dernier et sa propre interprétation de l'énoncé – avec pour conséquence une surestimation de la compréhensibilité. Dans cette étude, nous vérifions l'existence d'un tel biais en demandant à 80 francophones natifs d'évaluer la compréhensibilité d'énoncés produits par neuf apprenants germanophones de français lors d'une tâche de traduction. L'évaluation est conduite sans référence (condition « *a priori* »), et en prenant connaissance d'une traduction de référence (condition « *a posteriori* »). Les résultats démontrent que les scores de compréhensibilité sont significativement plus élevés dans la condition *a priori* que dans la condition *a posteriori*, avec une taille d'effet moyenne.

## ABSTRACT

**Can speech comprehensibility be assessed without any reference as to the communicative intent of the speaker? A study in German speakers of French as a foreign language**

The comprehensibility of speech utterances produced by non-native speakers of foreign languages is generally assessed using subjective ratings on qualitative scales. Often, raters are not informed about the semantic content of the messages that the speakers intended to transmit. The raters can thus overestimate comprehensibility, given that they cannot be aware of discrepancies between the communicative intents of the speakers and their own understanding of the utterances. The present study aimed at verifying the existence of this bias by asking 80 native-French speakers to assess the comprehensibility of utterances produced by nine German learners of French during a translation task. The assessment took place without providing to the rater any reference as to the communicative intent of the speaker (*a priori* assessment) and after providing a reference translation (*a posteriori* assessment). As was hypothesized, the results show that *a priori* ratings are significantly higher than *a posteriori* ratings, with a medium effect size.

**MOTS-CLÉS** : Compréhensibilité de la parole, évaluation, biais, L2.

**KEYWORDS:** Speech comprehensibility, assessment, bias, L2.

<figure><img src="image_201.png" /></figure>