# Synthèse de gestes communicatifs via STARGATE

Louis ABEL¹ Vincent COLOTTE¹ Slim OUNI¹

(1) Université de Lorraine, CNRS, Inria, LORIA, F-54000 Nancy, France
louis.abel@loria.fr, vincent.colotte@loria.fr, slim.ouni@loria.fr

## RÉSUMÉ

La synthèse de gestes liés à la parole est un domaine de recherche en pleine expansion. Cependant, les nouveaux systèmes utilisent souvent des architectures complexes, les rendant souvent inadaptés à leur utilisation dans des agents conversationnels incarnés ou dans d'autres domaines de recherche comme la linguistique, où le lien entre la parole et les gestes est difficile à étudier manuellement. Cet article présente STARGATE, une nouvelle architecture tirant parti de l'autorégression pour fournir des capacités en temps réel, mais aussi des convolutions de graphe couplées à l'attention pour incorporer des connaissances structurelles explicites et permettre une forte compréhension spatiale et temporelle du geste. Nous avons démontré que notre modèle est capable de générer des gestes convaincants en surpassant l'état de l'art dans une étude quantitative, tout en obtenant des scores légèrement meilleurs en termes de cohérence et de crédibilité des gestes générés liés à la parole sur une étude perceptive.

## ABSTRACT

### Co-Speech gestures synthesis using STARGATE

Co-speech gestures synthesis is a growing field of research. However, new systems often use complex or heavy architecture, making them unsuitable for incorporation into Embodied Conversational Agents (ECAs) or for interpretation in other research fields such as linguistics, where the link between speech and gestures is difficult to research manually. This paper presents STARGATE, a novel architecture for Spatio-Temporal Autoregressive Graph from Audio-Text Embeddings. The model takes advantage of autoregression to provide real-time capabilities, but also graph convolutions coupled with attention to incorporate explicit structural prior knowledge and enable efficient spatial and temporal processing. The model was evaluated against state-of-the-art models in both perceptive and quantitative studies. We demonstrated that our model is capable of generating convincing gestures by outperforming the state-of-the-art in a quantitative study, while achieving slightly better scores in terms of consistency and credibility of the generated gestures related to speech.

**MOTS-CLÉS** : Apprentissage profond, Synthèse de gestes, Synthèse audiovisuel de la parole.

**KEYWORDS:** Deep learning, Gestures synthesis, Audiovisual speech synthesis.

## 1 Introduction

La synthèse de gestes à partir de la parole est un domaine émergent qui a fait l'objet d'une attention particulière au cours des dernières années. Bien que les mécanismes mettant en œuvre la relation entre la production des gestes et la parole sont encore peu connus, des progrès considérables ont été faits dans le développement de techniques de génération de gestes à partir de la parole. L'omniprésence des gestes dans la communication humaine souligne leur importance dans les interactions humaines naturelles. Afin de capturer l'essence des gestes humains et de les intégrer dans des systèmes de communication artificiels, plusieurs chercheurs ont analysé et tenté de classifier les gestes. Au départ, des systèmes basés sur des règles ont été utilisés pour développer des agents conversationnels incarnés

<figure><img src="image_92.png" /></figure>
(ECA) (Cassell, 2001), en s'appuyant sur les connaissances des neurosciences et de la linguistique. Les premiers systèmes étaient rudimentaires et souvent incompatibles avec les conclusions émises dans la littérature. L'absence d'un système de classification unifié pour les gestes (par exemple (McNeill, 1992; Kendon, 2004; Boutet, 2008)) et les conclusions disparates concernant la relation entre les gestes et la parole ((So et al., 2009; de Ruiter et al., 2012; Krauss & Hadar, 1999)) au sein de ces cadres ont entravé l'élaboration de règles cohérentes et fiables. Ces dernières années, les approches basées sur les données sont apparues comme une voie prometteuse pour extraire implicitement les modèles et les règles complexes qui régissent la relation entre la parole et le geste. Ces approches utilisent une variété d'architectures, allant des simples autoencodeurs (Takeuchi et al., 2017; Kucherenko et al., 2019) aux autoencodeurs variationnels (VAE) et aux VAE conditionnels (Li et al., 2021; Lu et al., 2023), pour couvrir une plus large distribution de gestes et un meilleur conditionnement à partir de la parole. Les systèmes basés sur la diffusion (Alexanderson et al., 2023; Zhao et al., 2023; Zhang et al., 2023; Deichler et al., 2023) ont également fait l'objet d'une attention particulière, produisant des séquences de gestes de haute qualité. Dans la littérature, le travail de (Alexanderson et al., 2020), StyleGestures, se distingue par son architecture autorégressive innovante utilisant les flux de normalisation (Henter et al., 2020). Les flux de normalisation sont un type spécialisé de réseau de neurones qui permet de modéliser efficacement des distributions complexes. Cette structure de réseau particulière a été largement reconnue comme une référence pour l'évaluation des performances des systèmes de synthèse gestuelle, comme en témoigne son adoption massive dans les recherches ultérieures (Li et al., 2021; Alexanderson et al., 2023; Ao et al., 2022). Il a notamment été sélectionné comme référence pour le GENEA Challenge 2020 (Kucherenko et al., 2021), un défi visant à faire progresser l'état de l'art en matière de synthèse gestuelle. Compte tenu de son architecture autorégressive et de son utilisation intensive en tant que référence, nous avons adopté StyleGestures comme référence de l'état de l'art pour nos comparaisons.

Malgré les recherches approfondies sur la synthèse de gestes liés à la parole, il n'existe que peu d'études sur l'explicabilité et l'interprétabilité de ces méthodes de génération des gestes, indépendamment de leur cohérence ou de leur complexité. Ce manque d'explication pose un défi important dans un domaine qui recherche de nouveaux cadres théoriques pour approfondir la relation complexe entre la parole et le geste. Pour relever ce défi, nous explorons des mécanismes plus simples et plus interprétables, tels que les convolutions de graphe (Kipf & Welling, 2016). Inspirées par leur application réussie dans le domaine de la synthèse de mouvement, sans l'implication de la parole (par exemple, marcher, danser, se battre), les convolutions de graphe sont prometteuses pour améliorer notre compréhension du comportement des réseaux d'apprentissage profond et pour permettre la création de représentations latentes des gestes plus intéressantes.

Inspirés par ces avancées, nous proposons une nouvelle architecture de réseau qui vise à remédier aux limites susmentionnées de la synthèse de gestes. L'architecture que nous proposons vise à atteindre trois objectifs clés :

- Générer des gestes convaincants ;

- Intégrer les convolutions de graphes pour obtenir une représentation latente plus explicite ;

- S'adapter aux applications en temps réel, comme les ECA, notamment en utilisation une architecture autorégressive ;

Dans les sections suivantes, nous décrivons notre architecture et les mécanismes utilisés, suivis d'une évaluation complète de notre modèle face au modèle StyleGestures. Enfin nous discutons des résultats obtenus et concluons en explorant les directions futures potentielles qu'ouvre notre modèle.
# 2 Méthodes

Nous proposons une nouvelle architecture appelée STARGATE (pour Spatio-Temporal Auto-Regressive Graph from Audio-Text Embeddings), illustré dans la figure 1. Nous suivons une structure encodeur-décodeur, avec une approche autorégressive par blocs. Cela se traduit par un réseau qui prend 3 modalités différentes en entrée :

- **Audio**: Une fenêtre de 1s de parole passée et de 1s de parole future;

- **Texte**: Une fenêtre de 1s de texte passé et de 1s de texte futur;

- **Gestes**: Un historique de 1s de gestes passés;

L'existence d'une fenêtre contextuelle aussi longue est motivée par le fait que les gestes sont une modalité lente, avec une durée moyenne de 1 à 2 secondes selon que le geste se réfère à un seul mot ou à une phrase complète (Ferré, 2010). Chaque modalité dispose d'un encodeur dédié pour produire un espace latent particulier à celle-ci, qui est ensuite fusionné, via une simple concatenation, pour créer une représentation multimodale de la parole/des gestes. Cette représentation est finalement décodée en un bloc de nouvelles poses. Dans ce contexte, une pose définit les rotations de chaque point du corps à un instant donné, et ainsi une série temporelle de poses définit un mouvement. Nous avons choisi d'utiliser une sortie par bloc, c'est-à-dire un groupe de 16 poses. Contrairement à un réseau où chaque étape produit une pose, notre réseau produit bloc par bloc. Outre une implémentation plus efficace en parallélisant partiellement les calculs du bloc courant, cela laisse plus de liberté au réseau pour générer des gestes, l'historique autorégressif ne portant que sur le bloc courant.

## 2.1 Encodeurs de parole

La parole peut être séparée en deux composantes principales : le contenu acoustique et le contenu linguistique. Le signal acoustique produit pendant la parole contient de nombreuses informations telles que la prosodie (composée de l'énergie, de la hauteur, des rythmes) ou l'état émotionnel. Quant à lui, le contenu linguistique fait partie du signal acoustique, mais avec une représentation phonétique de ce qui a été prononcé, donnant une représentation plus explicite des informations sémantiques contenues dans le texte. Le texte est en effet une source d'information cruciale pour modéliser les gestes iconiques, déictiques et métaphoriques, qui sont tous directement liés au contenu sémantique, tandis que la dernière catégorie de gestes, les gestes dits rythmiques ou de battement, sont quant à eux plutôt liés au signal acoustique (McNeill, 1992). Les deux modalités (acoustique et textuelle) sont donc nécessaires pour générer des gestes dynamiques et significatifs. Dans notre architecture, nous utilisons ces deux modalités par le biais de deux encodeurs convolutionnels (CNN) similaires, mais distincts. Celui dédié à l'audio utilise les MFCCs comme entrées, tandis que celui du texte utilise des embeddings BERT (Devlin et al., 2018).

## 2.2 Encodeur de gestes

Grâce à l'approche autorégressive, les gestes en tant que sorties peuvent être utilisés comme entrée pour la prédiction suivante. Ainsi la troisième modalité d'entrée est le mouvement qui permet de conserver une bonne cohérence pour les trajectoires des gestes, mais aussi de créer par la suite une représentation multimodale parole-gestes. Notre encodeur de mouvement est basé sur les travaux de (Zhou et al., 2021). Le mouvement d'entrée est représenté sous forme d'exponential map (Grassia, 1998) pour 17 nœuds, ayant l'avantage d'être une représentation continue de la rotation par rapport aux angles d'Euler, et sont plus compactes que les quaternions (3 valeurs vs 4).

### 2.2.1 Réseau de neurones de graphe

Pour pouvoir à la fois générer des gestes convaincants et expliquer comment le réseau produit sa représentation latente des gestes, nous avons utilisé plusieurs mécanismes à l'intérieur de notre
<figure><img src="image_93.png" /><figcaption>FIGURE 1 – Vue d'ensemble du réseau STARGATE avec sa structure encodeur-décodeur. Notre réseau utilise trois encodeurs distincts pour traiter les trois modalités séparément et un décodeur unique pour générer le mouvement à partir d'une représentation multimodale latente.</figcaption></figure>

encodeur de geste. Le premier est l'utilisation de réseaux de convolution de graphe (GCN) (Kipf & Welling, 2016) au lieu des CNN classiques. Dans le cas d'un graphe, le calcul de la convolution est régi par une matrice d'adjacence, indiquant quels nœuds sont voisins et quel est le poids de chaque connexion. Dans notre cas, nous avons utilisé le bloc ST-GCN (pour Spatio-Temporal Graph Convolution Network) de (Zhou et al., 2021), qui effectue à la fois une transformation spatiale à l'aide d'une convolution de graphe et un traitement temporel à l'aide d'un réseau de convolution temporel (TCN). Celui-ci utilise 3 matrices d'adjacence, l'une définissant des liens de boucle (l'information reste sur le même nœud), une définissant des liens de voisinages directs (lien hanche - colonne par exemple), la dernière définissant des liens de voisinages symétriques (lien main gauche - main droite par exemple). Motivés par le fait que nous voulons créer une nouvelle représentation des gestes, les matrices d'adjacence dans le réseau sont initialisées au début de l'entraînement, comme une connaissance initiale, mais sont modifiables et servent de paramètres pour que le réseau modifie les matrices pour la tâche de synthèse des gestes, en créant potentiellement de nouveaux liens intéressants entre les nœuds.

À notre connaissance, il s'agit du premier travail dans le domaine de la synthèse des gestes lié à la parole qui utilise des convolutions de graphe pour injecter une représentation plus explicite du mouvement.

### 2.2.2 Mécanisme d'attention

Dans l'implémentation de ST-GCN de (Zhou et al., 2021) et la nôtre, il existe un mécanisme d'auto-attention sur les matrices d'adjacence avant la convolution de graphe. Les données d'entrée passent par un bloc d'auto-attention, afin de créer une "matrice d'attention", une pour chaque matrice d'adjacence. Ces matrices d'attention sont ajoutées aux matrices d'adjacence initiales pour produire ce que nous appelons des "matrices d'adjacence dynamiques". Ceci est motivé par le fait que même si nous laissons le réseau apporter de petites modifications aux matrices d'adjacence pendant l'apprentissage, au moment de l'inférence, elles resteront statiques. Ce mécanisme d'attention permet d'introduire des modifications dynamiques au moment de l'inférence, afin que le réseau accorde plus d'attention à certaines parties du corps pour chaque groupe d'images générées. Ainsi le réseau traite le geste de façon temporelle (TCN) et spatiale (GCN) avec un focus sur les parties du corps fourni par le mécanisme d'attention.

## 2.3 Décodeur de gestes

Les espaces latents audio, textuels et gestuels sont ensuite combinés pour produire un espace latent multimodal qui est transmis au décodeur de mouvement. Le décodeur, qui se compose de réseaux de neurones récurrents (RNNs) empilés (dans notre cas, les GRUs (Cho et al., 2014)), produira le prochain bloc de pose, ces poses sont ensuite utilisées comme entrée de l'encodeur de mouvement. L'inconvénient majeur de l'autorégression est de ne travailler qu'avec des informations antérieures
<figure><img src="image_94.png" /><figcaption>FIGURE 2 – Un exemple d'ECA utilisant des mouvements générés par STARGATE. Cet exemple illustre sa capacité à générer différents types de gestes, tels que des gestes iconiques.</figcaption></figure>

et de ne pas pouvoir analyser une séquence complète de gestes. Par conséquent, nous n'avons pas pu utiliser les GRU bidirectionnels pour obtenir une compréhension approfondie de l'ensemble des séquences de gestes. Cependant, motivés par les avantages que cela pourrait apporter et comme nous générons des séquences de poses, nous pouvons utiliser les GRUs bidirectionnelles sur ces séquences partielles. L'introduction de ce mécanisme de bidirectionnalité locale a pour but de permettre au réseau d'apprendre la relation entre les informations passées et futures présentes dans la représentation multimodale.

# 3 Entrainement

## 3.1 Corpus : BEAT

Nous avons entraîné tous nos modèles sur le corpus de données BEAT (Liu et al., 2022). Il fournit à la fois des données de grande qualité et en grand volume. Dans notre cas, nous n'avons utilisé qu'un seul locuteur, car nous pensons que l'utilisation de plusieurs locuteurs sans fournir leur identité dans le modèle pourrait entraîner une confusion entre les styles de gestes. Nous disposons ainsi de 4 heures de données réparties entre les ensembles d'entraînement, de validation et de test avec un ratio 90/5/5. Nous n'avons pas utilisé les mouvements des doigts, car ils représentent une énorme quantité de données à traiter et à comprendre par le réseau. Le prétraitement des données audio et de mouvement suit le protocole et le code proposés par StyleGestures (Alexanderson et al., 2020). Nous avons également augmenté les données en utilisant une stratégie miroir (symétrie axiale au niveau de la colonne vertébrale), permettant de doubler les données utilisables. Notre entraînement a duré environ 25 époques, soit 5h sur une machine équipée d'une carte NVIDIA RTX A5000.

## 3.2 Fonction objectif (Loss)

Notre modèle est entraîné pour minimiser deux termes : une fonction de Huber (Huber, 1992) (mixant une distance L1 et L2) sur les exponential map et une fonction de Huber sur les positions (dérivé des exponential map). Ceci est motivé par le fait que la seule minimisation de l'erreur sur les exponential map comme objectif du réseau donnera une importance égale à chaque articulation du squelette, cependant, comme le squelette est intrinsèquement une hiérarchie, nous voulons un contrôle le plus optimal possible des hanches et de la colonne vertébrale, car ils auront un impact sur tous les effecteurs finaux, ce qui nous est fourni en minimisant l'erreur sur les positions, qui sont calculées en traversant toute la hiérarchie, propageant les erreurs potentielles des exponential map. La fonction objectif est donc définie comme suit :

$$Loss = \mathcal{H}(r, \hat{r}) + \mathcal{H}(p, \hat{p})$$

avec $p$ et $r$ respectivement, les positions et les exponentielles de la référence, $\hat{p}$ et $\hat{r}$ respectivement les positions et les exponentielles de la génération et $\mathcal{H}$ la fonction de Huber.
<table><caption>TABLE 1 – Résultats de la comparaison quantitative utilisant le FGD pour mesurer la qualité des gestes et des temps de traitements de chaque modèle (pour des générations de différentes durées). G, A, T représentent respectivement l'utilisation de graphe, audio et texte. Les valeurs en gras représentent le meilleur modèle. Calculé sur une machine équipé d'une carte NVIDIA RTX A6000 Laptop.</caption><thead><tr><th rowspan="2"></th><th rowspan="2">G?</th><th rowspan="2">A?</th><th rowspan="2">T?</th><th rowspan="2">FGD ↓</th><th colspan="4">Performance ↓ [Temps par image ↓]</th></tr><tr><th>5s</th><th>10s</th><th>30s</th><th>80s</th></tr></thead><tbody><tr><td>StyleGestures</td><td>✗</td><td>✓</td><td>✗</td><td>14,15</td><td>7,76s [90ms]</td><td>12,90s [70ms]</td><td>31,05s [50ms]</td><td>80,07s [26ms]</td></tr><tr><td>STARGATE</td><td>✓</td><td>✓</td><td>✓</td><td>10,58</td><td>6,51s [37ms]</td><td>8,31s [17ms]</td><td>13,40s [8ms]</td><td>23,78s [5ms]</td></tr><tr><td>STARGATE</td><td>✓</td><td>✓</td><td>✗</td><td><b>8,61</b></td><td><b>3,49s [19ms]</b></td><td>3,98s [8ms]</td><td>6,13s [3ms]</td><td>10,68s [2ms]</td></tr><tr><td>Audio uniquement</td><td>✓</td><td>✓</td><td>✗</td><td><b>8,61</b></td><td><b>3,49s [19ms]</b></td><td>3,98s [8ms]</td><td>6,13s [3ms]</td><td>10,68s [2ms]</td></tr></tbody></table>

# 4 Évaluation

## 4.1 Métriques quantitatives

Dans cette partie, nous présentons l'évaluation de notre modèle ainsi qu'une variante sans texte (et son encodeur) nommée "Audio uniquement". Ces deux modèles sont comparés à StyleGestures.

**Distance de gestes de Frechet (FGD).** La meilleure tentative d'obtenir une métrique objective pour la synthèse de gestes est inspirée par la "Frechet Inception Distance" (FID) dans la synthèse d'images (Heusel et al., 2017), adaptée dans (Yoon et al., 2020) pour créer la FGD. Cette métrique est donc une distance de Frechet calculée sur un espace latent produit par un réseau d'inception. Nous avons réentraîné le réseau d'inception proposé sur nos données, car notre sortie différait significativement du réseau disponible. Ce réseau est un autoencodeur entraîné à transformer un mouvement d'entrée en une représentation latente compressée, puis recréer le mouvement initial. La métrique est donc basée sur une distance de Frechet calculée entre l'espace latent issu du mouvement de référence et l'espace latent issu du mouvement prédit. L'utilisation d'un réseau d'inception comme évaluateur permet d'obtenir une mesure plus proche de la perception humaine (Yoon et al., 2020).

Comme nous pouvons le voir dans le tableau 1, les deux variantes de STARGATE sont plus performantes que StyleGestures, la variante "Audio uniquement" étant le meilleur modèle en ce qui concerne la FGD.

**Performance.** Bien que la performance n'est généralement pas une préoccupation majeure lors de la conception d'un modèle de synthèse de gestes, nous avons cherché à développer un réseau capable de fonctionner dans des scénarios en temps réel (par exemple pour les ECAs), en générant des gestes convaincants aussi rapidement que possible. Pour évaluer les performances dans ce contexte, nous avons effectué des tests qui prennent en compte les étapes de prétraitement, étant donné qu'elles peuvent avoir un impact significatif sur la charge de calcul (comme les calculs de BERT). Par conséquent, toutes les durées indiquées sont basées sur une entrée brute audio/texte, avec une taille de batch de 1. Nous indiquons la durée par image, les modèles ayant une sortie de longueur différente.

De même que pour la FGD, les deux variantes de STARGATE sont systématiquement plus rapides que StyleGestures. De plus, tous nos modèles sont capables de fonctionner en temps réel. Nous pouvons également observer que les performances de StyleGestures ne s'améliorent pas avec l'augmentation de la longueur de l'entrée, alors que les modèles STARGATE sont meilleurs pour le traitement de séquences plus longues, en prenant avantage du fait que les entrées audio et texte ne font pas parties de la boucle autorégressive, permettant le calcul en parallèle des 2 latent space sur toute la séquence.
<table><caption>TABLE 2 – Résultats de notre évaluation MOS, nous indiquons la moyenne et un intervalle de confiance à 95% pour chaque aspect.</caption><thead><tr><th>Modèle</th><th>Naturel ↑ (Sans son)</th><th>Crédibilité ↑</th><th>Cohérence ↑</th></tr></thead><tbody><tr><td>Référence</td><td>6,19 ± 0,28</td><td>5,27 ± 0,23</td><td>5,16 ± 0,23</td></tr><tr><td>Permuté</td><td>N/A</td><td>4,92 ± 0,20</td><td>4,77 ± 0,22</td></tr><tr><td>StyleGestures</td><td>5,97 ± 0,25</td><td>4,87 ± 0,22</td><td>4,70 ± 0,23</td></tr><tr><td>STARGATE</td><td>5,89 ± 0,28</td><td>5,0 ± 0,20</td><td>4,85 ± 0,22</td></tr></tbody></table>

## 4.2 Évaluation subjective

Pour mieux évaluer notre modèle, nous avons procédé à une évaluation subjective via un score d'opinion moyen (MOS) afin d'évaluer la qualité globale des gestes générés par notre nouvelle architecture. Nous avons adapté le protocole d'évaluation du GENEA Challenge 2020 (Kucherenko et al., 2021) sur les énoncés pour avoir une compréhension plus claire des aspects évalués pour chacune des questions.

L'évaluation a été divisée en deux parties. La première partie consistait à visionner des vidéos sans audio et à répondre à la question suivante : "How human-like does the gesture motion appear?" La seconde partie consistait à regarder des vidéos avec le son et à répondre à deux questions : "How credible are the gestures with respect to the speech?" et "How consistent are the gestures with respect to the speech?", ces 2 aspects jugent les aspects sémantiques, le premier sa réalisation (si un geste est bien réalisé), le second sa cohérence (un geste peut ne pas correspondre à ce qui est dit). Les participants devaient évaluer chaque question sur une échelle de 1 à 7. Nous avons évalué quatre systèmes de génération de gestes dans cette étude : Référence (vérité terrain), Permuté (mouvement synthétique avec un audio différent), StyleGestures et STARGATE. Nous avons présenté 30 vidéos pour chaque système, chacune durant 9 secondes et nous avions un total de 25 participants issus de la plateforme Prolific (12 femmes et 13 hommes) parlant un anglais natif. Chaque vidéo est générée en utilisant le modèle 3D du GENEA Challenge 2020 (Kucherenko et al., 2021) sur lequel les poses prédites (rotations) ont été transférées. Les résultats sont présentés dans le tableau 2.

Comme on peut le voir, StyleGestures a obtenu un score légèrement supérieur à celui de notre modèle STARGATE en ce qui concerne l'aspect "naturel" des gestes, mais notre modèle est légèrement meilleur en termes de cohérence et de crédibilité lorsque l'audio est disponible.

## 4.3 Discussions

Les résultats quantitatifs présentés dans le tableau 1 démontrent que notre modèle surpasse l'état de l'art en termes de FGD. Cela correspond à notre évaluation MOS, où les scores de cohérence et de crédibilité sont légèrement supérieurs à ceux du modèle StyleGestures. Il est intéressant de noter que la variante "Audio uniquement" de notre système présente des valeurs FGD inférieures à celles de notre modèle de base. Ce comportement peut être attribué au fait que notre modèle est capable de générer des gestes non rythmiques convaincants (tels que ceux décrits dans la figure 2), bien qu'en petit nombre. Ces gestes sont nettement plus difficiles à maîtriser et s'écartent souvent de manière significative des gestes de référence, ce qui contribue à des scores FGD plus élevés. Ce n'est pas le cas du modèle StyleGestures où la production de gestes iconiques est absente. Cela peut suggérer que la structure de graphe améliore la compréhension des mouvements et permet au réseau d'établir des liens plus forts entre le texte et le mouvement.

Les performances de notre modèle démontrent des capacités temps réel, l'incorporation du texte dans
le modèle nécessite cependant la génération de séquence supérieure à 10s pour être temps réel. Dans les deux cas, cela implique que l’intégration dans des ECAs peut être effectuée, permettant ainsi une interaction naturelle avec des interfaces homme-machine (les avatars pouvant produire des gestes en temps réel).

Dans le tableau 2, nous avons observé que le modèle StyleGestures recevait des notes plus élevées pour l’aspect "naturel" des gestes lorsqu’il était évalué sans audio. Nous attribuons cette différence à la présence de gestes non rythmiques dans notre modèle, qui ne sont pas toujours produits clairement (comme le montre la figure 2, où le geste "walking in" est "avorté"). Cette incohérence se traduit parfois par un mélange de gestes iconiques et de gestes rythmiques, ce qui donne l'impression d'un manque de naturel lorsque les gestes ne sont pas accompagnés de la parole. Le tableau 2 corrobore également les résultats de recherches antérieures (Kucherenko et al., 2021), où le modèle Permuté présente des évaluations plus élevées que StyleGestures et notre modèle. Nous attribuons cette observation à la forte prévalence des gestes de battement dans l'ensemble de données et dans les gestes générés. Les gestes de battement sont intrinsèquement cohérents et crédibles lorsqu'ils s'alignent sur le rythme de parole. Cela est vrai pour les mouvements avec ou sans permutations de l'audio, car ils proviennent tous deux du même modèle, qui est capable de s'aligner sur le rythme global de l'ensemble de données. Par conséquent, les gestes dans les deux scénarios ont pu convaincre les utilisateurs. En revanche, le mouvement de référence présente des gestes plus cohérents et plus crédibles en raison de la présence de gestes hautement sémantiques. Les résultats de cette évaluation perceptive sont relativement proches. Ce point est certainement lié à la difficulté de la tâche par des évaluateurs novices. Les évaluateurs sont peu sensibles à l'apparition de gestes non synchronisés ou, à la présence ou l'absence de gestes iconiques lors de la parole. Nous comptons évaluer notre modèle grâce à des experts en linguistiques et gestualité, notamment à travers des annotations précises des gestes prédits, attestant la qualité de la synthèse de façon plus objective.

# 5 Conclusion

Nous avons développé STARGATE, une nouvelle architecture autorégressive par blocs qui utilise trois modalités d'entrée pour construire une représentation latente unifiée de la parole et des gestes, et synthétise des gestes liés à la parole. À notre connaissance, cette architecture est la première à utiliser des convolutions de graphe au lieu de convolutions traditionnelles, en incorporant explicitement une connaissance de la structure du squelette humain. Nous avons évalué cette architecture à l'aide de mesures quantitatives et d'études subjectives, démontrant sa capacité à générer des gestes convaincants, non seulement des gestes de battement, mais aussi des gestes plus complexes tels que des gestes iconiques et métaphoriques. Ces gestes exigent une compréhension approfondie du contenu linguistique, de la parole et de la coordination des mouvements du corps. En outre, nos tests de performance indiquent que notre architecture peut générer des gestes en temps réel, même lorsqu'un calcul d'*embeddings* BERT est incorporé.

Dans nos travaux futurs, nous visons à améliorer l'explicabilité et l'interprétabilité de nos résultats. Nous avons l'intention d'analyser en profondeur le comportement du réseau pour comprendre comment la génération de gestes complexes est déclenchée au sein du réseau et comment la structure du graphe favorise les connexions entre les gestes et la parole. Les matrices d'adjacence dynamiques peuvent nous aider à interpréter visuellement le comportement du réseau. Une telle analyse pourrait fournir une perspective nouvelle et unique sur la corrélation entre la parole et la production de gestes.
Références

ALEXANDERSON S., HENTER G. E., KUCHERENKO T. & BESKOW J. (2020). Style-controllable speech-driven gesture synthesis using normalising flows. In *Computer Graphics Forum*, volume 39, p. 487–496 : Wiley Online Library.

ALEXANDERSON S., NAGY R., BESKOW J. & HENTER G. E. (2023). Listen, denoise, action! audio-driven motion synthesis with diffusion models. *ACM Transactions on Graphics (TOG)*, **42**(4), 1–20.

AO T., GAO Q., LOU Y., CHEN B. & LIU L. (2022). Rhythmic gesticulator : Rhythm-aware co-speech gesture synthesis with hierarchical neural embeddings. *ACM Transactions on Graphics (TOG)*, **41**(6), 1–19.

BOUTET D. (2008). Une morphologie de la gestualité : structuration articulaire. *Cahiers de linguistique analogique*, (5), 81–115. HAL : hal-00607593.

CASSELL J. (2001). Embodied conversational agents : representation and intelligence in user interfaces. *AI magazine*, **22**(4), 67–67.

CHO K., MERRIENBOER B., GULCEHRE C., BOUGARES F., SCHWENK H. & BENGIO Y. (2014). Learning phrase representations using rnn encoder-decoder for statistical machine translation. In *EMNLP*.

DE RUITER J. P., BANGERTER A. & DINGS P. (2012). The interplay between gesture and speech in the production of referring expressions : Investigating the tradeoff hypothesis. *Topics in Cognitive Science*, **4**(2), 232–248. DOI: 10.1111/j.1756-8765.2012.01183.x.

DEICHLER A., MEHTA S., ALEXANDERSON S. & BESKOW J. (2023). Diffusion-based co-speech gesture generation using joint text and audio representation. In *Proceedings of the 25th International Conference on Multimodal Interaction*, p. 755–762.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2018). Bert : Pre-training of deep bidirectional transformers for language understanding. *arXiv preprint arXiv:1810.04805*.

FERRÉ G. (2010). Timing relationships between speech and co-verbal gestures in spontaneous french. In *Language Resources and Evaluation, Workshop on Multimodal Corpora*, volume 6, p. 86–91.

GRASSIA F. S. (1998). Practical parameterization of rotations using the exponential map. *Journal of graphics tools*, **3**(3), 29–48.

HENTER G. E., ALEXANDERSON S. & BESKOW J. (2020). Moglow : Probabilistic and controllable motion synthesis using normalising flows. *ACM Transactions on Graphics (TOG)*, **39**(6), 1–14.

HEUSEL M., RAMSAUER H., UNTERTHINER T., NESSLER B. & HOCHREITER S. (2017). Gans trained by a two time-scale update rule converge to a local nash equilibrium. *Advances in neural information processing systems*, **30**.

HUBER P. J. (1992). Robust estimation of a location parameter. In *Breakthroughs in statistics : Methodology and distribution*, p. 492–518. Springer.

KENDON A. (2004). *Gesture : Visible Action as Utterance*. Cambridge; New York : Cambridge University Press.

KIPF T. N. & WELLING M. (2016). Semi-supervised classification with graph convolutional networks. *arXiv preprint arXiv:1609.02907*.

KRAUSS R. M. & HADAR U. (1999). The role of speech-related arm/hand gestures in word retrieval. In *Gesture, Speech, and Sign*, p. 93–116. Oxford University Press. DOI: 10.1093/acprof:oso/9780198524519.003.0006.
KUCHERENKO T., HASEGAWA D., HENTER G. E., KANEKO N. & KJELLSTRÖM H. (2019). Analyzing input and output representations for speech-driven gesture generation. In *Proceedings of the 19th ACM International Conference on Intelligent Virtual Agents*, p. 97–104.

KUCHERENKO T., JONELL P., YOON Y., WOLFERT P. & HENTER G. E. (2021). A large, crowdsourced evaluation of gesture generation systems on common data : The genea challenge 2020. In *26th international conference on intelligent user interfaces*, p. 11–21.

LI J., KANG D., PEI W., ZHE X., ZHANG Y., HE Z. & BAO L. (2021). Audio2gestures : Generating diverse gestures from speech audio with conditional variational autoencoders. In *Proceedings of the IEEE/CVF International Conference on Computer Vision*, p. 11293–11302.

LIU H., ZHU Z., IWAMOTO N., PENG Y., LI Z., ZHOU Y., BOZKURT E. & ZHENG B. (2022). Beat : A large-scale semantic and emotional multi-modal dataset for conversational gestures synthesis. In *European Conference on Computer Vision*, p. 612–630 : Springer.

LU S., YOON Y. & FENG A. (2023). Co-speech gesture synthesis using discrete gesture token learning. *arXiv preprint arXiv:2303.12822*.

MCNEILL D. (1992). *Hand and Mind : What Gestures Reveal about Thought*. Chicago and London : The University of Chicago Press.

SO W. C., KITA S. & GOLDIN-MEADOW S. (2009). Using the hands to identify who does what to whom : Gesture and speech go hand-in-hand. *Cognitive Science*, **33**(1), 115–125. DOI: 10.1111/j.1551-6709.2008.01006.x.

TAKEUCHI K., KUBOTA S., SUZUKI K., HASEGAWA D. & SAKUTA H. (2017). Creating a gesture-speech dataset for speech-based automatic gesture generation. In *International Conference on Human-Computer Interaction*, p. 198–202 : Springer.

YOON Y., CHA B., LEE J.-H., JANG M., LEE J., KIM J. & LEE G. (2020). Speech gesture generation from the trimodal context of text, audio, and speaker identity. *ACM Transactions on Graphics (TOG)*, **39**(6), 1–16.

ZHANG F., JI N., GAO F. & LI Y. (2023). Diffmotion : Speech-driven gesture synthesis using denoising diffusion model. In *International Conference on Multimedia Modeling*, p. 231–242 : Springer.

ZHAO W., HU L. & ZHANG S. (2023). Diffugesture : Generating human gesture from two-person dialogue with diffusion models. In *Companion Publication of the 25th International Conference on Multimodal Interaction*, p. 179–185.

ZHOU K., CHENG Z., SHUM H. P., LI F. W. & LIANG X. (2021). Stgae : Spatial-temporal graph auto-encoder for hand motion denoising. In *2021 IEEE International Symposium on Mixed and Augmented Reality (ISMAR)*, p. 41–49 : IEEE.
# Un paradigme pour l'interprétation des métriques et pour mesurer la gravité des erreurs de reconnaissance automatique de la parole

Thibault Bañeras-Roux¹ Michael Rouvier² Jane Wottawa³ Richard Dufour¹

(1) Laboratoire des Sciences du Numérique de Nantes (LS2N), France

(2) Laboratoire Informatique d'Avignon (LIA), France

(3) Laboratoire d'Informatique de l'Université du Mans (LIUM), France

thibault.roux@univ-nantes.fr, jane.wottawa@univ-lemans.fr,

michael.rouvier@univ-avignon.fr, richard.dufour@univ-nantes.fr

## RÉSUMÉ

Les mesures couramment employées pour l'évaluation des transcriptions automatiques de la parole, telles que le taux d'erreur-mot (WER) et le taux d'erreur-caractère (CER), ont fait l'objet d'importantes critiques en raison de leur corrélation limitée avec la perception humaine et de leur incapacité à prendre en compte les nuances linguistiques et sémantiques. Bien que des métriques fondées sur les plongements sémantiques aient été introduites pour se rapprocher de la perception humaine, leur interprétabilité reste difficile par rapport au WER et CER. Dans cet article, nous surmontons ce problème en introduisant un paradigme qui intègre une métrique choisie pour obtenir un équivalent du taux d'erreur appelé Distance d'Édition Minimale, ou Minimum Edit Distance (minED). Nous proposons également d'utiliser cette approche pour mesurer la gravité des erreurs en fonction d'une métrique, d'un point de vue intrinsèque et extrinsèque.

## ABSTRACT

### A Paradigm for Interpreting Metrics and Measuring Error Severity in Automatic Speech Recognition

The commonly employed metrics for the evaluation of automatic speech transcriptions, such as Word Error Rate (WER) and Character Error Rate (CER), have faced significant criticism due to their limited correlation with human perception and their inability to account for linguistic and semantic nuances. While metric-based embeddings have been introduced to approximate human perception, their interpretability remains challenging compared to WER and CER. In this article, we overcome this problem by introducing a paradigm that integrates a chosen metric to obtain an equivalent of the error rate called Minimum Edit Distance (minED). We also propose to use this approach to measure the severity of errors according to a metric, from an intrinsic and extrinsic perspective.

**MOTS-CLÉS** : Reconnaissance Automatique de la Parole, Métriques d'évaluation, Interprétabilité, erreurs de transcriptions.

**KEYWORDS**: Automatic speech recognition, Evaluation metric, Interpretability, Transcription errors.

<figure><img src="image_95.png" /></figure>
# 1 Introduction

Malgré les progrès considérables réalisés dans le domaine de l'apprentissage automatique et l'utilisation intensive de données pour l'entraînement des modèles, les systèmes de Reconnaissance Automatique de la Parole (RAP) présentent encore des erreurs de transcription dans des proportions variables en fonction de leurs conditions d'utilisation.

L'évaluation d'un système de RAP consiste le plus souvent à comparer les transcriptions manuelles (référence) et automatiques (hypothèse) à l'aide d'une mesure choisie, généralement le taux d'erreur-mot (WER) et le taux d'erreur-caractère (CER). Tous deux consistent à calculer une distance de Levenshtein entre la référence et l'hypothèse. Cependant, ces métriques sont critiquées pour attribuer le même poids à toutes les erreurs tout en négligeant les nuances linguistiques et sémantiques (Favre et al., 2013; Ruiz & Federico, 2015; Kafle & Huenerfauth, 2017; Gordeeva et al., 2021).

Pour remédier à ces limitations, des mesures fondées sur les plongements (Zhang et al., 2020; Kim et al., 2021; Bañeras-Roux et al., 2022) ont été proposées pour intégrer les aspects sémantiques.

De même, d'un point de vue perceptif, Kafle & Huenerfauth; Kim et al.; Gordeeva et al.; Bañeras-Roux et al. ont utilisé des ensembles de données annotées pour évaluer rigoureusement l'alignement des métriques de reconnaissance vocale avec la perception humaine, révélant la corrélation supérieure des métriques sémantiques avec le jugement humain.

Si les mesures sémantiques offrent une perspective d'évaluation différente, leurs scores, calculés par similarité cosinus, manquent d'interprétabilité, contrairement au WER qui s'appuie simplement sur les mots. Dans cet article, nous proposons d'intégrer une métrique dans un nouveau paradigme, appelé Distance d'Édition Minimale, ou en anglais Minimum Edit Distance (minED), afin de rendre interprétables les scores des métriques basés sur les plongements. Ce paradigme est également appliqué pour mesurer la gravité des erreurs, ce qui peut être utilisé pour l'analyse des métriques.

Le document est organisé comme suit. La section 2 présente les métriques de RAP et un ensemble de données avec des annotations de perception humaine. La section 3 décrit le paradigme minED proposé pour l'interprétabilité des mesures, tandis que la section 4 examine la capacité du paradigme à mesurer la gravité des erreurs. Enfin, nous concluons le travail et donnons des perspectives dans la section 5.

# 2 Méthodologie

Dans la section 2.1, nous fournissons des détails sur les métriques de RAP utilisées dans cette étude. Ensuite, dans la section 2.2, nous présentons le jeu de données HATS, utilisé pour évaluer les métriques ainsi que le paradigme proposé.

## 2.1 Métriques

Comme indiqué précédemment, la communauté a développé diverses métriques s'appuyant sur les plongements. En utilisant BERT (Devlin et al., 2019), nous pouvons extraire des représentations sémantiques des phrases. L'une de ces mesures, SemDist (Kim et al., 2021) calcule la similarité cosinus entre la référence et l'hypothèse à l'aide des plongements obtenus au niveau de la phrase.
Une autre mesure, **BERTScore** (Zhang *et al.*, 2020), appliquée dans diverses tâches de traitement automatique du langage (TAL) (Yilmaz *et al.*, 2019; Hanna & Bojar, 2021), calcule un score de similarité pour chaque token de la phrase candidate avec chaque token de la phrase de référence à l'aide de plongements contextuels.

Dans cette étude, SemDist intègre la version Sentence-BERT (Reimers & Gurevych, 2019) de CamemBERT (Martin *et al.*, 2020)<fnref n="1" />, une version française de BERT, et BERTScore utilise un BERT (Devlin *et al.*, 2019) multilingue. Pour nos expériences, nous avons normalisé toutes les mesures sur une échelle de [0, 1] en appliquant la règle "le plus faible le meilleur".

## 2.2 Jeu de données HATS

L'un des moyens d'évaluer correctement les métriques consiste à utiliser un ensemble de données d'annotations humaines. L'ensemble de données HATS est un corpus en libre accès, pour le français, conçu pour évaluer la corrélation entre les mesures d'évaluation de RAP et la perception humaine du point de vue du lecteur. L'ensemble de données HATS a été développé à l'aide d'une expérience côte-à-côte (Gordeeva *et al.*, 2021; Kafle & Huenerfauth, 2017; Kim *et al.*, 2022). Une référence textuelle, ainsi que deux hypothèses erronées produites par des systèmes de RAP (8 systèmes de bout-en-bout (Ravanelli *et al.*, 2021) et deux systèmes basés sur une architecture DNN-HMM<fnref n="2" /> (Povey *et al.*, 2011)), ont été présentées à au moins 7 sujets qui ont sélectionné la meilleure hypothèse. L'ensemble des données comprend 1 000 triplets : une référence, chacune accompagnée de deux hypothèses et du nombre de votes associé.

En calculant le nombre de fois qu'une métrique est en accord avec les annotations humaines (la métrique indique le meilleur score pour l'hypothèse choisie par les humains), nous pouvons calculer un ratio correspondant à la corrélation entre cette métrique et l'évaluation humaine.

La métrique SemDist obtient la corrélation la plus forte avec la perception humaine sur HATS. L'ensemble des données sera utilisé pour déterminer si l'utilisation du paradigme minED entraîne une réduction de la corrélation avec la perception humaine par rapport à l'utilisation de la métrique seule.

## 3 Intégrer des métriques pour l'interprétabilité

Le paradigme minED est conçu pour améliorer l'interprétabilité des mesures produisant des scores difficiles à comprendre. Pour ce faire, nous intégrons une métrique non interprétable telle que SemDist dans minED. Cela consiste à calculer le nombre minimum de modifications à appliquer à l'hypothèse pour qu'elle soit suffisamment proche de la référence en ce qui concerne sa perception humaine. Suivant cette idée, nous appliquons cette méthode aux mots (minWED) et aux caractères (minCED).

Le paradigme est décrit dans la section 3.1, tandis que la section 3.2 traite du paramétrage de la méthode. Nous discutons ensuite de deux types de mesures (cohérentes, incohérentes) influençant le coût de calcul (section 3.3), et explorons la corrélation entre minED et la perception humaine (section 3.4).

<footnote n="1">1. https://huggingface.co/dangvantuan/sentence-camembert-large</footnote>

<footnote n="2">2. https://github.com/kaldi-asr/kaldi/blob/master/egs/librispeech/s5/</footnote>
<figure><img src="image_96.png" /><figcaption>FIGURE 1 – Graphe de chaque modification possible pour obtenir une hypothèse sans erreur avec le paradigme minWED. Chaque arête correspond à une erreur corrigée. Étant donné la référence, nous avons trois erreurs de mots, chacune d'un type différent : 1 substitution, 1 insertion, 1 suppression. La métrique est basée sur la règle "le plus faible le meilleur". Le symbole $\epsilon$ correspond à une suppression.</figcaption></figure>

## 3.1 Distance d'Édition Minimum (minED)

La correction de mots, ou de caractères, consiste à éditer l'hypothèse afin qu'il n'y ait plus de substitutions, d'insertions ou de suppressions. Le paradigme minED calcule le nombre minimum de corrections (mots ou caractères) nécessaires pour rendre une hypothèse "acceptable" sur la base d'une métrique non interprétable. Pour ce faire, nous générons un graphique qui représente toutes les modifications qui peuvent être apportées à l'hypothèse pour qu'elle devienne la référence (voir figure 1). Pour chaque élément corrigé, nous calculons un score entre la référence et la nouvelle hypothèse à l'aide de la métrique incorporée. Si le score est inférieur à un seuil prédéfini, l'hypothèse est jugée "acceptable". Il n'est donc pas nécessaire de calculer le reste du graphique. Le score minED est le nombre de niveau minimum à calculer pour obtenir un score en dessous du seuil.

La définition du seuil est cruciale, et la section 3.2 détaille la manière de l'établir.

La Figure 1 présente le graphe des possibilités pour la référence « *I will book them an appointment* » et l'hypothèse « *will book them an appointment and* ». Dans ce scénario, nous avons trois erreurs : une suppression, une substitution et une insertion. L'erreur de suppression est représentée par un symbole $\epsilon$.

## 3.2 Fixation du seuil d'acceptabilité

Comme indiqué dans la section 3.1, minED signifie les modifications nécessaires pour une hypothèse acceptable. Ce concept repose sur le fait qu'une métrique puisse donner un score considérée comme acceptable par les humains. Par exemple, lorsqu'un humain lit une hypothèse erronée, si une métrique sémantique indique un score inférieur au seuil (dans un contexte où la valeur la plus basse est la meilleure), le sens de la phrase originale est censé être compris.

Lorsque le seuil est trop bas, les mesures minWED et minCED tendent à se rapprocher des valeurs WER ou CER. Inversement, des valeurs de seuil trop élevées font converger ces mesures vers des
scores nuls, ce qui signifie qu'aucune correction n'est nécessaire.

Une approche pourrait consister à sélectionner un seuil qui maximise la corrélation avec la perception humaine, mais il n'est pas exclu de réfléchir à d'autres méthodes.

<figure><img src="image_97.png" /><figcaption>FIGURE 2 – Comparaison de l'impact des corrections sur des métriques cohérentes et incohérentes. Les métriques respectent une règle de "le plus faible le meilleur".</figcaption></figure>

## 3.3 Cohérence des métriques

Lors de la correction d'une hypothèse pour la rapprocher de la référence, nous pouvons observer une amélioration du score selon la métrique incorporée.

La correction peut avoir deux effets connus : soit elle améliore le score indépendamment des modifications précédentes (voir figure 2a), soit elle améliore le score en fonction des modifications précédentes (voir figure 2b). Par exemple, dans la figure 2a, la correction de la substitution *réserverai/rêverai* améliorera la performance de la métrique de 0,5, que *une/une* ait été corrigé ou non. Dans la figure 2b, la correction de *réserverai/rêverai* améliorera la performance de la métrique de 0,5 ou 0,4, selon que *une/un* ait été corrigé ou non.

La propriété de cohérence permet de calculer plus rapidement le nombre minimum de modifications, car il n'est plus nécessaire de calculer l'ensemble du graphique. Une approche pratique consiste plutôt à calculer le deuxième niveau où une seule erreur dans l'hypothèse est corrigée. Ensuite, on soustrait le score de l'hypothèse initiale du nombre minimum d'améliorations rédactionnelles requises pour que le score obtenu soit inférieur au seuil.

WER et CER sont des exemples de métriques cohérentes, tandis que BERTScore et SemDist sont des exemples de métriques incohérentes.

## 3.4 Corrélation avec la perception humaine

La figure 3 montre la corrélation entre la perception humaine et minED pour différentes valeurs de seuil ($\theta$). Les seuils les plus bas donnent des corrélations plus proches de la métrique associée à l'édition (WER ou CER), tandis que les valeurs trop élevées entraînent une baisse des performances.
<figure><img src="image_98.png" /><figcaption>FIGURE 3 – Corrélation de MinED avec le jeu de données HATS en fonction de différentes valeurs de seuil ($\theta$).</figcaption></figure>

Alors que minWED gagne 5,12 % par rapport au WER et améliore l'interprétabilité par rapport à SemDist, il perd 21,56 % de corrélation par rapport à SemDist. De même, minCED est mieux corrélé avec la perception humaine que CER, mais présente une proportion significative de perte par rapport à SemDist. Ces résultats montrent les limites de l'utilisation des taux d'erreur pour évaluer les transcriptions de RAP d'un point de vue humain.

# 4 Mesurer la gravité des erreurs

<figure><img src="image_99.png" /><figcaption>FIGURE 4 – Visualisation de la gravité des erreurs selon notre paradigme MinED intégrant une métrique sémantique.</figcaption></figure>

Dans cette section, nous étudions la capacité de notre paradigme à identifier les erreurs et à mesurer leur gravité, comme l'illustre la figure 4. La section 4.1 présente notre méthode d'évaluation de la gravité des erreurs, tandis que la section 4.2 se penche sur les résultats et l'analyse.
## 4.1 Protocole d'évaluation

Pour évaluer correctement la capacité de notre paradigme à identifier les erreurs critiques, nous partons du principe que la correction d'une erreur grave devrait avoir un impact plus important sur une tâche en aval que la correction d'une erreur mineure.

Dans notre étude, nous avons choisi une tâche de traduction du français vers l'anglais à partir de données vocales. Cette tâche comprend d'abord une transcription automatique, considérée comme l'évaluation intrinsèque des sorties de RAP à l'aide des métriques SemDist et CER. La transcription résultante est ensuite transmise à un traducteur automatique pour générer l'hypothèse finale, qui est considérée comme l'évaluation extrinsèque du système de reconnaissance de la parole à l'aide des métriques BLEU et BERTScore.

<table><caption>TABLE 1 – Exemple des améliorations de SemDist et de BERTScore obtenues par la correction de l'hypothèse « à nos résultats ». Les scores sont projetés dans une règle "le plus faible le meilleur" et une échelle de [0, 100] pour une meilleure lisibilité.</caption><thead><tr><th></th><th>Transcriptions</th><th>Traductions</th><th>SemDist</th><th>BERTScore</th></tr></thead><tbody><tr><th>Référence</th><td>à nos résultats</td><td>to our results</td><td></td><td></td></tr><tr><th>Hypothèses</th><td>un non résultat</td><td>a no result</td><td>57,8</td><td>28,1</td></tr><tr><th rowspan="3">Hypothèses Corrigées</th><td>à non résultat</td><td>to no result</td><td>50,1 (+7,7)</td><td>23,6 (+4,5)</td></tr><tr><td>un nos résultat</td><td>a our result</td><td>20,2 (+37,6)</td><td>21,4 (+6,7)</td></tr><tr><td>un non résultats</td><td>a no results</td><td>52,7 (+5,1)</td><td>28,0 (+0,1)</td></tr></tbody></table>

Comme le montre le tableau 1, nous générons autant de corrections à une hypothèse erronée qu'il y a d'erreurs de transcription. Cette approche nous permet d'obtenir, pour chaque correction, le score d'amélioration pour nos mesures intrinsèques et extrinsèques. Si nous observons une corrélation entre ces deux valeurs, cela signifie que le paradigme est effectivement capable de mesurer la sévérité des erreurs.

Notre dispositif expérimental utilise le jeu de données HATS pour obtenir les références et les hypothèses erronées associées, les traductions étant générées à l'aide de Google Traduction.

## 4.2 Résultats et analyse

Le tableau 2 présente la corrélation de Spearman entre l'amélioration intrinsèque et extrinsèque de la transcription automatique pour la tâche de traduction. Une corrélation notable entre SemDist et BERTScore est observée, démontrant la capacité du paradigme à mesurer la gravité des erreurs. Des corrélations différentes apparaissent pour les mesures intrinsèques et extrinsèques, suggérant des variations potentielles dans les résultats pour des tâches autres que la traduction.

<table><caption>TABLE 2 – Moyenne de la corrélation de Spearman entre les améliorations intrinsèques et extrinsèques en fonction de différentes métriques pour la tâche de traduction.</caption><thead><tr><th>Intrins./Extrins.</th><th>BERTScore</th><th>BLEU</th></tr></thead><tbody><tr><td>SemDist</td><td>0,39</td><td>0,26</td></tr><tr><td>CER</td><td>0,22</td><td>0,23</td></tr></tbody></table>
# 5 Conclusions et perspectives

Nous avons proposé un paradigme qui non seulement rend les mesures de RAP interprétables, mais qui permet également de mesurer la gravité des erreurs. L'approche minED fournit un cadre plus transparent pour l'évaluation des systèmes de RAP. Alors que notre étude a révélé une diminution notable de la corrélation avec la perception humaine lors de l'intégration d'une métrique dans minWED (i.e. sur les mots), nos résultats démontrent que minCED (sur les caractères) maintient une performance relativement forte dans la capture de la perception de l'erreur comparé à d'autres métriques évalué par Bañeras-Roux et al. .

L'étude montre également, par la perte significative de corrélation avec l'interprétabilité, qu'une mesure du nombre d'erreurs ne correspond pas à la manière dont les humains se comportent. Il semble que les humains donnent la priorité à la prise en compte de la gravité des erreurs plutôt qu'à la simple proportion d'erreurs graves.

Une autre stratégie pour développer des mesures interprétables plus étroitement liées à la perception humaine consisterait à développer des métriques qualitatives plutôt que quantitatives. Par exemple, des ensembles de données comme HypRatings (Kim et al., 2022) intègrent des annotations qualitatives telles que "exact", "hyp utile", "hyp fausse", et "hyp incohérente". L'étude du développement de métriques prédisant ces caractéristiques qualitatives pourrait constituer une perspective intéressante pour de futures recherches.

# 6 Considérations éthiques

Lors de la mise en production d'un système de reconnaissance de la parole, si minED est utilisé pour évaluer le système, il convient d'être prudent dans le choix du seuil : l'acceptabilité des erreurs est subjective et peut ne pas s'appliquer à tous les humains.

Tous les modèles et données utilisés dans cet article sont publics et librement accessibles à des fins de reproductibilité. Notre code est disponible sur un dépôt GitHub public 3.

# Références

BAÑERAS-ROUX T., ROUVIER M., WOTTAWA J. & DUFOUR R. (2022). Qualitative Evaluation of Language Model Rescoring in Automatic Speech Recognition. In *Interspeech 2022*.

BAÑERAS-ROUX T., WOTTAWA J., ROUVIER M., MERLIN T. & DUFOUR R. (2023). Hats : An open data set integrating human perception applied to the evaluation of automatic speech recognition metrics. In *Text, Speech and Dialogue 2023 - Interspeech Satellite*.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). Bert : Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186.

<footnote n="3">3. https://anonymous.4open.science/r/mined</footnote>
FAVRE B., CHEUNG K., KAZEMIAN S., LEE A., LIU Y., MUNTEANU C., NENKOVA A., OCHEI D., PENN G., TRATZ S. et al. (2013). Automatic human utility evaluation of ASR systems: Does WER really predict performance? In *INTERSPEECH*, p. 3463–3467.

GORDEEVA L., ERSHOV V., GULYAEV O. & KURALENOK I. (2021). Meaning Error Rate: ASR domain-specific metric framework. In *Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining*, p. 458–466.

HANNA M. & BOJAR O. (2021). A fine-grained analysis of bertscore. In *Proceedings of the Sixth Conference on Machine Translation*, p. 507–517.

KAFLE S. & HUENERFAUTH M. (2017). Evaluating the usability of automatically generated captions for people who are deaf or hard of hearing. In *Proceedings of the 19th International ACM SIGACCESS Conference on Computers and Accessibility*, p. 165–174.

KIM S., ARORA A., LE D., YEH C.-F., FUEGEN C., KALINLI O. & SELTZER M. L. (2021). Semantic Distance: A New Metric for ASR Performance Analysis Towards Spoken Language Understanding. In *Proc. Interspeech 2021*, p. 1977–1981. DOI: 10.21437/Interspeech.2021-1929.

KIM S., LE D., ZHENG W., SINGH T., ARORA A., ZHAI X., FUEGEN C., KALINLI O. & SELTZER M. (2022). Evaluating User Perception of Speech Recognition System Quality with Semantic Distance Metric. In *Proc. Interspeech 2022*, p. 3978–3982. DOI: 10.21437/Interspeech.2022-11144.

MARTIN L., MULLER B., SUÁREZ P. J. O., DUPONT Y., ROMARY L., DE LA CLERGERIE É. V., SEDDAH D. & SAGOT B. (2020). CamemBERT: a Tasty French Language Model. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 7203–7219.

POVEY D., GHOSHAL A., BOULIANNE G., BURGET L., GLEMBEK O., GOEL N., HANNEMANN M., MOTLICEK P., QIAN Y., SCHWARZ P. et al. (2011). The Kaldi speech recognition toolkit. In *IEEE 2011 workshop on automatic speech recognition and understanding*, volume CONF: IEEE Signal Processing Society.

RAVANELLI M., PARCOLLET T., PLANTINGA P., ROUHE A., CORNELL S., LUGOSCH L., SUBAKAN C., DAWALATABAD N., HEBA A., ZHONG J., CHOU J.-C., YEH S.-L., FU S.-W., LIAO C.-F., RASTORGUEVA E., GRONDIN F., ARIS W., NA H., GAO Y., MORI R. D. & BENGIO Y. (2021). SpeechBrain: A general-purpose speech toolkit. arXiv:2106.04624.

REIMERS N. & GUREVYCH I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. In *Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)*, p. 3982–3992.

RUIZ N. & FEDERICO M. (2015). Phonetically-oriented word error alignment for speech recognition error analysis in speech translation. In *2015 IEEE Workshop on Automatic Speech Recognition and Understanding (ASRU)*, p. 296–302: IEEE.

YILMAZ Z. A., WANG S., YANG W., ZHANG H. & LIN J. (2019). Applying bert to document retrieval with birch. In *Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP): System Demonstrations*, p. 19–24.

ZHANG T., KISHORE V., WU F., WEINBERGER K. Q. & ARTZI Y. (2020). Bertscore: Evaluating text generation with bert. In *International Conference on Learning Representations (ICLR)*.
# Un système d'annotation automatique de la structure prosodique

Philippe Martin

LLF, UFRL, Université Paris Cité

Place Paul Ricoeur, 75013 Paris, France

philippe.martin@utoronto.ca

## RESUME

On présente un système d'annotation prosodique permettant de visualiser les structures prosodiques générées par des règles de dépendance appliquées sur des événements prosodiques annotés automatiquement.

Les événements prosodiques sont définis par des cibles tonales dans la notation ToBI, ou par des contours mélodiques, montants ou descendants, atteignant la hauteur la plus basse ou la plus haute de la phrase, et au-dessus ou au-dessous du seuil de glissando (c'est-à-dire perçus comme un changement mélodique ou un ton statique), mais d'autres définitions peuvent être utilisées au gré de l'utilisateur.

À partir de ces définitions, les contours ou les cibles tonales alignés sur les voyelles des syllabes accentuées localisées sont affichés automatiquement. Des règles de dépendance définies par l'utilisateur opèrent sur ces évènements prosodiques pour déterminer et afficher la structure prosodique correspondante, permettant une comparaison visuelle avec la structure morphosyntaxique et conduisant à une meilleure compréhension de la manière dont les structures prosodiques peuvent amorcer le décodage syntaxique par l'auditeur.

## Abstract

### An automatic prosodic annotation system

A prosodic annotation system is presented that enables the prosodic structure generated by dependency rules applied to automatically annotated prosodic events to be visualized.

Prosodic events are defined by tonal targets in ToBI notation, or by melodic contours, rising or falling, reaching the lowest or highest pitch in the sentence, and above or below the glissando threshold (i.e. perceived as a melodic change or static tone), but other definitions can be used at the user's discretion.

Based on these definitions, vowel-aligned contours or tonal targets of localized stressed syllables are displayed automatically. User-defined dependency rules operate on these prosodic events to determine and display the corresponding prosodic structure, enabling visual comparison with the morphosyntactic structure and leading to a better understanding of how prosodic structures can initiate syntactic bootstrapping by the listener.

**MOTS-CLES** : Structure prosodique, cible tonale, contour mélodique, annotation prosodique.

**KEYWORDS** : Prosodic structure, tonal target, melodic contour, dependency rules, prosodic annotation.

## 1 Introduction

Il est généralement admis que la structure prosodique d'une phrase résulte de la fusion des groupes accentuels AP (*accent phrases*) en syntagmes intonatifs intermédiaires ip (*intermediate intonation*)

<figure><img src="image_100.png" /></figure>
phrases), des ip en syntagmes intonatifs IP (Intonation Phrases) et, finalement, des IP en structure prosodique PS (Prosodic Structure). À ce jour, plusieurs systèmes d'annotation prosodique automatique ont été développés, basés sur le modèle autosegmental-métrique et l'annotation ToBI (Wightman and Ostendorf 1994, Syrdal et al. 2001, Rosenberg 2010). Des implémentations récentes utilisent des algorithmes d'apprentissage profond (Zhai and Hasegawa-Johnson 2023), dont l'efficacité repose sur la fiabilité de l'annotation ToBI d'un corpus d'apprentissage.

On décrit ici un système d'annotation automatique basé sur un modèle sensiblement différent, impliquant l'autonomie de la structure prosodique par rapport à la morphosyntaxe, et autorisant la transcription des évènements prosodiques par contours aussi bien que par cibles tonales. Pour décrire les évènements prosodiques, par hypothèse localisés essentiellement sur les voyelles des syllabes accentuées, ce système intègre la valeur de glissando pour mieux lier la perception de l'auditeur à la réalité acoustique. Ce choix contraste avec les systèmes dominants dans lesquels la transcription des événements prosodiques est plus étroitement liée à la courbe de la fréquence fondamentale et pour lesquels, pour les langues à accent lexical comme l'italien, seuls les tons de frontière et non les accents de hauteur jouent un rôle dans l'indication de la structure prosodique (Selkirk 1984).

Sur la base de l'autonomie de la structure prosodique, dans les unités desquelles viendraient s'insérer les unités syntaxiques, on est conduit à abandonner, voire à inverser, la vision selon laquelle la structure prosodique résulterait d'une mise en correspondance avec la structure morphosyntaxique de la phrase. Dès lors, on est conduit à admettre que 1) il doit exister des marqueurs prosodiques qui indiquent les fusions successives des AP en groupes intonatifs plus grands indépendamment des autres structures morphosyntaxiques ou informationnelles, et 2) il doit exister des règles qui régissent la distribution de ces marqueurs prosodiques pour indiquer sans ambiguïté une structure prosodique donnée. Un choix théorique porte alors sur 1) la sélection de caractéristiques dans le matériel prosodique qui instancient de manière adéquate les marqueurs prosodiques, et 2) le type de grammaire prosodique approprié.

## 2 Sélection des paramètres acoustiques

Un système d'annotation prosodique automatique doit s'appuyer sur des caractéristiques acoustiques et donc sur la fiabilité de l'algorithme d'analyse de la parole pour obtenir l'intensité syllabique, la durée des voyelles et, en particulier, la hauteur mélodique. Excepté pour les enregistrements effectués dans des salles insonorisées ou dans des conditions équivalentes, l'analyse de la parole lue et spontanée nécessite des algorithmes fiables de suivi mélodique, qui en pratique peuvent se révéler déficients pour beaucoup d'enregistrements, en particulier spontanés.

Ces systèmes peuvent être complétés par l'affichage superposé, sur la même échelle de fréquence, d'un spectrogramme à bande étroite. L'utilisateur peut alors être guidé par la première ou la deuxième harmonique affichée sur le spectrogramme pour saisir manuellement à l'écran un segment de courbe de hauteur corrigée, grâce à une fonction de dessin intégrée au logiciel venant au secours d'une mesure de F0 défaillante. On dispose ainsi d'un outil permettant l'annotation prosodique (et aussi des formants) quelle que soit la qualité de l'enregistrement, même ceux très dégradés du début du 19ème siècle.

Le choix des caractéristiques acoustiques devrait aussi refléter la perception humaine mieux que la courbe de fréquence fondamentale souvent prise telle quelle comme source de données. Au lieu de décrire les caractéristiques prosodiques des voyelles par les changements de durée, d'intensité et de fréquence fondamentale évalués séparément, on adopte le paramètre de glissando, un paramètre combinant ces trois entités acoustiques en tenant en compte avec une approximation acceptable la
perception d'un événement prosodique en termes de changement mélodique, perçu comme tel ou
perçu comme un ton statique, selon sa valeur par rapport à un seuil (Rossi 1971).

La valeur du glissando est obtenue en rapportant la variation de hauteur en demi-tons à leur durée :

Glissando = (DT₂- DT₁) / (t₂-t₁) avec DT (Demi-ton) = 12 * (log(F0t/100.0)) / log (2.0) (F0t étant la valeur de la fréquence fondamentale à l'instant t).

Le seuil de glissando en demi-tons est donné par coeff / (t2-t1)², coeff étant un paramètre ajustable variant de 0,16 à 0,32 de manière à prendre en compte le degré éventuel de non-linéarité de la courbe de fréquence fondamentale de la voyelle ainsi que la sensibilité des auditeurs aux changements de hauteur.

Le choix des contours mélodiques à l'endroit des voyelles accentuées comme marqueurs
prosodiques est renforcé par des recherches neuro-perceptives récentes, qui suggèrent que les
accents de hauteur sont encodés comme des catégories discrètes et contrastives dans le cerveau
(Llanos et al. 2021). Le positionnement des syllabes accentuées est semi-automatique pour le
français, langue à accent rythmique, et ne peut être totalement déterminée à partir du texte, car
dépendant entre autres du débit de parole (Martin 2018). Par défaut, ce sont les mots grammaticaux,
dont la catégorie est établie à partir d'un lexique (Lexique 3), suivi d'un correcteur trigramme, qui
reçoivent l'accent. Pour l'italien par contre, langue à accent lexical, la position des syllabes
accentuées relève directement d'un lexique, mais peut être obtenue également à partir d'une analyse
morphologique des mots (Martin 1990).

Pour l'annotation prosodique de la phrase française, les événements prosodiques situés sur les voyelles des syllabes accentuées sont classés automatiquement par le logiciel à partir de la mesure de trois paramètres : a) F0 montant – F0 descendant ; b) en dessous ou au-dessus du seuil de glissando et c) atteignant la valeur de F0 la plus basse ou la plus élevée parmi toutes les autres voyelles accentuées de la phrase.

Les classes de contours sont alors :

a. **Cdec↓**, (L*L%) Contour terminal déclaratif atteignant la valeur mélodique (F0) la plus basse dans la phrase parmi les autres fins de voyelles accentuées

b. **Cint↑**, (H*H%) Contour terminal interrogatif atteignant la valeur mélodique (F0) la plus haute dans la phrase parmi les autres fins de voyelles accentuées

c. **Cris↗**, (LH*) Variation mélodique montante supérieure au seuil de glissando (cf. continuation majeure en français)

d. **Cfap#↘**, (H*L#) Variation mélodique descendante supérieure au seuil de glissando suivie d'une pause d'au moins 250 ms (contour de la dictée)

e. **Cfal↗**, (HL*) Variation mélodique descendante supérieure au seuil de glissando (cf. continuation mineure en français)

f. **Cneu→**, (H*) Montée ou descente mélodique inférieure au seuil de glissando (contour neutralisé)

Pour l'italien, il existe un contour complexe g) **Ccom** √, (LL*H), descendant en dessous du seuil de glissando sur la voyelle accentuée, et généralement montant au-dessus du seuil de glissando sur la voyelle de la syllabe finale (et éventuellement sur la consonne voisée finale). Ce contour mélodique complexe est réalisé sur une même voyelle d'une syllabe finale et accentuée.
En plus de ces 7 catégories adaptées au français et à l'italien, le logiciel permet de définir un total de 14 catégories distinctes s'adaptant à la langue et aux conditions de l'analyse (par exemple en ajoutant un contour d'insistance, d'hésitation, etc.).

À partir de ces définitions et de l'analyse acoustique (durées vocalique, courbes de F0 et d'intensité), les contours ou les cibles tonales ToBI sont automatiquement affichés avec leurs caractéristiques graphiques sélectionnées par l'utilisateur (couleur, largeur du trait...), comme le montre la figure 1. Cette classification est effectuée en fonction des limites des voyelles accentuées sur l'échelle temporelle, définies soit manuellement par l'opérateur, soit à l'aide d'un moteur de segmentation automatique intégré au logiciel (disponible dans plus de 42 langues...).

<figure><img src="image_101.png" /><figcaption>FIGURE 1. Définitions programmables des évènements prosodiques en contours (à gauche) ou en notation ToBI (à droite).</figcaption></figure>

## 3 Choix d'une grammaire

En utilisant le système d'annotation ToBI, une grammaire prosodique dans le cadre autosegmental-métrique inclut un ensemble de règles décrivant toutes les séquences bien formées d'événements prosodiques dans une phrase. En pratique, ces règles sont découvertes et énoncées à partir de l'analyse de diverses configurations syntaxiques qui sous-tendent la primauté de la morphosyntaxe sur la prosodie de la phrase (Delais, Post et Yoo 2020).

Cependant, une autre vision peut être envisagée dans laquelle la structure prosodique est considérée comme autonome par rapport à la morphosyntaxe et à toute autre structure de la phrase. On peut alors considérer que la structure prosodique, c'est-à-dire les regroupements successifs d'AP en ip, d'ip en IP et d'IP en SP, sont indiqués par des marqueurs prosodiques spécifiques perceptivement saillants tels que décrits plus haut.

Afin d'intégrer les marqueurs prosodiques dans une grammaire, le choix s'est porté sur une grammaire de dépendance, basée sur une réinterprétation du concept de continuité, présent par exemple chez (Delattre 1966). En effet, en tant que marqueur prosodique, la continuité mineure indique à l'auditeur que la phrase se poursuivra jusqu'à l'apparition d'une continuité majeure, et la continuité majeure indique que la phrase se poursuivra jusqu'à l'apparition d'un contour terminal.

En termes de relations de dépendance sur l'échelle temporelle, l'occurrence de la continuité mineure dépend de l'avènement attendu de la continuité majeure plus loin dans la phrase. De même, la continuité majeure dépend de l'occurrence attendue d'un contour terminal dans le futur de la phrase. En termes de regroupements des groupes accentuels, les séquences de groupes accentuels dont le dernier se termine par une continuité mineure sont fusionnées avec tous les groupes accentuels déjà regroupés avec une continuité majeure, et tous les groupes accentuels se terminant par une continuité majeure sont fusionnées avec tous les groupes accentuels déjà regroupés se terminant par un contour terminal.
Une grammaire de dépendance prosodique consiste en un ensemble de règles de dépendance qui relient la dépendance des évènements prosodiques (contours ou cibles tonales) à d'autres évènements prosodiques situés plus tôt (dépendance "à gauche") ou plus tard (dépendance "à droite") dans la phrase.

## 4 Grammaire de dépendance prosodique

Les règles de la grammaire de dépendance pour le français, langue à accent rythmique, portant sur les voyelles accentuées finales des groupes accentuels (en termes de contours) sont proposée ci-dessous pour des phrases déclaratives. {A, B} ⇒ {X, Y} s'interprète l'occurrence de A ou de B dépendent de l'occurrence de X ou de Y apparaissant plus tard dans la phrase, et {A, B} ⇔ {X, Y} s'interprète l'occurrence de X ou de Y dépendent de l'occurrence de A ou de B apparaissant plus tôt dans la phrase.

Cneu- ⇒ {Cfal\, Cris\, Cfap\, Cdec\, Cint\} (dépendance « à droite »)

Cfal\ ⇒ {Cris\, Cfap\, Cint\} (dépendance « à droite »)

{Cris\, Cfap\, } ⇒ Cdec\ (dépendance « à droite »)

Cdec\ ⇔ Cneu- (thème dans une configuration rhème-thème, dépendance « à gauche »)

Pour l'italien, langue à accent lexical, comportant des voyelles accentuées non finales dans les groupes accentuels :

Cneu- ⇒ {Cfal\, Cris\, Cfap\, Cdec\, Cint\} (dépendance « à droite »)

Cris\ ⇔ Cfal\ (dépendance « à gauche »)

Cris\ ⇒ Ccom\ (dépendance « à droite »)

Ccom\ √ ⇒ Cdec\ (dépendance « à droite »)

Cdec\ ⇔ Cneu- (thème dans une configuration rhème-thème)

Une fonction de calcul de la structure prosodique vérifie la cohérence de la distribution des contours relativement à ces règles par rapport à leurs réalisations acoustiques et met automatiquement à jour leur catégorie si nécessaire. Par exemple, aucun contour Cfal\ ne peut précéder immédiatement un contour déclaratif terminal en français (sauf s'il est suivi d'une pause, auquel cas il est étiqueté comme un contour de dictée Cfap\).

<figure><img src="image_102.png" /><figcaption>FIGURE 2 Règles de dépendance définies par l'utilisateur (français, à gauche - italien, à droite).</figcaption></figure>

De même, une phrase en italien ne peut pas commencer par un contour Cfal\, au-dessus du seuil de glissando (mais elle peut commencer par un Cneu- descendant neutralisé, en dessous du seuil de glissando). Si aucune règle de dépendance ne s'applique à un contour, celui-ci n'est pas intégré dans
la représentation graphique de la structure prosodique, il reste isolé, ce qui se traduit par une structure prosodique incomplète. Un exemple est donné figure 5.

La structure résultante est automatiquement affichée, avec une représentation arborescente utilisant des branches orthogonales orientées selon la direction des dépendances (Figure 3 et 4).

Chaque règle de dépendance est modifiable par l'utilisateur avec le rang de l'événement prosodique et la direction gauche ou droite de la dépendance. Par exemple, en français, `Cfal\` dépend de `Cris\` à droite, alors qu'en italien, `Cfal\` dépend de `Cris\` à gauche. Le code couleur correspond aux catégories d'événements prosodiques définies par l'utilisateur dans le tableau de la figure 2.

# 5 Exemples en français et en italien

Le français et l'italien permettent une comparaison entre une langue à accent rythmique et une langue à accent lexical, en particulier en ce qui concerne l'apparition de contours mélodiques "complexes" placés sur la voyelle accentuée du groupe accentuel, mais en dessous du seuil de glissando, et remontant au-dessus de ce seuil sur la voyelle de la syllabe finale (et éventuellement sur la consonne voisée finale). Ce contour mélodique, qui n'est pas normalement présent en français, est automatiquement identifié par le système, étiqueté et colorié selon les propriétés graphiques sélectionnées par l'utilisateur. L'analyse acoustique dispose de plusieurs algorithmes de détection de F0 (peigne spectral, AMDF, autocorrélation), complété par une estimation linéaire aux moindres carrés pour les sections des voyelles accentuées.

## 5.1 Exemple en italien

Un premier exemple de parole lue en italien (corpus SIWIS 2016) montre une structure prosodique reflétant partiellement la syntaxe (les voyelles accentuées sont en majuscules grasses, figure 3)

<figure><img src="image_103.png" /><figcaption>FIGURE 3. Contours colorés des voyelles de syllabes accentuées successives : **Cris**\` au-dessus du seuil de glissando (GT), **Cfal**\` au-dessus de GT, **Ccom**\textbf{\sqrt{}} complexe non final, **Cneu**\textbf{---} en dessous de GT, **Cneu**\textbf{---} en dessous de GT, et **Cdec**\textbf{---} terminal. (**Cris**\textbf{---} est représenté en bleu, **Cfal**\textbf{---} en vert, **Ccom**\textbf{\sqrt{}} en turquoise, **Cneu**\textbf{---} en brun et **Cdec**\textbf{---} en rouge). [*Le prIme*] **Cris**\textbf{---} [*indiscreziOni*] **Cfal**\textbf{---} [*a WAll StrEEt*] **Ccom**\textbf{\sqrt{}} [*hanno generAto*] **Cneu**\textbf{---} [*quAlche*] **Cneu**\textbf{---} [*incertEzza*] **Cdec**\textbf{---} (SIWIS it\_a1\_08\_123).</figcaption></figure>
[(Le prIme) (indiscreziOni)] [(a WAll StrEEt)]] {(hanno generAto) (quAlche) (incertEzza)}

"Les premières rumeurs à Wall Street ont généré une certaine incertitude" regroupant les deux premiers groupes accentuels avec la séquence **Cris↑** - **Cfal↓** avec une dépendance "à gauche", suivie de la fusion du groupe avec le premier AP présentant un contour complexe **Ccom** √.

Les sections surlignées de la courbe mélodique de cet exemple montrent les variations mélodiques successives sur les voyelles accentuées, annotées par des variations linéaires classées automatiquement par le logiciel selon les catégories définies par l'utilisateur et décrites ci-dessus.

## 5.2 Exemple en français

La figure 4 affiche la séquence de contours prosodiques et la structure prosodique correspondante d'un segment de parole spontanée "et du coup tu sais j'aurai au moins j'aurai de peau mieux ça sera quoi" (corpus ORFEO 2017).

<figure><img src="image_104.png" /><figcaption>FIGURE 4. Représentation de la structure prosodique de l'exemple (Et) **Cfal**↓ (du cOUp) **Cris**↑ [plus quE] **Cneu**← (j'aurAI) **Cris**↑ (au mouINs) **Cneu**← (j'aurai de pAEU) **Cneu**← (mieux ça serA) **Cdec**↓ (quOI) **Cneu**← (ORFEO 07madmc110912).</figcaption></figure>

Le syntagme accentuel [*tu sAIs*] est aligné sur une parenthèse prosodique terminée par un contour conclusif terminal **Cdec**↓ et constitue une structure prosodique indépendante à un seul groupe accentuel. Le dernier groupe accentuel (*quOI*) porte un contour neutralisé **Cneu**← indiquant une dépendance « à gauche » vers le contour terminal (cf. rhème dans une configuration rhème-thème).

Le calculateur de structure prosodique fournit une représentation graphique prenant en compte a) les événements prosodiques et b) les règles de dépendance opérant sur les événements prosodiques, évènements et règles programmables et définies par l'utilisateur. Le système est interactif, et constitue un outil efficace permettant d'expérimenter l'adéquation de la description des événements prosodiques et la validité de la grammaire prosodique sur de nombreux exemples facilement analysables, quelle que soit la qualité des enregistrements. Il est également possible d'écouter l'effet d'un changement de contour effectué par une commande graphique de l'utilisateur grâce au morphing prosodique, qui utilise un algorithme Psola intégré.

On peut par exemple vérifier sur la figure 5 l'absence de grammaticalité en français de **Cfal**↓ chute du contour mélodique au-dessus du seuil de glissando suivi de **Cdec**↓, ou l'absence de grammaticalité du même contour **Cfal**↓ en position initiale dans une structure prosodique en italien. La figure 5 affiche une séquence de contours invalide pour le groupe accentuel [*pour cette minUte*]
annotée avec un **Cfal>** non grammatical au lieu du **Cneu-** correct. Le groupe accentuel n'est donc pas intégré à la structure prosodique de la phrase.

<figure><img src="image_105.png" /><figcaption>FIGURE 5. *[Je vous invIte] **Cris>** [à vous levER] **Cris>** [pour cette minUte] **Cfal>** [de silENce] **Cdec↓** (SIWIS fr_b_29_001) avec [pour cette minUte] annoté **Cfal>** au lieu de **Cneu-**, menant à la non intégration dans la structure prosodique.</figcaption></figure>

Les caractéristiques de chaque contour annoté, la gamme de fréquence fondamentale, la durée et l'intensité sont affichées dans un tableau et peuvent être sauvegardées au format Excel ou équivalent d'un simple clic de souris (figure 6).

<table><thead><tr><th>Name</th><th>Width</th><th>T 1 [s]</th><th>T 2 [s]</th><th>F0 1 [Hz]</th><th>F0 2 [Hz]</th><th>Duration [s]</th><th>Range [Hz]</th><th>F0 1 [ST]</th><th>F0 2 [ST]</th><th>Int 1 [dB]</th><th>Int 2 [dB]</th><th>Diff Int [dB]</th><th>Glissando [st/s]</th><th>Glissando ratio</th><th>Text</th></tr></thead><tbody><tr><td>Cris</td><td>12</td><td>0.781</td><td>0.904</td><td>219</td><td>248</td><td>0.123</td><td>29</td><td>13</td><td>15</td><td>36</td><td>36</td><td>1</td><td>17//10</td><td>1.700</td><td></td></tr><tr><td>Cfal</td><td>12</td><td>1.554</td><td>1.685</td><td>216</td><td>198</td><td>0.131</td><td>-18</td><td>13</td><td>11</td><td>2</td><td>27</td><td>2</td><td>13//9</td><td>1.444</td><td></td></tr><tr><td>Ccom</td><td>12</td><td>1.929</td><td>1.983</td><td>183</td><td>175</td><td>0.054</td><td>-8</td><td>10</td><td>9</td><td>30</td><td>30</td><td>-2</td><td>14//54</td><td>0.259</td><td></td></tr><tr><td>Ccom</td><td>12</td><td>1.983</td><td>2.308</td><td>175</td><td>186</td><td>0.324</td><td>11</td><td>9</td><td>10</td><td>28</td><td>28</td><td>1</td><td>4//1</td><td>4.000</td><td></td></tr><tr><td>Ccom</td><td>12</td><td>2.308</td><td>2.385</td><td>186</td><td>209</td><td>0.077</td><td>23</td><td>10</td><td>12</td><td>29</td><td>29</td><td>-3</td><td>28//26</td><td>1.076</td><td></td></tr><tr><td>Cneu</td><td>12</td><td>3.247</td><td>3.363</td><td>166</td><td>165</td><td>0.116</td><td>-1</td><td>8</td><td>8</td><td>31</td><td>31</td><td>1</td><td>1//11</td><td>0.090</td><td></td></tr><tr><td>Cdec</td><td>12</td><td>3.657</td><td>3.715</td><td>175</td><td>165</td><td>0.058</td><td>-10</td><td>9</td><td>8</td><td>32</td><td>32</td><td>2</td><td>19//47</td><td>0.404</td><td></td></tr><tr><td>Cdec</td><td>12</td><td>4.400</td><td>4.450</td><td>158</td><td>144</td><td>0.050</td><td>-14</td><td>7</td><td>6</td><td>34</td><td>34</td><td>-5</td><td>36//63</td><td>0.571</td><td></td></tr></tbody></table>

<table><caption>FIGURE 6. Liste des contours annotés au format Excel pour les exemples des figures 3 (en haut) et 4 (en bas), avec leurs valeurs de F0, de durée, d'intensité et de glissando de F0 pour les voyelles accentuées.</caption><thead><tr><th>Name</th><th>Width</th><th>T 1 [s]</th><th>T 2 [s]</th><th>F0 1 [Hz]</th><th>F0 2 [Hz]</th><th>Duration [s]</th><th>Range [Hz]</th><th>F0 1 [ST]</th><th>F0 2 [ST]</th><th>Int 1 [dB]</th><th>Int 2 [dB]</th><th>Diff Int [dB]</th><th>Glissando [st/s]</th><th>Glissando ratio</th><th>Text</th></tr></thead><tbody><tr><td>Cfal</td><td>12</td><td>0.157</td><td>0.254</td><td>206</td><td>188</td><td>0.096</td><td>-18</td><td>12</td><td>10</td><td>27</td><td>27</td><td>6</td><td>21//17</td><td>1.235</td><td>e</td></tr><tr><td>Cris</td><td>12</td><td>0.593</td><td>0.656</td><td>219</td><td>253</td><td>0.063</td><td>34</td><td>13</td><td>16</td><td>34</td><td>34</td><td>6</td><td>43//39</td><td>1.102</td><td>u</td></tr><tr><td>Euh</td><td>12</td><td>0.980</td><td>1.059</td><td>214</td><td>208</td><td>0.078</td><td>-6</td><td>13</td><td>12</td><td>35</td><td>35</td><td>-2</td><td>7//25</td><td>0.280</td><td>ø</td></tr><tr><td>Cris</td><td>12</td><td>1.485</td><td>1.612</td><td>192</td><td>214</td><td>0.127</td><td>22</td><td>11</td><td>13</td><td>32</td><td>32</td><td>-15</td><td>29//9</td><td>3.222</td><td>ç</td></tr><tr><td>Cdec</td><td>12</td><td>1.970</td><td>2.027</td><td>232</td><td>221</td><td>0.057</td><td>-11</td><td>14</td><td>13</td><td>37</td><td>37</td><td>0</td><td>13//48</td><td>0.270</td><td>é</td></tr><tr><td>Cdec</td><td>12</td><td>2.436</td><td>2.499</td><td>221</td><td>208</td><td>0.063</td><td>-13</td><td>13</td><td>12</td><td>37</td><td>37</td><td>-5</td><td>20//39</td><td>0.512</td><td>o</td></tr><tr><td>Cdec</td><td>12</td><td>2.923</td><td>2.983</td><td>201</td><td>188</td><td>0.060</td><td>-13</td><td>12</td><td>10</td><td>27</td><td>27</td><td>-1</td><td>19//43</td><td>0.441</td><td>a</td></tr><tr><td>Ccon</td><td>12</td><td>3.104</td><td>3.141</td><td>193</td><td>190</td><td>0.036</td><td>-3</td><td>11</td><td>11</td><td>22</td><td>22</td><td>4</td><td>9//121</td><td>0.074</td><td>a</td></tr></tbody></table>

## 6 Conclusion

Un outil d'annotation prosodique efficace est essentiel pour mieux comprendre le rôle de la structure prosodique en relation avec la morphosyntaxe et l'accès au sens par l'auditeur. Il devient également crucial lorsqu'un grand nombre d'exemples annotés est nécessaire pour entraîner des systèmes d'apprentissage profond. L'outil est intégré dans le logiciel d'analyse de la parole WinPitch (2024) et peut être téléchargé gratuitement sur www.winpitch.com.
Références

DELAIS-ROUSSARIE E, POST B., YOU H-Y. (2020) Unités prosodiques et grammaire intonative du français : vers une nouvelle approche, *Actes de la 6e conférence conjointe Journées d'Études sur la Parole*, Nancy, France, 08-19 juin 2020.

DELATTRE P. (1966) Les dix intonations de base du français, *French Review* (40) 1-14.

LLANOS F., SNEED GERMAN J., NIKE GNANATEJA G., CHANDRASEKARAN B. (2021) The neural processing of pitch accents in continuous speech, *Neuropsychologia*, 2021, 158.

LEXIQUE 3 http://www.lexique.org/shiny/lexique

MARTIN PH. (1990) Positionnement automatique de l'accent lexical de l'Italien, *Actes des XVIIIèmes Journées d'Études sur la parole*, Montréal 1990, 149-152.

MARTIN PH. (2018) *Intonation, structure prosodique et ondes cérébrales*, London : ISTE, 322 p.

ORFEO (2017) Outils et Recherches sur le Français Écrit et Oral. http://www.projet-orfeo.fr/

ROSENBERG R. (2010) AuToBI - A tool for automatic ToBI annotation, *Proc. Interspeech September 2010*, doi: 10.21437/.2010-71.

SELKIRK E. O. (1984) *Phonology and syntax: the relation between sound and structure*. Cambridge, Mass., MIT Press.

ROSSI M. (1971) Le seuil de glissando ou seuil de perception des variations tonales pour la parole, *Phonetica* (23) 1-33.

SYRDAL A, HIRSCHBERG J, McGORY J. and BECKMAN M. (2001) Automatic ToBI prediction and alignment to speed manual labeling of prosody. *Speech Communication*, 33(1-2), 135-151.

SIWIS Corpus (2016) Yamagishi, J. et al. The SIWIS French Speech Synthesis Database, https://doi.org/10.7488/ds/1705.

WIGHTMAN C. and OSTENDORF M. (1994) Automatic labeling of prosodic patterns. *IEEE Transactions on Speech and Audio Processing*, 2(4), pp. 469–481.

WINPITCH (2024) www.winpitch.com

ZHAI W., HASEGAWA-JOHNSON M. (2023) Wav2ToBI: a new approach to automatic ToBI transcription. *Proc. INTERSPEECH 2023*, 2748-2752, doi: 10.21437/Interspeech.2023-477.
# Une comparaison de l'intonation ironique en français et en mandarin

Ziqi Zhou¹, ² Jalal Al-Tamimi¹ Hiyon Yoo¹

(1) Laboratoire de Linguistique Formelle, UMR 7110, CNRS, Université Paris Cité, 5 Rue Thomas Mann, 75013, Paris, France

(2) CLILLAC-Arp, Université Paris Cité, 5 Rue Thomas Mann, 75013, Paris, France
ziqi.zhou@etu.u-paris.fr, jalal.al-tamimi@u-paris.fr, hi-yon.yoo@u-paris.fr

## RESUME

L'utilisation de corrélats acoustiques dans la production de l'ironie a été bien documentée. Cependant, dans quelle mesure les résultats sont comparables dans différentes langues reste une question inexplorée. Cette étude vise à réaliser une comparaison des caractéristiques de l'intonation ironique entre le français et le mandarin, en utilisant un protocole expérimental unifié. Une expérience de production a été menée pour susciter l'énoncé ironique. Les résultats ont d'abord été analysés par forêts aléatoires pour explorer le poids relatif de huit corrélats acoustiques comme marqueur de l'ironie. Ensuite, des modèles linéaires à effets mixtes (LMM) ont été utilisés pour explorer davantage les principaux corrélats acoustiques. Nos résultats ont confirmé que la caractéristique de l'intonation ironique est spécifique à chaque langue, révélant des schémas différents de corrélats acoustiques utilisés pour produire l'ironie en français et en mandarin. De plus, un effet de genre sur l'énoncé ironique en français a été identifié.

## ABSTRACT

### A comparison of ironic tone of voice in French and Mandarin

The use of acoustic correlates in the production of ironic speech has been well-documented. However, the extent to which we can compare the results in different languages remains questionable. This study aims to conduct a comparison of ironic tone of voice in French and Mandarin, using a unified experimental protocol. A production experiment was conducted to elicit ironic speech. The results were first subjected to a Random Forest analysis in which we explored the relative weight of eight acoustic correlates for ironic speech. Secondly, a series of linear mixed-effects models (LMM) were built to further explore the major acoustic correlates. Our results revealed that the ironic tone of voice is language-specific, indicating distinct patterns of acoustic correlates used in French and Mandarin for ironic speech. Additionally, a gender effect on French ironic speech was identified.

**MOTS-CLES** : production, ironie, corrélats acoustiques, français, mandarin.

**KEYWORDS** : production, irony, acoustic correlates, French, Mandarin.

<figure><img src="image_106.png" /></figure>
# 1 Introduction

L'étude des caractéristiques de l'intonation ironique est sujet de controverse, puisque certains auteurs refusent d'associer un patron tonal à cette entité (ex. Bryant & Fox Tree, 2005), alors que d'autres résultats expérimentaux semblent confirmer la présence d'un patron tonal spécifique à l'ironie (cf. Anolli et al., 2002; Cheang & Pell, 2008; González-Fuente et al., 2016; Jansen & Chen, 2020; Li et al., 2020; Li & Gu, 2021; Lœvenbruck et al., 2013; Rockwell, 2000; Scharrer & Christmann, 2011).

Ainsi, plusieurs études ces dernières années ont cherché à déterminer s'il existe un patron tonal spécifique à l'ironie dans différentes langues, telles que l'anglais (Cheang & Pell, 2008; Chen & Boves, 2018; Rockwell, 2000); le français (González-Fuente et al., 2016; Lœvenbruck et al., 2013); le mandarin (Li et al., 2020; Li & Gu, 2021); l'italien (Anolli et al., 2002); le néerlandais (Jansen & Chen, 2020); l'allemand (Scharrer & Christmann, 2011), etc. Les résultats semblent non seulement confirmer l'existence de l'intonation ironique, mais aussi à la fois des similitudes ainsi que des caractéristiques spécifiques à chaque langue dans la réalisation de l'intonation ironique. Un résultat récurent quelle que soit la langue étudiée est que l'on observe généralement un débit de parole réduit pour produire l'ironie.

Cependant, d'autres corrélats acoustiques essentiels à l'encodage de l'ironie, tels que la hauteur de la voix, l'intensité et la qualité de la voix, présentent des variations spécifiques à la langue. Par exemple, Cheang & Pell (2008); Chen & Boves (2018) and Rockwell (2000) ont montré que le ton de la voix ironique est caractérisé par une hauteur réduite et une étendue de la hauteur plus étroite par rapport au discours sans ironie, ce qui va dans le sens des résultats obtenus en mandarin (Li & Gu, 2021) et en allemand (Scharrer & Christmann, 2011). En revanche, les études menées sur le français (González-Fuente et al., 2016; Laval & Bert-Erboul, 2018; Lœvenbruck et al., 2013) ou sur l'italien (Anolli et al., 2002) ont donné des résultats opposés : l'ironie en français et en italien est caractérisée par une hauteur plus élevée.

En ce qui concerne l'intensité, l'ironie en mandarin (Li & Gu, 2021), en français (González-Fuente et al., 2016; Lœvenbruck et al., 2013) et en néerlandais (Jansen & Chen, 2020) est marqué par une intensité plus faible, tandis qu'en anglais (Cheang & Pell, 2008; Chen & Boves, 2018; Rockwell, 2000) et en italien (Anolli et al., 2002), une intensité accrue est utilisée pour marquer les énoncés ironiques. Pour évaluer la qualité de la voix, le rapport harmoniques/bruit (HNR) est couramment utilisé. Les résultats expérimentaux indiquent également un moindre bruit (c'est-à-dire des valeurs de HNR plus élevées) dans l'ironie en néerlandais (Jansen & Chen, 2020) et en mandarin (Li et al., 2020), mais davantage de bruit en anglais (Cheang & Pell, 2008).

Les variations observées dans les études sur différentes langues suggèrent des caractéristiques prosodiques distinctives associées à l'ironie. Cependant, il existe plusieurs problèmes méthodologiques pour évaluer l'impact de différences entre les langues.

Tout d'abord, les variations dans les méthodologies utilisées dans les différentes études pourraient entraver des comparaisons fiables de l'intonation ironique entre les langues. Par exemple, Jansen & Chen (2020) ont exploré l'ironie en néerlandais en utilisant trois types de phrases : déclaratives, questions interrogatives et exclamatives, tandis que Lœvenbruck et al. (2013) se sont concentrés uniquement sur les phrases déclaratives lors de leur étude sur l'ironie en français. De même, Li & Gu (2021), dans leur examen du mandarin, ont spécifiquement étudié les phrases exclamatives comme base pour les énoncés ironiques. Or les types de phrases peuvent influencer la tonalité
ironique (Chen & Boves, 2018), et les différences dans les structures des phrases utilisées par divers chercheurs pourraient expliquer les différences observées dans les résultats expérimentaux.

De plus, la définition de l'objet d'étude semble différer selon les auteurs. Alors que la plupart des études se sont concentrées sur l'énoncé critique en la comparant au discours sincère en termes de prosodie, Li & Gu (2021) ont comparé les différences phonétiques entre les éloges ironiques et les critiques directes. La critique ironique exprime une attitude négative envers l'auditeur en utilisant un discours sincère dont le sens littéral est de faire l'éloge, tandis que les éloges ironiques expriment une attitude positive en utilisant des énoncés dont le sens littéral est de critiquer. Il a été établi et largement reconnu dans la recherche que différentes significations émotionnelles sont véhiculées par des combinaisons spécifiques de caractéristiques prosodiques reflétant les attitudes et les états émotionnels du locuteur à l'égard de l'interprétation du discours (Brown et al., 2014; Cole, 2015). Ainsi, les énoncés ironiques exprimant des attitudes différentes peuvent nécessiter des combinaisons différentes de caractéristiques onomatopéiques pour transmettre le sens de l'expression.

Cette étude vise à apporter des preuves supplémentaires soutenant l'existence d'un patron tonal de l'ironie spécifique à chaque langue en se basant sur la production de l'ironie dans le français et le mandarin à l'aide du même protocole. La critique ironique a été au centre des recherches précédentes, et cette étude perpétue cette convention en choisissant la critique ironique et les éloges littéraux comme sujets de recherche.

Nous émettons l'hypothèse que la caractéristique de l'intonation ironique de chaque langue est unique, reposant sur des corrélats acoustiques présentant des schémas différents. Par ailleurs, cette recherche nous permet de vérifier les corrélats acoustiques déjà révélés dans des recherches antérieurs pour les deux langues ; ainsi si l'expression de l'ironie en chinois mandarin et en français sont marqués par un débit de parole plus lent et une intensité plus basse, la gestion de la f0 est différente, le mandarin étant parqué par une hauteur réduite et une étendue de la hauteur plus étroite, tandis que le français se caractérise par une hauteur élevée et une étendue de la haute plus large.

# 2 Protocole expérimental

## 2.1 Participants

Vingt participants ont été recrutés, comprenant 10 locuteurs natifs de français (âge moyen 23,7 ans (18-30) ; ET 3,3 ; 5 femmes) et 10 locuteurs natifs de mandarin (âge moyen 25,6 ans (22-30) ; ET 2,6 ; 5 femmes). Tous les locuteurs ont rapporté qu'ils ne présentaient aucun troubles émotionnels diagnostiqués ou de conditions physiologiques susceptibles d'affecter potentiellement la vocalisation.

## 2.2 Tâche et procédure

L'expérience se base sur une structure narrative comprenant 12 scénarios adaptés de Spotorno et al. (2012). Chaque scénario attribuait aux participants le rôle de l'un des interlocuteurs dans une conversation quotidienne simulée avec des connaissances ou amis.
Deux types de scènes ont été créés : les critiques ironiques (CI) et son équivalent, les éloges littéraux (EL). Chaque scénario se compose de quatre lignes de contexte, suivies d'une phrase cible à produire. Les deux premières lignes offrent un contexte général. La troisième ligne contient des informations contextuelles critiques susceptibles de donner à la phrase cible une signification ironique ou littérale. Les phrases cibles peuvent être de deux modalités phrastiques différentes : déclaratives et exclamatives. En français, l'exclamative commence par le mot "quel". En mandarin, l'exclamative contient le mot "duome", signifiant également "quel". Un exemple est donné dans le Tableau 1.

<table><caption>TABLE 1 : Exemple de stimuli utilisés pour susciter la critique ironique (CI) et l'éloge littéral (EL).</caption><thead><tr><th></th><th>Crtiques Ironiques</th><th>Éloges littéraux</th></tr></thead><tbody><tr><td rowspan="4">Contexte</td><td colspan="2">Léa et toi chantez dans le même opéra.</td></tr><tr><td colspan="2">Le soir de la première, vous vous retrouvez au théâtre.</td></tr><tr><td>Durant la représentation, vous faites beaucoup de fausses notes.</td><td>La représentation est excellente et on vous a longuement applaudis.</td></tr><tr><td colspan="2">Après le spectacle, tu dis à Léa :</td></tr><tr><td>Phrase cible</td><td colspan="2">Ce soir on a fait une performance magistrale.</td></tr></tbody></table>

Les participants étaient installés dans une cabine insonorisée à l'Université Paris Cité pour garantir un environnement acoustique contrôlé. L'expérience a été menée à l'aide d'une présentation Microsoft affichée sur un écran d'ordinateur. Ils ont été informés qu'ils liraient une série de scripts de quatre lignes, endossant le rôle d'un personnage et prononçant la ligne à laquelle ils estimaient approprié pour la scène. À chaque essai, les participants ont reçu des consignes pour se concentrer sur le contenu des trois lignes du script, en considérant sa pertinence pour la ligne qu'ils devaient prononcer. Une fois préparés, les participants étaient libres de lire l'énoncé cible à leur propre rythme, sans limite de temps. Les participants pouvaient répéter l'énoncé plusieurs fois jusqu'à satisfaction, mais seule de leur dernière tentative était prise en compte et utilisée.

## 2.3 Enregistrement

Les enregistrements ont été réalisés à l'aide d'un microphone casque Shure WH20XLR connecté à un dispositif sonore USB (Komplete Audio 2) et numérisés à une fréquence d'échantillonnage de 44 kHz, en mono-canal et avec une quantification sur 16 bits. Un total de 480 énoncés (20 participants × 2 types de scènes × 12 histoires) ont été enregistrés. Après avoir éliminé les énoncés mal prononcés (19 sur 480), 228 énoncés en français (CI = 116, EL = 112) et 233 énoncés en mandarin (CI = 116, EL = 117) ont été conservés.

## 2.4 Traitement acoustique des données

Les mots et les phonèmes ont été automatiquement segmentés et alignés à l'aide du Montreal Forced Aligner (McAuliffe et al., 2017). Pour garantir la précision, toutes les frontières entre les mots ont été vérifiées et corrigées manuellement. L'annotation et l'analyse acoustique ont été réalisées à l'aide de Praat (version 6.3.10) (Boersma & Weenink, 2001).
Les caractéristiques acoustiques de l'ironie ont été mesurées selon cinq dimensions. La modification de la hauteur impliquait l'analyse des variations de la fréquence fondamentale moyenne (F0) et de l'étendue de la F0. Le débit de parole a été calculé en divisant la durée totale de la phrase par le nombre total de syllabes. La modulation d'intensité examinait l'intensité moyenne et l'étendue de l'intensité. L'évaluation de la qualité de la voix comprenait le jitter (ddb) et le shimmer (local en dB). De plus, le bruit a été mesuré à travers le rapport harmoniques-bruit (HNR) moyen sur l'ensemble de la plage de fréquences. Un total de huit corrélats acoustiques ont été pris en compte pour l'analyse ultérieure. Les mesures ont été effectuées à l'aide de ProsodyPro (Xu, 2013) pour la hauteur, le débit de parole et l'intensité, tandis que la qualité de la voix a été mesurée sur noyau de syllabe à l'aide d'un script Praat adapté d'Al-Tamimi (2022).

## 2.5 Analyse statistique

Tous les paramètres acoustiques extraits ont été analysés dans le langage R, version 4.1.2 (R Core Team, 2021), à l'aide du logiciel Rstudio, version 2023.03.1.446 (RStudio Team, 2023).

Nous avons initialement employé l'algorithme de classification forêts aléatoires (Breiman, 2001) pour étudier les schémas acoustiques pour produire l'ironie en calculant la contribution relative de chaque paramètre acoustique à la production des tons ironiques.

Nous avons utilisé la fonction cforest() du package party (Hothorn et al., 2006; Strobl et al., 2007) pour construire des modèles de forêts aléatoires basés sur des Arbres d'Inférence Conditionnelle en utilisant les 8 corrélats acoustiques. Dans notre analyse, nous avons fixé mtry à 3, correspondant à la racine carrée arrondie des 8 prédicteurs. Le nombre optimal d'arbres (ntree) a été déterminé en utilisant une méthode basée sur des métriques de densité<fnref n="1" /> employé par des études précédentes (Al-Tamimi, 2017; Al-Tamimi & Khattab, 2018). Pour estimer le nombre optimal d'arbres, nous avons généré 20 forêts aléatoires en utilisant le package party avec 100 itérations par forêt. Nous avons ensuite réalisé une comparaison AUC (Zone Sous la Courbe) en utilisant le package pROC (Robin et al., 2011), en générant une courbe ROC. Les valeurs AUC obtenues ont été comparées, et le groupe avec la valeur AUC la plus élevée a déterminé le nombre optimal d'arbres. Après calcul, il a été constaté que les données en mandarin nécessitaient 1200 arbres pour le meilleur ajustement du modèle, tandis que les données en français nécessitaient 1300 arbres. Par conséquent, nous avons exécuté des forêts aléatoires avec ces valeurs respectives de ntree pour assurer les performances optimales du modèle pour chaque ensemble de données. L'importance des variables par permutation conditionnelle a ensuite été calculée pour évaluer le poids relatif de chaque corrélat acoustique dans la présentation des schémas acoustiques pour marquer l'ironie en mandarin et en français.

Deuxièmement, basé sur les résultats de l'analyse de classification Forêt aléatoire, nous avons construit une série de modèles linéaires à effets mixtes (LMM) sur les corrélats acoustiques identifiés comme relativement plus importants. Chaque paramètre acoustique a été analysé avec la fonction lmer() du package lme4 (Bates et al., 2015). Dans le modèle, l'Attitude (EL = 0, CI = 1) et le Sexe (Femme = 0, Homme = 1) ont été inclus en tant qu'effets fixes. Pour tenir compte des effets aléatoires, le Participant et le Type de Phrase ont été spécifiés comme interceptes aléatoires. De plus, le modèle comprenait des pentes aléatoires pour l'Attitude par Participant et le Sexe par Type de Phrase. Par conséquent, le modèle final pour chaque paramètre acoustique peut être représenté par la formule suivante :

<footnote n="1">¹ La méthode est présentée sur le site web suivant : https://jalalal-tamimi.github.io/R-Estimating-Number-Of-Trees-RF/</footnote>
# 3 Résultats

## 3.1 Résultats des forêts aléatoires

Les Figures 1 et 2 présentent les scores d'importance relative des huit paramètres acoustiques pour l'ironie en mandarin et en français.

<figure><img src="image_107.png" /><figcaption>FIGURE 1 : Scores d'importance relative des huit paramètres acoustiques pour l'ironie en français.</figcaption></figure>

<figure><img src="image_108.png" /><figcaption>FIGURE 2 : Scores d'importance relative des huit paramètres acoustiques pour l'ironie en mandarin.</figcaption></figure>

Les résultats de notre analyse révèlent des schémas distincts dans l'utilisation des corrélats acoustiques pour distinguer entre les énoncés en CI et EL pour les locuteurs français et mandarins. Pour les locuteurs français, le jitter émerge comme le corrélat acoustique le plus influent, suivi par l'étendue moyenne de la F0, le shimmer, la moyenne de l'intensité et la moyenne de HNR. En revanche, l'étendue moyenne de l'intensité, le débit de parole et la moyenne de F0 présentent un pouvoir prédictif relativement plus faible pour la distinction entre les deux types de discours chez les locuteurs français.

En revanche, les locuteurs mandarins se basent sur des indices acoustiques différents pour produire l'ironie. Comme le montre la FIGURE 2, le débit de parole joue un rôle pour l'énoncé ironique produit par les locuteurs natifs de mandarin. De plus, la moyenne de F0 et la moyenne de l'intensité contribuent également à la différenciation entre les CI et les EL en mandarin. Notamment, l'étendue de l'intensité, le shimmer et le jitter présentent une contribution minimale pour expliquer les différences entre les énoncés CI et EL en mandarin.

## 3.2 Résultats de LMM

Sur la base de ces résultats de la forêt aléatoire, notre deuxième analyse avec des LMM a été réalisée sur les trois premiers corrélats acoustiques qui ont été identifiés comme des indices principaux de l'ironie. Pour le français, nous avons sélectionné le jitter, l'étendue moyenne de la F0, le shimmer, la moyenne de l'intensité et la moyenne de HNR. Pour le mandarin, nous avons sélectionné le débit
de parole, la moyenne de F0 et la moyenne de l'intensité. Les résultats sont présentés dans le Tableau 2 et le Tableau 3.

Comme indiqué dans le Tableau 2, notre analyse a révélé une diminution statistiquement significative du jitter lors de la production de la CI par rapport à la EL (p < 0,050). En ce qui concerne l'étendue de la F0, les données indiquent une diminution de 0,236 dans l'étendue de la F0 pour marquer l'ironie en français. Cependant, les changements ne présentent pas de différences statistiquement significatives (p = 0,127). Pour ce qui est du résultat du shimmer, nous avons observé une tendance dans le shimmer entre les énoncés CI et EL en français : une diminution statistiquement significative du shimmer de 0,257 lors de la production de CI par rapport à EL en français (p = 0,060). Nos résultats indiquent également qu'en produisant de l'ironie, les locuteurs français présentent une diminution statistiquement significative de l'intensité moyenne (p = 0,050). Cependant, en ce qui concerne la moyenne de F0, les changements ne montrent pas de différences statistiquement significatives (p = 0,280).

Pour le mandarin, il y a eu une diminution statistiquement significative de 0,553 dans le débit de parole pour la CI par rapport au EL (p < 0,005). En ce qui concerne la moyenne de F0, CI présente une diminution statistiquement significative de 0,268 par rapport au EL (p<0,050). Une diminution de 0,423 dans l'intensité moyenne était également statistiquement significative pour produire l'ironie en mandarin (p < 0,005).

<table><caption>TABLE 2 : Résultats des modèles linéaires à effets mixtes (LMM) pour l'ironie en français</caption><thead><tr><th>Corrélats acoustiques</th><th>Estimate</th><th>Std. Error</th><th>df</th><th>t value</th><th>P value</th></tr></thead><tbody><tr><td><strong>Jitter</strong></td><td><strong>-0,366</strong></td><td><strong>0,123</strong></td><td><strong>8,661</strong></td><td><strong>-2,968</strong></td><td><strong>0,016</strong></td></tr><tr><td>L'étendue moyenne de la F0</td><td>-0,236</td><td>0,147</td><td>17,987</td><td>-1,598</td><td>0,127</td></tr><tr><td><strong>Shimmer</strong></td><td><strong>-0,257</strong></td><td><strong>0,119</strong></td><td><strong>8,598</strong></td><td><strong>-2,160</strong></td><td><strong>0,060</strong></td></tr><tr><td><strong>Moyenne de l'intensité</strong></td><td><strong>-0,160</strong></td><td><strong>0,071</strong></td><td><strong>9,052</strong></td><td><strong>-2,256</strong></td><td><strong>0,050</strong></td></tr><tr><td>Moyenne de la F0</td><td>-0,100</td><td>0,087</td><td>9,097</td><td>-1,149</td><td>0,280</td></tr></tbody></table>

<table><caption>TABLE 3 : Résultats des modèles linéaires à effets mixtes (LMM) pour l'ironie en mandarin</caption><thead><tr><th>Corrélats acoustiques</th><th>Estimate</th><th>Std. Error</th><th>df</th><th>t value</th><th>P value</th></tr></thead><tbody><tr><td><strong>Débit de parole</strong></td><td><strong>-0,553</strong></td><td><strong>0,129</strong></td><td><strong>8,991</strong></td><td><strong>-4,275</strong></td><td><strong>0,002</strong></td></tr><tr><td><strong>Moyenne de la F0</strong></td><td><strong>-0,268</strong></td><td><strong>0,084</strong></td><td><strong>9,071</strong></td><td><strong>-3,196</strong></td><td><strong>0,011</strong></td></tr><tr><td><strong>Moyenne de l'intensité</strong></td><td><strong>-0,423</strong></td><td><strong>0,157</strong></td><td><strong>9,081</strong></td><td><strong>-2,694</strong></td><td><strong>0,024</strong></td></tr></tbody></table>
# 4 Discussion et conclusion

Les résultats de l'analyse forêts aléatoires ont soutenu notre hypothèse selon laquelle la caractéristique de l'intonation ironique est spécifique à chaque langue. Nous avons constaté que les locuteurs natifs français ont tendance à manipuler la qualité de leur voix (ex. F0, jitter et shimmer) et l'intensité pour produire l'ironie, tandis que les locuteurs natifs mandarins dépendent fortement de la réduction de leur débit de parole, de leur hauteur et de leur intensité. De plus, nos résultats suggèrent que les schémas des caractéristiques de l'intonation ironique en mandarin et en français sont inverses. Le jitter et le shimmer, deux des principaux corrélats acoustiques pour marquer l'ironie en français, sont les corrélats acoustiques les moins importants pour les locuteurs mandarins natifs. De même, le débit de parole, qui est le corrélat acoustique le plus important pour marquer l'ironie en mandarin, est l'avant-dernier corrélat acoustique pour le français.

Nos résultats des LMM ont montré que l’ironie en mandarin est caractérisée par un débit de parole réduit, une fréquence fondamentale moyenne plus basse et une intensité plus faible. Tous les résultats sont conformes aux conclusions des recherches antérieures (Li et al., 2020; Li & Gu, 2021). Cependant, Li & Gu (2020) comparent le compliment ironique avec le blâme direct, tandis que dans notre étude, nous comparons la critique ironique avec les éloges littéraux. Cela pourrait suggérer qu'en mandarin, il n'existe qu'un seul schéma acoustique pour l'ironie, indépendamment de l'émotion et de l'attitude réelles. Pour explorer cette hypothèse, nous avons déjà mené une étude comparant les quatre types de paroles en mandarin, et les résultats sont en cours d'analyse.

Nos résultats des LMM ont également que l’ironie en français est marquée par une diminution du jitter et une diminution de la moyenne de l’intensité. Nous avons constaté que la modulation de la F0 (ex. la moyenne de la F0 et l’étendue moyenne de la F0) et une diminution du shimmer ne sont pas des corrélats importants pour marquer l’ironie en français. Nous avançons que le sexe des participants pourrait avoir un effet sur les résultats. En effet, des différences de genre dans les caractéristiques acoustiques dans la production de l’ironie ont déjà été rapportées dans la littérature (Chen & Boves, 2018; Li et al., 2020). Nos résultats des LMM suggèrent effectivement une différence statistiquement significative de genre dans l'utilisation de l'étendue de la F0 (p < 0,050), de la moyenne de la F0 (p < 0,005) et du shimmer (p < 0,005) pour produire l’ironie en français. La différence de genre dans l'utilisation des corrélats acoustiques et le mécanisme sous-jacent méritent une étude approfondie.

En conclusion, notre approche, qui utilise un protocole expérimental uniforme dans différentes langues, établit une base plus fiable pour les études inter-langues sur la caractéristique de l’intonation ironique. En utilisant des outils d’analyse de données tels que forêts aléatoires et LMM, notre étude intègre les corrélats acoustiques avec le sens des phrases, offrant ainsi une analyse approfondie des schémas du patron tonal utilisés pour marquer l’ironie dans le français et le mandarin.

# Remerciements

Nous exprimons notre gratitude à Prof. Ioana Chitoran pour ses précieux commentaires et son feedback sur cet article. Nos remerciements vont également à tous les participants ayant pris part à cette étude. Ce travail a bénéficié partiellement d'une aide de l'IdEx Université Paris Cité (ANR-18-IDEX-0001) au titre du Labex Empirical Foundations of Linguistics - EFL et l'opération ProCue au sein de l'axe 2 du Labex. Le premier auteur bénéficie d'une bourse doctorale financée par le China Scholarship Council (CSC).
Références

AL-TAMIMI J. (2017). Revisiting acoustic correlates of pharyngealization in Jordanian and Moroccan Arabic: Implications for formal representations. Laboratory Phonology, 8(1), Article 1. https://doi.org/10.5334/labphon.19

AL-TAMIMI J. (2022). JalalAl-Tamimi/Praat-VQ-Measurements: Praat VQ measurements (Version v2) [Logiciel]. Zenodo. https://doi.org/10.5281/zenodo.7270191

AL-TAMIMI J., & KHATTAB G. (2018). Acoustic correlates of the voicing contrast in Lebanese Arabic singleton and geminate stops. Journal of Phonetics, 71, 306-325. https://doi.org/10.1016/j.wocn.2018.09.010

ANOLLI L., CICERI R., & INFANTINO M. G. (2002). From « blame by praise » to « praise by blame » : Analysis of vocal patterns in ironic communication. International Journal of Psychology, 37, 266-276. https://doi.org/10.1080/00207590244000106

BATES D., MÄCHLER M., BOLKER B., & WALKER S. (2015). Fitting Linear Mixed-Effects Models Using lme4. Journal of Statistical Software, 67, 1-48. https://doi.org/10.18637/jss.v067.i01

BOERSMA P., & WEENINK D. (2001). PRAAT, a system for doing phonetics by computer. Glot international, 5, 341-345.

BREIMAN L. (2001). Random Forests. Machine Learning, 45(1), 5-32. https://doi.org/10.1023/A:1010933404324

BROWN L., WINTER B., IDEMARU K., & GRAWUNDER S. (2014). Phonetics and politeness : Perceiving Korean honorific and non-honorific speech through phonetic cues. Journal of Pragmatics, 66, 45-60. https://doi.org/10.1016/j.pragma.2014.02.011

BRYANT G. A., & FOX TREE J. E. (2005). Is there an Ironic Tone of Voice? Language and Speech, 48(3), 257-277. https://doi.org/10.1177/00238309050480030101

CHEANG H. S., & PELL M. D. (2008). The sound of sarcasm. Speech Communication, 50(5), 366-381. https://doi.org/10.1016/j.specom.2007.11.003

CHEN A., & BOVES L. (2018). What's in a word : Sounding sarcastic in British English. Journal of the International Phonetic Association, 48(1), 57-76. https://doi.org/10.1017/S0025100318000038

COLE J. (2015). Prosody in context : A review. Language, Cognition and Neuroscience, 30(1-2), 1-31. https://doi.org/10.1080/23273798.2014.963130

GONZALEZ-FUENTE S., PRIETO P., & NOVECK I. (2016). A fine-grained analysis of the acoustic cues involved in verbal irony recognition in French. Speech Prosody 2016, 902-906. https://doi.org/10.21437/SpeechProsody.2016-185

HOTHORN T., HORNIK K., & ZEILEIS A. (2006). Unbiased Recursive Partitioning : A Conditional Inference Framework. Journal of Computational and Graphical Statistics, 15(3), 651-674. https://doi.org/10.1198/106186006X133933

JANSEN N., & CHEN A. (2020). Prosodic encoding of sarcasm at the sentence level in Dutch. Speech Prosody 2020, 409-413. https://doi.org/10.21437/SpeechProsody.2020-84

LAVAL V., & BERT-ERBOUL A. (2018, 49-12 10:49:46). French-Speaking Children's Understanding of Sarcasm. ASHA Wire. https://pubs.asha.org/doi/epdf/10.1044/1092-4388%282005/042%29

LI S., & GU W. (2021). Prosodic Profiles of the Mandarin Speech Conveying Ironic Compliment. 2021 12th International Symposium on Chinese Spoken Language Processing (ISCSLP), 1-5. https://doi.org/10.1109/ISCSLP49672.2021.9362092

LI S., GU W., LIU L., & TANG P. (2020). The Role of Voice Quality in Mandarin Sarcastic Speech : An Acoustic and Electroglottographic Study. Journal of Speech, Language, and Hearing Research, 63(8), 2578-2588. https://doi.org/10.1044/2020_JSLHR-19-00166
LOEVENBRUCK H., JANNET M. A. B., D'IMPERIO M., SPINI M., & CHAMPAGNE-LAVAU M. (2013). Prosodic cues of sarcastic speech in French : Slower, higher, wider. Interspeech 2013, 3537-3541. https://doi.org/10.21437/Interspeech.2013-761

MCAULIFFE M., SOCOLOF M., MIHUC S., WAGNER M., & SONDEREGGER M. (2017). Montreal Forced Aligner: Trainable Text-Speech Alignment Using Kaldi. Interspeech 2017, 498-502. https://doi.org/10.21437/Interspeech.2017-1386

R CORE TEAM. (2021). R: A Language and Environment for Statistical Computing. R Foundation for Statistical Computing. https://www.R-project.org/

ROBIN X., TURCK N., HAINARD A., TIBERTI N., LISACEK F., SANCHEZ J.-C., & MÜLLER M. (2011). pROC: An open-source package for R and S+ to analyze and compare ROC curves. BMC Bioinformatics, 12(1), 77. https://doi.org/10.1186/1471-2105-12-77

ROCKWELL P. (2000). Lower, slower, louder: Vocal cues of sarcasm. Journal of Psycholinguistic Research, 29, 483-495. https://doi.org/10.1023/A:1005120109296

RSTUDIO TEAM. (2023). RStudio: Integrated Development Environment for R. RStudio, PBC. http://www.rstudio.com/

SCHARRER L., & CHRISTMANN U. (2011). Voice modulations in German ironic speech. Language and Speech, 54, 435-465. https://doi.org/10.1177/0023830911402608

SPOTORNO N., KOUN E., PRADO J., VAN DER HENST J.-B., & NOVECK I. A. (2012). Neural evidence that utterance-processing entails mentalizing: The case of irony. NeuroImage, 63(1), 25-39. https://doi.org/10.1016/j.neuroimage.2012.06.046

STROBL C., BOULESTEIX A.-L., ZEILEIS A., & HOTHORN T. (2007). Bias in Random Forest Variable Importance Measures: Illustrations, Sources and a Solution. BMC Bioinformatics, 8(25). https://doi.org/10.1186/1471-2105-8-25

XU Y. (2013). ProsodyPro—A Tool for Large-scale Systematic Prosody Analysis. https://api.semanticscholar.org/CorpusID:33738277
# Utilisation de wav2vec 2.0 pour des tâches de classifications phonétiques : aspects méthodologiques

Lila Kim¹ Cédric Gendroit¹

(1) Laboratoire de Phonétique et Phonologie (CNRS & U. Sorbonne Nouvelle), 4 rue des Irlandais, 75005

Paris, France

lila.kim@sorbonne-nouvelle.fr, cedric.gendrot@sorbonne-nouvelle.fr

## RÉSUMÉ

L'apprentissage auto-supervisé, particulièrement dans le contexte de la parole, a démontré son efficacité dans diverses tâches telles que la reconnaissance du locuteur et la reconnaissance de la parole. Notre question de recherche se concentre sur l'efficacité des représentations vectorielles - extraites de phonèmes - plus courtes par rapport à des séquences plus longues dans la détection de la nasalité. Deux approches distinctes ont été étudiées : extraire des vecteurs sur la durée du phonème et prendre des séquences plus longues avec une seconde ajoutée de chaque côté du phonème, puis récupérer la partie centrale a posteriori. Les résultats révèlent que les modèles réagissent différemment selon les phones et les locuteurs, avec une variabilité observée à ces niveaux. Le modèle à séquences longues surpasse le modèle à séquences courtes en assurant une corrélation plus robuste avec le débit d'air nasal.

## ABSTRACT

**Using wav2vec 2.0 for phonetic classification tasks : methodological aspects**

Self-supervised learning, particularly in the context of speech, has been shown to be effective in a variety of tasks such as speaker recognition and automatic speech recognition. Our research question focuses on the effectiveness of vector representations extracted from shorter versus longer phoneme sequences in detecting nasality. Two distinct approaches were studied : extracting vectors over the duration of the phoneme and taking longer sequences with a second added on each side of the phoneme, then recovering the central part a posteriori. The results show that the models react differently depending on the phone and the speaker, with variability observed at both levels. The long sequence model outperformed the short sequence model by correlating more robustly with nasal airflow.

**MOTS-CLÉS** : parole, wav2vec 2.0, nasalité, physiologie.

**KEYWORDS:** speech, wav2vec 2.0, nasality, physiology.

## 1 Introduction

Depuis l'utilisation récurrente de l'apprentissage auto-supervisé dans les tâches de reconnaissance automatique de la parole, plusieurs études ont appliqué ces modèles de Transformers à des domaines tels que la reconnaissance du locuteur, la détection de code-switching ou d'émotions, etc. (Fan et al., 2021; Pepino et al., 2021; Tseng et al., 2021; Cormac English et al., 2022). De plus, Pasad et al. ont montré notamment que les informations diffèrent dans les représentations vectorielles selon les

<figure><img src="image_109.png" /></figure>
couches de Transformers (Pasad et al., 2022, 2023). Il est à noter qu’un modèle de Transformers tel que wav2vec 2.0 prend en compte les informations contextuelles dans une séquence et travaille généralement sur des séquences de plusieurs secondes (Baevski et al., 2020). C’est dans ce contexte que s’inscrit notre question de recherche : les représentations vectorielles extraites sur une séquence de phonèmes permettraient-elles une meilleure performance dans la détection de la nasalité par rapport à une séquence plus longue ? Notre travail consiste donc à explorer la longueur de la séquence pour la prise de vecteurs : la première consiste à prendre des vecteurs sur la durée du phonème, tandis que la seconde consiste à prendre une séquence plus longue en ajoutant une seconde dans les deux côtés du phonème et à récupérer la partie centrale a posteriori.

En premier lieu, nous décrirons les ressources utilisées lors de l'entraînement et du test, ainsi que les méthodes d'extraction utilisées avec le modèle auto-supervisé wav2vec 2.0. En second lieu, nous nous pencherons sur deux approches différentes pour l'extraction des vecteurs et la détection de la nasalité à l'aide d'une régression logistique. Nous évaluerons ensuite le modèle entraîné sur des données acoustiques, en comparant les résultats avec des données physiologiques obtenues simultanément avec l'acoustique, servant ainsi de référence.

# 2 État de l'art

## 2.1 Modélisation acoustique

La parole est un phénomène complexe influencé par divers éléments tels que l'articulation, l'origine géographique ou sociale du locuteur, son état émotionnel et des aspects pragmatiques comme l'auditeur. Pour la transcription automatique de la parole et la modélisation du signal acoustique, des approches ont évolué des systèmes experts vers des approches neuronales. Les premières approches se concentraient sur l'aspect linguistique, alors que les méthodes probabilistes, notamment les modèles de Markov cachés, ont commencé à dominer à partir des années 90. (Juang and Rabiner, 1991; Patel and Srinivas Rao, 2010).

Avec l'avènement des modèles connexionnistes, la phonétisation, l'utilisation de connaissances psycho-acoustiques et le traitement du signal se sont transformés vers des méthodes entièrement neuronales, combinant les représentations spectrales telles que les MFCC avec des perceptrons multicouches. Pour surmonter les défis du Deep Learning tels que le besoin de grandes quantités de données et le manque d'annotations manuelles, des approches d'apprentissage légèrement supervisées ou auto-supervisées ont été entreprises. Ces modèles sont préalablement entraînés sur de grands nombres d'heures d'audio non annoté, puis ajustés sur des ensembles de données annotées de plus moindre taille pour des tâches spécifiques (Baevski et al., 2020). En utilisant la méthode du "probing", Pasad et al. analysent les informations contenues dans les différentes couches de ces modèles en cherchant à mieux comprendre la nature des données à ces niveaux (Pasad et al., 2023, 2022).

## 2.2 Nasalité

La nasalité, fréquemment considérée comme une composante de la qualité de la voix, est une caractéristique omniprésente dans les langues du monde, se produit lorsque le voile du palais s'abaisse. Ce phénomène crée des effets acoustiques distincts sur les sons nasals (Maeda, 1982). Elle est
essentielle dans la production de la parole pour distinguer phonologiquement les sons nasals des sons oraux, que ce soit dans le cas des voyelles (comme /a/ et /ã/, par exemple) ou des consonnes (comme /b/ et /m/, par exemple). La nasalité d'un son peut être propagée à son voisin oral en raison de réalisations articulatoires, telles qu'un abaissement prématuré, un relèvement tardif du velum (Amelot et al., 2008; Brkan, 2018). Cette coarticulation nasale, influencée par le contexte phonémique, peut se produire dans des langues où la nasalité est un trait phonologique distinctif (comme le français, où /a/ dans "maman" est nasalisé), mais aussi dans des systèmes de langue où cette distinction n'est pas présente (comme en anglais, par exemple dans "can't").

La qualité de voix a de grandes implications dans la caractérisation du locuteur (Gold and French, 2019). Elle peut être un élément permanent de la voix d'un locuteur due à des facteurs physiologiques, mais aussi sujette à la variabilité intra-locuteur, notamment dans le style de discours ou l'émotion (Nolan, 2014). Les nasales offrent une caractéristique fiable pour la reconnaissance des locuteurs (Kahn, 2011) en raison de la morphologie de la cavité nasale stable et variable entre locuteurs (Dang et al., 1994; Serrurier, 2006). Cependant, l'analyse acoustique de la nasalité est complexe car le couplage de deux cavités provoquent des modifications acoustiques en engendrant des pôles et zéros sur le spectre acoustique. Bien que les méthodes d'analyse aient été entreprises pour la nasalité (Chen, 1997; Styler, 2017), elles sont très influencées par les caractéristiques articulatoires propres à chaque son, et à chaque locuteur.

# 3 Protocole expérimental

## 3.1 Données pour l'entraînement

Pour l'entraînement et la validation, nous avons extrait les différents types de phones à partir de quatre corpus distincts, chacun représentant un type de parole spécifique. Les corpus de données utilisés dans cette étude comprennent :

1. NCCFr (The Nijmegen Corpus of Casual French) : conversations amicales, impliquant 46 locuteurs français. (Torreira et al., 2010);

2. ESTER (Evaluation de Systèmes de Transcription enrichie d'Emissions Radiophoniques) : conversations radiophoniques en français, parole préparée et lue (Gravier et al., 2004; Galliano et al., 2006). Seule une partie de 30 heures a été retenue pour cet entraînement.

3. PTSVOX : créé pour évaluer les variations intra- et inter-locuteurs. (Chanclu et al., 2020). Nous n'avons retenu qu'une petite partie de ce corpus avec des alignements vérifiés, pour les productions de seulement 24 locuteurs ;

4. BREF : développé dans le but du développement et de l'évaluation des systèmes de reconnaissance de la parole, parole continue. (Lamel et al., 1991). Là encore, tous les alignements en phonèmes ne nous ayant pas été communiqués, seule la moitié du corpus BREF a été utilisée pour les entraînements.

Dans le cadre de ce travail, nous avons décidé d'extraire 8 voyelles et 7 consonnes nasales et orales confondues. Les voyelles sujettes à l'extraction sont 3 paires de voyelles /a,ɛ,o,ã,ɛ,ɔ/ qui peuvent se distinguer par le trait de nasalité [± nasal]. Nous sommes conscients de la distinction articulatoire entre une voyelle orale et sa contrepartie nasale, cependant, dans le contexte de cette étude, nous avons choisi de concentrer notre attention sur la nasalité en particulier. Deux voyelles /e,o/ ont été ajoutées car la phonétisation des voyelles moyennes en français n'est pas toujours systématique. En
ce qui concerne les consonnes, nous avons retenu quatre consonnes orales et trois consonnes nasales : /b,d,v,l,m,n,j/. Elles présentent différentes manières et lieux d'articulation (bilabiale, labio-dentale, dentale, alvéolaire, et occlusive ou fricative). La même liste de phonèmes a été utilisée pour les deux approches mentionnées ultérieurement dans la section 3.3.3, sans prendre en compte le contexte phonétique des phonèmes examinés.

## 3.2 Données acoustiques et physiologiques pour l'évaluation du modèle

Les données de test se composent de deux parties : acoustique et physiologique. Elles ont été recueillies simultanément à l'aide d'un masque "Aeromask" développé au Laboratoire de Phonétique et Phonologie (Elmerich et al., 2023). Ce masque enregistre la voix ainsi que les débits d'air nasal et buccal sans perturber la propagation sonore, ce qui permet d'utiliser l'acoustique pour évaluer le réseau de neurones et les débits d'air pour vérifier la présence de nasalité dans les phones évalués. Les enregistrements des phrases ont été réalisés avec six locuteurs masculins, tous natifs du français. Les stimuli étaient insérés dans des mots sans signification littérale (i.e., logatomes) sous forme de VCV ou VNV, où C représente [p,b,t,d,v,s,z], N représente [m,n], et V représente [i,a,y,u,o,e,ã,ê,ð]. (Elmerich et al., 2020, 2023). Ces séquences de stimuli ont été intégrées dans une phrase de cadre : « Non tu n'as pas dit XXX quatre fois, mais tu as dit YYY et ZZZ quatre fois ». Ainsi, les mots XXX, YYY et ZZZ correspondent à des structures VCV ou VNV. La segmentation manuelle a été effectuée pour ces données. À partir de ces listes de phones, nous avons sélectionné les mêmes phones que pour l'entraînement, à l'exception de /l/ qui n'est pas présent dans la liste, ce qui donne /a,ɛ,o,ã,ê,ð,b,d,v,m,n/. En résumé, 269 sons de chaque classe ont été extraits au total. Les mesures aérodynamiques des phones ont été consignées dans un fichier au format CSV en vue d'une comparaison ultérieure avec les résultats du réseau de neurones profonds. Les données utilisées pour l'entraînement, la validation et le test sont récapitulées dans le tableau 1. Les phonèmes des données de test ont été répartis selon le nombre suivant :ã (66), ê (66), ð (66), m (36), n (35), a (66), E (66), o (66), b (25), d (29), v (17).

<table><caption>TABLE 1 – statistiques des données utilisées pour l'entraînement, la validation et le test</caption><thead><tr><td>Jeu de données</td><td>Phone [+ nasal]</td><td>Phone [- nasal]</td></tr></thead><tbody><tr><td>Entraînement</td><td>60 000</td><td>60 000</td></tr><tr><td>Validation</td><td>15 000</td><td>15 000</td></tr><tr><td>Test</td><td>269</td><td>269</td></tr></tbody></table>

Les données aérodynamiques que nous utiliserons comme référence consistent en trois valeurs : le débit d'air nasal (DAN), le débit d'air buccal (DAB) et le débit d'air nasal proportionnel. Le calcul de ces valeurs est expliqué dans (Kim et al., 2023).

## 3.3 Méthodologie

### 3.3.1 Wav2vec 2.0

Notre recherche s'inscrit dans le cadre de l'exploration de la manière dont le modèle wav2vec 2.0 encode l'information de nasalité dans ses représentations vectorielles. Nous nous concentrons
particulièrement sur le modèle "wav2vec 2.0-FR-3K-large-LeBenchmark", pré-entraîné sur 2 900 heures de divers types de discours en français (spontané, lu et diffusé). Ce modèle a été spécifiquement conçu pour optimiser ses performances dans des tâches liées au français (Parcollet et al., 2023).

Le fonctionnement du modèle wav2vec 2.0 consiste à prendre le signal brut comme données d'entrée, traitées par l'encodeur convolutionnel. Toutes les 25 millisecondes d'audio sont transformées en une séquence de vecteurs, avec un chevauchement de 5 millisecondes entre chaque paire d'échantillons. Ces séquences subissent une normalisation et une fonction d'activation GELU avant d'être acheminées vers les transformers. Pendant la phase de pré-entraînement, le module de quantification est utilisé pour discrétiser les valeurs de sortie de l'encodeur. Les représentations latentes obtenues de l'encodeur subissent ensuite une analyse et une contextualisation par les couches de Transformers, qui capturent l'information sur l'ensemble de la séquence. Le modèle large, en particulier, comporte 24 couches de transformation, chacune produisant un vecteur de 1 024 dimensions en représentations latentes. Les dimensions de la feed-forward sont de 4 096, avec 16 mécanismes d'attention (Baevski et al., 2020).

### 3.3.2 Génération des représentations vectorielles

L'approche d'extraction des embeddings s'appuie sur la méthodologie présentée par (Guillaume et al., 2023), dont l'étude se focalise sur une analyse linguistique d'une langue à partir de la parole dans un extrait audio de 5 secondes où la stratégie de max pooling a été utilisée pour agréger les différentes représentations latentes d'un enregistrement en un seul vecteur, qui représente l'ensemble du signal. Avec cette méthode, deux longueurs d'extrait audio ont été étudiées pour obtenir les représentations vectorielles de nos données. La première, inspirée de l'approche phonétique, implique l'extraction des représentations vectorielles directement sur les phonèmes découpées à leurs frontières. Dans notre cas d'étude, la petite taille des fenêtres d'analyse que nous utilisons rend l'affinage (fine-tuning) impossible. La deuxième approche consiste à utiliser des séquences plus longues, en ajoutant une seconde au début et à la fin du phonème. Une fois que le wav2vec 2.0 prend des caractéristiques contextuelles sur toute la séquence, nous récupérons le vecteur du milieu a posteriori. Par exemple, si la voyelle dure 200 ms, nous avons extrait une séquence de 2,2 secondes, puis effectué un max pooling sur les 200 ms du milieu lors de la récupération des caractéristiques vectorielles. De cette manière, l'information contextuelle sur l'ensemble de la séquence de 2,2 secondes peut être capturée par les blocs de transformations et être présente dans le vecteur du milieu qui représenterait le phonème en question. La récupération du milieu a été effectuée en retirant les secondes ajoutées. Nous reconnaissions que le vecteur du milieu ne correspondrait pas parfaitement à l'ensemble du phonème en question, rendant ainsi la comparaison imparfaite. Les représentations vectorielles ainsi obtenues ont été labellisées à l'aide des labels phonologiques des sons [+ nasal] et [- nasal].

### 3.3.3 Feature probing

Un modèle de régression logistique a été mis en place pour déterminer si le phone prononcé est réalisé avec nasalité (=1) ou sans nasalité (=0). Pour cela, la bibliothèque d'apprentissage automatique en python "scikit-learn" a été utilisée avec les hyperparamètres définis par défaut. La probabilité d'appartenance à la classe nasale est considérée comme une probabilité de nasalité dans les analyses (voir 4.2). La procédure de notre méthodologie est décrite dans la figure 1.
<figure><img src="image_110.png" /><figcaption>FIGURE 1 – Aperçu de la méthodologie expérimentale comprenant l’architecture du modèle de régression logistique</figcaption></figure>

# 4 Résultats

L’analyse des résultats obtenus avec les réseaux de neurones profonds par la mesure physiologique aide à vérifier l’indice de nasalité dans la réalisation des phones. Dans la section 4.1, notre objectif est d’établir si la nasalité est détectable lorsqu’un classifieur est basé sur les caractéristiques extraites par le modèle auto-supervisé wav2vec 2.0, et si les erreurs produites par les réseaux peuvent être expliquées par les débits d’air nasal et buccal. Enfin, dans la section 4.2, nous chercherons à déterminer si les classifieurs ont appris à séparer les phonèmes plutôt qu’à détecter la nasalité, en utilisant les mêmes représentations vectorielles.

## 4.1 Performance du système selon l’approche d’extraction

<figure><img src="image_111.png" /><figcaption>FIGURE 2 – Distribution de l’exactitude globale en fonction des couches du wav2vec 2.0 selon la longueur d’extrait audio</figcaption></figure>

Les taux d’exactitude globale pour la caractéristique de nasalité [± nasal] à travers les différentes couches de Transformers sont illustrés dans la figure 2. Il convient de noter que le seuil sur les probabilités de sortie est fixé à 0,5 pour le choix d’une classe. Afin de déterminer la couche optimale à exploiter, nous avons examiné l’évolution des performances des différentes couches en ce qui concerne la nasalité, allant de l’encodeur CNN à la dernière couche de Transformers. La figure met en évidence la présence d’informations liées à la nasalité dans pratiquement toutes les couches lorsque l’extrait audio est long. Sur les séquences courtes, la nasalité est particulièrement marquée dans la
sortie de l'encodeur CNN et dans les premières couches de Transformers.

Selon Pasad et al., les premières couches du modèle wav2vec 2.0, y compris l'encodeur CNN, sont associées à l'identité acoustique et aux caractéristiques du spectrogramme (Pasad et al., 2022, 2023). À la lumière de ces observations, nous avons décidé de nous focaliser sur la première couche de Transformer afin d'améliorer l'identification de la nasalité en utilisant les caractéristiques acoustiques plutôt que phonémiques. Ainsi, dans le cadre de la classification de la nasalité avec les caractéristiques extraites de la première couche, les performances ont été meilleures pour les séquences longues, avec une exactitude globale de 94.05%, par rapport à 81.04% pour les séquences courtes.

<figure><img src="image_112.png" /><figcaption>FIGURE 3 – Taux de classification correcte pour chaque phonème (séquences longues à gauche et séquences courte à droite)</figcaption></figure>

Dans la figure 3, la proportion de bonnes attributions de classe pour chaque phonème est représentée. Il convient de noter que dans cette visualisation, /E/ représente /e,ɛ/. Les performances varient selon les phonèmes et les modèles. Par exemple, les phonèmes /ð,E,m,n,d/ présentent un taux élevé de bonnes classifications, tandis que les voyelles orales /o,a/ sont moins bien classées par les deux modèles. De plus, les voyelles nasales présentent des niveaux de difficulté similaires : /ɛ/ est considérée comme la plus difficile à détecter en termes de nasalité, tandis que /ð/ est identifiée comme la plus facile. En ce qui concerne le modèle à séquences longues, la consonne la plus difficile à prédire est la nasale /n,m/, tandis que pour le modèle à séquences courtes, c'est la consonne orale /b/.

## 4.2 Comparaison des résultats de classifieurs avec les données physiologiques

Dans cette étude, le coefficient de corrélation de Pearson est utilisé pour examiner la relation linéaire entre la probabilité d'appartenance à la catégorie nasale et le débit d'air nasal. Les corrélations ont été mesurées de trois façons distinctes : (i) nous avons utilisé le débit d'air nasal tel qu'obtenu par l'aeromask (ii) le débit d'air nasal pour chaque paire minimale de phones nasal et oral, par exemple /a/-/ã/. (iii) la normalisation a été réalisée pour chaque paire nasal-oral et pour chaque locuteur. Pour la consonne /v/ sans correspondant nasal, la valeur a été normalisée par rapport à son ensemble.

Que ce soit avec le débit d'air brut ou normalisé, le modèle à séquences longues présente une corrélation plus forte que le modèle à séquences courtes. Nous remarquons deux observations en commun pour les deux modèles. Dans l'ensemble, les probabilités de nasalité sont les plus fortement corrélées avec les valeurs normalisées par phonème et par locuteur. Ceci montre que le débit d'air nasal est propre aux phonèmes et aux locuteurs. Ensuite, la corrélation est la plus forte pour le locuteur MT04 et cette observation est commune dans les deux modèles. Cependant, le locuteur ayant la corrélation la plus faible diffère selon la longueur d'extrait audio et les mesures de débit d'air nasal.
<table><caption>TABLE 2 – Comparaison des résultats obtenus avec les modèles de classification avec le débit d'air nasal (DAN) à l'aide du coefficient de corrélation de Pearson.</caption><thead><tr><th>Débit d'air nasal</th><th>Locuteur</th><th>MT03</th><th>MT04</th><th>MT05</th><th>MT06</th><th>MT07</th><th>MT08</th><th>Tous</th></tr></thead><tbody><tr><td>moyenne</td><td rowspan="3">Séquences longues</td><td>0,75</td><td>0,73</td><td>0,68</td><td>0,70</td><td>0,76</td><td>0,77</td><td>0,70</td></tr><tr><td>phonèmes</td><td>0,66</td><td>0,76</td><td>0,68</td><td>0,68</td><td>0,72</td><td>0,72</td><td>0,68</td></tr><tr><td>phonèmes+locuteurs</td><td>0,70</td><td>0,79</td><td>0,69</td><td>0,68</td><td>0,73</td><td>0,68</td><td>0,71</td></tr><tr><td>moyenne</td><td rowspan="3">Séquences courtes</td><td>0,61</td><td>0,65</td><td>0,59</td><td>0,59</td><td>0,46</td><td>0,69</td><td>0,55</td></tr><tr><td>phonèmes</td><td>0,52</td><td>0,69</td><td>0,58</td><td>0,51</td><td>0,45</td><td>0,64</td><td>0,53</td></tr><tr><td>phonèmes+locuteurs</td><td>0,55</td><td>0,70</td><td>0,61</td><td>0,52</td><td>0,48</td><td>0,60</td><td>0,57</td></tr></tbody></table>

# 5 Discussion et conclusion

Notre objectif était d'étudier la longueur des séquences pour l'extraction de vecteurs afin de faciliter une tâche de classification phonétique, en particulier celle de la nasalité. Deux longueurs ont été examinées : une séquence d'un phonème et une séquence plus étendue avec une seconde ajoutée de chaque côté du phonème. Ces deux approches ont donné des performances satisfaisantes dans la tâche proposée. Les séquences plus longues ont atteint une exactitude globale de 94,05 %, tandis que les séquences plus courtes ont obtenu 81,04 %.

Nos deux modèles ont réussi à se spécialiser à la nasalité dans la parole, mais avec un comportement variant selon les phonèmes et locuteurs. Dans la section 4.1, il a été démontré que le comportement des modèles diffère selon les phonèmes, ce phénomène peut s'expliquer par la variation des positions des articulateurs pendant la réalisation d'un phone et par le fait que le voile du palais se positionne différemment selon les voyelles (Delvaux and Metens, 2002; Amelot et al., 2008). Par exemple, dans le cas de /ã/, qui est le plus correctement identifié parmi les voyelles nasales, le voile du palais s'abaisse davantage et la position de la langue devient plus postérieure jusqu'à ce qu'elle atteigne le velum. Comme cette voyelle induit une ouverture de la bouche ainsi qu'une ouverture du port vélopharyngé, l'air peut circuler dans la cavité nasale (Delvaux and Metens, 2002; Amelot et al., 2008).

La comparaison entre les probabilités de nasalité et les données physiologiques révèle une corrélation entre le débit d'air nasal et les probabilités obtenues avec nos modèles. Cette relation de corrélation varie en fonction des phonèmes et des locuteurs. Par exemple, la corrélation est plus forte lorsque le débit d'air nasal est normalisé par phonème et par locuteur que pour le DAN brut. Le locuteur MT04 présente une corrélation particulièrement forte. Ce locuteur peut être considéré comme ayant une bonne distinction entre la production orale et nasale de la voix.

En conclusion, notre étude a mis en évidence l'utilisation de deux longueurs de séquences pour extraire des informations vectorielles dans le cadre d'une tâche spécifique liée à la nasalité. En comparant nos classifieurs avec des mesures aérodynamiques, une corrélation significative a été observée entre les débits d'air nasal et les probabilités de nasalité. Les résultats révèlent le comportement différencié des modèles selon les phonèmes et les locuteurs, avec une variabilité interlocuteur constatée. Les performances restent constantes chez les locuteurs ayant une bonne distinction entre la production orale et nasale dans la voix, ainsi que chez ceux possédant une voix distinctive. Cependant, il convient de noter que la spécification de l'entraînement sur la nasalité permet une bonne corrélation avec le débit d'air nasal, facilitant ainsi la mise en évidence de phénomènes tels que la quantité de nasalité.
Références

Angélique Amelot, Patricia Basset, Shinji Maeda, Kiyoshi Honda, and Lise Crevier-Buchman. Etude simultanée des mouvements du voile du palais et de l'ouverture du port vélopharyngé. *XXVIIè JEP*, pages 65–68, 2008.

Alexei Baevski, Henry Zhou, Abdelrahman Mohamed, and Michael Auli. wav2vec 2.0 : A Fra-
mework for Self-Supervised Learning of Speech Representations, October 2020. URL http://arxiv.org/abs/2006.11477. arXiv :2006.11477 [cs, eess].

Altijana Brkan. *Etude comparative des phénomènes de coarticulation nasale en anglais américain, bosnien, français, norvégien et ourdou*. PhD thesis, Université Sorbonne Paris Cité, 2018.

Anaïs Chanclu, Laurianne Georgetown, and Corinne Fredouille. PTSVOX : une base de données pour la comparaison de voix dans le cadre judiciaire. 2020.

Marilyn Y. Chen. Acoustic correlates of English and French nasalized vowels. *The Journal of the Acoustical Society of America*, 102(4):2360–2370, October 1997. ISSN 0001-4966, 1520-8524.
DOI: 10.1121/1.419620. URL https://pubs.aip.org/jasa/article/102/4/2360/562446/Acoustic-correlates-of-English-and-French.

Patrick Cormac English, John D. Kelleher, and Julie Carson-Berndsen. Domain-Informed Probing of wav2vec 2.0 Embeddings for Phonetic Features. In *Proceedings of the 19th SIGMORPHON Workhop on Computational Research in Phonetics, Phonology, and Morphology*, pages 83–91, Seattle, Washington, 2022. Association for Computational Linguistics. DOI: 10.18653/v1/2022.sigmorphon-1.9. URL https://aclanthology.org/2022.sigmorphon-1.9.

Jianwu Dang, Kiyoshi Honda, and Hisayoshi Suzuki. Morphological and acoustical analysis of the nasal and the paranasal cavities. *The Journal of the Acoustical Society of America*, 96(4): 2088–2100, 1994. Publisher: Acoustical Society of America.

Véronique Delvaux and Thierry Metens. Propriétés acoustiques et articulatoires des voyelles nasales du français. 2002.

Amélie Elmerich, Angelique Amelot, Shinji Maeda, Yves Laprie, Jean Francois Papon, and Lise Crevier-Buchman. F1 and f2 measurements for french oral vowel with a new pneumotachograph mask. In *ISSP 2020-12th International Seminar on Speech Production*, 2020.

Amélie Elmerich, Jiayin Gao, Angelique Amelot, Lise Crevier-Buchman, and Shinji Maeda. Combining acoustic and aerodynamic data collection: A perceptual evaluation of acoustic distortions. In *INTERSPEECH 2023*, pages 3078–3082. ISCA, August 2023. DOI: 10.21437/interspeech.2023-1918. URL https://www.isca-archive.org/interspeech_2023/elmerich23_interspeech.html.

Zhiyun Fan, Meng Li, Shiyu Zhou, and Bo Xu. Exploring wav2vec 2.0 on speaker verification and language identification, January 2021. URL http://arxiv.org/abs/2012.06185. arXiv:2012.06185 [cs, eess].

Sylvain Galliano, Edouard Geoffrois, Guillaume Gravier, Jean-François Bonastre, Djamel Mostefa, and Khalid Choukri. Corpus description of the ester evaluation campaign for the rich transcription of french broadcast news. In *LREC*, pages 139–142. Citeseer, 2006.

Erica Gold and Peter French. International practices in forensic speaker comparisons : second survey. *International Journal of Speech, Language and the Law*, 26(1):1–20, 2019.

G Gravier, J-F Bonastre, E Geoffrois, S Galliano, K Mc Tait, and K Choukri. The ESTER Evaluation Campaign for the Rich Transcription of French Broadcast News. 2004.
Séverine Guillaume, Guillaume Wisniewski, and Alexis Michaud. Fromsnippet-lects' to doculects and dialects: Leveraging neural representations of speech for placing audio signals in a language landscape. *arXiv preprint arXiv:2305.18602*, 2023.

B H Juang and L R Rabiner. Hidden Markov Models for Speech Recognition. 33(3), 1991.

Juliette Kahn. Parole de locuteur : performance et confiance en identification biométrique vocale. Avignon, 2011.

Lila Kim, Cedric Gendrot, Amélie Elmerich, Angelique Amelot, and Shinji Maeda. Détection de la nasalité du locuteur à partir de réseaux de neurones convolutifs et validation par des données aérodynamiques. 2023.

Lori F Lamel, Jean-Luc Gauvain, Mazcine Eskénazi, et al. Bref, a large vocabulary spoken corpus for french. training, 22(28):50, 1991.

Shinji Maeda. Acoustic cues for vowel nasalization : A simulation study. *The Journal of the Acoustical Society of America*, 72(S1):S102-S102, November 1982. ISSN 0001-4966, 1520-8524. DOI: 10.1121/1.2019690. URL https://pubs.aip.org/jasa/article/72/S1/S102/733010/Acoustic-cues-for-vowel-nasalization-A-simulation.

Francis Nolan. Forensic Speaker Identification and the Phonetic. *A Figure of Speech : A Festschrift for John Laver*, page 385, 2014. Publisher : Routledge.

Titouan Parcollet, Ha Nguyen, Solene Evain, Marcely Zanon Boito, Adrien Pupier, Salima Mdhaf-far, Hang Le, Sina Alisamir, Natalia Tomashenko, Marco Dinarelli, Shucong Zhang, Alexandre Allauzen, Maximin Coavoux, Yannick Esteve, Mickael Rouvier, Jerome Goulian, Benjamin Le-couteux, Francois Portet, Solange Rossato, Fabien Ringeval, Didier Schwab, and Laurent Besacier. LeBenchmark 2.0 : a Standardized, Replicable and Enhanced Framework for Self-supervised Representations of French Speech, September 2023. URL http://arxiv.org/abs/2309.05472. arXiv:2309.05472 [cs, eess].

Ankita Pasad, Ju-Chieh Chou, and Karen Livescu. Layer-wise Analysis of a Self-supervised Speech Representation Model, December 2022. URL http://arxiv.org/abs/2107.04734. arXiv:2107.04734 [cs, eess].

Ankita Pasad, Bowen Shi, and Karen Livescu. Comparative layer-wise analysis of self-supervised speech models, March 2023. URL http://arxiv.org/abs/2211.03929. arXiv:2211.03929 [cs, eess].

Ibrahim Patel and Y Srinivas Rao. Speech Recognition Using HMM with MFCC-An Analysis Using Frequency Spectral Decomposition Technique. *Signal & Image Processing : An International Journal*, 1(2):101-110, December 2010. ISSN 22293922. DOI: 10.5121/sipij.2010.1209. URL http://www.aircconline.com/sipij/V1N2/1210sipij09.pdf.

Leonardo Pepino, Pablo Riera, and Luciana Ferrer. Emotion Recognition from Speech Using Wav2vec 2.0 Embeddings, April 2021. URL http://arxiv.org/abs/2104.03502. arXiv:2104.03502 [cs, eess].

Antoine Serrurier. Modélisation tridimensionnelle des organes de la parole à partir d'images IRM pour la production de nasales - Caractérisation articulatori-acoustique des mouvements du voile du palais. 2006.

Will Styler. On the acoustical features of vowel nasality in English and French. *The Journal of the Acoustical Society of America*, 142(4):2469-2482, October 2017. ISSN 0001-4966, 1520-8524. DOI: 10.1121/1.5008854. URL https://pubs.aip.org/jasa/article/142/4/2469/853233/On-the-acoustical-features-of-vowel-nasality-in.

Francisco Torreira, Martine Adda-Decker, and Mirjam Ernestus. The Nijmegen Corpus of Casual French. *Speech Communication*, 52(3):201-212, March 2010. ISSN 01676393. DOI:
10.1016/j.specom.2009.10.004. URL https://linkinghub.elsevier.com/retrieve/pii/S0167639309001629.

Liang-Hsuan Tseng, Yu-Kuan Fu, Heng-Jui Chang, and Hung-yi Lee. Mandarin-english code-switching speech recognition with self-supervised speech representation models. *arXiv preprint arXiv:2110.03504*, 2021.
Deuxième partie

Articles présentés en session poster
# Adaptation de modèles auto-supervisés pour la reconnaissance de phonèmes dans la parole d'enfant

Lucas Block Medin¹, ², Lucile Gelin¹, ², Thomas Pellegrini²

(1) Lalilo by Renaissance Learning, 236 rue du faubourg Saint Martin, 75010 Paris, France

(2) IRIT, Université de Toulouse, CNRS, Toulouse INP, UT3, Toulouse, France

lucas.block@renaissance.com, lucile.gelin@renaissance.com,

thomas.pellegrini@irit.fr

## RÉSUMÉ

La reconnaissance de parole d'enfant est un domaine de recherche encore peu développé en raison du manque de données et des difficultés caractéristiques de cette tâche. Après avoir exploré diverses architectures pour la RAP d'enfant dans de précédents travaux, nous nous attaquons dans cet article aux nouveaux modèles auto-supervisés. Nous comparons d'abord plusieurs modèles Wav2vec2, HuBERT et WavLM adaptés superficiellement à la reconnaissance de phonèmes sur parole d'enfant, et poursuivons nos expériences avec le meilleur d'entre eux, un WavLM base+. Il est ensuite adapté plus profondément en dégelant ses blocs transformer lors de l'entraînement sur parole d'enfant, ce qui améliore grandement ses performances et le fait surpasser significativement notre modèle de base, un Transformer+CTC. Enfin, nous étudions en détail les comportements de ces deux modèles en conditions réelles de notre application, et montrons que WavLM base+ est plus robuste à diverses tâches de lecture et niveaux de bruit.

## ABSTRACT

**Adapting self-supervised learning for phoneme recognition in child speech.**

Child speech recognition is still an underdeveloped area of research due to the lack of data and the specific difficulties of this task. Having explored various architectures for child speech recognition in previous work, in this article we tackle new self-supervised models. We first compare several Wav2vec2, HuBERT and WavLM models adapted to phoneme recognition in child speech, and continue our experiments with the best of them, a WavLM base+. We then further adapt it by unfreezing its transformer blocks during fine-tuning on child speech, which greatly improves its performance and makes it significantly outperform our base model, a Transformer+CTC. Finally, we study in detail the behaviour of these two models under the real conditions of our application, and show that WavLM base+ is more robust to various reading tasks and noise levels.

**MOTS-CLÉS** : reconnaissance automatique de la parole ; parole d'enfant ; modèles auto-supervisés.

**KEYWORDS:** automatic speech recognition, child speech, self-supervised learning.

## 1 Introduction

Le langage oral des jeunes enfants (5-8 ans) présente des caractéristiques spécifiques liées au développement de leur appareil vocal et à leur contrôle moteur encore en développement : mécanismes articulatoires instables et variabilité spectrale intra- et inter-locuteur·rices (Lee et al., 1999), fréquences fondamentales et formantiques plus élevées que celles des adultes (Mugitani & Hiroya,

<figure><img src="image_113.png" /></figure>
2012), ou encore présence d'erreurs phonologiques (Fringi et al., 2015). Ces différences morphologiques et phonologiques constituent les principales raisons des performances limitées des systèmes de reconnaissance automatique de la parole (RAP) lorsqu'ils sont confrontés aux voix d'enfants.

Les outils numériques d'assistance à la lecture ont un impact pédagogique significatif sur les enfants apprenant à lire, et plusieurs initiatives ont été développées au fil du temps (Mostow & Aist, 2001; Bolaños et al., 2011; Godde et al., 2017). Lalilo<fnref n="1" /> propose un assistant de lecture destiné aux enfants de 5 à 8 ans, comprenant un exercice de lecture à voix haute qui offre un retour personnalisé grâce au système de reconnaissance automatique de phonèmes présenté dans cet article.

Des recherches antérieures sur la RAP des enfants ont montré des performances inférieures à celles observées chez les adultes (Potamianos & Narayanan, 2003; Shivakumar & Georgiou, 2020; Yeung & Alwan, 2018). Des systèmes hybrides ont démontré des améliorations en combinant données d'adulte et d'enfant (Serizel & Giuliani, 2014), ou en utilisant des techniques d'apprentissage par transfert (Shivakumar & Georgiou, 2020). Les architectures récentes dites bout-à-bout, ou end-to-end, ont récemment été adaptées à la RAP d'enfants, et ont atteint ou surpassé les performances des architectures hybrides (Shivakumar & Narayanan, 2021; Gelin et al., 2022).

Récemment, l'apprentissage auto-supervisé (Self-Supervised Learning, SSL) a été introduit dans le domaine de la RAP en raison de son grand potentiel pour améliorer les tâches à faibles ressources en exploitant les connaissances préalables acquises à partir de grandes quantités de données non annotées (Mohamed et al., 2022; N et al., 2021). C'est le cas de la RAP d'enfant, où les données sont rares et leur annotation est complexe et coûteuse. De récentes études ont montré que le potentiel d'apprentissage à partir de données non annotées abondantes est élevé pour de la RAP d'enfants (Jain et al., 2023; Fan et al., 2022).

Nous étudions dans ce papier le comportement des modèles auto-supervisés à l'état de l'art sur nos données spécifiques de parole de jeunes enfants apprenant à lire. Après une rapide comparaison de plusieurs modèles (Wav2vec2 (Baevski et al., 2020), HuBERT (Hsu et al., 2021) et WavLM (Chen et al., 2022)) pour la reconnaissance de phonèmes dans la parole d'enfant, nous adapterons plus en profondeur le meilleur d'entre eux, et le comparerons avec notre système actuel, un Transformer+CTC. Nous analyserons en détail les performances de chacun sur différents types de contenu et dans différents niveaux de bruit.

# 2 Jeux de données

Pour compenser le manque de données disponibles de parole d'enfant, nous utilisons de la parole d'adulte pour entraîner des modèles sources, que nous adaptons ensuite avec de la parole d'enfant.

## 2.1 Parole d'adulte

Nous utilisons pour notre modèle de base une version du corpus Common Voice<fnref n="2" /> français qui contient environ 150 heures de parole lue. Les modèles auto-supervisés sont préentraînés sur de la parole d'adulte non annotée, provenant des corpus suivants :

- Librispeech : 960 heures, annotées, parole lue, anglais (Panayotov et al., 2015);

- Libri-Light : 60 000 heures, non annotées, parole lue, anglais (Kahn et al., 2020);

- VoxPopuli : 24 000 heures, non annotées, parole multilingue (23 langues) (Wang et al., 2021);

- GigaSpeech : 10 000 heures, non annotées, parole lue/spontanée, anglais (Chen et al., 2021).

<footnote n="1">1. https://www.lalilo.com/</footnote>

<footnote n="2">2. Corpus disponible sur : https://voice.mozilla.org/fr</footnote>
## 2.2 Parole d'enfant : Lalilo

Le corpus Lalilo contient des enregistrements d'enfants du CP au CE2, âgés de 5 à 8 ans, lisant orale-
ment divers types de contenu. Les données sont transcrites manuellement au niveau du mot et chaque
mot est étiqueté « correct » ou « incorrect ». Les mots corrects sont phonétisés automatiquement,
tandis que les mots incorrects sont transcrits manuellement au niveau du phonème. L'annotation est
faite par deux annotateur·rice·s, et l'enregistrement est écarté en cas de désaccord.

Lors de l'apprentissage de la lecture, les élèves effectuent diverses tâches de lecture, de difficulté
croissante et appelant à utiliser différents processus cognitifs. Dans la plateforme Lalilo, nous propo-
sons principalement quatre types de contenu, plus ou moins difficiles : des mots isolés, des phrases
courtes, des listes de mots et des listes de pseudo-mots. Les enregistrements sont principalement
recueillis dans le cadre de l'exercice de lecture orale de la plateforme Lalilo, qui est le plus souvent
utilisé dans des salles de classe sous surveillance réduite : ils contiennent des niveaux variables de
bruit de brouhaha. On calcule le niveau de bruit à l'aide d'un rapport signal à bruit (RSB).

Les ensembles d'entraînement et de validation contiennent respectivement 13 heures et 25 minutes de données. Ayant été conçus avant l'ajout de nouveaux types de contenu, ces ensembles ne contiennent que des mots isolés et des phrases. De plus, ils sont uniquement composés d'énoncés correctement prononcés. La transcription correspond au texte demandé à l'élève, phonétisé automatiquement avec un dictionnaire de prononciation. Les ensembles d'entraînement et de validation ont respectivement des RSB moyens de 21,0 dB et 20,6 dB avec des déviations standards de 13,0 dB et 12,6 dB. L'ensemble de test est composé de 3 heures d'énoncés, avec environ 25% des mots qui contiennent une erreur de lecture. Nous utilisons ici les quatre types de contenu, divisant l'ensemble de test en sous-catégories : mots isolés (M, 51 min), phrases (P, 29 min), listes de mots (LM, 56 min) et listes de pseudo-mots (LPM, 50 min). Les valeurs de RSB du test sont identiques à l'ensemble de validation.

# 3 Description des systèmes

Cette section présente les différents systèmes que nous étudierons dans ce papier. Nous entraînons nos
systèmes à la reconnaissance de phonèmes, et non de mots, afin de pouvoir détecter plus efficacement
les erreurs de lecture. Tous nos systèmes sont entraînés avec SpeechBrain (Ravanelli et al., 2021).

## 3.1 Modèle de base : Transformer+CTC

Proposé par (Vaswani et al., 2017) et adapté à la reconnaissance automatique de la parole (RAP) par (Dong et al., 2018), le modèle Transformer suit une architecture end-to-end encodeur-décodeur séquence à séquence (seq2seq). Il se fonde uniquement sur des mécanismes d'attentions, abandonnant les réseaux de neurones récurrents habituels des systèmes seq2seq. La récurrence, essentielle pour extraire l'information de position des trames audio, est remplacée par des encodages positionnels, des modules d'auto-attention multi-tête et d'attention croisée, et des réseaux de neurones à propagation avant tenant compte de la position. Le modèle Transformer+CTC est complété par une fonction CTC (Connectionnist Temporal Classification) en sortie de l'encodeur, qui permet d'améliorer les performances grâce à un entraînement multi-objectif (entropie croisée et CTC) et un décodage joint attention/CTC (Watanabe et al., 2017; Karita et al., 2019a).

Le choix de cette architecture repose sur ses excellentes performances dans des tâches de reconnaissance de parole d'adulte (Karita et al., 2019b), que nous avons confirmées sur la parole d'enfants apprenant·es lecteur·rices dans (Gelin et al., 2021, 2022). Notre modèle suit la même architecture que dans les travaux passés cités ci-dessus, mais une nouvelle version a été entraînée avec SpeechBrain
pour faciliter la comparaison avec les autres modèles. Il contient 14,3 millions de paramètres.

Notre modèle Transformer+CTC est entraîné en deux étapes : un premier modèle source est entraîné sur la parole d'adulte provenant du corpus Common Voice, puis ce modèle est adapté par apprentissage par transfert avec le jeu de parole d'enfant Lalilo. Toutes les couches sont ré-entraînées lors de cette seconde étape, comme le conseillent (Shivakumar & Georgiou, 2020) pour de très jeunes enfants.

## 3.2 Modèles auto-supervisés pré-entraînés

Depuis l'introduction de Wav2vec (Schneider et al., 2019), les modèles auto-supervisés se sont imposés dans le domaine de la RAP. Grâce à l'utilisation de données non annotées pour extraire des représentations latentes, ces modèles peuvent atteindre des résultats à l'état de l'art avec jusqu'à 100 fois moins de données annotées que d'autres modèles supervisés. Ces résultats sont notamment remarquables dans le contexte de la reconnaissance de parole d'enfants, où les modèles de l'architecture Wav2Vec2 (Baevski et al., 2020) atteignent des performances similaires à celles des modèles supervisés de pointe (Jain et al., 2023). Nous avons sélectionné pour notre étude les modèles auto-supervisés préentraînés pour la RAP les plus répandus : Wav2vec2, HuBERT et WavLM.

### 3.2.1 Wav2vec2

Wav2vec2 (Baevski et al., 2020) est une architecture auto-supervisée dite *end-to-end*, fondée sur des réseaux de neurones convolutifs et transformer. L'architecture peut se diviser en trois grandes parties : un encodeur, un réseau contextuel transformer, et un module de quantification.

L'encodeur se compose de sept blocs contenant une convolution temporelle, suivis d'une couche de normalisation des activations (*Layer Norm*) et d'une fonction d'activation GELU. Le réseau contextuel suit l'architecture Transformer. Il remplace cependant l'encodage positionnel absolu par une couche de convolution, qui agit comme un encodage positionnel relatif. Cet encodage passe par une fonction GELU, est ensuite concatené aux sorties de l'encodeur, et le tout subit une normalisation (*Layer Norm*). Le réseau est composé de 12 de ces blocs, de dimension 768, avec une dimension interne de 3082, et 8 têtes d'attention par bloc. Enfin, le module de quantification récupère également la sortie de l'encodeur et la transforme en un ensemble de représentations discrètes via une « quantification » (*product quantization*).

Le modèle Wav2Vec2 est pré-entraîné pour une tâche de prédiction masquée : il vise à prédire la représentation audio latente quantifiée correcte en contexte d'une utterance malgré l'application d'un masque sur une partie des trames audio. L'objectif global de l'entraînement est de minimiser les fonctions de perte de contraste (*contrastive loss*) et de perte de diversité (*diversity loss*).

Nous utilisons un modèle acoustique pré-entraîné Wav2vec2.0 Base<fnref n="3" />. Le modèle est entraîné en utilisant le jeu de données LibriSpeech standard 960h (Panayotov et al., 2015).

### 3.2.2 HuBERT

Le modèle HuBERT (Hsu et al., 2021) reprend l'architecture de Wav2vec2.0, mais remplace le module de quantification par une quantification *K-Means*.

Ce changement implique trois différences fondamentales :

- La représentation discrète est obtenue par la découverte d'unités cachées (*hidden units*), en attribuant à chaque extrait audio un cluster via un algorithme K-Means;

<footnote n="3">3. https://huggingface.co/facebook/wav2vec2-base-960h</footnote>
— L'extraction des représentations est itérative, utilisant d'abord les résultats d'un MFCC, puis les embeddings des couches intermédiaires du modèle pré-entraîné;

— Les fonctions de perte de contraste et de perte de diversité sont remplacées par une perte d'entropie croisée, ce qui simplifie l'entraînement.

Nous utilisons dans cette étude un modèle acoustique pré-entraîné HuBERT Base 4, entraîné également sur Librispeech standard 960h.

### 3.2.3 WavLM

L'architecture WavLM (Chen et al., 2022) reprend celle de HuBERT en introduisant un biais de position relative à porte (*gated relative position bias*) dans les mécanismes d'attention. Au lieu de se fier uniquement aux positions absolues des vecteurs clé et requête, le modèle prend ainsi en compte les positions relatives entre ces vecteurs lors du calcul des scores d'attention.

Le modèle WavLM comporte également des modifications dans la phase de pré-entraînement. La tâche de prédiction masquée est remplacée par une tâche de débruitage et prédiction masquée. Ce procédé, qui cherche à rendre le modèle plus robuste, consiste à simuler des entrées bruitées ou de la parole superposée, puis à prédire des pseudo-étiquettes de l'audio original sur la région masquée.

Nous allons étudier dans ce travail deux modèles WavLM :

— Un modèle WavLM Base 5, entraîné avec les mêmes données que les modèles précédents;

— Un modèle WavLM Base+6, qui possède la même architecture que le WavLM Base, mais est entraîné sur un corpus beaucoup plus vaste composé des données LibriLight, GigaSpeech et VoxPopuli, pour un total d'environ 94 000 heures. Ce corpus étendu permet d'améliorer les performances et la robustesse du modèle WavLM tout en gardant un modèle de taille raisonnable (Chen et al., 2022).

## 4 Adaptation et évaluation des modèles SSL pour la transcription phonémique de parole d'enfant

Nous avons décidé de nous concentrer sur des modèles pré-entraînés SSL de format *Base* plutôt que *Large*. D'une part, la capacité de calcul nécessaire à l'entraînement et au déploiement des modèles *Base* est bien inférieure de par leur plus petit nombre de paramètres (95M contre 317M). D'autre part, nous pouvons constater que, dans le cas de la parole d'enfant, l'amélioration de performance est faible en contrepartie d'une augmentation significative du nombre de paramètres (Jain et al., 2023). Les modèles pré-entraînés en français étaient peu documentés et très hétérogènes en termes de données utilisées, ce qui rendait la comparaison complexe, et nous a poussé à utiliser des modèles anglais.

Pour adapter les systèmes SSL à notre tâche, nous faisons passer les sorties du réseau Transformer (de taille 768) dans une projection linéaire pour faire de la classification de phonèmes. Cette couche comporte 35 classes représentant les phonèmes français et le phonème « vide ». Le modèle est entraîné de façon supervisée avec les données Lalilo, avec pour objectif de minimiser la fonction de perte CTC (Connectionist Temporal Classification). Le taux d'erreur phonème (*Phoneme Error Rate*, PER) est utilisé pour mesurer la performance de nos systèmes sur cette tâche.

Dans cette section, nous comparons les différents modèles présentés précédemment et adaptés à la

<footnote n="4">4. https://huggingface.co/facebook/hubert-base-960h</footnote>

<footnote n="5">5. https://huggingface.co/facebook/wavlm-base</footnote>

<footnote n="6">6. https://huggingface.co/facebook/wavlm-base-plus</footnote>
transcription phonétique de parole d'enfant. Nous explorons également deux méthodes d'adaptation en gelant une ou plusieurs parties des modèles, puis étudierons en détail les performances des systèmes en fonction des caractéristiques spécifiques de notre tâche.

## 4.1 Comparaison des modèles auto-supervisés

Notre première expérience vise à comparer les différents modèles SSL pour notre application. Nous adaptons les modèles en réentraînant uniquement la couche CTC de classification de phonèmes. Les modèles sont entraînés sur maximum 30 epochs, et la sauvegarde obtenant le meilleur PER sur l'ensemble de validation Lalilo est conservée. Pour cette expérience préliminaire, le décodage utilisé est une recherche gloutonne (greedy search).

<table><caption>TABLE 1 – PER (%) des différents modèles entraînés avec fine-tuning (avec le corpus Lalilo) de la dernière couche CTC et décodés par greedy search</caption><thead><tr><td>Modèle</td><td>PER</td></tr></thead><tbody><tr><td>Wav2vec 2.0</td><td>62,9</td></tr><tr><td>HuBERT</td><td>46,3</td></tr><tr><td>WavLM base</td><td>46,8</td></tr><tr><td>WavLM base+</td><td>41,5</td></tr></tbody></table>

On observe que les performances des modèles HuBERT et WavLM surpassent largement celle du modèle Wav2vec. A quantité de données égale, la différence entre HuBERT et WavLM base n'est pas significative. En revanche, le PER obtenu par le modèle WavLM base+, qui a le même nombre de paramètres mais est entraîné sur 100 fois plus de données, est significativement meilleur. Le reste de l'étude sera en conséquence concentré sur celui-ci.

## 4.2 Adaptation du modèle WavLM base+

Nous souhaitons aller plus loin dans l'adaptation du modèle WavLM pour améliorer ses performances sur notre application. Plutôt que d'entraîner uniquement la couche CTC avec la parole d'enfant, nous adaptons également une partie du modèle pré-entraîné. Nous suivons pour cela ce qui est fait dans (Jain et al., 2023) pour l'adaptation d'un modèle Wav2vec2 à de la parole d'enfant : pendant les 1000 premières itérations, seule la dernière couche de classification CTC est entraînée, puis le bloc Transformer est également entraîné. L'encodeur CNN, en revanche, reste gelé. Le taux d'apprentissage est fixé à 5e-4 et la taille de batch à 128, suivant les recommandations de (Chen et al., 2022).

Le tableau 2 affiche les valeurs PER obtenues par le modèle de base Transformer+CTC, ainsi que par deux modèles WavLM : celui de la section 4.1 où seule la couche CTC a été adaptée, dit "gelé", et celui adapté plus en profondeur, dit "dégelé". Ici et dans le reste de l'article, le décodage utilisé pour tous les modèles est une recherche par faisceaux (beam search) avec une taille de faisceaux de 10.

<table><caption>TABLE 2 – PER (%) des modèles Transformer+CTC et WavLM base+, décodés par beam search</caption><thead><tr><td>Modèle</td><td># params entraînables (# total)</td><td>PER</td></tr></thead><tbody><tr><td>Transformer+CTC</td><td>14 M (14 M)</td><td>40,5</td></tr><tr><td>WavLM base+ "gelé"</td><td>28 k (95 M)</td><td>39,2</td></tr><tr><td>WavLM base+ "dégelé"</td><td>90 M (95 M)</td><td>26,1</td></tr></tbody></table>
On observe tout d'abord que le modèle WavLM base+ gelé atteint une performance légèrement meilleure que le modèle de base Transformer+CTC, alors que seule sa couche de classification de phonème (moins de 1‰ des poids du modèle) a été entraînée avec la parole d'enfant. Cela montre que les représentations auto-supervisées du modèle adulte WavLM base+, bien que n'ayant pas vu de parole d'enfant lors de leur apprentissage, sont génériques et aisément adaptables à différents types de parole. Ces résultats doivent cependant être nuancés : les deux modèles obtiennent des résultats comparables mais le Transformer+CTC contient près de 7 fois moins de paramètres. En dégelant le bloc Transformer de WavLM base+, on obtient un PER de 26,1%, soit une réduction relative de 33,4% par rapport au modèle gelé. Ce résultat montre que les représentations WavLM peuvent néanmoins être adaptées pour mieux correspondre à une parole spécifique, et que cette adaptation est efficace malgré une petite quantité de données d'adaptation (13 heures).

## 4.3 Discussion

Dans la section précédente, nous avons vu que les modèles Transformer+CTC et WavLM base+ affichent une différence de PER de 14.4%. Dans cette section, nous souhaitons savoir si cette différence est répartie de façon égale en fonction des différentes tâches de lecture présentées aux systèmes, ainsi qu'en fonction des différentes conditions de bruit en salle de classe.

### 4.3.1 Application aux tâches de lecture de Lalilo

Nous proposons maintenant d'explorer la performance des systèmes en fonction des différentes tâches de lecture proposées aux élèves, détaillées dans la section 2.2. Les valeurs de PER obtenues sont visibles dans la première partie du tableau 3. On observe aisément que la différence de PER entre les deux modèles dépend effectivement de la tâche de lecture.

<table><caption>TABLE 3 – PER (%) des modèles Transformer+CTC et WavLM base+, décodés par *beam search*, en fonction de la tâche de lecture (P = phrase, M = mot, LM = liste de mots, LPM = liste de pseudo-mots) et/ou du niveau de bruit.</caption><thead><tr><th rowspan="2">Modèle</th><th colspan="4">Tâche de lecture</th><th colspan="3">Niveau de bruit</th></tr><tr><th>P</th><th>M</th><th>LM</th><th>LPM</th><th>faible</th><th>moien</th><th>fort</th></tr></thead><tbody><tr><td>Transformer+CTC</td><td>16,5</td><td>34,0</td><td>46,5</td><td>59,0</td><td>14,6</td><td>24,6</td><td>40,6</td></tr><tr><td>WavLM base+ "dégelé"</td><td>16,4</td><td>25,5</td><td>28,3</td><td>32,9</td><td>13,4</td><td>21,7</td><td>31,6</td></tr></tbody></table>

Les phrases courtes représentent la tâche la plus facile pour la RAP, avec un contexte suffisant mais pas trop grand, et la présence de mots de liaisons couramment vus en apprentissage. C'est de plus une tâche classique pour les corpus de parole d'adulte. Sur ce sous-ensemble (P dans le tableau), il n'y a pas de différence significative entre les deux modèles. Les deux modèles sont adaptés avec la même quantité de parole d'enfant. Sur cette tâche facile et connue, l'apprentissage supervisé d'un petit modèle (14 M de paramètres) avec 150 heures de parole d'adulte est donc aussi efficace que l'apprentissage non supervisé d'un gros modèle (95 M) sur près de 100 000 heures de parole.

Sur la reconnaissance de phonèmes dans des mots isolés (M dans le tableau), on observe que le WavLM est significativement meilleur (-8,5% absolu). Les mots pouvant contenir aussi peu que 2 phonèmes, la difficulté du Transformer+CTC peut s'expliquer par le manque de contexte sur lequel les mécanismes d'attention peuvent s'appuyer. Ce phénomène a notamment été observé dans (Chan et al., 2016), où la performance du modèle se dégrade significativement lorsque l'énoncé ne contient qu'un seul mot. Le WavLM contient également un bloc Transformer qui est affecté par ce phénomène, mais il est probablement compensé par l'utilisation d'un encodeur CNN, dont les convolutions permettent de tirer le meilleur parti du manque de contexte.
Les listes de mots (LM) et de pseudo-mots (LPM) n'ont pas été vues pendant l'apprentissage, ce qui en fait des tâches légèrement hors domaine. C'est d'autant plus le cas pour les listes de pseudo-mots car les pseudo-mots n'existent pas et n'ont jamais été vus dans aucun corpus de parole d'adulte ou d'enfant. Sur ces tâches, on observe que le modèle WavLM est bien meilleur que le Transformer+CTC. On observe également que plus la tâche est hors domaine, plus la réduction relative de PER apportée par le WavLM s'accentue : -39% sur les listes de mots, -44% sur les listes de pseudo-mots. On peut déduire de ces observations que le modèle WavLM possède une meilleure capacité de généralisation, qui est sûrement liée à la quantité de données rencontrées, mais également à l'apprentissage auto-supervisé qui est moins contraint et crée ainsi des représentations plus génériques.

### 4.3.2 Robustesse au bruit de salle de classe

Nous souhaitons également étudier le comportement de nos deux systèmes en conditions réelles de salle de classe, c'est à dire avec différents niveaux de bruit. Nous divisons notre ensemble de test en trois niveaux de bruit :

- Faible : enregistrements avec un RSB supérieur à 25 dB;

- Moyen : enregistrements avec un RSB compris entre 10 et 25 dB;

- Fort : enregistrements avec un RSB inférieur à 10 dB.

La seconde partie du tableau 3 affiche les résultats sur ces sous-catégories. On observe évidemment que, pour les deux modèles, la performance se dégrade fortement avec l'augmentation du niveau de bruit. Il est intéressant de noter que la différence de PER entre les deux modèles augmente avec le niveau de bruit : 1,2% sur du bruit faible, 2.9% sur du bruit moyen et 9.0% sur du bruit fort. Le modèle WavLM témoigne ainsi d'une plus grande robustesse au bruit.

Pour confirmer cette observation, nous regardons les performances des modèles en fonction du bruit sur le sous-ensemble de test P, sur lequel les modèles obtiennent un PER comparable.

- Transformer+CTC : 10,6 (faible) - 17,1 (moyen) - 30,0 (fort)

- WavLM base+ : 12,5 (faible) - 17,1 (moyen) - 26,8 (fort)

On voit ainsi que le WavLM est bien plus robuste dans des conditions de bruit fort, au prix d'une moins bonne performance lorsqu'il n'y a qu'un bruit faible. Ces résultats sont en accord avec les changements introduits dans le pré-entraînement de WavLM, ayant pour objectif de rendre le modèle plus robuste à des conditions acoustiques difficiles (Chen et al., 2022).

## 5 Conclusion

Les systèmes capables de transcrire avec précision la parole d'enfant sont encore rares, notamment en français, en raison d'un manque de données disponibles et d'une difficulté accrue sur ce type de parole. Nous explorons ici l'adaptation des nouveaux modèles auto-supervisés à la reconnaissance de phonèmes sur de la parole de jeunes enfants. Dans un premier temps, nous sélectionnons trois modèles (Wav2vec2, HuBERT et WavLM, en version *base*) et adaptons une couche CTC de classification de phonèmes avec notre corpus de parole d'enfant. Nous observons que les modèles HuBERT et WavLM surpassent Wav2vec2, et que le modèle WavLM base+, entraîné sur 100 fois plus de données tout en conservant le même nombre de paramètres, est significativement plus performant que les autres. Dans un second temps, nous adaptons le modèle WavLM base+ plus en profondeur en dégelant les blocs Transformer du modèle, ce qui améliore ses performances de 33,4% relatifs. Nous montrons qu'il obtient une précision largement meilleure que celle obtenue par notre modèle de base, un Transformer+CTC. Enfin, nous analysons les comportements de nos modèles face à différentes tâches de lecture et conditions de bruit, et montrons que le WavLM base+ est plus efficace sur des enregistrements très courts, généralise mieux à des contenus non vus en apprentissage, et est plus robuste à un bruit de salle de classe.
Références

BAEVSKI A., ZHOU H., MOHAMED A. & AULI M. (2020). wav2vec 2.0 : A framework for self-supervised learning of speech representations.

BOLAÑOS D., COLE R., WARD W., BORTS E. & SVIRSKY E. (2011). FLORA : Fluent oral reading assessment of children's speech. *IEEE/ACM Transactions on Audio, Speech, and Language Processing (TASLP)*, 7(4), 16. DOI: 10.1145/1998384.1998390.

CHAN W., JAITLY N., LE Q. & VINYALS O. (2016). Listen, Attend and Spell : A neural network for large vocabulary conversational speech recognition. In *IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*, p. 4960–4964. DOI: 10.1109/ICASSP.2016.7472621.

CHEN G., CHAI S., WANG G., DU J., ZHANG W.-Q., WENG C., SU D., POVEY D., TRMAL J., ZHANG J., JIN M., KHUDANPUR S., WATANABE S., ZHAO S., ZOU W., LI X., YAO X., WANG Y., WANG Y., YOU Z. & YAN Z. (2021). Gigaspeech : An evolving, multi-domain asr corpus with 10,000 hours of transcribed audio.

CHEN S., WANG C., CHEN Z., WU Y., LIU S., CHEN Z., LI J., KANDA N., YOSHIOKA T., XIAO X., WU J., ZHOU L., REN S., QIAN Y., QIAN Y., ZENG M., YU X. & WEI F. (2022). Wavlm : Large-scale self-supervised pre-training for full stack speech processing. *IEEE Journal of Selected Topics in Signal Processing*, **16**, 1–14. DOI: 10.1109/JSTSP.2022.3188113.

DONG L., XU S. & XU B. (2018). Speech-transformer : A no-recurrence sequence-to-sequence model for speech recognition. In *IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*, p. 5884–5888. DOI: 10.1109/ICASSP.2018.8462506.

FAN R., ZHU Y., WANG J. & ALWAN A. (2022). Towards better domain adaptation for self-supervised models : A case study of child asr. *IEEE Journal of Selected Topics in Signal Processing*, **16**(6), 1242–1252. DOI: 10.1109/JSTSP.2022.3200910.

ERING E., LEHMAN J. F. & RUSSELL M. J. (2015). Evidence of phonological processes in automatic recognition of children's speech. In *Proc. of the Annual Conference of the International Speech Communication Association (INTERSPEECH)*, Dresden, p. 1621–1624.

GELIN L., DANIEL M., PINQUIER J. & PELLEGRINI T. (2021). End-to-end acoustic modelling for phone recognition of young readers. *Speech Communication*, **134**, 71–84. DOI: https://doi.org/10.1016/j.specom.2021.08.003.

GELIN L., PELLEGRINI T., PINQUIER J. & DANIEL M. (2022). Améliorations d'un système Transformer de reconnaissance de phonèmes appliqué à la parole d'enfants apprenants lecteurs. In *34èmes Journées d'Études sur la Parole - Parole, Geste, Musique : des unités à leur organisation (JEP 2022)*, volume Session Posters n° 2, p. à paraître, Noirmoutier, France : Association Francophone de la Communication Parlée. HAL : hal-03898401.

GODDE E., BAILLY G., ESCUDERO D., BOSSE M.-L. & ESTELLE G. (2017). Evaluation of reading performance of primary school children : Objective measurements vs. subjective ratings. In *Proc. of the International Workshop on Child Computer Interaction (WOCCI)*, p. 23–27. DOI: 10.21437/WOCCI.2017-4.

HSU W.-N., BOLTE B., TSAI Y.-H. H., LAKHOTIA K., SALAKHUTDINOV R. & MOHAMED A. (2021). Hubert : Self-supervised speech representation learning by masked prediction of hidden units.

JAIN R., BARCOVSCHI A., YIWERE M. Y., BIGIOI D., CORCORAN P. & CUCU H. (2023). A wav2vec2-based experimental study on self-supervised learning methods to improve child speech recognition. *IEEE Access*, **11**, 46938–46948. DOI: 10.1109/ACCESS.2023.3275106.
KAHN J., RIVIERE M., ZHENG W., KHARITONOV E., XU Q., MAZARE P., KARADAYI J., LIPTCHINSKY V., COLLOBERT R., FUEGEN C., LIKHOMANENKO T., SYNNAEVE G., JOULIN A., MOHAMED A. & DUPOUX E. (2020). Libri-light: A benchmark for asr with limited or no supervision. In *ICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*: IEEE. DOI: 10.1109/icassp40776.2020.9052942.

KARITA S., SOPLIN N. E. Y., WATANABE S., DELCROIX M., OGAWA A. & NAKATANI T. (2019a). Improving Transformer-Based End-to-End Speech Recognition with Connectionist Temporal Classification and Language Model Integration. In *Proc. of the Annual Conference of the International Speech Communication Association (INTERSPEECH)*, Graz, p. 1408–1412. DOI: 10.21437/Interspeech.2019-1938.

KARITA S., WANG X., WATANABE S., YOSHIMURA T., ZHANG W., CHEN N., HAYASHI T., HORI T., INAGUMA H., JIANG Z., SOMEKI M., SOPLIN N. E. Y. & YAMAMOTO R. (2019b). A Comparative Study on Transformer vs RNN in Speech Applications. *IEEE Workshop on Automatic Speech Recognition and Understanding (ASRU)*, (April 2020), 449–456. DOI: 10.1109/ASRU46091.2019.9003750.

LEE S., POTAMIANOS A. & NARAYANAN S. S. Y. (1999). Acoustics of children’s speech : developmental changes of temporal and spectral parameters. *The Journal of the Acoustical Society of America*, **105**(3), 1455–1468. DOI: 10.1121/1.426686.

MOHAMED A., LEE H.-Y., BORGHOLT L., HAVTORN J. D., EDIN J., IGEL C., KIRCHHOFF K., LI S.-W., LIVESCU K., MAALØE L. et al. (2022). Self-supervised speech representation learning : A review. *IEEE Journal of Selected Topics in Signal Processing*.

MOSTOW J. & AIST G. (2001). Evaluating tutors that listen : An overview of Project LISTEN. In *Smart machines in education : The coming revolution in educational technology.*, p. 169–234. The MIT Press. DOI: 10.5555/570950.570957.

MUGITANI R. & HIROYA S. (2012). Development of vocal tract and acoustic features in children. *The Journal of the Acoustical Society of Japan*, **68**(5), 234–240. DOI: 10.1250/ast.33.215.

N K. D., WANG P. & BOZZA B. (2021). Using Large Self-Supervised Models for Low-Resource Speech Recognition. In *Proc. Interspeech 2021*, p. 2436–2440. DOI: 10.21437/Interspeech.2021-631.

PANAYOTOV V., CHEN G., POVEY D. & KHUDANPUR S. (2015). Librispeech : An asr corpus based on public domain audio books. In *IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*, p. 5206–5210. DOI: 10.1109/ICASSP.2015.7178964.

POTAMIANOS A. & NARAYANAN S. (2003). Robust Recognition of Children’s Speech. *IEEE Transactions on Speech and Audio Processing*, **11**(November 2003), 603–616. DOI: 10.1109/TSA.2003.818026.

RAVANELLI M., PARCOLLET T., PLANTINGA P., ROUHE A., CORNELL S., LUGOSCH L., SUBAKAN C., DAWALATABAD N., HEBA A., ZHONG J., CHOU J.-C., YEH S.-L., FU S.-W., LIAO C.-F., RASTORGUEVA E., GRONDIN F., ARIS W., NA H., GAO Y., MORI R. D. & BENGIO Y. (2021). SpeechBrain : A general-purpose speech toolkit. arXiv:2106.04624.

SCHNEIDER S., BAEVSKI A., COLLOBERT R. & AULI M. (2019). wav2vec : Unsupervised Pre-Training for Speech Recognition. In *Proc. of the Annual Conference of the International Speech Communication Association (INTERSPEECH)*, Graz, p. 3465–3469. DOI: 10.21437/Interspeech.2019-1873.

SERIZEL R. & GIULIANI D. (2014). Deep neural network adaptation for children’s and adults’ speech recognition. In *Proc. of the Italian Computational Linguistics Conference (CLiC-it)*, p. 137–140. HAL: hal-01393975.
SHIVAKUMAR P. G. & GEORGIOU P. (2020). Transfer learning from adult to children for speech recognition : Evaluation, analysis and recommendations. *Computer Speech & Language*, **63**, 101077.
DOI: 10.1016/j.csl.2020.101077.

SHIVAKUMAR P. G. & NARAYANAN S. (2021). End-to-end neural systems for automatic children speech recognition : An empirical study. *ArXiv preprint :2102.09918*.

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER U. & POLOUKHIN I. (2017). Attention is all you need. In *Proc. of the International Conference on Neural Information Processing Systems (NIPS)*, p. 6000–6010, Red Hook, NY, USA : Curran Associates Inc.

WANG C., RIVIÈRE M., LEE A., WU A., TALNIKAR C., HAZIZA D., WILLIAMSON M., PINO J. & DUPOUX E. (2021). Voxpopuli : A large-scale multilingual speech corpus for representation learning, semi-supervised learning and interpretation.

WATANABE S., HORI T., KIM S., HERSHEY J. R. & HAYASHI T. (2017). Hybrid CTC/Attention architecture for end-to-end speech recognition. *IEEE Journal of Selected Topics in Signal Processing*, **11**(8), 1240–1253. DOI: 10.1109/JSTSP.2017.2763455.

YEUNG G. & ALWAN A. (2018). On the difficulties of automatic speech recognition for kindergarten-aged children. In *Proc. of the Annual Conference of the International Speech Communication Association (INTERSPEECH)*, Hyderabad, p. 1661–1665. DOI: 10.21437/Interspeech.2018-2297.
# Allongement vocalique en italien L2 et en français L2 : une marque de focalisation ?

Bianca Maria De Paolis¹, ²

(1) LFSAG - Laboratorio di Fonetica Sperimentale "Arturo Genre", Università di Torino, Italie

(2) UMR 7023 - Structures Formelles du Langage, CNRS/Université Paris 8, France

biancamaria.depaolis@unito.it

## RÉSUMÉ

Notre étude explore le rôle de la durée vocalique comme indice de focalisation, à la fois en italien et en français, tant pour les locuteurs natifs que pour les apprenants L2. Nous visons à décrire l'influence potentielle de la L1 sur la L2 concernant cet indice. L'analyse porte sur la parole élicitée de 60 participants, répartis en quatre groupes : 15 italophones natifs, 15 francophones natifs, 15 apprenants francophones d'italien L2 et 15 apprenants italophones de français L2. Les locuteurs ont produit le même constituant cible en quatre conditions informationnelles : *background*, focalisation large, focalisation étroite identificative, focalisation étroite corrective. Les résultats montrent une influence du contexte informationnel sur la durée des voyelles accentuées chez les natifs italophones, mais pas chez les natifs français. Cette divergence se reflète chez les apprenants : les apprenants italophones de français ajustent la durée des voyelles accentuées selon la condition informationnelle, tandis que les francophones apprenant l'italien ne le font pas. Nous discutons ces résultats en lien avec d'autres marqueurs prosodiques et syntaxiques de focus, en tenant compte des différences typologiques entre l'italien et le français et des théories sur l'acquisition de la prosodie en L2.

## ABSTRACT

### Vowel lengthening in L2 Italian and L2 French : a cue for focus marking ?

Our study investigates the role of vowel duration as a cue for focus marking in both L1 and L2 Italian and French. We aim to compare our data to highlight potential influences of the native language on L2 productions in the use of this cue. The analysis involves task-elicited speech from 60 participants : 15 native Italian speakers, 15 native French speakers, 15 French learners of Italian (L2), and 15 Italian learners of French (L2). Participants produced the same target constituent under four information-structural conditions : background, broad focus, identification focus, and correction focus. Results reveal that the information-structural function significantly influences stressed vowel duration in native Italian, with identification-focus and correction-focus constituents bearing longer duration than background and broad focus. However, the same pattern does not hold in native French. Crucially, this distinction is mirrored in the production of non-native speakers. Italian learners of L2 French, in fact, modulate duration based on the informational role of the constituent; in contrast, French learners of Italian L2 do not. We discuss these findings in relation to previous findings on other prosodic and syntactic markers of focus. Results are commented in light of typological differences in discourse-prominence marking and theories of L2 prosody acquisition.

**MOTS-CLÉS** : focus, durée vocalique, parole non-native, acquisition prosodie L2, français, italien.

**KEYWORDS** : focus, vowel duration, non-native speech, L2 prosody acquisition, French, Italian.

<figure><img src="image_114.png" /></figure>
# 1 Introduction

## 1.1 Focus, contraste et durée des voyelles

Les catégories informationnelles telles que le *background*, le focus et le contraste peuvent être exprimées à travers divers moyens linguistiques, dont beaucoup sont réductibles à la catégorie générale de "prosodie" (Arvaniti, 2020). Parmi les traits prosodiques, la durée des segments vocaliques a été décrite comme un indice significatif dans l'expression de la structure informationnelle, avec des études explorant largement son utilisation et son impact dans différentes langues (Maekawa, 1997; de Jong & Zawaydeh, 2002; de Jong, 2004; Vander Klok et al., 2018). Les études portant sur la variation de la durée induite par le focus ne sont pas abondantes pour le français et l'italien. En fait, la majorité des travaux menés sur ces deux langues traitent de l'interaction entre le focus et les mouvements tonals, considérant l'allongement des voyelles comme une sorte d'effet secondaire (Farnetani & Zmarich, 1997; D'imperio, 2002; Avesani & Vayra, 2003). Les résultats de ces études suggèrent, en tout cas, que le même mécanisme observé dans d'autres langues s'applique au français et à l'italien : à mesure que la saillance ou le contraste d'un constituant au niveau discursif augmentent, la durée de sa voyelle métriquement forte augmente. En termes plus simples, les constituants en *background* dans une énonciation tendent à avoir des voyelles toniques plus courtes, tandis que les constituants focalisés présentent des durées plus longues, les *foci* contrastifs montrant l'allongement le plus significatif. En raison des différences phonologiques entre l'italien et le français — en particulier la présence ou l'absence d'un accent lexical — le phénomène d'allongement des voyelles n'est pas ancré de la même manière dans les deux langues. En italien, le phénomène est associé au noyau de la syllabe portant l'accent lexical, tandis qu'en français, l'allongement affecte la dernière syllabe des unités en focus, c'est-à-dire celle précédant une frontière prosodique (Michelas & German, 2020).

## 1.2 Implications pour l'acquisition d'une langue seconde

Cette convergence-divergence du même phénomène, marquée par des ancrages différents, peut avoir des conséquences intéressantes pour les apprenants L2. Des études menées en situations de contacte linguistique proches à la nôtre (Avesani et al., 2015; Gabriel & Kireva, 2014) ont démontré que la gestion de l'accent, de l'intonation, de la durée vocalique en lien avec l'expression de la structure informationnelle s'avère difficile pour les apprenants L2. Cependant, aucune étude n'a exploré ces phénomènes avec cette combinaison exacte de langues, l'italien en tant que L1 et le français en tant que L2, et *vice versa*. L'objectif de notre travail est donc de mettre en lumière ces interactions, avec une méthodologie et un corpus créés *ad hoc*. Les analyses préliminaires effectuées sur ce même corpus que nous utiliserons ici ont montré que les locuteurs français s'appuient davantage sur les mouvements de fréquence fondamentale (f0) que les locuteurs italiens pour marquer la focalisation. Cette tendance des locuteurs natifs se reflète comme une influence de la L1 dans les groupes d'apprenants (De Paolis et al., 2022, in press) : les apprenants italophones de français utilisent moins l'intonation par rapport aux locuteurs de leur langue cible, et les apprenants francophones d'italien L2 se comportent de manière opposée. Avec cette étude, nous visons à intégrer à cela des informations sur la durée, pour tester si cet autre indice prosodique compense la disparité d'usage de l'intonation. De plus, nous voulons explorer l'influence de la L1 sur le plan fonctionnel : dans les études précédentes, en fait, on a pu observer que les apprenants L2 gardent les memes tendances de leur L1 dans la marque différentielle de deux sous-types de focalisation, identification et la correction (De Paolis et al., 2022, in press).