pour chaque mot de la phrase hypothèse un score acoustique $p_{ac}(w)$ et un score linguistique $p_{lm}(w)$. La meilleure phrase est celle qui maximise la probabilité de la séquence de mots :

$$ \hat{W} = \underset{h_i \in H}{\operatorname{argmax}} \prod_{w \in h_i} p_{ac}(w)^{\alpha} * p_{lm}(w)^{\beta} \quad (1) $$

$\hat{W}$ est la phrase reconnue (le résultat final) ; $H$ est l'ensemble des N-meilleures hypothèses de phrases ; $h_i$ est la i-ème hypothèse de phrase ; $w$ est un mot de l'hypothèse. $\alpha$ et $\beta$ représentent les poids du modèle acoustique et du modèle de langage. Ils sont indispensables car les scores acoustiques et les scores linguistiques ne sont pas toujours normalisés (ce sont souvent des vraisemblances et non des probabilités). Ces poids sont ajustés sur un corpus de développement.

Nous souhaitons ajouter de l'information sémantique pour guider le processus de reconnaissance. L'approche la plus naturelle pour intégrer cette information consiste à modifier le calcul de la probabilité de la séquence de mots de la façon suivante :

$$ \hat{W} = \underset{h_i \in H}{\operatorname{argmax}} \prod_{w \in h_i} p_{ac}(w)^{\alpha} * p_{lm}(w)^{\beta} * p_{sem}(w)^{\gamma} \quad (2) $$

Nous avons ajouté la probabilité sémantique de chaque mot : $p_{sem}(w)$. Pour avoir un bon équilibre entre les différents modèles, nous introduisons un troisième poids $\gamma$ pour pondérer l'information sémantique. Il sera également ajusté sur un corpus de développement.

## 2.1 Définition de contexte et des zones des possibilités

Pour estimer cette probabilité sémantique, nous proposons d'introduire les notions de **contexte et des zones des possibilités.** Un contexte est constituée des mots qui sont communs à toutes les N-meilleures hypothèses générées par le SRAP. Ce contexte nous permet d'extraire des informations sémantiques sur le contexte thématique du document ou de la partie courante du document à reconnaître. Pour obtenir un contexte sémantique plus significatif, il peut être intéressant d'ajouter à ce contexte les mots des phrases précédemment reconnues. **Une zone des possibilités** est une zone située entre les parties contexte. C'est dans cette zone que nous souhaitons retrouver les mots pour corriger la phrase reconnue. À partir des N-meilleures hypothèses d'une phrase, nous allons extraire un contexte et une ou plusieurs zones des possibilités. Chaque zone peut être constituée de plusieurs mots. La Figure 1 illustre ces notions sur un exemple. Ici les 3-meilleurs hypothèses sont les suivantes :

* H1: le chat mange la souris grise

* H2: le chat ange la souris grise

* H3: le chat mange la sous rit grise

Dans ce cas le contexte est composée des mots *le*, *chat*, *la* et *grise*. Ce sont les mots qui sont communs aux trois hypothèses. Entre ces mots, nous définissons deux zones des possibilités : la première est constituée de deux possibilités *mange* et *ange*. La deuxième est aussi constituée de deux possibilités *souris* et *sous rit*. Nous supposons que les zones de possibilités correspondent aux zones où le système de reconnaissance hésite entre différentes solutions.

Pour obtenir le contexte, nous utilisons un algorithme de programmation dynamique qui va permettre d'apparier les hypothèses deux à deux afin de déterminer les mots communs à toutes les hypothèses.
<figure><img src="image_169.png" /><figcaption>Figure 1. Illustration du contexte et des zones de possibilités pour un exemple.</figcaption></figure>

## 2.2 Représentation sémantique du contexte et des zones des possibilités

Pour prendre en compte la sémantique du document à reconnaître, nous proposons de représenter chaque mot des N-meilleures hypothèses par un vecteur d'embedding. Dans notre approche, nous avons utilisé word2vec (Mikolov et al., 2013) et BERT (Devlin, 2018). Il est important de noter, que dans les représentations word2vec, l'embedding d'un mot est statique, c'est-à-dire un mot donné a un seul embedding quel que soit la phrase dans laquelle il apparaît. Dans le cas de représentations de mots à l'aide de BERT, l'embedding d'un mot dépend des autres mots de la phrase dans laquelle il apparaît et donc un mot peut avoir plusieurs embeddings en fonction du contexte de la phrase. Pour prendre en compte cette aptitude de BERT, lors de génération d'embeddings avec BERT pour le contexte, nous remplaçons chaque zone de possibilités par un masque spécial [mask] (comme dans le processus d'apprentissage de BERT) et nous gardons inchangé le contexte. À partir de cette phrase avec les masques, BERT génère un embedding pour le contexte. Pour obtenir l'embedding pour une zone de possibilités, nous utilisons l'hypothèse de reconnaissance correspondante. Dans le cas où il y plusieurs zones de possibilités, toutes les zones de possibilités sont remplacées avec [mask] sauf la zone pour laquelle nous calculons l'embedding.

## 2.3 Calcul de la probabilité sémantique

A partir des représentations sémantiques du contexte et des zones de possibilités, nous pouvons calculer **une probabilité sémantique d'une hypothèse h**. Cette probabilité sera utilisée dans la formule (2).

Pour prendre en compte la sémantique du document, nous représentons chaque mot des N-meilleures hypothèses par un vecteur d'embedding, comme décrit précédemment. Nous calculons un embedding moyen $E_{cont}$ pour la partie contexte qui est égale à la moyenne des vecteurs d'embedding de tous les mots de la partie contexte. De la même manière, nous calculons un embedding moyen $E_{pos}(i, a)$ pour la i-ème zone de possibilité de l'alternative $a_h$ de l'hypothèse h comme la moyenne des vecteurs d'embedding de tous les mots dans cette alternative de la zone de possibilité. Une alternative correspond à un choix dans la zone de possibilité. Nous utilisons la similitude angulaire pour estimer un score sémantique entre chaque zone de possibilité et la partie contextuelle:

$$S_{sem}(E_{cont}, E_{pos}(i, a_h)) = 1 - \frac{\cos^{-1}(\cos(E_{cont}, E_{pos(i, a_h)}))}{\pi} \quad (3)$$
A partir des représentations sémantiques de la partie contexte et des zones de possibilité, nous calculons une probabilité sémantique $P_{sem}(h)$ d'une hypothèse $h$ :

$$P_{sem}(h) = \prod_{i=1}^{N_p} S_{sem}(E_{cont}, E_{pos}(i, a_h)) \quad (4)$$

où $N_p$ est le nombre de zones de possibilité. Nous supposons que l'équation (2) peut être approximée comme suit:

$$\hat{H} = \underset{h \in H}{\operatorname{argmax}} P_{ac}(h)^{\alpha} P_{lm}(h)^{\beta} P_{sem}(h)^{\gamma} \quad (5)$$

L'équation (5) est utilisée pour réévaluer la liste des N meilleures hypothèses. Pour chaque hypothèse, nous calculons le score sémantique et l'associons aux scores acoustiques et linguistiques selon (5). L'hypothèse qui obtient du meilleur score est considérée comme la phrase reconnue.

# 3 Expérimentations

## 3.1 Corpus utilisé

Nous avons utilisé le corpus TED-LIUM, la distribution standard (Hernandez et al., 2018). Ce corpus contient les enregistrements des conférences TED. Le corpus est bien adapté à notre étude car chaque conférence est centrée sur un sujet particulier. L'ajout d'information sémantique avec un large contexte devrait permettre d'améliorer les performances de notre système de reconnaissance.

Le découpage du corpus TED en corpus d'apprentissage, développement et de test est proposé dans la distribution TED-LIUM et correspond à 452 heures d'apprentissage, 8 conférences pour le développement et 11 conférences pour le test. La Table 1 donne quelques statistiques sur le corpus de développement et de test car ce sont ces deux corpus qui nous intéressent pour l'introduction de l'information sémantique.

<table><caption>Table 1 : Corpus de développement et de test du TED-LIUM.</caption><thead><tr><th></th><th>Nbr. de documents audio</th><th>Nbr. de phrases</th><th>Nbr. de mots</th></tr></thead><tbody><tr><td>Développement</td><td>8</td><td>500</td><td>17926</td></tr><tr><td>Test</td><td>11</td><td>1091</td><td>27021</td></tr></tbody></table>

## 3.2 Système de reconnaissance

Notre système de reconnaissance est fondé sur la boîte à outils de reconnaissance vocale Kaldi (Povey et al., 2011). Nous avons utilisé des modèles acoustiques triphones de type TDNN. L'apprentissage des modèles acoustiques TDNN a été réalisé en utilisant les 452 heures du corpus d'apprentissage de TED. Le lexique est composé de 150k mots et le modèle de langage contient 2 millions 4-grams, appris sur un corpus textuel de 250 millions de mots.

De façon classique, nous avons utilisé le corpus de développement pour choisir la meilleure configuration et ajuster les paramètres. Le corpus de test permet d'évaluer la méthode proposée avec les meilleurs paramètres obtenus sur le corpus de développement.

Pour se rapprocher des conditions réelles d'utilisation, nous avons décidé d'ajouter du bruit aux corpus de développement et de test. Nous avons ajouté un bruit additif de 10 dB et de 5dB (bruit de
F16 de la base NOISEX-92 (Varga, 1993)). La performance de notre système sur TED-LIUM sans ajout de bruit est autour de 8 % de taux d'erreur mots.

Les embeddings *word2vec* générés sont de taille 300 et modélisent 700 000 mots. Nous avons utilisé le modèle pré-entraîné *BERT Base* fourni par Google. Il est composé de 12 couches de *transformer*, chacun composés de 12 têtes d'attention. La taille de l'espace est 768. La métrique que nous avons utilisée est le taux d'erreur mots (WER).

# 4 Résultats expérimentaux

Le système de reconnaissance de base donne le taux d'erreur de 15.9 % WER pour le corpus de développement bruitée au Rapport Signal Bruit (RSB) de 10dB. Pour connaître le taux d'erreur minimal que nous pouvons obtenir en utilisant les *N* meilleures hypothèses, nous avons évalué le taux d'erreur *oracle* : 9.8 %. Ce taux est obtenu en sélectionnant l'hypothèse de la liste de *N*-meilleures hypothèses qui minimise le WER pour chaque phrase. Pour le corpus de développement bruité à 5dB nous avons obtenu un WER de 32,2 % et taux d'erreur mots *oracle* de 25,2 %.

<figure><img src="image_170.png" /><figcaption>**Figure 2.** WER en fonction du coefficient sémantique $\gamma$. Méthode sémantique avec l'*embedding* Word2Vec. Corpus de développement TED-LIUM.</figcaption></figure>

Nous avons évalué l'influence du paramètre $\gamma$ (cf. formule 2) utilisé pour équilibrer les scores **acoustiques**, **langagiers** et **sémantiques**. La Figure 3 représente la courbe de ce paramètre pour l'*embedding* de Word2Vec en fonction de taux d'erreur obtenu. Nous observons que ce paramètre est important.

La Table 2 présente les résultats de reconnaissance sur le corpus TED-LIUM pour la partie développement et la partie test, ainsi que dans deux conditions de bruits : 10dB et 5dB. La première ligne de la table correspond au système sans le module sémantique, la dernière ligne à la performance maximale qu'on peut obtenir en recherchant dans N-meilleures phrase (oracle). Les lignes 2 et 3 correspondent aux approches proposées. Sur le corpus de test, nous obtenons une amélioration absolue de 0,4 % pour un RSB de 10dB (21,8 % versus 22,2 %) et de 0,8 % pour un RSB de 5dB (38,2 % versus 39 %) pour les parties test. Nous observons que les approches sémantiques proposées permettent de réduire le taux d'erreur mots. La meilleure performance est obtenue en utilisant l'*embedding* de Word2Vec. Dans les conditions plus bruitées (5dB) l'amélioration est un peu plus importante. Toutes les améliorations sont significatives par rapport au système de base.
<table><caption>**Table 2** : Résultats de reconnaissance en terme de taux d'erreur de mots (WER %). Corpus de développement et de test TED-LIUM, RSB 10dB et 5 dB.</caption><thead><tr><th rowspan="2">Méthode</th><th colspan="2">RSB 10dB</th><th colspan="2">RSB 5dB</th></tr><tr><th>dev</th><th>test</th><th>dev</th><th>test</th></tr></thead><tbody><tr><td>Système de base</td><td>15,9</td><td>22,2</td><td>32,2</td><td>39,0</td></tr><tr><td>Word2Vec embedding</td><td>15,7</td><td><strong>21,8</strong></td><td><strong>31,5</strong></td><td><strong>38,2</strong></td></tr><tr><td>BERT embedding</td><td><strong>15,5</strong></td><td>22,0</td><td>31,6</td><td>38,5</td></tr><tr><td>Oracle</td><td>9,8</td><td>14,0</td><td>25,2</td><td>29,8</td></tr></tbody></table>

# 5 Conclusion et discussion

Dans cet article, nous voulions améliorer les performances d'un système de reconnaissance automatique de la parole en ajoutant des **informations sémantiques**. Nous proposons une méthodologie novatrice de la prise en compte de la sémantique à travers les représentations prédictives qui capturent les caractéristiques sémantiques des mots et de leur contexte. L'efficacité et les propriétés sémantiques de ces représentations récentes de type *embeddings* nous motivent à explorer ces représentations pour notre tâche de reconnaissance de la parole. Nous avons exploré les modèles **Word2Vec et BERT**. Les informations sémantiques sont prises en compte à travers le module de **réévaluation des N-meilleures hypothèses du système de reconnaissance**. Nous avons évalué notre méthodologie sur le corpus des conférences TED-LIUM. Les résultats montrent une amélioration significative du taux d'erreur mots en utilisant la méthodologie proposée.

Il existe de nombreuses extensions possibles de ce travail. Par exemple, il peut être possible d'améliorer les performances en explorant d'autres façons de calculer un *embedding* pour une zone. Il serait également intéressant d'étudier les différentes possibilités pour calculer le score d'une hypothèse.

## Remerciements

Les auteurs remercient la DGA (Direction Générale de l'Armement), Thalès AVS et Dassault Aviation qui soutiennent le financement de cette étude et du programme scientifique «*Man-Machine Teaming*» dans lequel se déroule ce projet de recherche.

# 6 Références

BARONI M., DINU G., KRUSZEWSKI G. (2014) Don't count, predict! A systematic comparison of context-counting vs. context-predicting semantic vectors. *In proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics*.

CORONA R., THOMASON J., MOONEY R.J. (2017). Improving Black-box Speech Recognition using Semantic Parsing. *In proceedings of the The 8th International Joint Conference on Natural Language Processing*.

DEVLIN J., CHANG M.-W., LEE K., TOUTANOVA K. (2018) BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. *arXiv preprint arXiv:1810.04805*.
FERNANDEZ H., NGUYEN H., GHANNAY S., TOMASHENKO N., AND ESTÈVE Y. (2018) TED-LIUM 3: twice as much data and corpus repartition for experiments on speaker adaptation. *In proceedings of SPECOM*.

MIKOLOV, T., SUTSKEVER, I., CHEN, K., CORRADO, G. S. DEAN, J. (2013) Distributed representations of words and phrases and their compositionality. *In Advances in Neural Information Processing Systems 26, 3111–3119*.

OGAWA A., DELCROIX M., KARITA S., NAKATANI T (2018) Rescoring N-best speech recognition list based on one-on-one hypothesis comparaison using encoder-classifier model. *In: Proceedings of the ICASSP*.

PENNINGTON J., SOCHER R., MANNING C.D. (2014) Glove: Global vectors for word representation. *In the Proceedings of the 2014 conference on empirical methods in natural language*.

POVEY D., GHOSHAL A., BOULIANNE G.I, BURGET L., GLEMBEK O., GOEL N., HANNEMANN M., MOTLICEK P., QIAN Y., SCHWARZ P., SILOVSKY J., STEMMER G., VESELY K. (2011). The Kaldi Speech Recognition Toolkit. *In proceedings of IEEE 2011 Workshop on Automatic Speech Recognition and Understanding*.

SHEIKH, I. (2016) Exploitation du contexte sémantique pour améliorer la reconnaissance des noms propres dans les documents audio diachroniques, *These de doctorat en Informatique, Université de Lorraine*.

SHIN J., LEE Y., JUNG K. (2019) Effective Sentence Scoring Method Using BERT for Speech Recognition. *In: Proceedings of Machine Learning Research*, pp.1081-1093.

SONG Y., JIANGY D., ZHAO X., XUY Q., WONG R., FANY L., YANG Q. (2019) L2RS: a learning-to-rescore mechanism for automatic speech recognition. *arXiv:1910.11496v1*.

TURNEY P., PANTEL P. (2010) From Frequency to Meaning: Vector Space Models of Semantics. *In Journal of Artificial Intelligence Research*, 37, pp.141-188.

VARGA A., STEENEKEN H. (1993) Assessment for automatic speech recognition: II. NOISEX-92: A database and an experiment to study the effect of additive noise on speech recognition systems, *Speech Communication*, Volume 12, Issue 3, pp. 247-251

VELIKOVICH L., WILLIAMS I., SCHEINER J., ALEKSIC P., MORENO P., RILEY M. (2018) Semantic Lattice Processing in Contextual Automatic Speech Recognition for Google Assistant, *In the Proceedings of Interspeech*.
# Production de la parole en réponse à de multiples perturbations du feedback auditif

Jinyu Li, Leonardo Lancia

Laboratoire de Phonétique et Phonologie, 19 rue des bernardins, Paris, France
jinyu.li@sorbonne-nouvelle.fr, leonardo.lancia@sorbonne-nouvelle.fr

## RESUME

Des études antérieures ont montré que la production de la parole dépend des conditions du feedback auditif. Cette étude vise à investiguer les interactions entre les effets de trois facteurs différents sur la production de la parole : 1) le retard du feedback auditif (DAF), 2) le décalage de la f0 du feedback auditif et 3) la complexité des syllabes qui composent les énoncés. Nous avons manipulé le feedback auditif de 20 locutrices francophones pendant la répétition de trois phrases. Nous avons pu observer que plus de la moitié des participantes ont tendance à suivre la direction du décalage de la f0 du feedback auditif en recevant en continu cette perturbation. La position syllabique des voyelles est un facteur important affectant l'effet des perturbations du feedback auditif. Cependant les analyses décrites dans cette étude ne montrent pas un effet interactif du DAF et du décalage de la f0 sur la production de la parole.

## ABSTRACT

Speech production in response to multiple perturbations of auditory feedback

Previous studies have shown that speech production depends on the conditions of auditory feedback. In the present study we investigate the interactions between the effects of three different factors: 1) the delay of the auditory feedback, 2) the f0 shift of auditory feedback, and 3) the complexity of syllables composing utterances. We analysed a corpus of French sentences, repeated several times by 20 French-speaking female speakers while their auditory feedback was manipulated. We could show that more than half of the participants tend to follow the direction of the f0 shift of auditory feedback. The vowels' syllabic position is an important factor affecting the effect of perturbations of auditory feedback. However, the analyses reported in this study do not support the idea that DAF and f0 shift have an interactive effect on speech production.

**MOTS-CLÉS** : multiples perturbations du feedback auditif, retard du feedback auditif, décalage de la f0 du signal du feedback auditif, agentivité, position syllabique

**KEYWORDS:** multiple perturbations of auditory feedback, delayed auditory feedback, pitch-shifted auditory feedback, agency, syllabic position

<figure><img src="image_171.png" /></figure>
# 1 État de l'art

Il est bien connu que les locuteurs réagissent rapidement au décalage de la fréquence fondamentale (f0) de leur feedback auditif. En général, ils produisent des réponses compensatoires. C'est-à-dire qu'ils changent leur f0 dans la direction opposée à celle du décalage, lors de la production des voyelles continues (ex : Burnett *et al.*, 1998), des mots monosyllabiques ou multi-syllabiques (Natke & Kalveram, 2001 ; Donath *et al.*, 2002), des phrases (Chen *et al.*, 2007), et même en présence d'un retard du feedback auditif (DAF, ici pour *delayed auditory feedback*, Kalveram & Jäncke, 1989) ou d'une perturbation du volume du feedback auditif (Larson *et al.*, 2000). De nombreux facteurs ont été signalés comme affectant la latence ou l'amplitude des réponses des locuteurs au décalage de la f0. Tout d'abord, la durée syllabique doit être suffisamment longue pour que les locuteurs puissent répondre au décalage (Natke & Kalveram, 2001). La vitesse de la réponse au décalage est proportionnelle à celle du déclenchement du décalage (Larson *et al.*, 2000). De plus, les réponses à cette perturbation du feedback auditif dépendent du contrôle dynamique de la f0 par les locuteurs : dans les tâches qui nécessitent un contrôle précis et dynamique de la f0, l'amplitude des réponses est plus importante, la latence et le temps pour arriver au pic des réponses sont plus courts (Xu *et al.*, 2004).

Il est également important de noter que certains locuteurs suivent parfois la direction du décalage de la f0. Cela se produit davantage lorsque le décalage de la f0 est prévisible (Behroozmand *et al.*, 2012) ou lorsque la plage de décalage est importante (Burnett *et al.*, 1998 ; Behroozmand *et al.*, 2012). De plus, il a été montré que la direction de la réponse des locuteurs était dépendante de la tâche. Par exemple, il a été prouvé que les mécanismes contrôlant les réponses au décalage de la f0 du feedback auditif étaient sensibles à l'inflexion prévue de la f0 (Chen *et al.*, 2007). La tendance à suivre ou contrer la perturbation de la f0 est également liée aux fluctuations du comportement du système de production (Franken *et al.*, 2018) et à l'application de la perturbation à tous les essais de l'expérience ou seulement à certains essais (Franken *et al.*, 2019).

Si les locutrices utilisent un modèle interne (Pickering & Garrod, 2013) pour contrôler leur production de la parole, lorsque les locuteurs suivent la direction de la perturbation de la f0, il semble que l'écart entre les valeurs prévues et perçues de la f0 augmente même. Pourquoi alors les locuteurs suivent-ils parfois la direction de la perturbation ? Ce comportement par ailleurs ressemble à celui observé quand les locuteurs produisent leurs énoncés de façon simultanée à ceux produits par une autre personne, car dans ce cas, ils tendent à imiter les caractéristiques de la voix de cette personne (Zheng *et al.*, 2011). Le comportement du système sensorimoteur lors de la production de la parole pourrait donc dépendre à la fois des conditions du feedback sensoriel et de l'attribution de l'agentivité de la voix entendue. Il manque toutefois à la littérature une étude systématique de la manière dont les facteurs définissant les conditions du feedback sensoriel interagissent. Dans cette étude, nous étudions les interactions entre les effets du DAF, de la perturbation de la f0 du feedback auditif et de la complexité des syllabes composant les énoncés produits sur la production de la parole.
## 2 Expérimentation

Les données de cette étude ont été obtenues auprès de 20 locutrices francophones. Toutes les participantes étaient étudiantes universitaires ayant le français comme langue maternelle, et n'ayant pas de problèmes d'audition et de parole connus. Les participantes ont été divisées en deux groupes de dix selon la direction du décalage de la f0 dans leur feedback auditif (voir plus de détails ci-dessous). Trois phrases de cinq syllabes, se différenciant en complexité syllabique, ont été créées. Les trois phrases se composent respectivement et principalement de syllabes dont la structure est 1) CV : Vivien vit le vin ; 2) CVC : Jacqueline gère le jour ; 3) CCV : Bradley brise le bras. L'expérience s'est effectuée dans une chambre sourde. Les participantes, assises devant l'ordinateur donnant les consignes, portaient un micro et un casque. Les participantes percevaient leur voix, soit manipulée, soit normale, à travers le casque. L'expérience a commencé par une phase de familiarisation au DAF. Il a été demandé aux participantes de lire le court texte français « La bise et le soleil » avec un DAF de 120 ms. Pendant cette phase de familiarisation, le volume du feedback auditif dans le casque a été ajusté afin de minimiser la perception par les participantes de leur propre voix en dehors du casque (Burnett et al., 1998 ; Liu et al., 2012). Ensuite, dans la phase de test, nous avons demandé aux participantes de répéter les trois phrases en leur rythme confortable. Les essais expérimentaux (chacun consistant en une répétition des trois phrases dans un ordre aléatoire différent) ont été organisés en blocs de six. Au total, le test se compose de 16 blocs. Les essais composant le premier bloc ont été considérés comme des essais de contrôle, puisqu'il n'y avait aucune altération du feedback auditif. Pendant tous les essais de chaque bloc suivant, la f0 du signal du feedback auditif a été décalée d'une valeur constante tout le long du bloc (zéro, un ou deux demi-tons). Chaque degré de perturbation de la f0 a été appliqué à cinq blocs choisis au hasard. Pour les 10 participantes composant le groupe 1, le décalage de la f0 était toujours positif, tandis que pour les 10 participantes composantes le groupe 2, le décalage de la f0 était toujours négatif. Au cours de chaque essai, la valeur de DAF a été choisie au hasard parmi 0, 60 et 120 ms. Chaque valeur de DAF a donc été appliquée deux fois dans chaque bloc.

## 3 Analyse et résultats

Nous avons caractérisé les énoncés produits par nos participantes en analysant la durée des voyelles et la valeur médiane de la f0 de chaque voyelle. Nous avons d'abord étiqueté à la main une répétition de chaque phrase produite dans les essais de contrôle de chaque locutrice. Les frontières des phrases et des voyelles placées à la main ont été projetées sur les autres répétitions d'une même locutrice au moyen d'une procédure basée sur le *Dynamic Time Warping* (Sakoe & Chiba, 1978) s'appuyant sur une représentation cepstrale des énoncés (incluant les coefficients de 2 à 13 et leur deltas). En raison de la présence fréquente du dévoisement à la fin de chaque essai (comprenant une répétition des trois phrases), nous avons écarté les valeurs de f0 extraites des voyelles finales des essais.
## 3.1 Effet du DAF sur la durée des voyelles

La première analyse a été menée pour estimer les effets du DAF sur la durée des voyelles (voir la figure 1), afin de vérifier si les effets de cette perturbation étaient cohérents avec ceux observés dans la littérature. Cette analyse a été menée sur l'ensemble des participantes. Nous avons testé l'interaction entre l'effet du DAF, l'effet de la présence d'un accent et l'effet de la phrase par le biais d'une régression par modèles mixtes, séparément pour chaque groupe de locutrices. Aussi bien dans ce modèle, que dans les modèles décrits dans les sections suivantes, les interactions non significatives qui ne contribuaient pas de manière significative à l'adéquation du modèle aux données ont été exclues. La contribution d'une interaction à l'adéquation du modèle a été évaluée en comparant, au moyen d'un test de χ2, les résidus du modèle obtenus avec et sans l'interaction. Chaque modèle comprenait un intercept aléatoire par locutrice et une pente spécifique à la locutrice pour l'effet de chaque prédicteur. Dans tous les modèles qui suivent, l'effet du DAF a été codé avec un contraste par différences successives, tandis que l'effet des phrases a été codé avec un contraste par écart à la moyenne, ce qui a donné lieu à un intercept correspondant au comportement moyen observé sur l'ensemble des phrases.

<figure><img src="image_172.png" /></figure>

**FIGURE 1** : Durée des voyelles accentuées et des voyelles non accentuées dans les conditions sans DAF (0 ms), avec le DAF de 60 ms ou de 120 ms du groupe 1 (qui est perturbé par le décalage positif de la f0 du feedback auditif) et groupe 2 (qui est perturbé par le décalage négatif de la f0 du feedback auditif)

Les voyelles accentuées sont généralement plus longues que les voyelles non accentuées pour le groupe 1 (estimée : 0,566, écart-type : 0,079, t-val. : 7,203, p-val. < 0,001) et le groupe 2 (estimée : 0,381, écart-type : 0,068, t-val. : 5.587, p-val. < 0,001). Les voyelles non accentuées sont allongées par le DAF de 60 ms par rapport à celles dans la condition sans DAF pour le groupe 1 (estimée : 0,202, écart-type : 0,046, t-val. : 4,444, p-val. < 0,001) et le groupe 2 (estimée : 0,239, écart-type : 0,063, t-val. : 3.818, p-val. : 0,001). Elles sont encore plus allongées par le DAF de 120 ms pour le groupe 1 (estimée : 0,113, écart-type : 0,046, t-val. : 2,468, p-val. : 0,019), mais non pas pour le groupe 2.
L'effet d'allongement est plus fort pour les voyelles accentuées avec le DAF de 60 ms à la fois pour le groupe 1 (estimée : 0,143, écart-type : 0,037, t-val. : 3.819, p-val. < 0,001) et pour le groupe 2 (estimée : 0,143, écart-type : 0,039, t-val. : 3.635, p-val. < 0,001). Ce même effet est aussi présent avec le DAF de 120 ms pour le groupe 1 (estimée : 0,159, écart-type : 0,038, t-val. : 4.218, p-val. < 0,001) et le groupe 2 (estimée : 0,191, écart-type : 0,040, t-val. : 4.802, p-val. < 0,001). Les voyelles dans la phrase qui est principalement composée des syllabes CV sont plus longues que celles dans les autres deux phrases, quelles qu'elles soient, non accentuées (estimée : 0,154, écart-type : 0,039, t-val. : 3.946, p-val. < 0,001) et cette différence augmente dans le cas des syllabes accentuées (estimée : 0,060, écart-type : 0,022, t-val. : 2.762, p-val. : 0,006) pour le groupe 1. L'effet de la structure syllabique est présent aussi dans les productions du groupe 2, mais n'augmente pas dans le cas des voyelles accentuées (estimée : 0,131, écart-type : 0,042, t-val. : 3.087, p-val. : 0,005). En revanche, les voyelles non accentuées dans la phrase qui est principalement composée des syllabes CCV sont plus courtes pour le groupe 1 (estimée : -0,247, écart-type : 0,039, t-val. : -6.337, p-val. < 0,001) et le groupe 2 (estimée : -0,261, écart-type : 0,042, t-val. : -6.160, p-val. < 0,001). Mais cet effet est réduit pour les voyelles accentuées aussi bien pour le groupe 1 (estimée : 0,263, écart-type : 0,022, t-val. : 12.165, p-val. < 0,001) que pour le groupe 2 (estimée : 0,293, écart-type : 0,023, t-val. : 12.857, p-val. < 0,001). En général, pour le groupe 1, la structure syllabique n'as pas d'impact sur l'effet du DAF et cela indépendamment de la présence de l'accent. Cependant pour le groupe 2, l'effet de DAF de 60 ms est moins important sur les voyelles non accentuées de la phrase qui est principalement composée des syllabes CCV (estimée : -0,060, écart-type : 0,027, t-val. : -2.190, p-val. < 0,029).

## 3.2 Effet du décalage de la f0 sur la f0 observée pour chaque locutrice

Afin d'évaluer les réponses des locutrices à la perturbation de la f0, nous avons effectué une régression linéaire pour chaque locutrice. Dans ces modèles, la variable dépendante était la valeur médiane de la f0 de chaque voyelle. Nous avons comparé les valeurs observées dans la condition de contrôle (enregistrées avant l'exposition aux perturbations de la f0) aux valeurs observées dans les blocs avec les perturbations d'un décalage positif ou négatif de la f0. Seules les voyelles produites au cours des essais sans DAF ont été prises en compte. En plus de l'effet du décalage de la f0, nous avons testé l'effet de l'accent et de la phrase, ainsi que les effets des interactions doubles et triples entre les prédicteurs. Dans le groupe 1, quatre locutrices montrent un effet significativement positif du décalage de la f0 quelle que soit la plage du décalage et à la fois dans les voyelles accentuées et non accentuées, dont une montre un effet plus fort dans les voyelles accentuées ; Une locutrice montre un effet significativement positif seulement lorsque la plage de la perturbation de la f0 était plus importante. Deux locutrices ont significativement modifié leur f0 en direction opposée de la perturbation. Dans le groupe 2, trois locutrices montrent un effet significativement négatif du décalage de la f0 quelle que soit la plage de décalage et à la fois dans les voyelles accentuées et non accentuées ; Une locutrice montre un effet significativement négatif seulement lorsque la plage de la perturbation était moins importante ; Une locutrice montre le même effet seulement lorsque la plage était plus importante ; Une locutrice montrent un effet significativement négatif quelle que soit la plage de décalage seulement pendant la production des voyelles accentuées. Pendant la production des voyelles non accentuées, cette locutrice montre ce même effet seulement lorsque la plage de la perturbation était moins importante. Une locutrice a significativement augmenté sa f0 en direction opposée de la
perturbation. En général, 55% des locutrices ont suivi la direction du décalage de la f0 au moins pendant la production des voyelles accentuée (voir dans la figure 2 la valeur médiane de la f0 observée dans les essais avec le décalage de la f0 mais sans DAF par rapport à celle observée dans les essais de contrôle de toutes les locutrices de tous les deux groupes). 30% des locutrices ne sont pas significativement affectées par le décalage de la f0. Seulement 15% des locutrices ont compensé le décalage de la f0.

<figure><img src="image_173.png" /></figure>

FIGURE 2 : La f0 médiane des voyelles accentuées et non accentuées des essais de contrôle (0) et des essais avec le décalage de la f0 négatif (-1, -2) ou avec le décalage de la f0 positif (+1, +2) du feedback auditif mais sans le retard du feedback auditif

## 3.3 Interactions entre les facteurs manipulés sur la durée des voyelles

Afin d'analyser les interactions potentielles entre les effets du décalage de la f0 et l'effet du DAF chez les locutrices qui ont suivi la perturbation de la f0, nous avons analysé comment la durée des voyelles était affectée par le décalage de la f0, la quantité du DAF, la phrase et par leurs interactions par le biais d'une régression par modèles mixtes, séparément pour chaque groupe de locutrices et pour les deux positions syllabiques (voyelles accentuées et non accentuées). Nous avons exclu les essais de contrôle. Chaque modèle (un modèle par groupe de locutrices et par position syllabique) comprenait un intercept aléatoire par locutrice et une pente aléatoire spécifique à la locutrice pour chaque prédicteur considéré. Les résultats des deux groupes sont assez homogènes. Les voyelles non accentuées de la phrase qui est principalement composée des syllabes CCV sont plus courtes à la fois pour le groupe 1 (estimée : -0,531, écart-type : 0,106, t-val. : -5.033, p-val. : 0,001) et pour le groupe 2 (estimée : -0,473, écart-type : 0,099, t-val. : -4.754, p-val. : < 0,001). Les voyelles non accentuées sont allongées par le DAF de 60 ms par rapport à celles dans la condition sans DAF aussi bien pour le groupe 1 (estimée : 0,420, écart-type : 0,124, t-val. : 3.387, p-val. : 0,010) que pour le groupe 2 (estimée : 0,417, écart-type : 0,103, t-val. : 4.048, p-val. : 0,002). Cependant, pour tous les deux groupes, l'effet du DAF de 120 ms sur les voyelles non accentuées n'est pas significativement différent que celui de 60 ms. L'effet du DAF de 120 ms est réduit pour les voyelles non accentuées de la phrase CCV pour le groupe 1 (estimée : -0,132, écart-type : 0,054, t-val. : -2.454, p-val. : 0,014)
et aussi pour le groupe 2 (estimée : -0,139, écart-type : 0,049, t-val. : -2.832, p-val. : 0,005). Les voyelles accentuées sont allongées par le DAF de 60 ms par rapport à celles dans la condition sans DAF pour le groupe 1 (estimée : 0,287, écart-type : 0,073, t-val. : 3.949, p-val. : 0,004) et le groupe 2 (estimée : 0,353, écart-type : 0,079, t-val. : 4.486, p-val. < 0,001). Ces voyelles sont encore plus allongées par le DAF de 120 ms pour le groupe 1 (estimée : 0,231, écart-type : 0,073, t-val. : 3.171, p-val. : 0,013) et le groupe 2 (estimée : 0,239, écart-type : 0,079, t-val. : 3.023, p-val. : 0,006). Les voyelles accentuées de la phrase qui est principalement composée des syllabes CV sont plus longues que celles dans les autres deux types de phrase (estimée : 0,217, écart-type : 0,086, t-val. : 2.521, p-val. : 0,030). Pour les deux groupes, le décalage de la f0 et le DAF n'ont pas un effet interactif sur la durée des voyelles des trois types de phrase, indépendamment de la présence de l'accent.

# 4 Discussion

Contrairement à la plupart des études précédentes indiquant que les locuteurs produisaient surtout des commandes motrices compensatoires en réponse à des perturbations inattendues de la f0 du feedback auditif, dans cette étude, plus de la moitié des participantes ont tendance à suivre la direction du décalage de la f0, autrement dit, à adapter leurs commandes motrices au feedback auditif afin de stabiliser leur f0 lorsque le feedback auditif est perturbé de façon continue pendant la production de phrases. En plus, cette adaptation se produit rapidement. Plusieurs études montrent que dans la parole synchronisé (lorsque deux locuteurs produisent les mêmes énoncés de façon simultanée), un locuteur tend à imiter la voix qu'il entend. Cela se produit même lorsque la voix entendue masque la voix du locuteur (Zheng et al., 2011). De plus il a été démontré que dans les tâches de parole synchronisée, la suppression des activations du cortex auditif, qui est interprétée comme un index de la perception de notre propre voix, était absente (Jasmin et al., 2016). En combinant le retard du feedback auditif avec la perturbation de la f0, nous avons produits des conditions d'énonciation qui se rapprochent de la parole synchronisée (ou les locuteurs ne sont jamais parfaitement synchronisés). Il est donc raisonnable d'en déduire que nos participantes n'ont pas traité le signal acoustique perçu comme le produit de leur propre activité phonatoire, mais comme celle d'une autre locutrice. Il est donc possible que les locutrices aient intégré le signal entendu lors de la production des phrases dans leur modèle prédictif interne pour anticiper le déroulement au fil du temps du signal entendu (Pickering & Garrod, 2013). Notre recherche fournit donc un nouveau paradigme pour explorer le sens de l'agentivité en parole et les résultats obtenus nous montrent que l'attribution de l'agentivité dans la production de la parole est flexible et dépendante des conditions d'énonciation.

Conformément à ce qui a été observé dans les études précédentes (ex : Kalveram & Jäncke, 1989), en réponse au retard du feedback auditif, les locuteurs allongent leurs syllabes, surtout les syllabes accentuées. Cette réponse a pour but de réduire le décalage entre les conséquences attendues des commandes motrices et les caractéristiques du signal acoustique. L'étude de Kalveram et Jäncke (1989) a cependant analysé la production de logatomes isolés composés uniquement de syllabes CV. Par conséquent, la sensibilité accrue des syllabes accentuées au DAF, par rapport aux syllabes non accentuées, pourrait être due aussi bien au fait que les voyelles accentuées sont par nature plus longues que les non accentuées, qu'à leur position dans la structure métrique. En demandant à nos participants
de prononcer des phrases dans lesquelles la complexité syllabique a été systématiquement manipulée, nous avons pu montrer que la sensibilité accrue des voyelles accentuées au DAF est principalement due à leur position dans la structure métrique. Car autrement on aurait dû observer un effet de la structure syllabique, étant donné que les voyelles contenues dans les syllabes CV sont plus longues que celles contenues dans des syllabes dont la structure est plus complexe. De plus, en demandant aux locuteurs de prononcer des phrases contenant plusieurs syntagmes accentuels, nous avons montré que la réponse au DAF est modulée par la présence d'un accent au niveau du syntagme accentuel. Ces résultats ont des implications importantes sur le rôle de la structure métrique et du phrasé dans le contrôle moteur de la parole qui méritent des recherches supplémentaires. Pour les locutrices qui ont suivi la direction du décalage de la f0 du feedback auditif, le décalage de la f0 et le DAF n'ont pas d'effets interactifs sur la durée des voyelles des trois types de phrase. Cela pourrait signifier que le fait d'intégrer le feedback auditif dans leur système de prédiction pendant la production de la parole ne suffit pas à les aider à mieux résister au DAF. Cependant, nous observons une absence de l'effet de renforcement du DAF de 120 ms par rapport celui de 60 ms sur les voyelles non accentuées pour ces locutrices. Il sera donc intéressant de comparer les résultats de ces deux groupes de locutrices aux groupes de locutrices qui produisent ces mêmes phrases avec un seul type de perturbation du feedback auditif (soit le DAF, soit le décalage de la f0).

## Remerciements

Cette étude a été financée par le projet « MoSpeeDi. Motor Speech Disorders : characterizing phonetic speech planning and motor speech programming/execution and their impairments », subside CRSII5_173711/1 Sinergia du Fond National Suisse de la Recherche Scientifique et par le programme "Investissements d'Avenir" ANR-10-LABX-0083 (Labex EFL).

## Références

BEHROOZMAND, R., KORZYUKOV, O., SATTLER, L., & LARSON, C. R. (2012). Opposing and following vocal responses to pitch-shifted auditory feedback: Evidence for different mechanisms of voice pitch control. *JASA*, 132(4), 2468–2477. DOI: doi.org/10.1121/1.4746984

BURNETT, T. A., FREEDLAND, M. B., LARSON, C. R., & HAIN, T. C. (1998). Voice F0 responses to manipulations in pitch feedback. *JASA*, 103(6), 3153–3161. DOI: doi.org/10.1121/1.423073

CHEN, S. H., LIU, H., XU, Y., & LARSON, C. R. (2007). Voice F0 responses to pitch-shifted voice feedback during English speech. *JASA*, 121(2), 1157–1163. DOI: doi.org/10.1121/1.2404624

DONATH, T. M., NATKE, U., & KALVERAM, K. T. (2002). Effects of frequency-shifted auditory feedback on voice F0 contours in syllables. *JASA*, 111(1), 357–366. DOI: doi.org/10.1121/1.1424870

FRANKEN, M. K., ACHESON, D. J., MCQUEEN, J. M., HAGOORT, P., & EISNER, F. (2018). Opposing and following responses in sensorimotor speech control : Why responses go both ways. *Psychonomic bulletin & review*, 25(4), 1458–1467. DOI: doi.org/10.3758/s13423-018-1494-x

FRANKEN, M. K., ACHESON, D. J., MCQUEEN, J. M., HAGOORT, P., & EISNER, F. (2019). Consistency influences altered auditory feedback processing. *Quarterly Journal of Experimental Psychology*, 72(10), 2371–2379. DOI: doi.org/10.1177/1747021819838939
HAIN, T. C., BURNETT, T. A., LARSON, C. R., & KIRAN, S. (2001). Effects of delayed auditory feedback (DAF) on the pitch-shift reflex. *JASA*, 109(5), 2146–2152. DOI: doi.org/10.1121/1.1366319

JASMIN, K. M., MCGETTIGAN, C., AGNEW, Z. K., LAVAN, N., JOSEPHS, O., CUMMINS, F., & SCOTT, S. K. (2016). Cohesion and joint speech: Right hemisphere contributions to synchronized vocal production. *Journal of Neuroscience*, 36(17), 4669–4680. DOI: doi.org/10.1523/JNEUROSCI.4075-15.2016

KALVERAM, K. T., & JÄNCKE, L. (1989). Vowel duration and voice onset time for stressed and nonstressed syllables in stutterers under delayed auditory feedback condition. *Folia Phoniatrica*, 41(1), 30–42. DOI: doi.org/10.1159/000265930

LARSON, C. R., BURNETT, T. A., KIRAN, S., & HAIN, T. C. (2000). Effects of pitch-shift velocity on voice F0 responses. *JASA*, 107(1), 559–564. DOI: doi.org/10.1121/1.428323

LARSON, C. R., SUN, J., & HAIN, T. C. (2007). Effects of simultaneous perturbations of voice pitch and loudness feedback on voice F0 and amplitude control. *JASA*, 121(5), 2862–2872. DOI: doi.org/10.1121/1.2715657

LIU, H., WANG, E. Q., METMAN, L. V., & LARSON, C. R. (2012). Vocal responses to perturbations in voice auditory feedback in individuals with Parkinson’s disease. *PloS one*, 7(3). DOI: doi.org/10.1371/journal.pone.0033629

MAX, L., & MAFFETT, D. G. (2015). Feedback delays eliminate auditory-motor learning in speech production. *Neuroscience letters*, 591, 25–29. DOI: doi.org/10.1016/j.neulet.2015.02.012

NATKE, U., & KALVERAM, K. T. (2001). Effects of frequency-shifted auditory feedback on fundamental frequency of long stressed and unstressed syllables. *Journal of Speech, Language, and Hearing Research*. DOI: doi.org/10.1044/1092-4388(2001/045)

PICKERING, M. J., & GARROD, S. (2013). An integrated theory of language production and comprehension. *Behavioral and Brain Sciences*, 36(4), 329–347. DOI: doi.org/10.1017/S0140525X12001495

SAKOE, H., & CHIBA, S. (1978). Dynamic programming algorithm optimization for spoken word recognition. *IEEE transactions on acoustics, speech, and signal processing*, 26(1), 43–49. DOI: 10.1109/TASSP.1978.1163055

XU, Y., LARSON, C. R., BAUER, J. J., & HAIN, T. C. (2004). Compensation for pitch-shifted auditory feedback during the production of Mandarin tone sequences. *JASA*, 116(2), 1168–1178. DOI: doi.org/10.1121/1.1763952

ZHENG, Z. Z., MACDONALD, E. N., MUNHALL, K. G., & JOHNSRUDE, I. S. (2011). Perceiving a stranger’s voice as being one’s own: A ‘rubber voice’ illusion? *PloS one*, 6(4). DOI: doi.org/10.1371/journal.pone.0018655
Prédiction continue de la satisfaction et de la frustration dans
des conversations de centre d'appels

Manon Macary¹, ² Marie Tahon¹ Yannick Estève³ Anthony Rousseau²

(1) LIUM, Le Mans, France

(2) Allo-Media, Paris, France

(3) LIA, Avignon, France

m.macary@allo-media.fr, marie.tahon@univ-lemans.fr,

yannick.esteve@univ-avignon.fr, a.rousseau@allo-media.fr

RÉSUMÉ

Nous présentons un nouveau corpus, nommé AlloSat, composé de conversations en français extraites de centre d'appels, annotées de façon continue en frustration et satisfaction. Dans le contexte des centres d'appels, une conversation vise généralement à résoudre la demande de l'appelant. Ce corpus a été mis en place afin de développer de nouveaux systèmes capables de modéliser l'aspect continu de l'information sémantique et para-linguistique au niveau conversationnel. Nous nous concentrons sur le niveau para-linguistique, plus précisément sur l'expression des émotions. À notre connaissance, la plupart des corpus émotionnels contiennent des annotations en catégories discrètes ou dans des dimensions continues telles que l'activation ou la valence. Nous supposons que ces dimensions ne sont pas suffisamment liées à notre contexte. Pour résoudre ce problème, nous proposons un corpus permettant une connaissance en temps réel de l'axe frustration/satisfaction. AlloSat regroupe 303 conversations pour un total d'environ 37 heures d'audio, toutes enregistrées dans des environnements réels, collectées par Allo-Media (une société spécialisée dans l'analyse automatique d'appels). Les premières expériences de classification montrent que l'évolution de l'axe frustration/satisfaction peut être prédite automatiquement par conversation.

ABSTRACT

AlloSat : A New Call Center French Corpus for Affect Analysis

We present a new corpus, named AlloSat, composed of real-life call center conversations in French, continuously annotated in frustration and satisfaction. This corpus has been set up to develop new systems able to model the continuous aspect of semantic and paralinguistic information at the conversation level. The present work focuses on the paralinguistic level, more precisely on the expression of emotions. In the call center industry, the conversation usually aims at solving the caller's request. As far as we know, most emotional databases contain annotations in discrete categories or in dimensions such as activation or valence. We hypothesize that these dimensions are not task-related enough. To solve this issue, we propose a corpus enabling a real-time investigation of the axis frustration / satisfaction. AlloSat regroups 303 conversations with a total of approximately 37 hours of audio, all recorded in real-life environments collected by Allo-Media (an intelligent call tracking company). First classification experimentsshow that the evolution of frustration / satisfaction axis can be retrieved automatically at the conversation level.

MOTS-CLÉS : Corpus, Reconnaissance des Émotions, Centre d'appels, Satisfaction / Frustration.

KEYWORDS: Speech Corpus, Emotion Recognition, Call center, Frustration / Satisfaction.

<figure><img src="image_174.png" /></figure>
# 1 Introduction

Aujourd'hui, alors que nous sommes capables de stocker de plus en plus de données et notamment des données audio, leur valorisation est un sujet urgent. De nombreuses études se penchent donc sur l'extraction d'information, par exemple sémantique et para-linguistique. Dans les centres d'appels, des conseillers humains reçoivent des centaines d'appels par jour et tentent de répondre au mieux aux problématiques des appelants. Nous avons donc décidé de travailler sur la reconnaissance des émotions, appelé Speech Emotion Recognition (SER), car dans un contexte de centre d'appel, fournir à posteriori l'évolution de la satisfaction et de la frustration lors d'une conversation dans des gros volumes d'appels, peut intéresser l'entreprise afin d'améliorer sa qualité de service.

Si nous nous référons aux travaux menés en psychologie, il y a plusieurs modèles utilisés pour caractériser une émotion. Une approche consiste à décomposer les émotions en catégories discrètes telles que les "Big Six" (Ekman, 1999) ou les 32 émotions de la roue de Plutchik (Plutchik, 1980). Une autre approche décrit l'émotion comme un état continu, décrit par plusieurs dimensions notamment l'activation et la valence, mais aussi la dominance, l'intention ou l'axe conducteur/obstructif (Scherer, 2005) dont l'extrême positif est la satisfaction et l'extrême négatif est proche de la frustration.

Si on se replace dans notre contexte, l'objectif d'un appel est soit d'ouvrir un contrat, soit de résoudre des problèmes techniques ou financiers. Du coup la question de l'évolution de la frustration et de la satisfaction (appelé satisfaction par la suite) est cruciale. Nous avons donc cherché des corpus disponibles pour la reconnaissance d'émotion dans notre contexte. Les corpus existants sont souvent actés et ne sont généralement pas liés à des conversations de centre d'appels. Même si de nombreux efforts sont faits pour passer de corpus actés à des corpus de parole spontanée, il existe encore peu de corpus de parole spontanée et encore moins qui sont annotés en émotion continue. Dans les corpus SER, l'émotion est principalement représentée par des catégories discrètes, par exemple la colère, la joie dans des conversations de centre d'appels d'urgence (Devillers et al., 2010) probablement parce que la collecte d'émotions discrètes est plus aisée que celle d'émotions continues (Campbell, 2008). On retrouve néanmoins des corpus comportant des annotations continues : l'activation et la valence pour le corpus SEMAINE (McKeown et al., 2012) (composé de conversations simulées entre un utilisateur humain et une machine) et SEWA (Kossaifi et al., 2019) (composé de conversations entre deux locuteurs à propos de publicités visualisées en amont).

Nous avons donc cherché à proposer un schéma d'annotation et de procéder à l'annotation d'un corpus existant en émotions continues. Cependant les corpus des centres d'appels sont en général très dépendants d'un domaine d'activité, par exemple on retrouve DECODA (Lailler et al., 2016) (opérateur de transport parisien) qui est annoté avec des entités nommées, ou NATURAL (Morrison et al., 2007) (compagnie d'électricité chinoise) qui est annoté avec deux classes : colère et neutre. À notre connaissance, aucun corpus de centre d'appels n'est composé de domaines hétéroclites.

N'ayant pas trouvé de corpus de centre d'appels suffisamment diversifié et annoté continûment en satisfaction de l'appelant, nous avons collecté des données provenant de différents domaines sur lequel nous avons mis en place notre propre schéma d'annotation en collaboration avec la société Allo-Media. Nous proposons donc un nouveau corpus, dédié à l'analyse de conversations en centres d'appels, annoté continûment en satisfaction. Les premières prédictions réalisées sur ce corpus nous montre des résultats encourageants qui seront développés au cours de cet article.

Le reste de cet article est organisé comme suit. La construction du corpus est introduite dans la section 2. La section 3 se concentre sur l'analyse de la cohérence des résultats tandis que la section 4 montre la mise en place des systèmes de prédiction et les résultats des premières expériences.
# 2 Construction du corpus

## 2.1 Contexte général

Le corpus est composé de conversations téléphoniques en français entre des interlocuteurs (les appelants) et des agents (les conseillers) où les locuteurs sont des adultes qui demandent des informations. Diverses informations sont demandées par les appelants : il peut s'agir de création de contrats, de demande d'informations globales sur l'entreprise, de plaintes, etc. Toutes les conversations ont été enregistrées entre juillet 2017 et novembre 2018 dans des centres d'appels situés dans des pays francophones. Les conseillers sont employés de diverses sociétés dans différents domaines. On retrouve notamment des entreprises du secteur de l'énergie, de la santé, du voyage, de la vente immobilière et de l'assurance.

## 2.2 Collecte de données

Comme nous avons récupéré un très grand nombre d'appels, nous avons dû décider quelles conversations devaient être annotées. En effet, nous ne pouvions pas annoter tous les appels reçus pendant la période de captation en raison du coût et du temps nécessaires pour traiter une telle quantité de données. De plus, nous savons que toutes les conversations ne sont pas porteuses d'émotions et encore moins de satisfaction, nous avons donc dû sélectionner des conversations. Nous avons donc mis en place trois critères pour sélectionner les conversations :

- La durée : nous avons décidé de ne prendre que des conversations de plus de 30 secondes contenant au moins trois tours de parole;

- Écart type (STD) de la fréquence fondamentale ($F_0$) : extraite avec l'algorithme YAPPT (Zahorian & Hu, 2008) (adapté aux signaux téléphoniques), elle est un marqueur utilisé pour la détection des émotions. Cela nous a permis de conserver 500 conversations qui maximisaient l'écart-type $F_0$.

- Score de valence : calculé sur les transcriptions des conversations à l'aide du dictionnaire français FAN (Monnier & Syssau, 2014). Ce dictionnaire contient une valeur de polarité (entre 0 et 10) pour plus de 1000 mots français. Le score de valence est la valeur moyenne calculée pour chaque conversation.

Une vérification manuelle des conversations sélectionnées automatiquement a permis de sélectionner 253 enregistrements susceptibles de contenir des informations émotionnelles.

Comme la plupart des conversations en centre d'appels ne véhiculent pas d'émotions, nous avons ajouté 50 conversations neutres, sélectionnées au hasard afin que notre corpus reste cohérent avec la réalité des centres d'appel. Cette procédure aboutit à une base de données contenant 303 conversations.

## 2.3 Pré-traitement audio

Les deux canaux audio (interlocuteur et agent) ont été séparés, ce qui nous permet d'avoir des documents distincts pour l'appelant et l'agent. Pour des raisons éthiques et commerciales, le canal de l'agent a été supprimé. Par conséquent, le corpus contient uniquement la voix des appelants sans aucun chevauchement de signal des locuteurs. Puisque nous n'avons pas conservé la réponse de l'agent, il peut y avoir de longs moments de silence dans nos données. Afin de minimiser l'effort des annotateurs, nous avons décidé de remplacer ces silences par 2 secondes de bruit blanc, permettant
aux annotateurs d'identifier des silences potentiellement plus longs. Les conversations durent entre 32 secondes et 41 minutes, comme indiqué dans le tableau 1.

Il n'y a généralement qu'un seul locuteur par conversation. Au total, nous avons 308 locuteurs répartis en 191 femmes et 117 hommes. Les principales caractéristiques du corpus sont résumées dans le tableau 1.

<table><caption>TABLE 1 – Caractéristiques principales du corpus</caption><thead><tr><td>Statistiques</td><td>Value</td></tr></thead><tbody><tr><td>nombre de conversations</td><td>303</td></tr><tr><td>nombre de locuteurs</td><td>308</td></tr><tr><td>nombre de femmes</td><td>191</td></tr><tr><td>nombre d'hommes</td><td>117</td></tr><tr><td>durée totale</td><td>37h23m27s</td></tr><tr><td>durée min conversation</td><td>32s</td></tr><tr><td>durée max conversation</td><td>41m</td></tr><tr><td>durée moyenne conv.</td><td>7m24s</td></tr><tr><td>transcription automatique</td><td>303</td></tr></tbody></table>

Toutes nos conversations ont également des transcriptions automatiques grâce à un système basé sur Kaldi (Povey et al., 2011) appartenant à Allo-Media.

## 2.4 Anonymisation

Afin de préserver l'anonymat des locuteurs, les données personnelles sont obfusquées, afin de respecter le règlement général sur la protection des données (RGPD). Nous avons également anonymisé tout ce qui peut identifier une entreprise, notamment les marques et les produits. Les informations personnelles sont supprimées et remplacées par des entités nommées dans les transcriptions, ce qui nous permet de savoir de quel type de données personnelles il s'agissait, et par un son jazzy dans l'audio.

## 2.5 Annotation de la satisfaction

Afin d'effectuer l'annotation continue, nous avons adapté CARMA (Girard, 2014), un toolkit dérivé de FeelTrace (Cowie et al., 2000) nous permettant de faire une annotation sur un axe : de la frustration à la satisfaction, en utilisant les flèches d'un clavier. Nous avons personnalisé les paramètres afin de les faire correspondre à notre schéma d'annotation : une échelle commençant à 0 (extrêmement frustré) allant jusqu'à 10 (extrêmement satisfait). L'axe est initialisée à 5, censée correspondre à l'état neutre. Les émotions sont principalement détectables dans la seconde (Schuller & Devillers, 2010) contrairement aux mots qui sont généralement étudiés par des fenêtres de 30ms. Nous avons donc choisi de récupérer la position du curseur sous forme d'annotation toutes les 0,25 secondes. L'annotation a été faite par 3 annotateurs, 2 femmes et 1 homme. Ils ont reçus un guide d'annotation afin d'homogénéiser les annotations et de réduire l'aspect subjectif de celle-ci. Une annotation discrète a également été réalisée pour le début et la fin de la conversation, afin de vérifier la cohérence des annotations continues.

Deux exemples d'annotations de la satisfaction sont donnés sur la Figure 1 où les valeurs observées d'accord inter-annotateur sont respectivement de 0,851 et de 0,732. Dans la conversation A, nous
pouvons observer que l'appelant passe d'un état neutre (5) à frustré (presque 0) et reste relativement frustré (1-2) jusqu'à la fin de l'appel. La conversation B correspond à l'une des conversations neutres choisies au hasard.

<figure><img src="image_175.png" /><figcaption>FIGURE 1 – Annotations continues de la satisfaction par les trois annotateurs pour deux conversations. Les étiquettes de fin discrètes sont “très frustrées” pour A et “neutres” pour B.</figcaption></figure>

## 3 Analyse des données : cohérence des annotations

Afin d'évaluer l'accord inter-annotateur sur les annotations continues, nous avons utilisé le coefficient de corrélation. Ce coefficient est calculé au niveau de la conversation sur la satisfaction normalisée par rapport à l'ensemble des conversations entre les paires d'annotateurs. Les valeurs finales rapportées dans le tableau 2 montrent une bonne corrélation entre les annotateurs (en moyenne R = 0,83), ce qui signifie que les annotations continues sont cohérentes entre les annotateurs.

<table><caption>TABLE 2 – Accords inter-annotateur par paire d'annotateur. $a_i$ représente l'annotateur i.</caption><thead><tr><td>Paires d'annotateurs</td><td>Coefficient de corrélation R</td></tr></thead><tbody><tr><td>a1-a2</td><td>0,82</td></tr><tr><td>a2-a3</td><td>0,87</td></tr><tr><td>a1-a3</td><td>0,80</td></tr></tbody></table>

L'une des raisons de ce fort accord est que le début de la conversation est presque toujours neutre. Cela peut s'expliquer de deux façons : d'abord, l'annotation continue est initialisée à 5, ce qui se traduit par un état neutre. Mais l'hypothèse principale est que l'interlocuteur est rarement frustré au début de l'appel : cette émotion est provoquée par les réponses de l'agent. Il en va de même pour la satisfaction. Comme nous le pensions, la plupart des conversations ont été perçues avec une frustration croissante, probablement parce que le conseiller n'est pas en mesure de donner une réponse suffisamment satisfaisante à l'interlocuteur.

En partant de ces résultats d'accord prometteurs, nous calculons une annotation de référence pour chaque conversation correspondant à la moyenne des trois annotations de la satisfaction et nous pouvons utiliser cette annotation de référence à des fins d'analyse et d'apprentissage. Cette annotation de référence est utilisée dans les expériences présentées par la suite.
# 4 Prédiction de la satisfaction

Comme nous l'avons dit dans l'introduction, notre objectif est de permettre de mieux comprendre l'état émotionnel des appelants dans un but d'analyse. Pour ce faire, il peut être utile d'avoir des indices sur la satisfaction de l'appelant tout au long de l'appel, et donc nous définissons une tâche de prédiction continue de cette dimension. Nous comparons deux modèles pour cette tâche. Le premier est le modèle de référence utilisé lors du challenge AVEC 2018 (Ringeval et al., 2018). L'utilisation de ce modèle nous permettra de comparer les résultats obtenus sur AlloSat à ceux prédits sur SEWA (qui a été décrit en introduction), même si nous ne comparons pas exactement les mêmes dimensions, en effet AlloSat est annoté en satisfaction, alors que SEWA est annoté en valence. Le second est un modèle de réseau neuronal profond (DNN) avec des couches bILSTM (bidirectional Long Short Term Memory) déjà testé sur le corpus SEWA (Schmitt et al., 2019). Ils utilisent tous deux des descripteurs audio comme entrée, que nous extrayons avec le framework OpenSMILE (Eyben et al., 2010). Différents ensembles de descripteurs audio ont été testés afin de trouver celui qui était le plus adapté à notre corpus. Les modèles et les ensembles sont expliqués ci-dessous.

## 4.1 Descripteurs audio

Pour mieux comparer notre travail avec l'état de l'art dans le domaine du SER, nous avons décidé d'utiliser l'ensemble eGeMAPS (Eyben et al., 2016). Cet ensemble a été conçu pour l'analyse automatique de la voix, en particulier l'analyse des émotions. Il contient 25 descripteurs de bas niveau (LLD) tels que le pitch, le jitter, les formants, etc. Une moyenne arithmétique et un écart-type (STD) sont calculés toutes les 0,1 secondes sur ces LLD. D'autres fonctions mathématiques calculées à partir de ces LLD sont également extraites pour un total de 88 descripteurs. Dans (Schmitt et al., 2019) f_eGeMAPS a été défini avec 25 LLD et des fonctions mathématiques appliquées sur ces LLD (principalement moyenne et STD) extraits d'eGeMAPS totalisant 46 descripteurs. Un dernier descripteur, fonctionnant comme une détection de voix (voice activity detection i.e. vad), dénotant l'identité du locuteur (0 ou 1), est également incluse dans f_eGeMAPS.

Dans notre travail, les deux ensembles ont été extraits de nos données toutes les 0,25 seconde suivant le pas d'annotation d'AlloSat. Puisque nous ne gardons que le signal de l'appelant, nous modifions le vad pour indiquer si l'appelant parle (1) ou non (0). Le nombre de descripteurs des 4 ensembles est résumé dans le tableau 3.

## 4.2 Les architectures des DNN

### 4.2.1 Pré-traitement des inputs

Afin de s'aligner sur les architectures neuronales des articles de référence (Ringeval et al., 2018; Kossaifi et al., 2019), nous avons choisi d'utiliser une taille de séquence d'entrée fixe. Comme nous l'avons vu dans la section 3, les conversations ont des durées variant de 32 secondes à 41 minutes avec une moyenne (MOY) de 7m24s et un écart type (STD) de 4m58s. Habituellement, la taille d'entrée est fixée à MOY + STD (ici 12m22s) pour couvrir plus de 95% du corpus. Les séquences longues sont alors coupées à la MOY + STD tandis que les séquences courtes sont rallongées avec un padding. Afin de réduire l'effet du padding et la durée d'apprentissage, nous avons décidé de fixer la durée de la séquence d'entrée à 7 minutes. Nous avons appliqué un padding circulaire sur les courtes séquences.
Nous avons divisé notre corpus en trois sous-ensembles afin de respecter la répartition des conversations neutres : un apprentissage (201 conversations), un développement (42 conversations) et un test (60 conversations).

### 4.2.2 Les deux modèles neuronaux

Afin de pouvoir comparer nos résultats avec l'état de l'art, nous avons fait le choix de reproduire le système proposé dans le challenge AVEC 2018 (Ringeval et al., 2018) sur la modalité "Cross-cultural Emotion". Le premier réseau neuronal est composé de 2 couches biLSTM de respectivement 64 et 32 unités. L'architecture bidirectionnelle est utilisée afin d'éviter les problèmes de délai d'annotation. En effet, il est possible que l'annotation présente des délais dans l'annotation, le temps que l'annotateur appuie sur les flèches du clavier ou qu'il décide s'il y a vraiment une variation à annoter.

Le second réseau est composé de 4 couches biLSTM comme décrit dans (Schmitt et al., 2019). Les couches de biLSTM sont composées respectivement de 200, 64, 32, 32 unités.

Pour ces deux réseaux, la fonction d'activation utilisée est la fonction tangente hyperbolique. Un seul neurone de sortie est utilisé pour prédire une valeur toutes les 0,25 secondes.

## 4.3 Résultats des expériences

Les DNN sont implémentés avec le framework Keras<fnref n="1" /> en utilisant Tensorflow<fnref n="2" />. L'apprentissage se fait par ensemble (batch) de 9 conversations en utilisant l'optimiseur ADAgrad. Le learning rate est initialisé à 0,001. Le nombre d'époques a d'abord été fixé à 500 avant d'être réduit à 200 puisque les réseaux ne s'amélioraient pas au delà d'environ 120 époques. Nous avons conservés les poids des réseaux donnant le meilleur score sur le développement afin de prédire les résultats sur le test. Le coefficient de corrélation de concordance (CCC) (Lin, 1989) a été utilisé comme fonction pour l'apprentissage du réseau et comme métrique d'évaluation pour déterminer le meilleur système. Ce score CCC varie de 0 (probabilité d'un tirage aléatoire) à 1 (corrélation parfaite).

Nous comparons deux réseaux appris sur deux axes émotionnels différents : la satisfaction avec AlloSat et la valence avec SEWA. Le tableau 3 donne un résumé des résultats obtenus avec les modèles et les sets de données étudiés.

<table><caption>TABLE 3 – Résultats des expériences. *Ces résultats proviennent du challenge AVEC 2018 (Schmitt et al., 2019)</caption><thead><tr><th rowspan="2"></th><th rowspan="2"></th><th rowspan="2">nb Descripteurs</th><th colspan="2">2 biLSTM</th><th colspan="2">4 biLSTM</th></tr><tr><th>dev</th><th>test</th><th>dev</th><th>test</th></tr></thead><tbody><tr><td rowspan="2">SEWA<br>(valence)</td><td>eGeMAPS</td><td>88</td><td>0.112*</td><td>-</td><td>-</td><td>-</td></tr><tr><td>f_eGeMAPS</td><td>46</td><td>-</td><td>-</td><td>0,517*</td><td>0,410*</td></tr><tr><td rowspan="4">AlloSat<br>(satisfaction)</td><td>eGeMAPS</td><td>88</td><td>0,510</td><td>0,363</td><td>0,666</td><td>0,431</td></tr><tr><td>f_eGeMAPS</td><td>46</td><td>0,469</td><td>0,260</td><td>0,607</td><td>0,354</td></tr><tr><td>eGeMAPS&vad</td><td>89</td><td>0,549</td><td>0,365</td><td>0,619</td><td>0,542</td></tr><tr><td>f_eGeMAPS&vad</td><td>47</td><td>0,508</td><td>0,359</td><td>0,574</td><td>0,422</td></tr></tbody></table>

Il semble que nous sommes en mesure de récupérer de bons scores de CCC pour notre corpus, comparables aux résultats de valence prédits sur le corpus SEWA. Le score CCC calculé sur l'ensemble

<footnote n="1">1. https://keras.io</footnote>

<footnote n="2">2. https://www.tensorflow.org/</footnote>
des données doit être pris avec précaution car, comme nous le montrons dans la Figure 2, le système est capable de faire de bonnes prédictions (conversation C) mais aussi de mauvaises prédictions (conversation D).

<figure><img src="image_176.png" /><figcaption>FIGURE 2 – Prédiction de la satisfaction sur des conversations issues du test. La référence est en rouge, la prédiction en bleu.</figcaption></figure>

# 5 Conclusion

Dans cet article, nous présentons AlloSat, un nouveau corpus de conversations françaises en centre d'appels utilisable pour explorer la satisfaction (de la satisfaction à la frustration) dans de conversations téléphoniques réelles. Ce corpus contient 303 conversations pour un total de plus de 37 heures d'enregistrement et peut être obtenu en contactant les auteurs. L'objectif principal de ces travaux était de prédire la satisfaction tout au long d'une conversation. Cette prédiction ne pouvait être effectuée que si les annotations de ce nouveau corpus était cohérente, ce que nous avons vérifié. Les premières expériences montrent que les réseaux neuronaux biLSTM sont capables de prédire les valeurs de la satisfaction et donc de retracer cette dimension au cours d'un appel avec un score CCC correcte, comparable à celui calculé sur les prédictions de valence du corpus SEWA.

Par la suite, des investigations plus approfondies seront menées pour améliorer cette prédiction. Nous voulons notamment ajouter la modalité linguistique à nos descripteurs d'entrée. Nous prévoyons également d'aller plus loin dans nos expériences sur l'annotation continue et discrète en utilisant d'autres protocoles de classification (modèles, sets, niveaux de segmentation) tout en ajoutant des informations sémantiques supplémentaires.

# Références

CAMPBELL N. (2008). *Expressive/Affective Speech Synthesis*, In *Springer Handbook of Speech Processing*, p. 505–518. Springer Berlin Heidelberg.

COWIE R., DOUGLAS-COWIE E., SAVVIDOU S., MCMAHON E. & AL. (2000). FEELTRACE : An instrument for recording perceived emotion in real time. In *ITRW on Speech and Emotion*, p. 19–24.
DEVILLERS L., VAUDABLE C. & CHASATGNOL C. (2010). Real-life emotion-related states detection in call centers : a cross-corpora study. In *Proc. of Interspeech*, p. 2350–2355.

EKMAN P. (1999). *Basic Emotions*, In *Handbook of Cognition and Emotion*, p. 301–320. Wiley, New-York.

EYBEN F., SCHERER K., SCHULLER B., SUNDBERG J. & AL. (2016). The geneva minimalistic acoustic parameter set (GeMAPS) for voice research and affective computing. *IEEE transactions on affective computing*, 7(2), 190–202.

EYBEN F., WÖLLMER M. & SCHULLER B. (2010). OpenSMILE – the munich versatile and fast open-source audio feature extractor. In *Proc. of the ACM Multimedia 2010 International Conference*, p. 1459–1462.

GIRARD J. M. (2014). CARMA : Software for continuous affect rating and media annotation. *Journal of Open Research Software*, 2(1), e5.

KOSSAIFI J., WALECKI R., PANAGAKIS Y., SHEN J., SCHMITT M. & AL. (2019). SEWA DB : A rich database for audio-visual emotion and sentiment research in the wild. *IEEE transactions on pattern analysis and machine intelligence (Early Access)*.

LAILLER C., LANDEAU A., BÉCHET F., ESTÈVE Y. & AL. (2016). Enhancing the RATP-DECODA corpus with linguistic annotations for performing a large range of NLP tasks. In *Proc. of Language Resources and Evaluation Conference (LREC)*, p. 1047–1050.

LIN L. I.-K. (1989). A concordance correlation coefficient to evaluate reproducibility. *Biometrics*, 45(1), 255–268.

MCKEOWN G., VALSTAR M., COWIE R., PANTIC M. & AL. (2012). The SEMAINE Database : Annotated multimodal records of emotionally colored conversations between a person and a limited agent. *IEEE Transactions on Affective Computing*, 3(1), 5–17.

MONNIER C. & SYSSAU A. (2014). Affective norms for French words (FAN). *Behavior research methods*, 46 4, 1128–1137.

MORRISON D., WANG R. & DE SILVA L. (2007). Ensemble methods for spoken emotion recognition in call-centres. *Speech Communication*, 49(2), 98–112.

PLUTCHIK R. (1980). Chapter 1 - a general psychoevolutionary theory of emotion. In *Theories of Emotion*, p. 3–33. Academic Press.

POVEY D., GHOSHAL A., BOULIANNE G., BURGET L. & AL. (2011). The kaldi speech recognition toolkit. In *Proc. of IEEE Workshop on Automatic Speech Recognition and Understanding (ASRU)*.

RINGEVAL F., SCHULLER B., VALSTAR M., COWIE R. & AL. (2018). AVEC 2018 workshop and challenge : Bipolar disorder and cross-cultural affect recognition. In *Proc. of the 2018 on Audio/Visual Emotion Challenge and Workshop*, p. 3–13.

SCHERER K. R. (2005). What are emotions? and how can they be measured? *Social science information*, 44(4), 695–729.

SCHMITT M., CUMMINS N. & SCHULLER B. W. (2019). Continuous emotion recognition in speech - do we need recurrence ? In *Proc. Interspeech 2019*, p. 2808–2812.

SCHULLER B. & DEVILLERS L. (2010). Incremental acoustic valence recognition : An inter-corpus perspective on features, matching, and performance in a gating paradigm. In *Proc. Interspeech 2010*, p. 801–804.

ZAHORIAN S. & HU H. (2008). A spectral/temporal method for robust fundamental frequency tracking. *The Journal of the Acoustical Society of America*, 123, 4559–71.
Production de parole chez l'enfant porteur d'implant cochléaire :
apport de la Langue française Parlée Complétée

Laura Machart¹², Anne Vilain², Hélène Lœvenbruck¹, Geneviève Meloni¹²³, Clarisse Puissant²

(1) Univ. Grenoble Alpes, Univ. Savoie Mont Blanc, CNRS, LPNC, 38000 Grenoble, France

(2) Univ. Grenoble Alpes, Grenoble INP, CNRS, GIPSA-lab, 38000 Grenoble, France

(3) Université de Montréal, Montréal, Canada

{laura.machart, anne.vilain, helene.loevenbruck, genevieve.meloni,
clarisse.puissant}@univ-grenoble-alpes.fr

RESUME

La déficience auditive entraîne un retard sur le développement de la parole chez l'enfant sourd. La Langue française Parlée Complétée (LfPC), par le biais de 5 positions autour du visage et 8 configurations de la main, permet de rendre visibles tous les sons de la langue, sans confusion labiale. L'utilisation de ce système facilite la perception de parole et permet à l'enfant d'élaborer des représentations phonologiques stables. Cette étude s'intéresse à l'apport de la LfPC sur la production de parole chez l'enfant porteur d'implant cochléaire. A partir d'une tâche de dénomination d'images, nous observons que l'exposition à la LfPC (en perception) améliore significativement la production de parole chez l'enfant porteur d'implant cochléaire.

ABSTRACT

Speech production in children with cochlear implant(s): contribution of Cued French

Hearing impairment results in delayed speech development in deaf children. Cued French (LfPC) is a phonetic system, which can be used to support oral communication with deaf children: it supplements the auditory information with a manual cue. It has been shown to enhance speech perception and to help children build more stable phonological representations. In this study, we analyze the contribution of LfPC to the speech production abilities of children with cochlear implants. Using a picture naming task, we show that exposure to LfPC significantly improves speech production in children with cochlear implants.

MOTS-CLES : production de parole, déficience auditive, implant cochléaire, Langue française
Parlée Complétée (LfPC)

KEYWORDS: speech production, deafness, cochlear implants, Cued Speech, Cued French

<figure><img src="image_177.png" /></figure>
# 1 Introduction

La déficience auditive est l'un des troubles sensoriels les plus fréquents et touche plus de 6,5% de la population mondiale. Les surdités congénitales représentent une naissance pour mille et dans 90% des cas, l'enfant sourd naît de deux parents normo-entendants (Berland, 2014). Chez l'enfant, la déficience auditive impacte et retarde le développement du langage : la perception de la parole étant lacunaire et déformée, l'enfant ne bénéficie pas d'un bain de langue suffisant. La perception, et donc la compréhension, sont altérées et les règles de construction de la langue ne peuvent pas être acquises de manière typique.

## 1.1 Perception de parole et déficience auditive

Dans un contexte de surdité profonde, la perception de parole se fait sans information auditive, c'est-à-dire uniquement à partir de l'information visuelle. La lecture labiale, qui repose sur le déchiffrage du mouvement des articulateurs de la parole, ne permet qu'une perception de parole limitée (Charlier & Leybaert, 2000) : hors contexte, seulement 10 à 30% d'un mot ou d'une phrase sont perçus (Bernstein et al., 2000). Les phonèmes peu visibles, les phénomènes de coarticulation ou encore les sosies labiaux (ex : /y/ et /u/) tout comme les variations bucco-faciales du locuteur ainsi que la qualité de l'image labiale sont autant de facteurs influençant la qualité de la perception. L'implant cochléaire, un des dispositifs de remédiation proposés en cas de surdité profonde, permet un accès de plus en plus précis aux sons de parole. Toutefois, l'information auditive transmise par l'implant cochléaire reste limitée, ce qui peut entraîner des troubles langagiers ultérieurs (Colin et al., 2017; Leybaert et al., 2010). Les recherches ont montré que les performances des enfants porteurs d'implant cochléaire restent en dessous de celles des enfants normo-entendants et que leurs représentations phonologiques demeurent peu détaillées (Nittrouer et al., 2018; Colin et al., 2017; Leybaert et al., 2010).

## 1.2 Perception de parole et Langue française Parlée Complétée

Afin de pallier le manque d'informations lié à la lecture labiale, certains font le choix de la Langue française Parlée Complétée (LfPC), équivalent francophone du Cued Speech (Cornett, 1967). Il s'agit d'un outil de réception du message oral qui aide la perception de la parole. L'association d'un geste manuel à la lecture labiale va rendre visibles tous les phonèmes de la langue. Le code LfPC se compose de 5 positions de la main autour du visage pour coder les sons vocaliques et de 8 configurations de la main pour coder les sons consonantiques du français (figure 1). Chaque position et chaque configuration de la main code plusieurs sons. La LfPC est donc indissociable de la lecture labiale : pour une même image labiale, on utilise différentes positions/configurations de la main et, à l'inverse, pour une même position/configuration de la main, l'image labiale est différente.
<figure><img src="image_178.png" /><figcaption>FIGURE 1: Positions et configurations de la main en LfPC (Source ALPC<fnref n="1" /> https://alpc.asso.fr/les-cles-du-code-lpc/)</figcaption></figure>

L'utilisation de la LfPC permet à la personne déficiente auditive de visualiser tous les sons du français sans ambiguïtés : la perception auditive est enrichie à l'aide de la perception visuelle. Il est à noter que dans la plupart des cas, ce sont les personnes entendantes (parents, enseignants, frères et sœurs) qui utilisent la LfPC pour permettre à l'enfant déficient auditif de percevoir le message oral. Les enfants eux-mêmes n'utilisent que très rarement le code en production.

Les recherches ont montré que la perception de syllabes, de mots et de phrases est améliorée avec l'utilisation du *Cued Speech*<fnref n="2" />. Plus l'exposition au code est prolongée plus les bénéfices sont observés (Bratakos et al., 1998; Périer et al., 1990). Par ailleurs, la précocité de l'exposition augmente encore davantage les capacités perceptives (Alegria et al., 1999). Enfin, la LfPC facilite l'émergence de représentations phonologiques stables (Charlier et Leybaert, 2000; Hage, et al., 1991) ce qui par conséquent améliore la perception auditive pure de la parole (Kos et al., 2008). En effet, chaque phonème du français étant systématiquement associé à une position ou configuration de la main, celle-ci fournit un indice complémentaire aux informations acoustiques pour distinguer et encoder les formes phonologiques. L'accroissement du lexique est favorisé (Hage, 1994) tout comme le développement de la morphosyntaxe grâce à la perception intégrale de la chaîne parlée (Hage & Leybaert, 2006).

## 1.3 Production de parole et Langue française Parlée Complétée

Très peu d'études se sont intéressées à l'apport de la LfPC à la production de parole. Or, comme mentionné ci-dessus, il a été mis en évidence que la LfPC facilite la mise en place des représentations phonologiques. De plus, Rvachew (1994) et Rvachew et al. (2004) ont mis en évidence que la production de parole est améliorée par l'entraînement perceptif chez les enfants présentant un retard

<footnote n="1">¹ Association pour la promotion de la Langue française Parlée Complétée</footnote>

<footnote n="2">² Les études citées étant réalisées sur différentes langues, nous utilisons cette appellation générique</footnote>
phonologique. Par conséquent, nous nous interrogeons ici sur le bénéfice éventuel apporté par la LfPC à la production de parole des enfants porteurs d'implant cochléaire (comme suggéré par les études présentées par Hage et Leybaert, 2006), et donc sur un possible transfert de ces représentations phonologiques vers la production de parole.

L'objectif de cette étude est d'analyser l'apport de la LfPC sur la production des phonèmes du français chez deux groupes d'enfants porteurs d'implant cochléaire : des enfants avec un faible niveau de décodage de la LfPC et des enfants avec un bon niveau de décodage de la LfPC. Pour ce faire, nous utilisons une tâche de dénomination d'images. Nous nous attendons à ce que l'exposition à la LfPC améliore la production de parole chez l'enfant porteur d'implant. Dans le cadre de cette expérience, il n'est pas demandé aux enfants d'utiliser la LfPC lors de la production, la LfPC n'est utilisée que pour la transmission des consignes.

# 2 Méthode

## 2.1 Tâche

Dans le cadre de cette étude, nous utilisons la tâche de dénomination d'images de la batterie EULALIES (Meloni et al., 2017). Cette batterie se compose de 5 tâches, chacune testant différents niveaux de traitement de la parole, en perception et en production. La tâche de dénomination d'images teste les représentations phonologiques en production : l'enfant voit des images sur l'écran d'ordinateur et doit produire spontanément le nom de chaque item. En cas de difficulté, l'expérimentateur propose soit un amorçage sémantique soit un amorçage phonologique. Lorsque l'enfant ne parvient pas à dénommer l'item présenté, et ce malgré les amorçages proposés, l'expérimentateur lui demande simplement de le répéter après lui. Cette tâche se compose de 68 mots<fnref n="3" /> de 1 à 4 syllabes de différents degrés de complexité. Les items sélectionnés ont une haute fréquence d'occurrence dans la base de données Lexique.org (New et al., 2004) et sont accessibles même pour les plus petits (vêtements, animaux, objets du quotidien, aliments, moyens de transport, etc.). Ils incluent tous les phonèmes de la langue française, à différentes positions dans le mot.

## 2.2 Protocole

L'enfant est assis devant une table sur laquelle se trouvent un ordinateur et un microphone. Un microtête est installé afin d'enregistrer la voix de l'enfant. L'expérimentateur est installé à sa droite, face à l'écran d'ordinateur. La passation comporte des tests d'inclusion : une tâche d'empan visuel (PathSpan, Lefevre et al., 2010), une tâche d'empan de chiffres endroit (ODEDYS, Pouget, 2002) et le module morphosyntaxe en production du test ELO (Khomsi, 2008). Les 5 tâches de la batterie EULALIES, sont effectuées en débutant par la tâche de dénomination d'images. Pour les enfants normo-entendants, une audiométrie est réalisée pour éliminer un éventuel trouble de l'audition (perception à 20 dB sur les fréquences 250, 500, 1000, 2000, 4000 et 8000 Hz). Pour les enfants

<footnote n="3">³ Un tiers des enfants a passé une première version de la tâche qui comportait 66 items</footnote>
porteurs de déficience auditive, le niveau de décodage de la LfPC est évalué à partir du test TERMO (Busquet & Descourthieux, 2003). Deux niveaux sont déterminés : faible décodage (quelques syllabes sont décodées à vitesse lente) et bon décodage (décodage de mots isolés et de phrases simples à la vitesse de la parole). Un questionnaire de langage est rempli en amont par les parents afin de récolter des informations sur le développement langagier de chaque enfant (multilinguisme, âge du premier appareillage, catégorie socio-professionnelle des parents, etc.) et éliminer un possible trouble associé.

## 2.3 Matériel

L'enregistrement des données audio se fait à l'aide d'un enregistreur Zoom (H4n Pro). L'enfant porte un micro-tête SHURE (Beta 54R). L'audiométrie est réalisée à partir d'un audiomètre Electronica 9910. Les stimuli visuels sont présentés sur un ordinateur portable posé devant l'enfant.

## 2.4 Participants

Cette étude s'intéresse à 16 enfants avec surdité profonde âgés de 28 à 139 mois et porteurs d'implant cochléaire (groupe CI) (âge=98,44, écart-type=34,74). Ce groupe se compose de sept filles et neuf garçons. Treize enfants sur les 16 sont bi-implantés, les trois autres enfants portent une prothèse controlatérale. Tous les enfants CI sont en contact avec la LfPC. Un enfant du groupe CI sur les 16 est bilingue français/Langue des Signes française (LSF) (6,3%), quatre enfants bénéficient occasionnellement de la LSF en classe ou à la maison (25%) et le français signé<fnref n="4" /> est utilisé ponctuellement pour quatre enfants (25%). Le groupe CI se divise en deux sous-groupes : huit enfants dont quatre filles avec un faible niveau de décodage de la LfPC (groupe LfPC-, âge=88,87, écart-type=40,74) et huit enfants dont trois filles avec un bon niveau de décodage de la LfPC (groupe LfPC+, âge=108, écart-type=26,78). Le groupe CI est mis en regard avec un groupe de 97 enfants avec audition typique (groupe NH) âgés de 35 à 135 mois et faisant partie de la large cohorte d'enfants typiques du projet EULALIES (Meloni et al. 2017) (âge=94,62, écart-type=22,33). Ce groupe est constitué de 58 filles et 39 garçons, et 40 enfants sont multilingues (41,23%). Les enfants du groupe NH n'ont aucune connaissance de la LfPC ni de la LSF. L'âge auditif est défini comme l'âge chronologique pour le groupe NH et comme le temps écoulé depuis le premier appareillage pour le groupe CI. La moyenne d'âge auditif du groupe LfPC- est 78,87 (écart-type=43,72) celle du groupe LfPC+ est 99 (écart-type=29,63). L'âge d'implantation moyen du groupe LfPC- est 21 (écart-type=8,02) et celui du groupe LfPC+ est 23,37 (écart-type=13,07). Les participants ont été recrutés dans les écoles de l'agglomération grenobloise et lors de stages d'été organisés par l'ALPC en 2018 et 2019, à destination des familles de la France entière. Cette étude a été approuvée par le Comité d'Ethique pour les Recherches Grenoble Alpes (CER Grenoble Alpes-Avis-2018-04-03-2-Amendement).

<footnote n="4">⁴ Utilisation de signes de la LSF avec la syntaxe du français</footnote>
## 2.5 Traitement des données

Tous les items produits à la tâche de dénomination sont transcrits et traités à partir du logiciel PHON (Hedlund & Rose, 2016). Une partie des données a été annotée en double aveugle avec un accord inter-juge de 82,4%. Une transcription multi-juges (5 transcripteurs) a ensuite permis de définir des consensus sur la transcription, les variations libres étant admises comme des productions correctes. Après alignement avec la cible, le nombre d'erreurs par mot est extrait avec PHON (somme des substitutions, élimisions et épenthèses) puis la moyenne du nombre d'erreurs par sujet est calculée.

# 3 Résultats

La figure 2 représente le nombre d'erreurs moyen par mot en fonction du niveau de décodage de la LfPC et de l'âge chronologique pour les enfants des groupes CI et NH. Nous observons que les enfants CI avec un faible niveau de décodage de la LfPC semblent faire plus d'erreurs que les enfants CI avec un bon niveau de décodage de la LfPC, dont les résultats sont plus proches de ceux des enfants NH.

<figure><img src="image_179.png" /><figcaption>FIGURE 2: Nombre d'erreurs moyen pour les enfants CI et NH en fonction du niveau de décodage de la LfPC et de l'âge chronologique</figcaption></figure>

Nous avons analysé l'effet du niveau de décodage de la LfPC sur les scores en production. Nos analyses statistiques révèlent que les tendances observées sur la figure 2 sont significatives. En effet, à partir d'un modèle linéaire incluant les facteurs principaux de groupe (LfPC-, LfPC+), d'âge
chronologique, d'âge d'implantation et de sexe ainsi que leurs interactions, une sélection par comparaison descendante de modèles a abouti au modèle incluant finalement le groupe (p=.029) et l'âge chronologique (p=.002). L'interaction entre le groupe et l'âge chronologique n'est pas significative.

<figure><img src="image_180.png" /><figcaption>FIGURE 3: Nombre d'erreurs moyen pour les enfants CI et NH en fonction du niveau de décodage de la LfPC et de l'âge auditif</figcaption></figure>

Nous avons réalisé les mêmes analyses en fonction de l'âge auditif. La figure 3 illustre le nombre d'erreurs moyen par mot en fonction du niveau de décodage de la LfPC et de l'âge auditif pour les enfants des groupes CI et NH. Notre sélection par comparaison descendante de modèles nous donne un modèle incluant le groupe (p=.019) et l'âge auditif (p<.001). L'interaction entre le groupe et l'âge auditif n'est pas significative.

Dans ces deux modèles, l'âge d'implantation n'a donc pas d'effet significatif. Les enfants implantés tôt n'ont pas de scores plus élevés que les enfants implantés tard. Ceci peut s'expliquer par la moyenne d'âge d'implantation plutôt basse (avant deux ans) dans notre groupe.

# 4 Discussion

Cette étude examine l'influence de la LfPC sur la production des phonèmes du français chez 16 enfants porteurs d'implant cochléaire. Le niveau de décodage de la LfPC a été évalué selon deux
niveaux : faible décodage (quelques syllabes sont décodées à vitesse lente) et bon décodage (décodage de mots isolés et de phrases simples à la vitesse de la parole).

Les résultats montrent qu’un bon niveau de décodage de la LfPC est associé à un nombre d’erreurs moyen en production plus faible. Ces résultats peuvent s’expliquer par la qualité des représentations phonologiques dont disposent les enfants profitant d’un bain de langue en LfPC. En effet, la LfPC permet l’émergence de représentations phonologiques stables et précises ce qui pourrait avoir un impact significatif sur la production de phonèmes en français. Par ailleurs, il est important ici de préciser que les enfants avec un bon niveau de décodage de la LfPC ont des scores similaires à ceux des enfants normo-entendants : la LfPC permettrait d’atteindre des productions acoustiques semblables à celles des enfants ne présentant aucun trouble de l’audition.

Cette étude exploratoire nous permet tout d'abord d'insister sur le fait que les enfants porteurs d'implant cochléaire ont des difficultés en production de parole, qui peuvent persister jusqu'à l'âge de huit ans, et qu'ils ont besoin d'une prise en charge adaptée. Elle met ensuite en évidence l'apport de la LfPC dans la production de parole chez l'enfant porteur d'implant cochléaire : une prise en charge s'appuyant sur la LfPC a un bénéfice significatif sur les compétences langagières, ce qui a nécessairement un effet positif sur le développement social et la progression scolaire.

Des travaux supplémentaires sont nécessaires pour compléter nos données et observer l'impact d'autres facteurs tels que le degré de surdité, le niveau de récupération auditive et les effets d'âge sur la production de phonèmes en français. Des analyses plus précises vont être menées pour observer l'influence du niveau de langage ainsi que l'effet de la longueur des mots sur les compétences en production chez l'enfant porteur d'implant cochléaire, bénéficiant ou non de la LfPC. D'autre part, les types de réponse produits (spontané, avec amorçage sémantique ou phonologique ou encore répétition) seront pris en compte. Nous envisageons aussi de quantifier plus précisément la fréquence d'exposition à la LfPC et à la LSF. D'autres analyses sont en cours pour mieux caractériser les types d'erreurs produits par ces enfants, ce qui permettra à terme de fournir des pistes d'interventions orthophoniques ciblées.

Références

ALEGRIA J., CHARLIER B. L. & MATTYS S. (1999). The role of lip-reading and Cued Speech in the processing of phonological information in French-educated deaf children. *European Journal of Cognitive Psychology*, 11, 451-472. DOI: [10.1080/095414499382255](https://www.academia.edu.cld/10.1080/095414499382255).

BERLAND A. (2014). *Le développement psychologique d'enfants sourds porteurs d'un implant cochléaire : étude longitudinale et transversale*. Thèse de doctorat, Université Toulouse 2 – Le Mirail, Toulouse.

BERNSTEIN L. E., TUCKER P. E. & DEMOREST M. E. (2000). Speech perception without hearing percept. *Psychophysiology*, 62, 233-252. DOI: [10.3758/BF03205546](https://www.academia.edu.cld/10.3758/BF03205546).

BRATAKOS M. S., DUCHNOWSKI P. & BRAIDA L. D. (1998). Toward the automatic generation of Cued Speech. *Cued Speech Journal*, 6, 1-37.
CHARLIER B. L. & LEYBAERT J. (2000). The rhyming skills of deaf children educated with phonetically augmented speechreading. *The Quarterly Journal of Experimental Psychology Section A*, 53, 349-375. DOI: 10.1080/713755898.

COLIN C. & RADEAU M. (2003). Les illusions McGurk dans la parole : 25 ans de recherches. *L'année psychologique*, 104, 497-542.

COLIN S., ECALLE J., TRUY E., LINA-GRANADE G. & MAGNAN A. (2017). Effect of age at cochlear implantation and at exposure to Cued Speech on literacy skills in deaf children. *Research in Developmental Disabilities*, 71, 61-69. DOI: 10.1016/j.ridd.2017.09.014.

CORNETT R. O. (1967). Cued Speech. *American Annals of the Deaf*, 112(1), 3-13.

HAGE C. (1994). *Développement de certains aspects de la morpho-syntaxe chez l'enfant à surdité profonde : rôle du Langage Parlé Complété*. Thèse de doctorat, Université Libre de Bruxelles, Belgique.

HAGE C., ALEGRIA J., PERIER O. & MARTIN D. S. (1991). Cued Speech and language acquisition: The case of a grammatical gender morpho-phonology. *Advances in Cognition, Education and Deafness*, 395-399.

HAGE C. & LEYBAERT, J. (2006). The effect of Cued Speech on the development of spoken language. In P. E. SPENCER & M. MARSCHARK, Eds., *Advances in the Spoken Language Development of Deaf and Hard-of-Hearing Children*, p. 193-211. Oxford University Press.

KOS, M.-I., DERIAZ, M., GUYOT, J.-P. & PELIZZONE, M. (2008). What can be expected from a late cochlear implantation? *Int. J. Pediatr. Otorhinolaryngol.* 73, 189-193. DOI: 10.1016/j.ijporl.2008.10.009

LEYBAERT J., COLIN C., HAGE C., & LASASSO C. J. (2010). Cued Speech for enhancing speech perception and first language development of children with cochlear implants. *Trends Amplification*, 14, 96-112. DOI: 10.1177/1084713810375567.

MELONI G., LŒVENBRUCK H., VILAIN A. & MACLEOD A. (2017). EULALIES, The France-Québec Speech Sound Disorders project. Poster présenté, IASCL, Lyon, France.

NITTROUER S., CALDWELL-TARR A., SANSOM E., TWERSKY J. & LOWENSTEIN J. H. (2014). Nonword repetition in children with cochlear implants: a potential clinical marker of poor language acquisition. *American Journal of Speech and Language Pathologies*, 23, 679. DOI: 10.1044/2014_AJSLP-14-0040.

PERIER O., CHARLIER B. L., HAGE C. & ALEGRIA J. (1990). Evaluation of the effects of prolonged Cued Speech practice upon the reception of spoken language. *Cued Speech Journal*, IV, 47-59.

RVACHEW, S. (1994). Speech perception training can facilitate sound production learning. *Journal of Speech and Hearing Research*, 37(2), 347-357. DOI: 10.1044/jshr.3702.347

RVACHEW, S., NOWAK, M., & CLOUTIER, G. (2004). Effect of phonemic perception training on the speech production and phonological awareness skills of children with expressive phonological delay. *American Journal of Speech-Language Pathology*, 13(3), 250-263. DOI: 10.1044/1058-0360%282004/026%29
# Détection de la somnolence par estimation d’erreurs de lecture

Vincent P. Martin¹ Gabrielle Chapouthier² Mathilde Rieant² Jean-Luc Rouas¹
Pierre Philip³

(1) LaBRI - Univ. Bordeaux - Bordeaux INP - CNRS - UMR5800 - F-33400 Talence, France

(2) CFUOB - Univ. Bordeaux Sengalen - F-33076 Bordeaux, France

(3) SANPSY - CNRS - USR 3413 - Univ. Bordeaux - CHU Pellegrin - F-33000 Bordeaux, France

{vincent.martin, rouas}@labri.fr, {gabrielle.chapouthier, mathilde.rieant}@etu.u-bordeaux.fr, pierre.philip@u-bordeaux.fr

## RÉSUMÉ

La détection automatique de la somnolence peut aider le suivi de patients souffrant de maladies neuro-psychiatriques chroniques. Des recherches précédentes ont déjà montré que cela est possible en utilisant des enregistrements vocaux. Dans cet article, nous proposons d'étudier les erreurs de lecture effectuées par des patients souffrant de Somnolence Diurne Excessive (SDE) sur le corpus TILE, enregistré à l'hôpital de Bordeaux. Avec des orthophonistes, nous avons défini et compté les erreurs de lecture des patients et les avons confrontées aux différentes mesures de somnolence du corpus. Nous montrons ici que relever ces erreurs peut être utile pour élaborer des marqueurs robustes de la somnolence objective mais aussi pour définir des critères d'exclusion des locuteurs n'ayant pas un niveau de lecture suffisant.

## ABSTRACT

### Sleepiness detection through reading errors estimation

Automatic detection of sleepiness can help to improve the follow-up of patients suffering from chronic diseases. Previous research on sleepiness detection has shown that this task is feasible using voice recordings. In this paper, we propose to study the reading errors made by patients suffering from Excessive Daytime Sleepiness (EDS) on the MSLT Corpus, collected at the Bordeaux hospital. With the help of speech therapists, we defined and counted reading errors and confront these numbers with sleepiness measurements. We show that evaluating these reading errors can be useful to elaborate robust markers of objective sleepiness but also to elaborate exclusion criteria of the speakers not having a sufficient reading level.

**MOTS-CLÉS** : Erreurs de lecture, Détection de la somnolence, Prosodie.

**KEYWORDS**: Reading Mistakes, Sleepiness detection, Prosody.

## 1 Introduction

L'un des défis majeurs actuels du diagnostic et du traitement des maladies chroniques en neuro-psychiatrie est la quantification des symptômes et le suivi des patients, afin d'adapter leur traitement et de détecter précocement les rechutes. Ce suivi est aujourd'hui possible grâce à des dispositifs médicaux connectés (mesurant par exemple le poids, la pression sanguine ou l'activité physique) mais des informations crucales telles que le niveau de fatigue ou de somnolence sont difficiles à

<figure><img src="image_181.png" /></figure>
mesurer en milieu écologique. Par ailleurs, ces pathologies nécessitent des entretiens réguliers entre les médecins et les patients, mais ceux-ci ne permettent pas de mesurer les variations des symptômes en réponse au traitement lorsque les patients sont à leur domicile. De plus, le nombre grandissant de patients augmente le temps d'attente entre deux entretiens, ce qui implique des entretiens irréguliers avec les médecins et donc un suivi épisodique et incomplet des patients.

Les avancées récentes dans le domaine du traitement automatique de la voix rendent possible la détection des états du locuteur via l'analyse d'indices vocaux (Cummins et al., 2018). Ces méthodes présentent de nombreux avantages : elles ne sont pas invasives, ne nécessitent ni capteurs spécifiques ni processus de calibration, et peuvent être mises en place dans des environnements variés. Elles permettent ainsi un suivi régulier et non restrictif des patients.

Notre objectif est d'estimer la somnolence objective de patients souffrant de Somnolence Diurne Excessive (SDE). Aucun corpus existant ne nous permettait d'élaborer un système répondant à cet objectif : la majorité des études portant sur la détection de la somnolence dans la voix sont basées soit sur le Sleepy Language Corpus (Martin et al., 2019; Schuller et al., 2011) soit plus récemment sur le SLEEP corpus (Schuller et al., 2019). Or, ces corpus sont enregistrés sur des volontaires sains dont la seule mesure associée à la voix est la somnolence subjective. Afin d'avoir une annotation de la somnolence objective d'échantillons vocaux recueillis sur des patients souffrant de SDE, nous avons élaboré notre propre corpus, le corpus TILE (MSLT corpus en anglais) (Martin et al., 2020), enregistré à la Clinique du Sommeil du Centre Hospitalier Universitaire de Bordeaux.

Par ailleurs, à notre connaissance, la majorité des travaux précédents ayant pour objectif de détecter la somnolence dans la voix sont basés sur des marqueurs vocaux concernant la qualité de la voix (énergie, fréquence, ...), généralement extraits avec la toolbox openSMILE (Eyben & Schuller, 2015). Cette étude tire bénéfice du fait que contrairement aux autres corpus, dans le corpus TILE tous les échantillons vocaux sont collectés lors d'une tâche de lecture, permettant d'annoter les erreurs de lecture faites par rapport au texte original. La nouveauté de cette approche réside dans le fait de se servir des erreurs de lecture comme nouveaux marqueurs de la somnolence. En effet, si les marqueurs de qualité vocale permettent d'étudier l'influence de la somnolence sur l'aspect neuro-musculaire de la voix (Krajewski et al., 2009), nous pensons que les erreurs de lecture sont des marqueurs pertinents pour l'étude de l'influence de la somnolence sur les performances cognitives. Nous proposons ainsi une nouvelle méthode pour évaluer la somnolence d'un locuteur à partir de ses erreurs de lecture.

Cet article est organisé comme suit. Dans la Section 2, nous décrivons les cinq types d'erreurs de lecture que nous avons utilisées pour annoter notre corpus. Dans la Section 3, nous présentons brièvement notre corpus et les critères d'exclusion que nous avons mis au point. Les résultats sont présentés et discutés dans la Section 4. La Section 5 introduit une première tentative de classification. Enfin, la conclusion et nos futurs travaux sur le sujet sont présentés dans la Section 6.

## 2 Définition des erreurs de lecture

En travaillant avec des orthophonistes, nous avons sélectionné cinq types d'erreurs de lecture, qui sont à la fois suffisamment générales pour être représentées dans notre corpus et assez restrictives pour être spécifiques à certains comportements de lecture.

- Les achoppements (Ach) : "hésitation, coupure, dans le rythme de la parole" (Brin et al., 2018).
Ces erreurs mesurent principalement la capacité d'assemblage du lecteur. L'assemblage est le fait de mettre bout à bout des syllabes pour former un mot : quand un lecteur commence à lire un mot, s'arrête, et reprend sa lecture, le processus d'assemblage a été interrompu, ce qui cause un achoppement. Nous avons choisi de ne pas prendre en compte les hésitations entre les mots (interruption dans le débit de parole), mais seulement les arrêts qui sont observés au milieu d'un mot ou les allongements artificiels de certaines voyelles, qui témoignent d'une hésitation. En effet, les différentes accents rencontrés lors des enregistrements induisent des hésitations plus ou moins appuyées entre les mots, ce qui n'est pas le cas des hésitations dans les mots. Les hésitations et reprises de bouts de phrases ou de phrases sont également prises en compte dans cette catégorie. Dans le cas d'une reprise, un seul achoppement est compté, quel que soit le nombre de mots repris.

— Les paralexies (Plx) : "erreur d'identification de mots écrits consistant à oraliser un mot écrit à la place d'un autre" (Brin et al., 2018).

Contrairement aux achoppement, les paralexies reflètent les capacités d'adressage du lecteur. En effet, contrairement au processus d'assemblage, l'adressage est défini comme le fait de lire un mot dans sa globalité, sans le déchiffrer ou le découper en syllabes. Les paralexies sont des erreurs symptomatiques de ce type de lecture. Nous avons choisi de généraliser cette catégorie à toute prononciation d'un mot, existant ou non, qui est lu à la place du mot correct.

— Les oublis de mots (O) : cette erreur est observée lorsque le locuteur oublie de prononcer un mot et passe directement au suivant ou au début du mot suivant avant de se reprendre. Même s'il se corrige ensuite, l'oubli est compté.

— Les additions (Add) : cette erreur est observée lorsque le locuteur ajoute un mot qui n'est pas présent dans le texte. Même s'il se corrige ensuite, l'addition est prise en compte.

— Les inversions de mots (I) : cette erreur est observée lorsque le locuteur inverse plusieurs mots dans la phrase.

Si un locuteur se reprend après une paralexie, un oubli, une addition ou une inversion de mots, aucun achoppement n'est compté sauf s'il se trompe avec l'erreur correspondante lors de sa reprise.

# 3 Description de la base de données

## 3.1 Présentation du corpus

Le corpus utilisé dans cette étude est une version étendue du corpus TILE (Martin et al., 2020). Il comprend les enregistrements de 115 patients enregistrés à la Clinique du Sommeil du Centre Hospitalier Universitaire de Bordeaux (France). Tous les patients ont émis des plaintes concernant des problèmes de sommeil et passent un Test Itératif de Latence d'Endormissement (Littner et al., 2005) - TILE. Ce test consiste en 5 siestes espacées de 2h à partir de 9h du matin. Les patients sont largement phénotypés et leurs caractéristiques physiques ainsi que leurs résultats à des questionnaires subjectifs de dépression, de fatigue et de somnolence sur le long-terme sont collectés. Le principal avantage de ce corpus réside dans le fait qu'il associe à chaque échantillon audio deux mesures de somnolence : une mesure subjective (Karolinska Sleepiness Scale (Åkerstedt & Gillberg, 1990) - KSS) et une mesure objective (temps d'endormissement des patients à chaque sieste, appelé "valeur de TILE"). Cette double annotation est importante car si les sujets sains estiment correctement leur niveau de somnolence (Horne & Burley, 2010), ce n'est pas le cas des malades (Sangal, 1999). Les échantillons vocaux sont collectés durant la lecture d'un texte, qui est différent à chaque session mais le même pour tous les locuteurs à session constante. Afin d'éviter une trop grande valence émotionnelle et
pour avoir une grammaire et un vocabulaire simple, nous avons proposé aux sujets des extraits du Petit Prince d'un peu plus de 200 mots.

## 3.2 Sélection des sujets (critères d'exclusion)

<table><caption>TABLE 1: Statistiques concises du corpus une fois les patients exclus</caption><thead><tr><td>Donnée</td><td>Femmes</td><td>Hommes</td><td>Total</td></tr></thead><tbody><tr><td>Nombre de sujets</td><td>59</td><td>40</td><td>99</td></tr><tr><td>Nombre d'échantillons</td><td>295</td><td>200</td><td>495</td></tr><tr><td>Âge moyen (écart-type)</td><td>34,2 (11,6)</td><td>39,0 (17,1)</td><td>36,1 (14,3)</td></tr><tr><td>Niveau Social moyen (écart-type)</td><td>4,6 (2,4)</td><td>5,9 (2,6)</td><td>5,4 (2,6)</td></tr><tr><td>TILE moyenne (écart-type)</td><td><b>11,8 (4,6)</b></td><td><b>10,3 (5,2)</b></td><td><b>11,2 (4,9)</b></td></tr><tr><td>KSS moyen (écart-type)</td><td>4,2 (1,2)</td><td>4,6 (1,2)</td><td>4,4 (1,2)</td></tr><tr><td>Nombre de sujets somnolents - S</td><td>12</td><td>15</td><td>27</td></tr><tr><td>Nombre de sujets non somnolents - NS</td><td>47</td><td>25</td><td>72</td></tr></tbody></table>

En annotant la base de données avec les erreurs décrites précédemment, nous avons pu établir des critères d'exclusion pour cette étude. Exclure des patients de la base de données va certes en réduire la taille, mais cela va en contrepartie assurer que les marqueurs vocaux calculés et les erreurs de lecture mesurées sur les patients inclus seront principalement influencés par la somnolence, excluant les effets des pathologies et des troubles de la lecture sur les variables mesurées.

Tout d'abord, nous avons exclus trois patients présentant des troubles visuo-attentionnels ou d'alexie, séquelles répandues des AVC ou des Accidents Ischémiques Transitoires (AIT). Les patients exclus avaient effectivement de tels antécédents médicaux et avaient rythme de lecture très lent accompagné de très nombreuses erreurs. De même, trois patients produisaient de nombreuses erreurs de lecture suspectées d'être liées à un manque de contrôle musculaire lors de la production vocale, dûes à une maladie neuro-musculaire (comme par exemple une dysphonie, une myotonie, une chorée d'Huntington ou de l'épilepsie). Ces patients produisant un grand nombre d'erreurs ont tous les trois été diagnostiqué de maladies neuro-musculaires.

Trois patients ont été également été exclus après avoir omis ou répété une ligne, ou après avoir omis un trop grand nombre de mots, rendant la lecture incohérente. En effet, ces erreurs d'attention peuvent être dues à la somnolence, mais ce sont aussi des marqueurs des Troubles et Déficits de l'Attention avec ou sans Hyperactivité (TDAH). Différencier l'origine de ces erreurs étant très difficile, nous choisissons d'exclure ces patients, dont un était diagnostiqué TDAH.

Concernant la fluence verbale, un patient présentait des caractéristiques de bredouillement et a été exclus de notre corpus. Les pathologies concernant la fluence verbale sont importantes à prendre compte puisque leurs effets sont difficilement différentiables des effets de la somnolence. Finalement, nous avons également exclus quatre patients qui déchiffraient le texte lors de la lecture à voix haute malgré une précédente lecture dans leur tête quelques minutes avant, symptômes d'une éventuelle dyslexie ou d'un trouble associé.

Un patient supplémentaire soufrant de différentes maladies inflammatoires sérieuses (Maladie de Crohn, de Basedown et Spondylarthrite Ankylosante) et un autre souffrant lui de troubles anxieux sévères impactant sa lecture ont également été exclus.
<figure><img src="image_182.png" /><figcaption>FIGURE 1: Distribution du nombre total d'erreurs par locuteur (moyenne ± SEM). Ach : Achoppements, O : Oublis, Add : Additions, Plx : Paralexies, I : Inversions de mots. Tests de Mann-Whitney (td : $p < 6 \times 10^{-2}$, * : $p < 5 \times 10^{-2}$, ** : $p < 10^{-2}$).</figcaption></figure>

Nous avons ainsi gardé un total de 99 locuteurs sur les 115 originaux. Des statistiques concises sur le corpus une fois ces patients exclus sont proposés dans le Tableau 1. Les patients sont séparés entre Somnolents (S) et Non-Somnolents (NS) grâce à la limite médicale de 8 minutes sur la moyenne des cinq valeurs de TILE qui est utilisée pour le diagnostic de la narcolepsie (Aldrich et al., 1997).

# 4 Résultats

## 4.1 Caractéristiques des locuteurs

Afin de mesurer si les erreurs évaluées précédemment sont sensibles à la somnolence, nous avons tracé la distribution du nombre total de chaque type d'erreur par locuteur dans la Figure 1 (moyenne ± SEM - *Standard Error of the Mean*).

Excepté pour les Inversions de mots, les patients Somnolents produisent plus d'erreurs que leurs homologues Non-Somnolents, et ce quelle que soit la catégorie d'erreur (Test de Mann-Whitney. Ach : $U = 746,0; p = 5,3 \times 10^{-3}$. O : $U = 635,0; p = 5,7 \times 10^{-3}$. Add : $U = 702,5; p = 2,1 \times 10^{-2}$. Plx : $U = 616,5; p = 3,9 \times 10^{-3}$. I : $U = 921,5; p = 0,34$. Total : $U = 631,0; p = 5,8 \times 10^{-3}$). En raison du faible nombre d'Inversions de mots observés, ce type d'erreur n'est pas pris en compte dans la suite de l'étude.

Nous avons ensuite étudié si le nombre total d'erreurs dans chaque catégorie corrèle ($\rho$ de Spearman) avec les différentes données médicales et sociales disponibles dans le corpus. Contrairement à nos intuitions, le niveau social (mesuré comme le nombre d'années d'étude après le Brevet des Collèges) ou encore l'âge ne corrèlent pas avec la production d'erreurs des 99 locuteurs du corpus. Il y a cependant une corrélation entre le nombre total d'additions par locuteur et la valeur moyenne de TILE ($\rho = 0,28; p = 5,3 \times 10^{-3}$) : plus les patients sont affectés par une maladie du sommeil
(somnolence objective plus élevée), plus ils font d'additions dans les textes. Ces erreurs corrèlent également avec le score du questionnaire Index de Sévérité de l'Insomnie (Morin et al., 2011) ($\rho = 0,24$; $p = 1,6 \times 10^{-2}$) : plus les patients ont de troubles du sommeil et des insomnies, plus ils produisent d'additions.

Les paralexies corrèlent non seulement avec la somnolence objective, i.e. la valeur moyenne de TILE ($\rho = 0,25$; $p = 1,3 \times 10^{-2}$) mais aussi avec la somnolence subjective, i.e. la valeur moyenne des KSS ($\rho = 0,25$; $p = 1,1 \times 10^{-2}$). Le fait que les paralexies corrèlent positivement avec à la fois les mesures de somnolence objectives et subjectives indique que la production de ce type d'erreurs augmente avec la sévérité de leur somnolence objective mais aussi avec la perception que les locuteurs en ont. Cela a l'avantage de pouvoir détecter les deux types de somnolence grâce à ce type d'erreurs mais a le principal inconvénient de ne pas pouvoir différencier les deux types de somnolence : un patient produisant un grand nombre de paralexies pourra soit avoir une somnolence objective haute ou alors seulement le ressenti qu'elle est haute. En comparaison, le nombre d'additions semble être un biomarqueur du niveau de somnolence des patients plus précis puisqu'il ne corrèle qu'avec la somnolence objective.

## 4.2 Étude des sources d'influences de production d'erreurs

Aucun des textes choisis n'a exactement la même taille, la même difficulté ou la même quantité de dialogues. Il est donc nécessaire d'étudier l'influence des textes sur cette production d'erreurs et de la séparer de l'influence de la somnolence. De plus, des variables dépendant du temps peuvent affecter à la fois le niveau de somnolence et la production. Parmi ces variables comptent le fait que les patients petit-déjeunent avant la première itération du test (à 9h du matin), qu'ils déjeunent peu avant la troisième itération (à 13h) ou qu'ils expriment généralement de la fatigue et un ennui vis à vis du test durant la dernière itération (17h). Dans la suite, "influence de l'itération" fera indépendamment référence à l'influence du texte ou des variables précédemment décrites, les deux effets n'étant pas séparables.

Afin de séparer la contribution de l'itération, de la valeur de TILE et du KSS sur les variations du nombre d'additions et de paralexies, nous avons appliqué une ANOVA multivariée à mesures répétées avec R (R Core Team, 2017).

En étudiant les variations des valeurs de TILE et du nombre d'additions chez les deux classes de patients (Figure 2a), la somnolence objective semble avoir une influence sur la production de ce type d'erreurs. Une ANOVA permet de mettre en évidence une influence significative du TILE sur les variations inter-sujets ($F = 6,0$; $p = 1,6 \times 10^{-2}$) et une influence presque significative du KSS sur les variations intra-sujets ($F = 3,4$; $p = 6,3 \times 10^{-2}$). Cela signifie que les différences observées entre les sujets indépendamment du temps sont principalement expliquées par leurs différences de TILE (ce qui confirme le lien entre TILE et additions) tandis que celles observées entre les sujets au cours du temps (influence conjointe de la session et du locuteur) sont principalement expliquées par les différences de variation de KSS au cours des itérations du test. La session n'a aucun effet significatif sur la production des additions. Nous émettons donc l'hypothèse que les variations du nombre d'additions sont principalement dues aux variations de somnolences objectives et subjectives, et qu'elles sont donc indépendantes du texte et des autres effets temporels.

L'influence de la somnolence sur le nombre de paralexies est plus complexe à analyser. Malgré une forte corrélation entre l'évolution des valeurs de TILE et de KSS avec le nombre de paralexies
<figure><img src="image_183.png" /></figure>

<figure><img src="image_184.png" /><figcaption>(a) Additions et TILE en fonction des itérations du test (b) Additions et KSS en fonction des itérations du test</figcaption></figure>

<figure><img src="image_185.png" /></figure>

<figure><img src="image_186.png" /><figcaption>(c) Paralexies et TILE en fonction des itérations du test (d) Paralexies et KSS en fonction des itérations du test</figcaption></figure>

<caption>FIGURE 2: Additions (a,b) et paralexies (c,d) comparées au TILE et au KSS (moyenne±SEM). Tests de Mann-Whitney</caption>

(td : $p < 6 \times 10^{-2}$, * : $p < 5 \times 10^{-2}$, ** : $p < 10^{-2}$, *** : $p < 10^{-3}$).

observées sur les Figures 2c et 2d, l'effet dominant lors de l'analyse par ANOVA est l'influence de l'itération ($F = 5, 2$; $p = 4, 2 \times 10^{-4}$). En effet, nous avons observé lors de l'annotation de la base de données que certains mots sont systématiquement mal prononcés, menant à une paralexie (par exemple le mot "méditatif" est très souvent prononcé "médiatif"). L'influence du texte induit ici une influence de l'itération sur la production des paralexies. Les corrélations entre le nombre total de paralexies et les deux mesures différentes de la somnolence restent malgré tout des indications optimistes concernant l'utilité des paralexies dans la détection de la somnolence.

Une ANOVA permet d'expliquer les variations intra-sujets des achoppements par le KSS ($F = 5, 8$; $p = 1, 7 \times 10^{-2}$) et l'itération ($F = 5, 9$; $p = 1, 2 \times 10^{-4}$), ce qui exclut ce type d'erreur des biomarqueurs robustes pour estimer la valeur de TILE. Nous avons choisi d'ignorer les arrêts entre les mots, puisqu'ils sont difficilement différentiables des accents des locuteurs ou de respirations inhabituelles, ce qui pourrait être la cause de l'absence de corrélation entre le nombre total d'achoppements et la
somnolence objective des patients.

Concernant les oublis, nous avons remarqué que les mots oubliés sont souvent les mêmes. Ce sont des petits mots de liaison qui sont en général omis à l'oral (par exemple "Il me répéta alors" à la place de "Et il me répéta alors"). Une ANOVA confirme que les variations du nombre d'oublis dépendent fortement du texte (influence de l'itération : *F* = 12, 6 ; *p* = 1, 2 × 10<sup>-9</sup>), les empêchant d'être des biomarqueurs robustes de l'état de somnolence du locuteur. Une autre version de ces erreurs pourrait toutefois avoir du potentiel en tant que biomarqueur de la somnolence puisque les variations inter-locuteurs sont expliquées par la valeur de TILE (*F* = 4, 1 ; *p* = 0,05). Ces observations soulèvent la nécessité d'une étude en profondeur du contenu des textes, pour éviter la reproduction de ces problèmes mais également pour s'assurer qu'ils sont visuellement équivalents (les dialogues présents dans notre corpus de textes semblent impliquer des erreurs visuo-attentionnelles) et que la difficulté des textes n'est pas la source des erreurs faites par les sujets.

# 5 Élaboration d'un classificateur

Une première approche pour élaborer un classificateur entre sujets Somnolents et Non-Somnolents consiste à concatener les erreurs des cinq itérations du test et d'utiliser ce vecteur comme entrée d'une Machine à Vecteur Support - SVM (noyau linéaire, $C = 1 \times 10^{-2}$). Comme la taille de notre corpus est relativement faible (99 locuteurs), nous utilisons de la validation croisée Leave One Speaker Out Cross Validation (LOSOCV) : chaque locuteur est tour à tour isolé pour servir de test, tandis que les autres forment la base d'entraînement. Le résultat de la classe estimée pour le locuteur de test est ajouté dans une matrice de confusion globale, qui sert d'évaluation moyenne de l'ensemble des systèmes. Après avoir normalisé l'ensemble d'entraînement, entraînés les paramètres du SVM et évalué le système obtenu pour chaque itération de la LOSOCV, nous obtenons une performance (Unweighted Accuracy Recall - UAR) calculée sur la matrice de confusion globale de 61,0% (Sensibilité : 57,7%, Spécificité : 64,4%). Même si les performances obtenues par ce système sont en dessous de celles obtenues dans l'état de l'art, il sera intéressant d'étudier leur combinaison avec des systèmes classiques en utilisant différents ensembles de biomarqueurs.

# 6 Conclusions et Perspectives

En conclusion, nous avons proposé de nouveaux marqueurs pour la détection de la somnolence à partir des erreurs de lecture. La mesure de ces erreurs permet à la fois de proposer des critères d'exclusion pour notre corpus (basés sur leur niveau de lecture ou sur leurs pathologies) et de mesurer la somnolence des locuteurs grâce à leur voix. Par ailleurs, nous avons aussi montré que ces nouveaux marqueurs peuvent être utilisés dans des tâches de classification d'état de somnolence de locuteur. Cela pourrait aider à améliorer les systèmes classiques de détection de la somnolence dans la voix, actuellement basés sur des marqueurs acoustiques, en les utilisant avec différents types de marqueurs.

Nos futurs travaux comprennent l'élaboration d'un système de détection automatique des erreurs présentées dans cet article grâce à des systèmes de transcription automatique. D'autre part, nous projetons de mettre au point des marqueurs équivalents pour la parole spontanée et d'étudier les possibilités de fusion des marqueurs des systèmes classiques avec les nôtres.
Références

ALDRICH M. S., CHERVIN R. D. & MALOW B. A. (1997). Value of the multiple sleep latency test (MSLT) for the diagnosis of narcolepsy. *Sleep, 20*(8), 620–629.

BRIN F., COURRIER C., LEDERLE E. & MASY V. (2018). *Dictionnaire d'orthophonie - 4ème édition*. Orthoedition édition.

CUMMINS N., BAIRD A. & SCHULLER B. (2018). Speech analysis for health : Current state-of-the-art and the increasing impact of deep learning. *Health Informatics and Translational Data Analytics, 151*, 1–54.

EYBEN F. & SCHULLER B. (2015). Opensmile. *ACM SIGMultimedia Records, 6*, 4–13.

HORNE J. & BURLEY C. (2010). We know when we are sleepy : Subjective versus objective measurements of moderate sleepiness in healthy adults. *Biological Psychology, 83*(3), 266–268.

KRAJEWSKI J., BATLINER A. & GOLZ M. (2009). Acoustic sleepiness detection : Framework and validation of a speech-adapted pattern recognition approach. *Behavior Research Methods, 41*(3), 795–804.

LITTNER M. R., KUSHIDA C., WISE M., DAVILA D. G., MORGENTHALER T., LEE-CHIONG T., HIRSHKOWITZ M., LOUBE D. L., BAILEY D., BERRY R. B., KAPEN S. & KRAMER M. (2005). Practice Parameters for Clinical Use of the Multiple Sleep Latency Test and the Maintenance of Wakefulness Test. *Sleep, 28*(1), 113–121.

MARTIN V. P., ROUAS J.-L., MICOULAUD-FRANCHI J.-A. & PHILIP P. (2020). The Objective and Subjective Sleepiness Voice Corpora. In *12th Language Resources and Evaluation Conference*.

MARTIN V. P., ROUAS J.-L., THIVEL P. & KRAJEWSKI J. (2019). Sleepiness detection on read speech using simple features. In *10th Conference on Speech Technology and Human-Computer Dialogue*. DOI: 10.1109/SPED.2019.8906577.

MORIN C. M., BELLEVILLE G., BÉLANGER L. & IVERS H. (2011). The Insomnia Severity Index : Psychometric Indicators to Detect Insomnia Cases and Evaluate Treatment Response. *Sleep, 34*(5), 601–608.

R CORE TEAM (2017). *R : A Language and Environment for Statistical Computing*. Vienna, Austria : R Foundation for Statistical Computing.

SANGAL R. (1999). Subjective sleepiness ratings (Epworth sleepiness scale) do not reflect the same parameter of sleepiness as objective sleepiness (maintenance of wakefulness test) in patients with narcolepsy. *Clinical Neurophysiology, 110*(12), 2131–2135.

SCHULLER B., BATLINER A., BERGLER C., POKorny F. B., KRAJEWSKI J., CYCHOCZ M., VOLLMAN R., ROELEN S.-D., SCHNIEDER S., BERGELSON E., CRISTIA A., SEIDL A., WAR-LAUMONT A., YANKOWITZ L., NÖTH E., AMIRIPARIAN S., HANTKE S. & SCHMITT M. (2019). The INTERSPEECH 2019 Computational Paralinguistics Challenge : Styrian Dialects, Continuous Sleepiness, Baby Sounds & Orca Activity. In *Interspeech 2019*.

SCHULLER B., STEIDL S., BATLINER A., SCHIEL F. & KRAJEWSKI J. (2011). The INTER-SPEECH 2011 Speaker State Challenge. In *Interspeech 2011*, p. 3201–3204.

ÅKERSTEDT T. & GILLBERG M. (1990). Subjective and objective sleepiness in the active individual. *Int J Neurosci, 52*, 29–37.
# Détection de la somnolence objective dans la voix

Vincent P. Martin¹ Jean-Luc Rouas¹ Pierre Philip²

(1) LaBRI - Univ. Bordeaux - Bordeaux INP - CNRS - UMR5800 - F-33400 Talence, France

(2) SANPSY - CNRS - USR 3413 - Univ. Bordeaux - CHU Pellegrin, F-33000 Bordeaux, France
vincent.martin@labri.fr, rouas@labri.fr, pierre.philip@u-bordeaux.fr

## RÉSUMÉ

Le suivi des patients souffrant de maladies neuro-psychiatriques chroniques peut être amélioré grâce à la détection de la somnolence dans la voix. Cet article s'inspire des systèmes état-de-l'art en détection de la somnolence dans la voix pour le cas particulier de patients atteints de Somnolence Diurne Excessive (SDE). Pour cela, nous basons notre étude sur un nouveau corpus, le corpus TILE. Il diffère des autres corpora existants par le fait que les sujets enregistrés sont des patients souffrant de SDE et que leur niveau de somnolence est mesuré de manière subjective mais aussi objective. Le système proposé permet détecter la somnolence objective grâce à des paramètres vocaux simples et explicables à des non spécialistes.

## ABSTRACT

### Objective sleepiness detection through voice

The following-up of patients suffering from chronical neuro-psychiatric diseases can be improved by sleepiness detection through voice. This article draws from state-of-the-art systems to estimate sleepiness level from voice, for the specific case of patients suffering from Excessive Daytime Sleepiness (EDS). To this end, we base our study on a new corpus, the MSLT corpus. It differs from other existing corpora by the fact that recorded subjects suffer from EDS and that their sleepiness level is measured by both subjective and objective means. The proposed system allows to detect objective sleepiness with simple vocal markers that are explainable to non-specialists.

**MOTS-CLÉS** : Détection de la somnolence, Paramètres vocaux, Prosodie, Lecture de textes.

**KEYWORDS:** Sleepiness detection, Vocal markers, Prosody, Read speech.

# 1 Introduction

L'un des défis majeurs actuels du diagnostic et du traitement des maladies neuro-psychiatriques chroniques est la quantification des symptômes et le suivi des patients afin d'adapter leur traitement et de détecter précocement les risques de rechute. Une telle surveillance est possible en milieu écologique grâce à des dispositifs médicaux connectés (mesurant par exemple le poids, la pression sanguine ou l'activité physique) mais des informations pourtant crucales telles que la fatigue ou la somnolence sont difficiles à mesurer par ces dispositifs. Des entretiens fréquents entre les médecins et les patients sont nécessaires, mais la quantité grandissante de patients ne permet pas un suivi régulier et personnalisé. Par ailleurs, les entretiens ne permettent pas de mesurer les variations des symptômes en réponse au traitement lorsque les patients sont à domicile. Ainsi est née l'idée de proposer aux patients un suivi à domicile en utilisant un médecin virtuel. Des études précédentes ont

<figure><img src="image_187.png" /></figure>
montré que l'utilisation d'un tel médecin virtuel est bien accepté par les patients (Philip et al., 2020, 2017). Nous désirons compléter l'analyse des réponses aux questions posées par le médecin virtuel en y ajoutant l'analyse de paramètres vocaux. En effet, il semble désormais possible de détecter des indices dans la voix permettant d'évaluer l'état des locuteurs pour des tâches de suivi ou de diagnostic médical (Cummins et al., 2018). Cette méthode présente de nombreux avantages, puisqu'elle n'est pas invasive et ne nécessite ni de capteurs spécifiques ni de processus complexe de calibration. De plus, elle peut être mise en place dans des environnements variés et permet un suivi régulier et non restrictif des patients.

Si des études précédentes ont montré qu'il est possible d'estimer la somnolence subjective dans la voix (Martin et al., 2019; Schuller et al., 2011; Cummins et al., 2018), la plupart étaient basées sur le Sleepy Large Corpus (Schuller et al., 2011) qui ne contient que des enregistrements de sujets sains. Plus récemment, le corpus SLEEP (Schuller et al., 2019), élaboré pour le challenge Interspeech 2019, ouvre la voie à l'utilisation de l'apprentissage profond pour la détection de la somnolence dans la voix grâce à sa taille importante (16462 échantillons). Cependant, il est lui aussi composé d'enregistrements de sujets sains dont la somnolence est évaluée de manière subjective.

Puisque notre objectif est d'estimer la somnolence objective de patients souffrant de Somnolence Diurne Excessive (SDE), les précédents corpus ne correspondent pas à nos besoins. En effet, la somnolence est uniquement mesurée par le questionnaire médical subjectif Karolinska Sleepiness Scale (Åkerstedt & Gillberg, 1990) - KSS) ; les enregistrements sont effectués sur des tâches extrêmement variées allant de la production de voyelles tenues à la lecture de textes divers, en Allemand et Anglais, rendant les échantillons difficilement comparables ; les sujets enregistrés sont des sujets sains, alors que nous souhaitons suivre à domicile des patients souffrant de SDE, pour lesquels les somnolences subjectives et objectives ne corrèlent pas (Sangal, 1999). Pour résoudre ce problème nous avons donc enregistré notre propre corpus, le corpus TILE (MSLT corpus en anglais) (Martin et al., 2020b), enregistré à la Clinique du Sommeil du Centre Hospitalier Universitaire de Bordeaux.

Nous présentons ici un système de détection de la somnolence objective de patients souffrant de SDE, grâce à des traits spécifiques de leur voix. La collaboration avec des médecins exige que les paramètres vocaux extraits des échantillons audios soient interprétables et reliés à un phénomène physiologique. En conséquence, plutôt que de mettre au point un système complexe, nous cherchons à étudier si de bonnes performances de classification peuvent être obtenues avec des paramètres vocaux simples et facilement interprétables.

Cet article est organisé comme suit. La Section 2 présente brièvement le corpus utilisé. Nous présentons dans la Section 3 les paramètres vocaux élaborés pour cette étude et dans la Section 4 notre méthodologie de classification. La Section 5 présente et discute les résultats. Enfin, une conclusion et des perspectives sont proposées dans la Section 6.

## 2 Description du corpus

Le corpus utilisé dans cette étude est une version augmentée du corpus TILE (Martin et al., 2020b). Enregistré à la Clinique du Sommeil au Centre Hospitalier Universitaire de Bordeaux, il comprend actuellement les enregistrements de 99 patients ayant des plaintes de Somnolence Diurne Excessive (SDE). Il est basé sur le Test Itératif de Latence d'Endormissement - TILE (Littner et al., 2005), durant lequel les patients font cinq siestes espacées de deux heures à partir de neuf heures du matin.
Les patients sont largement phénotypés et différentes caractéristiques physiques sont collectées pour chaque patient. Ces données sont complétées par les réponses à des questionnaires médicaux subjectifs de dépression, de fatigue et de somnolence à long terme.

Le principal avantage de ce corpus réside dans le fait qu'il associe à chaque échantillon audio à la fois une valeur de somnolence subjective (Échelle de Somnolence de Karolinska (Åkerstedt & Gillberg, 1990) - KSS) et une valeur objective mesurée par EEG (temps d'endormissement à chaque sieste, appelée "valeur de TILE" dans la suite). Les patients sont assignés à la classe Somnolent (S) ou Non-Somnolent (NS) suivant si la valeur de la moyenne des TILE sur les 5 itérations est inférieure ou supérieure à 8 minutes, limite médicale pour le diagnostic de la narcolepsie (Aldrich et al., 1997) (TILE moyen ± écart-type : SL : 4,8 min ± 2,0 min; NSL : 13,6 min ± 3,3 min). La même limite de 8 minutes est utilisée pour étiqueter les échantillons, indépendamment du label du locuteur.

Les enregistrements vocaux sont collectés durant la lecture d'un texte, qui est différent à chaque itération du test mais qui est le même pour tous les patients à session constante. Afin d'éviter une trop grande valence émotionnelle et pour avoir une grammaire et un vocabulaire simple, nous avons proposé aux sujets cinq textes, extraits du Petit Prince, d'environ 230 mots (moyenne : 229 mots, écart-type : 16,4 mots). Des statistiques concises du corpus sont présentées dans le Tableau 1. Nous redirigeons le lecteur vers (Martin et al., 2020b) pour plus d'informations sur ce corpus.

<table><caption>TABLE 1 – Statistiques concises du corpus TILE (Martin et al., 2020b)</caption><thead><tr><th>Donnée</th><th>Femmes</th><th>Hommes</th><th>Total</th></tr></thead><tbody><tr><td>Nombre de sujets</td><td>59</td><td>40</td><td>99</td></tr><tr><td>Nombre d'échantillons</td><td>295</td><td>200</td><td>495</td></tr><tr><td>Âge moyen (écart-type)</td><td>34,2 (11,6)</td><td>39,0 (17,1)</td><td>36,1 (14,3)</td></tr><tr><td>Niveau Social moyen (écart-type)</td><td>4,6 (2,4)</td><td>5,9 (2,6)</td><td>5,4 (2,6)</td></tr><tr><td>TILE moyenne (écart-type)</td><td><b>11,8 (4,6)</b></td><td><b>10,3 (5,2)</b></td><td><b>11,2 (4,9)</b></td></tr><tr><td>KSS moyen (écart-type)</td><td>4,2 (1,2)</td><td>4,6 (1,2)</td><td>4,4 (1,2)</td></tr><tr><td>Nombre de sujets somnolents - S</td><td>12</td><td>15</td><td>27</td></tr><tr><td>Nombre de sujets non somnolents - NS</td><td>47</td><td>25</td><td>72</td></tr></tbody></table>

## 3 Description des paramètres vocaux

Notre étroite collaboration avec des médecins impose que les paramètres vocaux extraits des échantillons audio soient facilement interprétables et reliés à des phénomènes physiologiques. Dans ce but, nous extrayons des paramètres avec deux granularités temporelles. D'une part, des paramètres provenant des échantillons en entier, en utilisant soit la détection automatique de segments vocaux (Pellegrino & Andre-Obrecht, 2000) ou la détection automatique de segments voisés grâce à l'extraction de fréquence fondamentale (Sjölander, 2004). D'autre part, nous calculons des paramètres sur chaque segment voisin pour caractériser la régularité de la production d'harmoniques. Ces paramètres sont ensuite moyennés sur chaque échantillon.
## 3.1 Paramètres calculés sur la totalité de l'échantillon

Les statistiques sur la durée et la proportions de segments voisés et des voyelles reflètent le comportement global de la voix du locuteur.

Les paramètres extraits en utilisant ce paradigme sont :

- duvoiced : la durée totale des parties voisées (en s.)

- pervoiced : le pourcentage en durée des parties voisées

- durvowel : la durée totale des segments vocaliques (en s.)

- pervowel : le pourcentage en durée des segments vocaliques

Nous obtenons ainsi 4 paramètres vocaux sur les statistiques des segments voisés et vocaliques calculés sur l'ensemble de l'échantillon.

## 3.2 Paramètres calculés sur les parties voisées

Les paramètres vocaux extraits sur les parties voisées comprennent des mesures de fréquence fondamentale et de courbes d'intensité :

- F0MEAN : la moyenne de la fréquence fondamentale sur les segments voisés

- F0VAR : la variance de la fréquence fondamentale sur les segments voisés

- F0SLOPE : le coefficient directeur de l'approximation linéaire de la fréquence fondamentale sur un segment voisé

- F0MAX : le maximum de la fréquence fondamentale sur un segment voisé

- F0MIN : le minimum de la fréquence fondamentale sur un segment voisé

- F0EXTEND : l'amplitude de la fréquence fondamentale sur un segment voisé

Les mêmes paramètres sont calculés sur les courbes d'intensité (NRJMEAN, NRJVAR, NRJMAX, NRJMIN, NRJEXTEND). Il en résulte 12 paramètres vocaux supplémentaires (6 sur F0, 6 sur l'intensité). Nous avons également calculé F0MEAN, F0VAR, NRJMEAN et NRJVAR sur les segments vocaliques, ajoutant ainsi 4 paramètres vocaux au groupe de paramètres.

Cet ensemble de paramètres est complété par des paramètres calculés avec le toolkit Matlab Co-varep (Degottex et al., 2014) que nous avons modifié pour les calculer seulement sur les segments voisés. Ces paramètres vocaux ont précédemment été utilisés pour caractériser les styles de chant (Rouas & Ioannidis, 2016) ou encore pour la classification d'attitudes sociales (Rouas et al., 2019). Nous complétons ainsi notre ensemble de paramètres avec l'amplitude des harmoniques (H1,H2,H4), l'amplitude des formants (A1,A2,A3), leurs fréquences (F1,F2,F3,F4) et leurs bandes-passantes (B1,B2,B3,B4); la différence entre les amplitudes des harmoniques (H1-H2, H2-H4), la différence d'amplitude entre les harmoniques et les formants (H1-A1, H1-A2, H1-A3); la *Cepstral Peak Pro-minence* (CPP); les rapports harmoniques sur bruit dans différentes plages de fréquences (HNR05, HNR15, HNR25, HNR35). Tous ces paramètres sont moyennés sur chaque enregistrement, ce qui ajoute un total de 24 paramètres à notre ensemble de paramètres vocaux. Nous avons donc extrait un total de 44 paramètres.

# 4 Description de la méthodologie de classification

Contrairement aux précédents travaux sur la détection de la somnolence dans la voix (Martin et al., 2019; Schuller et al., 2019; Cummins et al., 2018), le but de celui-ci n'est pas d'estimer la somnolence
instantanée du locuteur mais une somnolence à plus long terme.

Le TILE est un test reconnu médicalement pour le diagnostic de la narcolepsie (Littner et al., 2005; Aldrich et al., 1997). Lorsque la moyenne des valeurs de TILE des 5 siestes est inférieure à 8 minutes, le sujet est diagnostiqué comme narcoleptique. Même si la majorité de nos patients souffrent de maladies différentes de la narcolepsie (principalement d'hypersomnie idiopathique), nous choisissons de conserver la valeur limite de 8 minutes pour distinguer locuteurs Somnolents (S) et Non-Somnolents (NS), et ainsi obtenir une vérité terrain.

Pour estimer cette classe somnolence du locuteur, nous attribuons une classe (S ou NS) à chacun de ses cinq échantillons vocaux, indépendamment les uns des autres, avec la même limite de 8 minutes utilisée pour le label des locuteurs. Nous entraînons ensuite un classificateur à calculer les probabilités d'appartenance à la classe S et à la classe NS des échantillons (notés resp. $p_i$ et $\bar{p}_i$ pour le ième échantillon de chaque locuteur). En moyennant les probabilités des cinq échantillons d'un même locuteur, nous obtenons ainsi sa probabilité moyenne d'appartenir à chacune des classes $p_{moy}$ (et $\bar{p}_{moy}$ pour les NS). En prenant ensuite le maximum entre $p_{moy}$ et $\bar{p}_{moy}$, la classe du locuteur est déterminée. Cette procédure est résumée dans la Figure 1.

La méthodologie pour calculer les probabilités d'appartenance aux classes de somnolence à partir des paramètres vocaux est similaire à celle exposée dans (Martin et al., 2019).

Afin d'avoir des résultats pertinents au regard de la faible taille du corpus, nous appliquons la méthode du Leave One Speaker Out Cross Validation : à chaque itération de la validation croisée, un locuteur est exclu pour servir de test. Le résultat de sa classification est additionné dans une matrice de confusion globale, sur laquelle est calculée le taux de précision (Unweighted Accuracy Recall - UAR). Le reste des locuteurs est divisé en deux sous-corpus d'entraînements (80%) et de développement (20%), équilibrés en valeurs de TILE moyenne, en sexe et en âge, afin de pouvoir déterminer les paramètres vocaux et les paramètres du classificateur les plus pertinents. Par ailleurs, le jeu de données étant déséquilibré, la base d'entraînement est augmentée grâce à la méthode SMOTE implémenté dans le module Python SciKit Learn (Pedregosa et al., 2011).

Lors de chaque itération de la validation croisée, la même procédure est appliquée :

1. Calcul pour chaque marqueur vocal de la corrélation ($\rho$ de Spearman) entre le marqueur vocal et la valeur de l'itération de TILE sur l'ensemble *entraînement* + *développement*. Cela permet d'ordonner les paramètres vocaux du plus corrélé au moins corrélé avec la somnolence objective.

2. Sélection du nombre de features. Pour cela, nous calculons les performances du système (en *entraînement* vs *développement*) pour les 1, 2, ..., 44 paramètres vocaux, et gardons le nombre de features et les paramètres de classificateur fournissant les meilleures performances. Le classificateur utilisé est une Machine à Vecteurs Supports - SVM, dont les paramètres sont le noyau (linéaire ou gaussien) et les paramètres C et $\gamma$. Durant cette phase, les performances sont mesurées grâce au score F1 (moyenne géométrique de la précision et du rappel).

3. Le système précédent est entraîné sur le sous-corpus *entraînement*+*développement* et nous obtenons les probabilités d'appartenance aux classes de somnolence des 5 siestes du locuteur de test.

4. Les probabilités sont moyennées et seuillées pour obtenir la classe d'appartenance du locuteur. La matrice de confusion globale moyenne du système est mise à jour et nous poursuivons la validation croisée.
<figure><img src="image_188.png" /><figcaption>FIGURE 1 – Procédure pour l’estimation de la classe de somnolence. $X_i$ : ensemble des paramètres vocaux triés pour la sieste $i$. $p_i$ : probabilité que l’échantillon de la sieste $i$ provienne d’un locuteur somnolent. Les classificateurs SVM représentés sont tous identiques et ont été entraînés sur tous les échantillons, toutes itérations confondues</figcaption></figure>

# 5 Résultats et Discussions

## 5.1 Résultats du système

La précédente méthodologie conduit à la matrice de confusion présentée dans le Tableau 2a). Malgré les bonnes performance de cette méthode dans notre étude précédente sur la détection de la somnolence subjective (Martin et al., 2019), le score UAR ainsi obtenu est seulement de 51,9%.

Pour améliorer ce système, nous décidons de modifier la procédure de sélection des paramètres vocaux : au lieu de les classer selon leur corrélation avec la valeur de TILE, nous choisissons de les classer selon leur pouvoir discriminant entre les deux classes S et NS, grâce à un test de Mann-Whitney. Plus le U de Mann-Whitney est faible, plus le marqueur vocal a des distributions différentes entre S et NS et donc un pouvoir discriminant élevé. En conservant à l'identique le reste du système, la matrice de confusion obtenue est représentée dans le Tableau 2b). Le score UAR correspondant est de 56,5%, ce qui représente une amélioration de 4,6% par rapport au système a) : cette stratégie de sélection de paramètres semble plus efficace que la précédente.

## 5.2 Fusion a posteriori des systèmes

Afin de tirer parti des deux différentes approches de hiérarchisation des paramètres (corrélation ou pouvoir discriminant), nous proposons une troisième stratégie. Pour chaque locuteur, nous déterminons sa probabilité d'être somnolent selon les deux systèmes, notés $p_{moy}^c$ et $p_{moy}^m$ (et leur équivalent pour la classe NS, $\overline{p_{moy}^c}$ et $\overline{p_{moy}^m}$). Nous effectuons la fusion des deux systèmes en prenant la classe, indépendamment du système, qui a la plus forte probabilité : $p_{moy} = max(p_{moy}^c, p_{moy}^m)$ et $\overline{p_{moy}} = max(\overline{p_{moy}^c}, \overline{p_{moy}^m})$. Nous obtenons ainsi la matrice de confusion présentée dans le Tableau 2b), conduisant à un score UAR de 60,0%, i.e. une amélioration de 3,5% par rapport au système b) et de 8,1% par rapport au système a).

## 5.3 Paramètres vocaux pertinents

Le meilleur système étant obtenu par la fusion de deux systèmes utilisant deux sélections de paramètres vocaux différents, il convient d'étudier quels sont les paramètres vocaux les plus pertinents pour chaque approche. Pour cela, nous séparons deux cas selon le paradigme de sélection de paramètres
<table><thead><tr><th>a) Corr</th><th>S<sub>pred</sub></th><th>NS<sub>pred</sub></th></tr></thead><tbody><tr><td>S<sub>th</sub></td><td>10</td><td>17</td></tr><tr><td>NS<sub>th</sub></td><td>24</td><td>48</td></tr></tbody></table>

UAR : 51,9%

<table><thead><tr><th>b) Mann</th><th>S<sub>pred</sub></th><th>NS<sub>pred</sub></th></tr></thead><tbody><tr><td>S<sub>th</sub></td><td>11</td><td>16</td></tr><tr><td>NS<sub>th</sub></td><td>20</td><td>52</td></tr></tbody></table>

UAR : 56,5%

<table><thead><tr><th>c) Fusion</th><th>S<sub>pred</sub></th><th>NS<sub>pred</sub></th></tr></thead><tbody><tr><td>S<sub>th</sub></td><td>11</td><td>16</td></tr><tr><td>NS<sub>th</sub></td><td>15</td><td>57</td></tr></tbody></table>

UAR : 60,0%

<caption>TABLE 2 – Matrices de confusion et performances des trois systèmes étudiés : a) Tri des features par corrélation avec la valeur de somnolence ($\rho$ de Spearman); b) Tri des features par leur pouvoir discriminant entre les deux classes (U de Mann-Whitney); c) Fusion des deux systèmes</caption>

vocaux choisi pour chaque locuteur lors de la fusion : corrélation de Spearman ou test de Mann-Whitney.

Lorsque la plus grande probabilité d'appartenance à une classe est observée pour un système de classification utilisant une corrélation de Spearman pour la sélection des features (ce qui est le cas pour 39 sujets), nous faisons la moyenne des corrélations des features avec les valeurs de TILE pour les 39 sujets concernés. Nous obtenons ainsi une corrélation moyenne des features avec les TILE pour les systèmes qui utilisent la corrélation de Spearman et qui sont efficaces dans la fusion. Les cinq paramètres les plus pertinents dans ce paradigme sont principalement des statistiques sur les parties voisées et vocaliques, ainsi que des paramètres concernant les harmoniques et les formants : CPP ($\rho = 6, 7 \times 10^{-2}$), durvoiced ($\rho = 6, 7 \times 10^{-2}$), durvowel ($\rho = 6, 7 \times 10^{-2}$), B1 ($\rho = -6, 4 \times 10^{-2}$), H1-H2 ($\rho = -6, 1 \times 10^{-2}$).

Nous procédons de même avec les U de Mann-Whitney sur les 60 autres systèmes utilisant la sélection de features grâce à un test de Mann-Whitney. Les cinq paramètres vocaux les plus discriminants sont également des paramètres liés aux harmoniques et formants : H1-A1 ($U = 25981, p = 2, 9 \times 10^{-2}$), H1-A2 ($U = 26186, p = 3, 9 \times 10^{-2}$), CPP ($U = 26270, p = 4, 3 \times 10^{-2}$), H1-H2 ($U = 26489, p = 5, 9 \times 10^{-2}$), H1-A3 ($U = 26709, p = 6, 1 \times 10^{-2}$).

Un point d'intérêt dans le fait de fusionner deux systèmes est l'origine des bonnes (ou mauvaises) performances de chacun des systèmes. Il est possible par exemple d'étudier l'efficacité de chaque type de système en comparant les distributions des valeurs de TILE moyenne pour les deux systèmes (les 39 sujets précédemment cités pour Spearman et 60 pour Mann-Whitney). Nous obtenons ainsi un TILE moyen pour les systèmes utilisant la discrimination par test de Mann-Whitney (moyenne : 10,3 minutes, écart-type : 5,25) significativement inférieur (test de Mann-Whitney : $U = 884, 7, p = 2, 1 \times 10^{-2}$) que pour les systèmes utilisant la corrélation de Spearman (moyenne : 12,4, écart-type : 4,0). Les systèmes utilisant la corrélation de Spearman sont donc plus performants sur la détection de la non-somnolence (6 Somnolents, 33 Non-Somnolents) tandis que ceux utilisant le test de Mann-Whitney comme processus de sélection de paramètres vocaux sont moins spécialisés (21 Somnolents, 39 Non-Somnolents). L'idée de faire la fusion de plusieurs systèmes est donc bénéfique dans le cadre de cette étude puisqu'elle permet de cumuler les avantages de chacun des classificateurs.

## 5.4 Discussion

Ce résultat est optimiste au regard de la faible taille de la base de données. Une étude plus fine de la matrice de confusion nous apporte des informations complémentaires. En effet, quel que soit le système, non seulement la majorité des sujets somnolents sont classés dans la mauvaise catégorie (60% dans le cas du meilleur système) mais la majorité des locuteurs classifiés comme somnolents
sont des patients qui ne le sont pas.

Il y a en effet un déséquilibre entre la classe NS et la classe S qui est très minoritaire. Malgré l'aug-
mentation de données dans la classe minoritaire grâce au SMOTE, les améliorations successives du
système proposé précédemment conduit à l'amélioration de la détection des patients non-somnolents
plutôt que des sujets somnolents, comme en témoigne l'augmentation des performances sur cette
classe là (67% pour le système (a), 72% pour le système (b) et 79,2% pour le système (c)). Un
plus grand nombre de patients dans la classe S permettrait au système de mieux généraliser les
caractéristiques de la voix somnolente et ainsi de surmonter ce problème.

6 Conclusion et perspectives

Pour conclure, nous avons proposé un système qui est prometteur dans la classification de la som-
nolence objective grâce à la voix chez des patients souffrant de Somnolence Diurne Excessive. Il
s'appuie sur des paramètres vocaux qui sont explicables à des personnes qui ne sont pas spécialistes
du traitement du signal vocal, et permet ainsi une collaboration étroite avec le monde médical.

Nos futurs travaux comprendront l'élaboration d'un meilleur classificateur basé sur d'autres techniques du traitement du signal, comme par exemple des techniques à base de Réseau de Neurones Récurrents pour prendre en compte les variations temporelles des paramètres vocaux. Par ailleurs, la fusion avec d'autres paradigmes de classification comme l'étude des erreurs de lecture (Martin et al., 2020a) pourrait permettre de rendre le système plus robuste et d'en améliorer les performances. Enfin, la collecte de données sur des profils de patients permettant d'équilibrer les classes S et NS permettra d'obtenir des résultats plus signifiants.

Remerciements

Cette étude a été réalisée dans le cadre des projets IS-OSA, financé par la Région Nouvelle Aquitaine et SOMVOICE, financé par le Labex BRAIN (Université de Bordeaux).

Références

ALDRICH M. S., CHERVIN R. D. & MALOW B. A. (1997). Value of the multiple sleep latency test (MSLT) for the diagnosis of narcolepsy. *Sleep, **20*(8), 620–629.

CUMMINS N., BAIRD A. & SCHULLER B. (2018). Speech analysis for health : Current state-of-the-art and the increasing impact of deep learning. *Health Informatics and Translational Data Analytics, **15***1–54.

DEGOTTEX G., KANE J., DRUGMAN T., RAITIO T. & SCHERER S. (2014). COVAREP — A collaborative voice analysis repository for speech technologies. In *IEEE - ICASSP*, p. 960–964. DOI: 10.1109/ICASSP.2014.6853739.

LITTNER M. R., KUSHIDA C., WISE M., DAVILA D. G., MORGENTHALER T., LEE-CHIONG T., HIRSHKOWITZ M., LOUBE D. L., BAILEY D., BERRY R. B., KAPEN S. & KRAMER M. (2005).
Practice Parameters for Clinical Use of the Multiple Sleep Latency Test and the Maintenance of Wakefulness Test. *Sleep*, **28**(1), 113–121.

MARTIN V. P., CHAPOUTHIER G., RIEANT M., ROUAS J.-L. & PHILIP P. (2020a). Using reading mistakes as features for sleepiness detection in speech. In *The 10th International Conference on Speech Prosody*.

MARTIN V. P., ROUAS J.-L., MICOULAUD-FRANCHI J.-A. & PHILIP P. (2020b). The Objective and Subjective Sleepiness Voice Corpora. In *12th Language Resources and Evaluation Conference*.

MARTIN V. P., ROUAS J.-L., THIVEL P. & KRAJEWSKI J. (2019). Sleepiness detection on read speech using simple features. In *10th Conference on Speech Technology and Human-Computer Dialogue*. DOI: 10.1109/SPED.2019.8906577.

PEDREGOSA F., VAROQUAUX G., GRAMFORT A., MICHEL V., THIRION B., GRISEL O., BLONDEL M., PRETTENHOFER P., WEISS R., DUBOURG V., VANDERPLAS J., PASSOS A., COURNAPEAU D., BRUCHER M., PERROT M. & DUCHESNAY E. (2011). Scikit-learn: Machine Learning in Python. *Journal of Machine Learning Research*, **12**, 2825–2830.

PELLEGRINO F. & ANDRE-OBRECHT R. (2000). Automatic language identification: an alternative approach to phonetic modelling. *Signal Processing*, **80**(7), 1231–1244.

PHILIP P., DUPUY L., AURIACOMBE M., SERRE F., DE SEVIN E., SAUTERAUD A. & MICOULAUD-FRANCHI J.-A. (2020). Trust and acceptance of a virtual psychiatric interview between embodied conversational agents and outpatients. *npj Digital Medicine*, **3**(1), 2. DOI: 10.1038/s41746-019-0213-y.

PHILIP P., MICOULAUD-FRANCHI J.-A., SAGASPE P., DE SEVIN E., OLIVE J., BIOULAC S. & SAUTERAUD A. (2017). Virtual human as a new diagnostic tool, a proof of concept study in the field of major depressive disorders. *Scientific Reports*, **7**(1), 426–456. DOI: 10.1038/srep42656.

ROUAS J.-L. & IOANNIDIS L. (2016). Automatic Classification of Phonation Modes in Singing Voice: Towards Singing Style Characterisation and Application to Ethnomusicological Recordings. In *Interspeech 2016*, p. 150–154.

ROUAS J.-L., SHOCHI T., GUERRY M. & RILLIARD A. (2019). Categorisation of spoken social affects in Japanese: human vs. machine. In *ICPhS*.

SANGAL R. (1999). Subjective sleepiness ratings (Epworth sleepiness scale) do not reflect the same parameter of sleepiness as objective sleepiness (maintenance of wakefulness test) in patients with narcolepsy. *Clinical Neurophysiology*, **110**(12), 2131–2135.

SCHULLER B., BATLINER A., BERGLER C., POKORNY F. B., KRAJEWSKI J., CYCHOCZ M., VOLLMAN R., ROELEN S.-D., SCHNIEDER S., BERGELSON E., CRISTIA A., SEIDL A., WARLAUMONT A., YANKOWITZ L., NÖTH E., AMIRIPARIAN S., HANTKE S. & SCHMITT M. (2019). The INTERSPEECH 2019 Computational Paralinguistics Challenge: Styrian Dialects, Continuous Sleepiness, Baby Sounds & Orca Activity. In *Interspeech 2019*.

SCHULLER B., STEIDL S., BATLINER A., SCHIEL F. & KRAJEWSKI J. (2011). The INTERSPEECH 2011 Speaker State Challenge. In *Interspeech 2011*, p. 3201–3204.

SJÖLANDER K. (2004). The Snack Sound Toolkit.

ÅKERSTEDT T. & GILLBERG M. (1990). Subjective and objective sleepiness in the active individual. *Int J Neurosci*, **52**, 29–37.
## Article retiré à la demande des auteurs

<figure><img src="image_189.png" /></figure>
Article retiré à la demande des auteurs
Article retiré à la demande des auteurs
Article retiré à la demande des auteurs
Article retiré à la demande des auteurs
## Article retiré à la demande des auteurs
Article retiré à la demande des auteurs
Article retiré à la demande des auteurs
## Article retiré à la demande des auteurs
# Représentation phonologique des signes à deux mains en LSF :
faut-il reconsidérer l'orientation absolue dans les modèles
phonologiques des langues des signes ?

Justine Mertz¹, ²

(1) Laboratoire de Linguistique Formelle, UMR 7110, CNRS, Université de Paris, France

(2) Département d'études cognitives, ENS, EHESS, CNRS, PSL, UMR 8129, France

justine.mertz93@gmail.com

## RÉSUMÉ

Cet article a pour objectif i) de mettre en évidence le besoin d'une orientation *absolue* en plus d'une orientation *relative* afin de décrire la phonologie segmentale des langues des signes, et ii) d'améliorer les modèles actuels et leur permettre de rendre compte de la phonologie de signes autrement problématiques. Dans cette étude sur la langue des signes française, nous nous concentrons sur une catégorie de signes en particulier : les signes à deux mains produits sur le corps du signeur (contact avec une partie du corps autre que la main non-dominante). Nous montrons que l'orientation *relative* ne permet pas une description adéquate de ces signes lorsque l'orientation des deux mains doit être spécifiée, puisqu'elle peut capturer soit l'orientation entre les deux mains, soit l'orientation vis à vis du corps, mais pas les deux. Afin de modéliser l'orientation de ces signes dans un cadre formel, nous proposons l'implémentation de plans secondaires. Tandis que cette implémentation requiert des ajustements minimes dans les modèles formels actuels, son impact quant à la théorie générale de la phonologie segmentale des signes est, elle, importante. Les plans secondaires imposent des restrictions géométriques et forcent l'orientation absolue; le concept d'orientation comme simple classe phonémique relationnelle n'est donc plus suffisant (du moins pour ces signes).

## ABSTRACT

### Phonological representation of 2-handed signs in LSF : reconsidering absolute orientation in
the phonological models of sign language ?

The goals of this paper are i) to provide evidence for the need of *absolute* orientation in addition to *relative* orientation in order to fully capture sign language segmental phonology, and ii) to enrich current models which are only based on *relative* orientation so that the phonology of otherwise problematic signs is also accounted for. We focus on one particular category of signs in French sign language : two-handed signs produced on the signer's body (contact with a body part other than the non-dominant hand). We show that *relative* orientation does not meet descriptive adequacy when the orientation between the two hands has to be specified, since it either captures the orientation between the hands or the orientation towards the body, but not both. We propose secondary planes as a formal step to model orientation for these signs. While the implementation of this solution requires minimal changes in current formal models, the impact on the whole theory of segmental phonology for sign is quite big. The core conceptualization of orientation as a purely relational phonemic class does not hold anymore (at least not for these signs), as secondary planes impose geometrical restrictions that force absolute orientation.

MOTS-CLÉS : phonologie des langues des signes, orientation absolue, signes à deux mains,

<figure><img src="image_190.png" /></figure>
# 1 Introduction

À l'heure actuelle, la phonologie segmentale des langues des signes est façonnée par la géométrie des traits et les relations de dépendance (Clements, 1985; Anderson & Ewen, 1987). Depuis les premiers travaux de Stokoe (1961), les modèles phonologiques des langues des signes présupposent trois classes phonémiques comme primitives : la configuration manuelle (forme de la main dominante (H1), et celle de la main non-dominante (H2) dans les signes à deux mains), l'emplacement (lieu où le signe est produit), et le mouvement (taille et forme du mouvement des articulateurs). Une quatrième classe phonémique, l'orientation, a ensuite été intégrée aux modèles (Battison, 1978). On retrouve également l'orientation en relation avec le mouvement tel que dans les changements d'orientation (voir p.ex. Blondel & Miller, 2001; Brentari, 1998); bien que cela soit très intéressant, ce phénomène est traité dans la représentation phonologique du mouvement des signes et n'est donc pas pertinent pour cette étude puisque nous nous concentrons uniquement sur l'orientation comme classe phonémique.

D'un point de vue phonétique, l'orientation peut être définie à partir de termes de géométrie de l'espace : une fois qu'un objet, quel qu'il soit, est placé dans l'espace (physique), il est automatiquement positionné dans un plan de cet espace, et *orienté* par rapport à ce plan. Ainsi, une fois placées dans l'espace, les mains sont automatiquement orientées vis à vis d'un plan dans ce même espace. D'un point de vue phonologique, en linguistique des langues des signes, l'orientation est dérivée à partir de l'interaction entre la configuration manuelle et l'emplacement; elle est définie par une relation binaire entre une partie de la main (déterminée par un trait de la configuration manuelle) et la partie de l'emplacement où le signe est produit (déterminée part un trait de l'emplacement). L'orientation est donc traitée comme une classe phonémique dérivée (Brentari, 1998, 2002; Crasborn & van der Kooij, 1997; Liddell & Johnson, 1989; Uyechi, 1994, 1995). De plus, on trouve des paires minimales comme illustré dans la Figure 1 avec les signes FAX et METRO en LSF. Dans le signe FAX, l'orientation est dérivée de la relation entre le trait de la configuration manuelle [paume de la main] ([palm]) de la main dominante et le trait de l'emplacement [paume de la main] de la main non-dominante. Pour le signe METRO, seul le trait de la configuration manuelle est différent puisque le [dos de la paume] ([back of palm]) de la main dominante fait face au même emplacement, tout le reste est identique. L'orientation est donc l'unique paramètre qui permet de différencier ces deux signes.

Parmi ces quatre classes phonémiques des langues des signes, la configuration manuelle est celle qui a suscité le plus d'intérêt auprès des linguistes et est donc plus finement décrite et représentée dans la littérature (Sandler, 1986; van der Hulst, 1993; Uyechi, 1994, 1995). Cela peut être expliqué par le fait que les traits de la configuration manuelle possèdent le plus de contraste phonémique dans la phonologie des langues signées (Brentari, 1998). L'intérêt des chercheurs pour la description des traits et le degré de contraste des autres classes phonémiques n'a pas été aussi important que pour la configuration manuelle. Par exemple, très peu de généralisations et de contraintes sur l'emplacement ou le mouvement ont été proposées dans la littérature, et le nombre de comparaisons interlinguistiques est d'autant plus faible. Prenons par exemple l'emplacement. Les signes peuvent être produits soit dans l'espace neutre, qui correspond à l'espace devant le signeur, soit sur le corps du signeur. L'espace neutre est divisé en trois plans principaux, le plan horizontal y, le plan vertical x et le plan sagittal
<figure><img src="image_191.png" /></figure>

FIGURE 1 – Paire minimale MÉTRO (à gauche) ~ FAX (à droite) en LSF. Les traits pertinents de la configuration manuelle et de l'emplacement sont indiqués pour chacun des signes, ainsi que l'orientation obtenue à partir de ces traits.

z; s'il est produit dans l'espace neutre, le signe va être réalisé par rapport à l'un de ces plans. Le corps peut également être le plan lorsqu'il est nécessaire à la représentation phonologique du signe. Dans ce cas, le corps devient un plan, divisé en quatre grandes parties (la tête, le torse, le bras, et la main non-dominante), elles-même divisées en huit sous-parties, toutes justifiées phonologiquement (cf. Brentari, 1998). En ce qui concerne l'emplacement, seules deux contraintes générales ont été proposées (Brentari, 1998; Sandler & Lillo-Martin, 2006) :

1. Lorsqu'un signe est produit à un emplacement particulier sur le corps du signeur, le corps doit être l'emplacement ;

2. Pour les signes lexicaux, un seul plan peut être sélectionné.

Comme nous le verrons plus bas, ces contraintes génèrent un conflit systématique quant à l'analyse du contenu phonémique des signes, et ont des conséquences directes sur l'analyse d'une autre classe phonémique, l'orientation. Certains modèles définissent l'orientation en termes relatifs (Brentari, 1998; Crasborn & van der Kooij, 1997; Liddell & Johnson, 1989; Uyechi, 1994, 1995), c'est-à-dire à partir de traits des classes phonémiques primitives. Cette façon *relative* de dériver l'orientation remplace le concept d'orientation défini en des termes *absolus* présent dans d'autres modèles (Battison, 1978; van der Hulst, 1993; van der Hulst & Mills, 1996). Techniquement, l'orientation absolue était déterminée à partir du corps du signeur utilisé comme plan de référence, et la paume ou le poignet de la main dominante comme repère fixe de la main. Ainsi, en remplaçant l'orientation absolue par l'orientation relative, les modèles phonologiques des langues des signes sont devenus plus économes (moins de structure), et plus explicatifs (la nature d'une classe phonémique est saisie à partir de la définition des autres).

D'après Crasborn et van der Kooij (1997), l'orientation absolue reste nécessaire pour un nombre restreint de signes : les classificateurs et les "signes à deux mains asymétriques", soit les signes à deux mains avec des configurations manuelles différentes et dont la main non-dominante est statique (également connus sous le nom de "signes à deux mains de Type 3", Battison, 1978).

Dans cette étude, nous soulignons le caractère empirique et théorique trop stricte de cette conceptualisation de l'orientation et nous montrons que l'orientation absolue peut être étendue à d'autres catégories de signes. La suite de l'article est organisée de la façon suivante : dans la partie 2, nous utilisons des données de la Langue des Signes Française (LSF) pour montrer que i) l'implémentation de l'orientation absolue est nécessaire et n'est pas limitée aux deux catégories de signes évoquées précédemment (Battison, 1978), et que ii) l'orientation absolue n'est pas uniquement motivée par
l'iconicité dans les signes à deux mains mais également par des traits phonologiques. Dans la partie 3 nous proposons une analyse formelle capable de capturer l'orientation *absolue* sans apporter de changement radical à l'intuition initiale que l'orientation est principalement *relative* pour les signes. Afin de concrétiser cette analyse, nous l'implémentons dans le cadre du Prosodic Model (Brentari, 1998, 2002) bien qu'une stratégie similaire peut également être implémentée dans les autres modèles mentionnés précédemment. Enfin, dans la partie 4 nous présentons des extensions empiriques et théoriques possibles pour cet axe de recherche.

## 2 Le besoin d'orientation absolue

Le premier objectif de la modélisation du langage est de fournir les outils nécessaires à la description des propriétés interlinguistiques. En d'autres termes, si un modèle théorique particulier est construit à partir des propriétés et mécanismes d'une langue spécifique, il doit être assez robuste pour rendre compte de phénomènes identiques dans d'autres langues. La linguistique des langues signées, par opposition à celle des langues parlées, est une discipline relativement récente puisque les premiers travaux datent des années 1960 (Stokoe, 1960; Stokoe et al., 1965). La construction de modèles théoriques représente donc un challenge pour la communauté scientifique. Généralement construits à partir des informations d'une seule langue signée (très souvent la langue des signes américaine), ils sont ensuite étendus aux autres langues des signes avec très peu d'adaptation. Cela concerne la plupart des modèles phonétiques et phonologiques, et touche toutes les classes phonémiques, dont l'orientation.

Comme mentionné dans la partie 1, certains modèles actuels définissent l'orientation en des termes relatifs (Brentari, 1998; Crasborn & van der Kooij, 1997; Liddell & Johnson, 1989; Uyechi, 1994, 1995) : elle est le résultat de l'interaction entre un trait de la configuration manuelle et un trait de l'emplacement. Un exemple est donné dans la Figure 2 avec le signe COLÈRE en LSF. L'orientation est définie en spécifiant le trait [bout des doigts sélectionnés] ([tip of the selected fingers] ou [tip]) orienté vers le trait [clavicule] ([clavicle]), un trait actif dès que le corps est sélectionné comme emplacement.

<figure><img src="image_192.png" /><figcaption>FIGURE 2 – Signe COLÈRE en LSF.</figcaption></figure>

<figure><img src="image_193.png" /><figcaption>FIGURE 3 – Signe CEINTURE en LSF.</figcaption></figure>

On remarque que le signe COLÈRE répond correctement aux deux contraintes de l'emplacement indiquées dans la partie 1 (Brentari, 1998; Sandler & Lillo-Martin, 2006). En effet, les mains sont en contact avec le corps, le *corps* est donc l'emplacement (cf. contrainte 1), et aucun autre plan n'est
sélectionné (cf. contrainte 2).

Cependant, ces deux contraintes restreignent fortement la forme des signes. Elles prédisent notamment que lorsque les mains des signes à deux mains sont articulées sur une région du corps (autre que la main non-dominante), celles-ci ne devraient jamais se toucher. Le cas contraire engendrerait un conflit dans la détermination et la spécification de l'emplacement du signe. Or, ce type de signes existe en LSF comme nous pouvons le voir avec le signe *CEINTURE* illustré dans la Figure 3.

D'une part, les deux mains touchent la taille et génèrent ainsi la sélection du corps comme plan pour établir l'emplacement. D'autre part, les deux mains se touchent et provoquent ainsi la production du signe sur le plan sagittal (qui est un plan de l'espace neutre). Un cas similaire impliquant le torse et le plan horizontal est représenté par le signe CODA en LSF (Figure 4). Ce phénomène est également observé dans d'autres langues signées comme nous pouvons le voir avec le signe CANDIDAT en Langue des Signes Italienne (LIS) présenté en Figure 5.

<figure><img src="image_194.png" /><figcaption>FIGURE 4 – Signe CODA en LSF.</figcaption></figure>

<figure><img src="image_195.png" /><figcaption>FIGURE 5 – Signe CANDIDAT en LIS.</figcaption></figure>

Pour rendre compte de ces signes, on pourrait stipuler que l'emplacement est non-spécifié (ou sous-spécifié) dans les formes sous-jacentes, et que la phonétique et la phonotactique complètent le matériel articulatoire (Crasborn & van der Kooij, 1997). Il est important de souligner que si la composante iconique du signe *CEINTURE* est présente, elle ne l'est pas pour les signes CODA (LSF) et CANDIDAT (LIS)<fnref n="1" />.

Cette analyse ne permet cependant pas de résoudre le problème lié à l'orientation. En effet, les modèles actuels ne peuvent décrire que partiellement l'orientation de ces signes. Dans le cas de *CEINTURE*, si le trait [bout des doigts sélectionnés] (ici l'index et le pouce) et le trait [taille] ([waist]) sont spécifés, l'orientation par rapport au corps est bien définie, tandis que le contact entre les deux mains ne l'est pas. Dans ce cas, rien n'empêche les mains de se croiser puisque le plan sagittal n'est pas spécifié. Dans la situation où le trait [partie radiale des doigts sélectionnés] ([radial]) et le plan sagittal sont spécifiés, le contact entre les deux mains est représenté tandis que l'orientation par rapport au corps ne l'est pas. Le signe devrait donc obligatoirement être produit dans l'espace neutre puisque le corps n'est pas sélectionné (cf. contrainte 1), ce qui n'est pas le cas.

<footnote n="1">1. Le signe *CEINTURE* a été présenté à vingt entendants non-signeurs : aucun n'en a deviné le sens. Le lien entre signifiant et signifié est activé uniquement en connaissance du signifié, sa valeur iconique n'est donc pas maximale puisqu'il ne s'agit pas d'un signe transparent.</footnote>
## 3 Analyse

Dans la partie 2 nous avons vu que la sous-spécification ne permet pas de résoudre le problème lié à l'identification de l'emplacement et de l'orientation dans certains signes à deux mains produits sur le corps. Dans cette partie, nous proposons une analyse alternative à partir de l'insertion de plans secondaires générée par une relation supplémentaire entre les deux mains. Dans le cas des signes à deux mains, ce dernier correspond à une orientation spécifique entre les deux mains pouvant se traduire par un trait [contact] supplémentaire.

La sélection secondaire dans les langues des signes a déjà été proposée dans la littérature pour résoudre des cas problématiques liés à la sélection des doigts (Eccarius, 2008). Ici nous proposons simplement de l'étendre au domaine de l'emplacement. Une fois que les plans secondaires sont introduits dans la représentation structurelle de ces signes, les traits de configuration manuelle peuvent y faire référence, résolvant ainsi à la fois les problèmes d'identification de l'emplacement approprié et de l'orientation. Nous illustrons cette solution avec le signe *CEINTURE* en LSF.

Supposons que le corps du signeur soit l'emplacement primaire d'après la contrainte générale 1 introduite dans la partie 1. Dans ce cas, le trait [bout des doigts sélectionnés] ([tip]) peut être spécifié en tant que partie de la main face à l'emplacement primaire. Le plan secondaire, ici le plan sagittal, empêche ensuite les deux mains de se croiser, et sert ainsi de point de référence pour l'"orientation secondaire", elle-même activée par un second trait de configuration manuelle. Dans ce cas, celui-ci correspond au trait [partie radiale des doigts sélectionnés] ([radial]) face au plan sagittal ; le point de contact spécifique entre les deux mains est ainsi garanti.

Une formalisation de ce développement dans le cadre du *Prosodic Model* est proposée dans la Figure 6. Le noeud de l'emplacement (POA pour *Place Of Articulation*) domine deux branches, une pour chaque plan : le plan du corps *x* avec le trait pertinent [taille] ([waist]), et le plan sagittal *z*. Dans la branche de configuration manuelle (A pour *Articulator*), le noeud H1 (main dominante) domine directement les traits pertinents nécessaires à l'orientation du signe, soit les traits [bout des doigts sélectionnés] et [partie radiale des doigts sélectionnés], chacun faisant référence à un plan spécifique (respectivement le plan du corps *x* et le plan sagittal *z*).

L'implémentation de plans secondaires pour éviter le croisement des mains dans les signes tels que *CEINTURE* crée une prédiction intéressante quant aux signes à deux mains dans lesquels les mains sont déjà croisées (c.-à-d. les signes où les mains sont dans la position contralatérale au début du signe). Si ces signes ne sélectionnent pas d'emplacement secondaire, les mains sont libres de "se décroiser" lors d'un mouvement de trajectoire. Ce phénomène est illustré dans la Figure 7 avec le signe *CHÔMAGE* en LSF, où le corps est le seul plan sélectionné.

Or, lorsqu'un plan secondaire est sélectionné, il est prédit que les mains restent du même côté contralatéral malgré un mouvement de trajectoire ; un exemple est donné avec le signe OS en LSF (Figure 8) où le corps est sélectionné pour représenter l'orientation entre [clavicule] et [avant des doigts] ([finger front]), et le plan sagittal est inséré comme plan secondaire pour représenter l'orientation de la [partie radiale] des deux mains, et représente une ligne imaginaire à ne pas croiser au niveau du contact entre les deux mains.
<figure><img src="image_196.png" /><figcaption>FIGURE 6 – Structure du signe CEINTURE dans le cadre du Prosodic Model.</figcaption></figure>

# 4 Discussion

L'analyse présentée dans la partie précédente nous permet de représenter l'orientation des signes à deux mains grâce à l'introduction de plans secondaires dans la description formelle des signes. Notre implémentation de cette analyse dans le cadre du Prosodic Model (Brentari, 1998) n'est cependant pas sans conséquence. Ici, nous discutons deux point essentiels. Le premier concerne une surgénération tandis que le second traite du statut de l'orientation dans les signes qui nécessitent des plans secondaires.

Tout d'abord, l'analyse que nous offrons ne restreint pas l'utilisation de plans secondaires et prédit ainsi une surgénération importante, du moins pour les signes à deux mains dont ceux pour lesquels l'implémentation d'un plan secondaire n'est pas nécessaire. Limiter cette surgénération est possible en spécifiant le contexte dans lequel des plans secondaires sont introduits. Une solution pourrait être qu'un plan secondaire est généré dans tous les signes à deux mains puis supprimé dans les cas de redondance.

En ce qui concerne le statut de l'orientation, il est important de noter que l'impact de notre analyse est plus fort que ce que suggère la formalisation illustrée dans la Figure 6. En effet, tandis que l'implémentation de doigts sélectionnés secondaires (Eccarius, 2008) n'avait pas de conséquences majeures dans la conceptualisation de la phonologie segmentale des signes, l'extension d'une sélection secondaire à l'emplacement pourrait (ré)introduire un changement majeur et plus radical. Dans les anciens modèles de phonologie des langues des signes, l'orientation *absolue* était déterminée par le corps comme plan de référence et la paume comme point de référence (Sandler, 1986; Uyechi, 1994, 1995). Dans notre étude nous introduisons l'orientation *absolue* d'une façon plus indirecte puisque
<figure><img src="image_197.png" /><figcaption>FIGURE 7 – Signe CHÔMAGE en LSF.</figcaption></figure>

<figure><img src="image_198.png" /><figcaption>FIGURE 8 – Signe OS en LSF.</figcaption></figure>

l'orientation dépend de deux plans (soit le corps et le plan sagittal dans l'exemple discuté dans cet article); notre implémentation permet donc de rendre compte de l'orientation des signes à partir d'une seconde coordonnée spatiale, c'est l'interaction de l'orientation établie entre les plans primaire et secondaire qui génère l'orientation *absolue*.

# 5 Conclusions

Les modèles théoriques sont extrêmement importants pour définir et déterminer les généralisations linguistiques. Cependant, les étendre d'une langue à une autre sans adaptation peut mener à des inexactitudes empiriques. L'orientation *relative* étant, d'apparence, suffisante pour représenter la forme phonologique des signes, les chercheurs ont éliminé l'orientation *absolue* de la description des langues des signes. Les données de signes à deux mains en LSF et en LIS montrent cependant que l'orientation *relative* n'est pas suffisante, et que l'orientation *absolue* est également nécessaire à la description phonologique de certains signes.

D'un point de vue théorique plus général, en réintroduisant l'orientation *absolue*, notre solution représente une innovation majeure dans la description des signes. La modification et l'adaptation des modèles actuels reste cependant minime, puisque pour obtenir l'orientation absolue, l'unique condition est d'avoir un emplacement "secondaire". On notera que spécifier une simple paire de traits pour l'orientation absolue laisse une marge de manoeuvre importante pour tout ajustement phonétique, et garde ainsi la flexibilité nécessaire à l'étude des cas discutés par Battison (1978).

Il est également important de souligner que ces changements ne sont pas de simples ajustements phonétiques puisqu'ils sont motivés par la phonologie (p.ex. présence de paires minimales). L'iconicité n'est également pas une motivation suffisante puisque les exemples que nous avons vu en LSF avec le signe CODA ou encore en LIS avec le signe CANDIDAT (Figures 4 et 5) ne sont pas des cas isolés.

De nombreuses questions quant à la portée de ce besoin d'orientation absolue restent néanmoins en suspend. Une étude approfondie de la LSF sera menée afin d'identifier avec précision les catégories de signes affectés par ces modifications et ainsi déterminer les règles phonologiques sous-jacentes à l'orientation absolue. Nous nous pencherons également sur les études théoriques menées sur l'animation numérique des signes en LSF (Filhol, 2008). Cela nous permettra également d'en connaître les limites et ainsi éviter la surgénération actuellement présente dans notre analyse.
Références

ANDERSON J. M. A. & EWEN C. J. (1987). *Principles of dependency phonology*. Volume 47. Cambridge University Press.

BATTISON R. (1978). Lexical borrowing in American sign language.

BLONDEL M. & MILLER C. (2001). Movement and rhythm in nursery rhymes in LSF. *Sign Language Studies*, p. 24–61. Publisher: JSTOR.

BRENTARI D. (1998). *A Prosodic Model of Sign Language Phonology*. The MIT Press. DOI: 10.7551/mitpress/5644.001.0001.

BRENTARI D. (2002). Modality differences in sign language phonology and morphophonemics. In R. P. MEIER, K. CORMIER & D. QUINTO-POZOS, Éds., *Modality and structure in signed and spoken languages*, p. 35–64. Cambridge: Cambridge University Press. DOI: 10.1017/CBO9780511486777.003.

CLEMENTS G. N. (1985). The Geometry of Phonological Features. *Phonology Yearbook*, p. 225–252.

CRASBORN O. & VAN DER KOOIJ E. (1997). Relative orientation in sign language phonology. *Linguistics in the Netherlands*, **199**, 37–48.

ECCARIUS P. N. (2008). *A constraint-based account of handshape contrast in sign languages*. Purdue University.

FILHOL M. (2008). *Modèle descriptif des signes pour un traitement automatique des langues des signes*. PhD Thesis.

LIDDELL S. K. & JOHNSON R. E. (1989). American sign language : The phonological base. *Sign language studies*, **64**(1), 195–277.

SANDLER W. (1986). The spreading hand autosegment of American Sign Language. *Sign Language Studies*, p. 1–28.

SANDLER W. (2006). From phonetics to discourse : the nondominant hand and the grammar of sign language. *Laboratory Phonology*, **8**.

SANDLER W. & LILLO-MARTIN D. (2006). *Sign language and linguistic universals*. Cambridge University Press.

STOKOE W., CASTERLINE D. & CRONEBERG C. (1965). *A dictionary of ASL on linguistic principles*. Gallaudet College Press Washington, DC.

STOKOE W. C. (1960). Sign Language Structure : An Outline of the Visual Communication Systems of the American Deaf. *Journal of Deaf Studies and Deaf Education*, **10**(1), 3–37. DOI: 10.1093/deafed/eni001.

UYECHI L. (1994). Local and global signing space in American Sign Language. In *Proceedings of NELS.*, volume 2, p. 589 : GLSA, UMass/Amherst.

UYECHI L. (1995). *The Geometry of Visual Phonology*. Thèse de doctorat, Stanford, California.

VAN DER HULST H. (1993). Units in the analysis of signs. *Phonology*, **10**(2), 209–241.

VAN DER HULST H. & MILLS A. (1996). Issues in sign linguistic : Phonetics, phonology and morpho-syntax. *Lingua*, **98**(1-3), 3–17.

VAN DER KOOIJ E. (2002). *Phonological categories in Sign Language of the Netherlands : The role of phonetic implementation and iconicity*. Netherlands Graduate School of Linguistics.
# La mobilisation du tractus vocal est-elle variable selon les langues en parole spontanée ?

Christine Meunier¹, Morgane Peirolo¹², Brigitte Bigi¹

(1) Aix Marseille Univ, CNRS, LPL, Aix-en-Provence, France

(2) Aix Marseille Univ, Institut Convergence ILCB, Marseille, France
christine.meunier@univ-amu.fr, morgane.peirolo@gmail.com,
brigitte.bigi@univ-amu.fr

## RÉSUMÉ

L'objectif de ce travail est de quantifier les positions articulatoires théoriques lors de la production de la parole spontanée dans trois langues. Chaque langue dispose d'un inventaire phonologique spécifique. Mais ces spécificités ne sont pas représentées telles quelles en parole spontanée dans laquelle les phonèmes n'ont pas tous la même fréquence d'apparition. Nous avons comparé trois langues (polonais, français et anglais américain) présentant des différences notables dans leur inventaire phonologique. Des positions articulatoires ont été calculées sur la base des fréquences des phonèmes dans chacune des trois langues dans des corpus de parole spontanée. Etonnamment, les résultats tendent à montrer que les positions articulatoires majoritaires sont très similaires dans les trois langues. Il semble ainsi que l'usage de la parole spontanée, et donc la distribution des phonèmes dans les langues, gomme les disparités des systèmes phonologiques pour tendre vers une mobilisation articulatoire commune. Des investigations plus approfondies devront vérifier cette observation.

## ABSTRACT

### Does vocal tract use depend on language characteristics in spontaneous speech?

The aim of this work is to quantify the theoretical articulatory positions during the production of spontaneous speech for three languages. Each language has a specific phonological inventory. However, these specificities are not represented as such in spontaneous speech in which phonemes do not have the same relative frequency. We compared three languages (Polish, French and American English) with notable differences in their phonological inventory. Articulatory positions were calculated according to phoneme frequencies in the three languages through spontaneous speech corpora. Surprisingly, the results tend to show that preferred articulatory positions are very similar in the three languages. Thus it seems that spontaneous speech production, and therefore phonemes distribution in languages, erases the disparities of phonological systems in order to provide similar articulation. Further investigation should verify this observation.

**MOTS-CLÉS** : Position articulatoire, langues, corpus, parole spontanée, fréquences phonétiques.

**KEYWORDS** : Articulatory position, languages, corpus, spontaneous speech, phoneme frequencies.

<figure><img src="image_199.png" /></figure>
# 1 Introduction

L'ensemble des humains partagent un appareil vocal tout à fait semblable leur permettant de produire le langage oral, mais tous ne parlent pas la même langue. Or, chaque langue dispose d'un inventaire phonologique spécifique puisant dans l'ensemble des sons possibles que l'appareil vocal peut produire. Des tendances universelles ont pu être observées permettant de mettre en évidence la façon dont les systèmes s'organisent et se différencient (Vallée et al., 1999, Ladefoged & Maddieson, 1996). Par exemple, les dialectes arabes sont caractérisés par des positions très arrières (consonnes uvulaires, pharyngales ou glottales) ; le suédois possède de nombreuses voyelles antérieures ; le français n'a pas de consonnes très postérieures (sauf /R/, uvulaire) et un tiers des voyelles sont antérieures tandis qu'un autre tiers est arrondi. Ces particularités permettent de caractériser le système phonologique dans ces langues. Toutefois, il reste à déterminer si l'inventaire phonologique d'une langue est effectivement représentatif de la mobilisation du tractus vocal lors de la production de cette langue dans un usage courant. L'inventaire phonologique d'une langue attribue le même poids à chaque phonème et donc à chacune de ses propriétés articulatoires. Mais les phonèmes sont diversement présents dans l'usage courant de la langue orale et, en conséquence les préférences articulatoires d'une langue vont dépendre de la fréquence d'utilisation des phonèmes dans cette langue. Par exemple, le geste d'arrondissement en français pourrait être minoré dans la mesure où les voyelles d'arrière (arrondie) sont peu fréquentes en parole spontanée (Meunier & Espesser, 2011). Par conséquent, dans quelle mesure la mobilisation du tractus vocal dans une langue est-elle pondérée par la fréquence relative des phonèmes dans l'usage courant de la langue?

L'objectif de ce travail est donc de **quantifier les positions articulatoires théoriques** lors de la production de la parole spontanée. Nous comparons les positions articulatoires relatives aux phonèmes dans trois langues : le polonais, le français et l'anglais américain. Pour représenter les positions articulatoires, nous nous sommes inspirés de la terminologie fournie par Articulatory Phonology (AP, Browman & Goldstein, 1992). AP propose une représentation des positions articulatoires au cours de la production de la parole. La terminologie utilisée convient bien à ce travail dans la mesure où il est question de décrire précisément des positions et mouvements articulatoires plutôt que de proposer des traits distinctifs. Il n'est pas besoin en effet, dans ce travail, de distinguer les phonèmes, mais plutôt d'inventorier leurs caractéristiques articulatoires, même si elles sont redondantes. Notons que ce travail ne fournit pas d'informations sur les articulations *réelles* dans la production de la parole et elle ne fournit pas non plus d'informations sur l'articulation *dynamique* des sons. En fait, il ne s'agit pas d'une étude articulatoire. A cette étape, nous souhaitons fournir une indication sur les tendances des positions *attendues* dans les trois langues lors de leur production courante. C'est la raison pour laquelle nos résultats sont basés sur l'annotation phonétique de trois corpus de parole spontanée permettant d'obtenir les fréquences relatives de chaque phonème.

# 2 Systèmes phonologiques, corpus et affectation des poids articulatoires

Plusieurs critères ont déterminé le choix de ces trois langues, soit le polonais (PO), le français (FR) et l'anglais américain (AE). En premier, nous étions contraints par l'existence de corpus annotés phonétiquement pour lesquels il était possible d'obtenir la fréquence de chaque phonème. D'autre part, nous avons essayé de choisir des corpus assez similaires pour ce qui est du type de parole produite : pour les trois corpus il s'agit de parole spontanée non familière dont les conditions
représentent une forme de parole guidée (conversation téléphonique pour AE et PO, Maptask pour PO et FR). Ensuite, nous avons privilégié ces trois langues car nous disposions de locuteurs natifs phonéticiens susceptibles de pouvoir nous éclairer sur les systèmes phonologiques de leur langue et sur les réalisations effectives. Enfin, ces trois langues présentent des systèmes phonologiques différents : peu de voyelles pour le polonais en comparaison du français et de l'anglais américain; un grand nombre de fricatives et d'affriquées en polonais ; un grand nombre de voyelles arrondies en français. En conséquence, des différences phonologiques pouvant entrainer une mobilisation variée du tractus vocal. Pour chaque langue nous décrivons les caractéristiques du système phonologique, puis le corpus utilisé et enfin quelques informations sur la distribution des phonèmes.

## 2.1 Polonais (PO)

Le polonais (PO) possède 5 voyelles (/a/ /ɛ/ /i/ /u/ /ɔ/) et s'apparente ainsi au système « le plus populaire » des langues du monde (Vallée et al., 1999) avec, en plus, une voyelle centrale fermée /ɪ/. Deux voyelles nasales viennent compléter cet inventaire. Le système consonantique est plus riche et plus complexe. Il dispose d'un grand nombre de fricatives et affriquées combinant de nombreux lieux d'articulation (labiales, alvéolaires, rétroflexes palatales et vélaires), modes d'articulation (fricatives et affriquées) et modes de phonation permettant de produire 15 consonnes différentes<fnref n="1" />. Avec 6 plosives, 3 nasales et 4 approximantes, la totalité des consonnes représente 31 segments, soit 39 phonèmes au total avec un fort déséquilibre en faveur des consonnes. Notons toutefois que l'inventaire des consonnes (notamment des affriquées) pourrait être surestimé comparé à d'autres sources<fnref n="2" />.

Le corpus polonais utilisé ici est *Paralingua* (Klessa et al., 2013). Il s'agit un recueil d'enregistrements téléphoniques de dialogues dans une tâche de type *Map Task*. Des paires de locuteurs ont été enregistrés dans des séances de 30mn. Le corpus a été transcrit et aligné en utilisant le code SAMPA<fnref n="3" />. Notre étude porte sur des séquences de 2 à 4mn pour 20 dialogues, soit 145mn d'enregistrement. Nous avons retenu 39 phonèmes-type pour une production de 38.236 segments phonétiques réalisés dans cet extrait. Il s'agit, nous le verrons, d'un corpus de taille très réduite comparé à ceux utilisés pour le FR et l'AE. Notre informatrice polonaise nous a indiqué que certaines consonnes affriquées apparaissent très rarement dans le lexique. Toutefois les phonèmes du corpus sont tout à fait comparables à ceux décrits dans l'inventaire.

## 2.2 Français (FR)

Le français (FR) possède 11 voyelles orales dont la majorité (7) est arrondie. Trois voyelles nasales dont une arrondie viennent compléter l'inventaire (Fougeron & Smith, 1999). La particularité du français est de posséder des voyelles antérieures arrondies (/y/ par exemple) ce qui est rare dans des langues du monde. Par ailleurs, les voyelles antérieures sont majoritaires (9 sur 14). Le français compte également 20 consonnes dont 6 plosives et 6 fricatives avec alternance de voisement. Les lieux d'articulation sont répartis entre les lèvres et le voile du palais, /R/ étant la consonne la plus

<footnote n="1">¹ https://en.wikipedia.org/wiki/Polish_phonology</footnote>

<footnote n="2">² http://www.phonetics.ucla.edu/appendix/languages/polish/polish.html</footnote>

<footnote n="3">³ https://www.phon.ucl.ac.uk/home/sampa/polish.htm</footnote>
postérieure. Trois glissantes sont également présentes aux lieux d'articulation correspondant aux 3 voyelles fermées. Le français compte donc en tout 34 phonèmes.

**Le corpus français** utilisé ici est le *Aix Map Task corpus* (Gorisch et al., 2014). Le protocole suivi et celui établi à Edinburgh (Anderson et al., 1992) dont l'objectif principal et de faire interagir des participants dans une tâche communicative ayant pour but la description d'un itinéraire via une carte. Quatre paires de locuteurs (2 hommes et 6 femmes) ont réalisé cette tâche pour un total de 2h18mn d'enregistrement, soit 26.706 mots. Le corpus a été transcrit et aligné. L'annotation phonétique est en SAMPA<fnref n="4" />. Pour notre étude nous avons utilisé 32 phonèmes-type et 96.090 segments phonétiques produits. La liste des phonèmes du corpus est très similaire à celle de l'inventaire phonologique à l'exception des voyelles /ɔ/ et /o/qui sont regroupées dans le corpus. De même la nasale palatale /n/ n'est pas représentée.

## 2.3 Anglais Américain (AE)

L'anglais-américain (AE) est constitué d'un système vocalique riche et complexe. Outre les caractéristiques classiques des voyelles, on note la distinction entre *tense* et *lax* ainsi que de nombreuses diphtongues. La répartition entre voyelles antérieures et postérieures est équilibrée et seules les voyelles postérieures *tense* sont arrondies. Ladefoged (1999) distingue 11 monophtongues et 3 diphtongues. Le système de consonnes comporte 9 fricatives (avec alternance de voisement) et 2 affriquées. Six plosives et 3 nasales viennent compléter l'inventaire. On compte également 4 approximantes (/l/ /r/) dont 2 glissantes (/j/ /w/). L'anglais-américain compte donc 38 phonèmes.

**Le corpus anglo-américain** utilisé ici est le *Buckeye Corpus of conversational speech* (Pitt et al., 2005) contenant 40 locuteurs enregistrés lors de conversations téléphoniques. Le corpus, contenant environ 300.000 mots, a été transcrit et aligné dans un codage assez spécifique décrit dans le manuel du corpus<fnref n="5" />. La correspondance et l'identification des voyelles n'a pas été simple mais nous avons bénéficié de l'aide de locuteurs natifs. Parmi l'ensemble des symboles décrits, nous avons retenus 39 phonèmes-types représentants 1.536.801 segments phonétiques produits dans le corpus. Là encore, on est assez proche de l'inventaire dressé plus haut. La fréquence des phonèmes présents dans ce corpus est donnée par Yang (2012).

Les limites de la comparaison des productions des trois corpus concernent évidemment la taille très hétérogène des corpus avec un nombre de phonèmes nettement plus réduit pour le polonais. Toutefois, nous avons pu observer que les distributions des phonèmes et donc leur fréquence respective dans un type de corpus sont assez stables et apparaissent très rapidement avec peu de données et peu de locuteurs. Cela est probablement dû au fait que la fréquence des phonèmes est dépendante de la fréquence des mots dont la distribution est très contrainte par le discours.

Dans la mesure où la fréquence des phonèmes pourrait être déterminante dans la représentation des positions articulatoires, nous présentons ici les phonèmes les plus fréquents (50% des occurrences) dans chacune des trois langues (table 1). Notons que les phonèmes fréquents communs aux trois langues sont la plosive alvéolaire /t/ et la voyelle moyenne antérieure /e/ ou /ɛ/.

<footnote n="4">⁴ https://www.phon.ucl.ac.uk/home/sampa/french.htm</footnote>

<footnote n="5">⁵ https://buckeyecorpus.osu.edu/BuckeyeCorpusmanual.pdf (page 22)</footnote>
<table><caption>TABLE 1 : Phonèmes les plus fréquents dans les trois langues totalisant 50% des occurrences de phonèmes dans les corpus respectifs</caption><tr><td>PO</td><td>a (11%)</td><td>e (13%)</td><td>o (9%)</td><td>t (6%)</td><td>j (5%)</td><td>n (4%)</td><td>t (4%)</td><td></td></tr><tr><td>FR</td><td>a (11%)</td><td>R (8%)</td><td>t (7%)</td><td>d (6%)</td><td>l (5%)</td><td>ε (5%)</td><td>s (5%)</td><td>e (5%)</td></tr><tr><td>AE</td><td>Λ (8%)</td><td>ι (8%)</td><td>n (6%)</td><td>s (5%)</td><td>ε (5%)</td><td>t (4%)</td><td>i (4%)</td><td>r (4%)</td><td>k (4%)</td></tr></table>

On notera également que la répartition des phonèmes dans 50% des occurrences est différentes dans les trois langues : peu de phonèmes (surtout des voyelles) pour PO ; un nombre plus important pour FR et AE avec une proportion de voyelles et consonnes plus équilibré.

<figure><img src="image_200.png" /><figcaption>FIGURE 1 : Ratio Consonnes/Voyelles dans totalité de chacun des corpus et au sein des phonèmes les plus fréquents (50% des occurrences, voir table 1).</figcaption></figure>

Ainsi, les trois langues ont un ratio C/V très similaire lorsque l'on considère la totalité des occurrences des corpus. Toutefois, si l'on ne prend en compte que les phonèmes les plus fréquents, les trois langues montrent un ratio C/V très différent (figure 1). Pour PO, 3 voyelles représentent 38% des occurrences du corpus, alors que AE et surtout FR montrent une proportion de consonnes plus importante dans les phonèmes fréquents.

## 2.4 Attribution des positions articulatoires

Notre objectif est de rendre compte des positions articulatoires les plus fréquentes dans chacune des langues et dans la production courante de la parole. Pour cela, il n'est pas nécessaire que ces critères articulatoires soient distinctifs, mais plutôt qu'ils expriment, le mieux possible, l'état théorique des articulateurs au cours de sa production. Nous précisons « théorique » car il ne s'agit pas de la réalisation effective des phonèmes, mais plutôt d'une réalisation attendue. Browman & Goldstein (1992) proposent d'exprimer la représentation phonologique des sons de la parole par un ensemble de variables et de dimensions du tractus vocal (Tracts Variables & Dimensions). Les dimensions précisent l'état de chaque variable. Parmi les différentes propositions des auteurs, nous avons sélectionné quatre variables (table 2) et nous avons effectué un regroupement (les variables Tongue Tip et Tongue Body ont été regroupées en Tongue).

<table><caption>TABLE 2 : représentation des Tract Variables et Dimensions selon AP et utilisées dans cette étude.</caption><thead><tr><td><em>Tract Variables</em></td><td><em>Dimensions</em></td></tr></thead><tbody><tr><td>GLO - Glottis</td><td>closed, wide</td></tr><tr><td>VEL - Velum</td><td>closed, wide</td></tr><tr><td>LP - Lip Protrusion</td><td>protruded, not protruded</td></tr><tr><td>TCL - Tongue Constriction Location</td><td>labial, dental, alveolar, postalveolar, palatal, velar, uvular</td></tr></tbody></table>