KUEHN, D. P., & MOLL, K. L. (1976). A cineradiographic study of VC and CV articulatory velocities. *Journal of phonetics*, 4(4), 303-320. DOI: 10.1016/S0095-4470(19)31257-4

KLATT, D. H., & COOPER, W. E. (1975). Perception of segment duration in sentence contexts. In COHEN A., NOOTEBOOM S. G. Éds., *Structure and process in speech perception* (pp. 69-89). Chapitre 2, p. 69-89, Springer, Berlin, Heidelberg. DOI: 10.1007/978-3-642-81000-8

LINDBLOM, B. (1963). Spectrographic study of vowel reduction. *The Journal of the Acoustical Society of America*, 35(11), 1773-1781. DOI: 10.1121/1.1918816

MAAS, E. (2017). Speech and nonspeech: What are we talking about? *International Journal of Speech-Language Pathology*, 19(4), 345-359. DOI: 10.1080/17549507.2016.1221995

MOON, S. J., & LINDBLOM, B. (1994). Interaction between duration, context, and speaking style in English stressed vowels. *The Journal of the Acoustical Society of America*, 96(1). DOI: 40-55. 10.1121/1.410492

ROSEN, K. M., FOLKER, J. E., MURDOCH, B. E., VOGEL, A. P., CAHILL, L. M., DELATYCKI, M. B., & CORBEN, L. A. (2011). Measures of spectral change and their application to habitual, slow, and clear speaking modes. *International Journal of Speech-Language Pathology*, 13, 165-173. DOI: 10.3109/17549507.2011.529939

TSAO, Y. C., & WEISMER, G. (2006). Interspeaker variation in habitual speaking rate: Additional evidence. *Journal of Speech, Language, and Hearing Research*, 49, 1156-1164. DOI: 10.1044/1092-4388(2006/083)

VAN SON, R.J.J.H. & POLS, L.C.W. (1992). Formant movements of Dutch vowels in a text, read at normal and fast rate. *Journal of the Acoustical Society of America*, 92, 121-127. DOI: 10.1121/1.404277

WEISMER, G., TJADEN, K., & KENT, R. D. (1995). Can articulatory behavior in motor speech disorders be accounted for by theories of normal speech production? *Journal of Phonetics*, 23(1-2), 149-164. DOI: 10.1016/S0095-4470(95)80039-5

YORKSTON, K. M., HAKEL, M., BEUKELMAN, D. R., & FAGER, S. (2007). Evidence for effectiveness of treatment of loudness, rate, or prosody in dysarthria: A systematic review. *Journal of Medical Speech-Language Pathology*, 15(2), 19-36.

ZIEGLER, W. (2003). Speech motor control is task-specific: evidence from dysarthria and apraxia of speech. *Aphasiology*, 17, 3-36. DOI: 10.1080/729254892

ZIEGLER, W., & ACKERMANN, H. (2013). Neuromotor speech impairment: It's all in the talking. *Folia Phoniatrica et Logopaedica*, 65(2), 55-67. DOI: 10.1159/000353855
# Voice Onset Time en code-switching anglais-français : une étude des occlusives sourdes en début de mot

Marguerite Cameron¹,

(1) Laboratoire de Phonétique et Phonologie, 19 rue des Bernardins, 75005 Paris, France
 marguerite.cameron@sorbonne-nouvelle.fr

## RÉSUMÉ

Le "code-switching" ou l'alternance codique - l'alternance entre plusieurs langues dans une seule interaction - offre une occasion unique d'observer comment les locuteurs multilingues utilisent leurs langues. Récemment, des études phonétiques sur les qualités acoustiques des énoncés code-switchés, telles que le VOT, ont examiné comment les locuteurs équilibrent plusieurs systèmes phonologiques. La présente étude examine les effets du code-switching sur le VOT des occlusives sourdes /p t k/ produites par les locuteurs bilingues anglais-français (L1 anglais et L1 français), d'une acquisition tardive de leur L2. Les données ont été recueillies à partir des enregistrements de discours conversationnels, entre des binômes de participants. Pour les participants francophones (L1 français), le VOT du /p/ des mots anglais était plus long lors d'un code-switch (du français, vers l'anglais) que dans un énoncé tiré d'une conversation monolingue anglais, et le VOT du /t/ était plus court. Aucun effet de contexte (le fait qu'une occlusive mesurée vienne d'un code-switch vers l'anglais ou lors d'une conversation monolingue anglais) n'a été observé pour les anglophones (L1 anglais).

## ABSTRACT

### Voice Onset Time in English-French code-switching : a study of word-initial voiceless stop consonants

Code-switching – alternating between multiple languages during a single interaction – offers a unique occasion to observe how multilingual speakers use their languages. Recently, phonetic studies on the acoustic qualities of code-switched utterances, such as the VOT, have examined how these speakers balance multiple phonological systems. The present study examines the effects of code-switching on the VOT of the voiceless stop consonants /p t k/, as produced by late-acquisition French-English bilingual speakers (L1 French and L1 English). The data were collected from conversation recordings, between pairs of participants. For the francophone participants (L1 French), the VOT of /p/ in English words was longer during a code-switched utterance (from French, to English) than in an utterance pulled from a monolingual English conversation, and the VOT was shorter. No such effect was observed for the anglophone participants (L1 English).

**MOTS-CLÉS :** code-switching, bilinguisme, VOT

**KEYWORDS:** code-switching, bilingualism, VOT

## 1 Introduction

Le code-switching - l'utilisation de plusieurs langues dans un seul énoncé - est un phénomène courant chez les locuteurs multilingues (Bullock & Turibio 2009). Dans les domaines de la syntaxe

<figure><img src="image_35.png" /></figure>
et de la sociolinguistique, le code-switching a fait l'objet d'études approfondies pendant de nombreuses années et a permis de mieux comprendre la manière dont les locuteurs multilingues utilisent et apprennent leurs langues (Poplack 1980).

Ce n'est que plus récemment, que le code-switching a été étudié sous l'angle de la phonétique et de la phonologie. Les résultats sont, jusqu'à présent, mitigés. La présente étude vise à contribuer à ce domaine de recherche naissant.

Les propriétés acoustiques des énoncés code-switch ont été comparées aux conversations monolingues en mesurant le Voice Onset Time (désormais VOT) – le délai entre le relâchement du conduit vocale lors d'une occlusive sourde et le début du voisement de la voyelle suivante – des consonnes /p t k/ en position initiale de mot. Le VOT est une mesure relativement fiable pour fournir un aperçu sur la parole des bilingues. Les gammes de VOT pour chaque'une de ces occlusives sont propres à la phonologie de leur langue. C'est à dire que les consonnes homologues entre l'anglais et le français ne manifestent pas les mêmes gammes de VOT. Les mesures de VOT sont à la base d'une forte proportion des études déjà présentes dans la littérature. Ainsi, cette mesure permet d'y relier la présente étude.

## 1.1 État de l'art

Grosjean & Miller 1994 et Lopez 2012 ont testé des bilingues tardifs et ont tous deux conclu que les bilingues sont capables d'accéder aux deux systèmes phonologiques pendant un code-switch. Grosjean & Miller 1994 ont considéré qu'il n'y avait aucune interférence entre les deux systèmes phonologiques lors d'un code-switch. Lopez 2012 a conclu que même si les divers lieux d'articulation peuvent être plus difficiles à maîtriser, les bilingues forment et utilisent toujours deux catégories phonétiques distinctes pour les phonèmes homologues dans leurs deux langues. D'autres études ont montré des différences de VOT selon le contexte de l'énoncé pour une des langues mais pas l'autre. Les bilingues grec-anglais (grec L1) d'Antoniou et al 2011 ont démontré un VOT en anglais plus court lors des énoncés code-switchs par rapport aux énoncés monolingues. L'effet correspondant n'a pas été observé dans le VOT grec lors des code-switchs. Balukas et Koops 2014 ont également constaté de tels effets unilatéraux chez les personnes bilingues espagnol-anglais. Leur VOT anglais était plus court près d'un code-switch, mais aucun effet sur le VOT espagnol n'a été observé.

Certaines études ont observé des effets dans les deux langues, en fonction de la population. Bullock et al 2006 ont observé chez les bilingues espagnols et anglais que les hispanophones (L1 espagnol) produisaient un VOT plus court en anglais lors des code-switchs (de l'espagnol vers l'anglais), mais ne montraient aucun changement dans leur VOT de code-switch en espagnol (de l'anglais vers l'espagnole). Les anglophones (L1 anglais) ont raccourci leur VOT dans un énoncé code-switch à la fois vers l'anglais et vers l'espagnol. En observant les bilingues espagnol-anglais (L1 espagnol), Olsen 2013 a observé un impact sur la langue dominante lors d'un code-switch.

Piccinini & Arvaniti 2015 a été la principale source d'inspiration pour le protocole utilisé dans la présente expérience. Leur étude de 2015 cherche à résoudre certaines failles des protocoles précédents en examinant la parole spontanée et en contrôlant soigneusement le profil linguistique des locuteurs étudiés. Leur étude examine les effets du code-switching sur le VOT des /p t k/ dans la parole spontanée d'un groupe homogène de personnes bilingues espagnol-anglais, pour lesquels leur L2 (l'anglais) est la langue dominante. Piccinini & Arvaniti 2015 a observé que les occurrences des ces consonnes lors d'un code-switch étaient significativement différents des occurrences d'un
contexte monolingue. Ces locuteurs avaient quand-même maintenu des gammes de VOT distinctes en anglais et en espagnol.

## 2 La présent étude

### 2.1 Hypothèses et prédictions

La présente analyse de VOT est basée sur la parole spontanée de binômes de bilingues anglais-français. Les participants sont des bilingues dits « tardifs », c'est-à-dire qu'ils ont acquis leur L2 après la période critique. Néanmoins, ils maîtrisent leur L2 et s'en servent quotidiennement. De manière importante, ces personnes sont de profils linguistiques comparables (âge, âge d'apprentissage de la L2, dialecte d'anglais et de français, niveau d'étude).

Il est prévu que les gammes de VOT des occlusives anglais soient globalement plus longues que les gammes de VOT des occlusives français dans les deux contextes de langue – aux contextes monolingues ainsi qu'aux instances de code-switch – et que cela soit le cas pour les anglophones et pour les francophones. Ceci est conforme aux différences de gammes de VOT dans les deux langues pour les occlusives homologues /p t k/.

En raison de l'acquisition tardive de la L2 par les participants ils gardent un léger accent dans leur L2, et les moyennes du VOT pour les productions en L2 devraient dévier d'une production native. On prévoit que les anglophones auront un VOT plus long en français que les francophones. On s'attend à ce que les francophones aient un VOT plus court en anglais que les anglophones.

L'hypothèse est qu'il y aura effectivement un effet du contexte linguistique. On s'attend à ce que les durées de VOT des occlusives d'une langue ou l'autre soient différentes dans un contexte monolingue ou dans un contexte de code-switch. On s'attend à ce qu'il y ait des interférences phonologiques de la langue matrice sur les énoncés de langue cible, et que les valeurs de VOT pour ces derniers s'écartent des occurrences monolingues de la même langue.

Il est en outre supposé que les différences de moyennes de VOT tirés d'un contexte code-switch montreront un effet de la L1 du locuteur. On s'attend à ce que, lors des code-switchs vers la L2 d'un locuteur depuis une matrice de sa L1, il y aura un écart plus important entre les VOT moyens des occlusives des code-switchs vers la L2 et celles des énoncés monolingues L2, qu'il y aura entre les VOT moyens des occlusives des code-switchs vers le L1 et celles des énoncés monolingues L1. Autrement dit, on s'attend à ce que les gammes de VOT pour les /p t k/ en L1 soient plus stables dans tout contexte que celles de la L2. Si cet effet se produit, il devrait être observable pour les anglophones et les francophones, étant donné la dominance de leur L1.

### 2.2 Méthodologie

Le protocole de la présente expérience a été conçu dans le but de susciter un grand nombre d'occurrences de /p t k/ dans des énoncés monolingues et code-switch, dans la L1 et la L2 des locuteurs, à partir de parole spontanée. Les participants connaissaient déjà l'expérimentateur. La langue utilisée pour leur expliquer les tâches a été adaptée à la paire de participants donnée – l'expérimentateur leur parlait dans la langue qui leur était la moins habituelle lors de leurs contacts sociaux, afin d'encourager un cadre bilingue. Ceux ayant l'habitude de parler à l'expérimentateur
en anglais ont été instruits en français et vice versa. L'expérimentateur n'était directement présent que pour expliquer le déroulement de chaque activité.

Il y avait deux tâches de durée libre, à faire en binôme : 1. Questions de discussion et 2. Jeu de société. Après avoir compris le déroulement des activités, les participants les effectuaient dans une chambre sourde et signalait à l'expérimentateur quand ils considéraient que l'activité avait suivi son cours.

Des questions de discussion liées au thème du quotidien des bilingues ont été présentées sous forme écrite. Elles sollicitaient des anecdotes liés au bilinguisme et des exemples de code-switchs dont les locuteurs se servent. Les participants ont été invités à utiliser ces questions comme point de départ pour une discussion sur leurs propres expériences. Leurs réponses rapportent des occurrences de /p t k/ exploitables ainsi que plus d'informations sur la population ciblée.

Le jeu de cartes, "Cards Against Humanity" (Cards Against Humanity LLC, 2011), a été présenté dans sa version anglaise et française, l'une après l'autre. Ce jeu contient des cartes de sujet/question auxquelles les joueurs répondent avec une ou plusieurs cartes. Afin de maximiser les occurrences pertinentes, seules les cartes ayant un /p t k/ en début de mot étaient incluses. Les participants ont été instruits sur la règle du jeu et ont été encouragés à commenter leurs observations linguistiques concernant les traductions.

Un entretien individuel entièrement en anglais a été mené pour deux participants francophones, pour lesquels aucune occurrence de /p t k/ en contexte monolingue anglais n'avait été collectée lors de l'enregistrement original. Trois paires de bilingues ont été recrutés pour cette étude, deux anglophones et quatre francophones aux profils linguistiques comparables.

La sélection des occurrences de /p t k/ et les mesures du VOT ont été effectuées manuellement par l'expérimentateur, à l'aide de Praat. Les mots tirés du corpus ont été codés pour : le locuteur, la langue matrice (la langue dominante lors d'une interaction), la langue cible (la langue d'un code-switch), les désignations L1/L2 correspondantes, la transcription orthographique, le phonème mesuré, et le VO (en ms) de ce dernier. Seuls les occlusives initiales sourdes suivis d'une voyelle ont été sélectionnés. Les groupes de consonnes ont été exclus. Toute allophone de /p t k/ permettant une mesure claire du VOT ont été incluses dans la collecte des données, telle que l'occlusive aspirée. Le VOT a été mesuré sur le signal acoustique du relâchement de la consonne jusqu'au début de la périodicité de la voyelle suivante.

<figure><img src="image_36.png" /></figure>

Above is an example of VOT measurement in Praat. The token is from Speaker JD, whose signal is on Channel 1.

<caption>FIGURE 1: Mesure du VOT</caption>
# 3 Résultats

## 3.1 Résultats

Les résultats suivants sont basés sur l'ensemble des occurrences de /p t k/ collectés à partir du corpus pour chaque condition linguistique (énoncés monolingues en anglais et en français, et énoncés code-switch en anglais et en français) et pour chaque groupe de participants (anglophones et francophones de langue maternelle).

Des tests de significativité ont été utilisés pour déterminer les éventuels effets de la langue matrice et la langue du code-switch, et de la langue maternelle des locuteurs. Les seules conditions entre lesquelles il y avait des différences significatives dans les valeurs moyennes du VOT se trouvaient entre les occurrences d'un contexte anglais monolingue et d'un contexte d'un code-switch vers l'anglais pour les participants francophones. Les participants francophones ont montré dans l'ensemble un VOT plus long pour les occurrences de /p/ dans la condition de code-switch que dans la condition monolingue. Les participants francophones ont montré un VOT globalement plus court pour les occurrences de /t/ dans la condition de code-switch que dans la condition monolingue.

Les conditions comparées dans cette étude sont les suivantes :

- VOT moyen des anglophones pour les énoncés monolingues en anglais vs VOT moyen des francophones pour les énoncés monolingues en anglais

- VOT moyen des anglophones pour les énoncés monolingues en anglais vs VOT moyen des anglophones pour les énoncés code-switch en anglais

- VOT moyen des francophones pour les énoncés monolingues en anglais vs VOT moyen des francophones pour les énoncés code-switch

- VOT moyen pour les énoncés monolingues français pour les anglophones vs VOT moyen des francophones pour les énoncés monolingues en français

- VOT moyen pour les énoncés monolingues français pour les anglophones vs VOT moyen des anglophones pour les énoncés français code-switch

Le VOT moyen des francophones pour les énoncés monolingues en français n'a pas été comparé avec le VOT moyen des francophones pour les énoncés code-switch en français, en raison de la faiblesse des données disponibles.

Des analyses de significativité supplémentaires sont en cours pour les conditions suivantes :

- VOT moyen des anglophones pour les énoncés monolingues en anglais vs VOT moyen pour les énoncés monolingues français pour les anglophones

- VOT moyen des francophones pour les énoncés monolingues en anglais vs VOT moyen des francophones pour les énoncés monolingues en français

- VOT moyen pour les énoncés monolingues en anglais pour tous les locuteurs vs VOT moyen pour les énoncés monolingues français pour tous les locuteurs
## 3.2 Comparaison du baseline VOT en anglais des francophones et des anglophones

Le VOT moyen en anglais pour les deux groupes de locuteurs (L1 anglais et L1 français) a été déterminé à la base des occurrences de /p t k/ en début de mots en anglais, lors des conversations où l'anglais était la langue matrice

Pour les participants anglophones, 114 occurrences totale de /p t k/ en anglais ont été extraits du corpus pour calculer le VOT de référence. La moyenne générale du VOT était de 50 ms. 30 occurrences de /p/ avec un VOT moyen de 43 ms, 38 occurrences de /t/ avec un VOT moyen de 56 ms, et 46 occurrences de /k/ avec un VOT moyen de 50 ms. Pour les participants francophones, 191 occurrences totale de /p t k/ en anglais ont été extraits du corpus pour calculer le VOT de référence. La moyenne générale du VOT était de 42 ms. 66 occurrences de /p/ avec un VOT moyen de 32ms, 63 occurrences de /t/ avec un VOT moyen de 50ms, et 62 occurrences de /k/ avec un VOT moyen de 46ms.

Les valeurs baseline du VOT ont été comparées à l'aide de T-tests dans R studio. Les moyennes du VOT ont été comparées entre les groupes de locuteurs (anglophones et francophones) pour chaque lieu d'articulation. Aucun test de significativité n'a été effectué pour tous les lieux d'articulation regroupés, car les différents lieux d'articulation présentent généralement des gammes de VOT différentes.

Pour les occurrences de /p/ et /t/, les locuteurs anglophones ont produit un VOT plus long dans leur discours monolingue anglais que leurs homologues francophones. Ce résultat était conforme à la prédiction que les anglophones montreraient des VOT plus longues en anglais que les francophones. Pour les occurrences de /k/, les francophones n'ont pas montré de différence significative par rapport aux anglophones. Cela ne correspond pas à la prédiction selon laquelle les francophones auraient un VOT plus court en moyenne que les anglophones en anglais.

<table><caption>Baseline English VOT - Anglophones vs Francophones</caption><thead><tr><th rowspan="2">Phoneme</th><th colspan="2">Anglophones</th><th colspan="2">Francophones</th></tr><tr><th># of Tokens</th><th>Mean VOT(ms)</th><th># of Tokens</th><th>Mean VOT(ms)</th></tr></thead><tbody><tr><td>P</td><td>30</td><td>43</td><td>66</td><td>32</td></tr><tr><td>T</td><td>38</td><td>56</td><td>63</td><td>50</td></tr><tr><td>K</td><td>46</td><td>50</td><td>62</td><td>46</td></tr><tr><td>All</td><td>114</td><td>50</td><td>191</td><td>42</td></tr></tbody></table>

<table><caption>Difference in English Baseline VOT - Anglophones vs Francophones</caption><thead><tr><th>Phoneme</th><th>p-value</th><th>Significant</th><th>Direction</th></tr></thead><tbody><tr><td>P</td><td>0.00657</td><td>Yes</td><td>anglo &gt; franco</td></tr><tr><td>T</td><td>0.04507</td><td>Yes</td><td>anglo &gt; franco</td></tr><tr><td>K</td><td>0.2587</td><td>No</td><td>-</td></tr></tbody></table>

<caption>TABLE 2 : VOT baseline en anglais : anglophones vs francophones</caption>

## 3.3 Comparaison du VOT en anglais des anglophones, entre le contexte monolingue et code-switch

Pour les participants anglophones et pour les participants francophones, les VOT moyens pour chaque lieu d'articulation ont été comparés entre le contexte monolingue et le contexte de code-switch.
Les deux participants anglophones n'ont pas montré de différence significative de contexte dans leur VOT anglais. Au total, 114 occurrences de /p t k/ en anglais d'un contexte monolingue ont été extraits du corpus, avec une moyenne de 50 ms. 30 occurrences de /p/ avec un VOT moyen de 43 ms, 38 occurrences de /t/ avec un VOT moyen de 56 ms, et 46 occurrences de /k/ avec un VOT moyen de 50 ms. Un total de 22 occurrences de /p t k/ des code-switchs anglais (L2-L1) ont été collectés, avec un VOT moyen de 54 ms. 9 occurrences de /p/, avec un VOT moyen de 49 ms, 5 occurrences de /t/ avec un VOT moyen de 66 ms, et 8 occurrences de /k/ avec un VOT moyen de 51 ms. Des tests ont été réalisés dans R Studio pour comparer le VOT moyen dans les différents contextes linguistiques, pour chaque lieu d'articulation séparément.

## 3.4 Comparaison du VOT en anglais des francophones, entre le contexte monolingue et code-switch

Les participants francophones ont montré des différences significatives de contexte linguistique (entre un contexte monolingue anglais et un code-switch vers l'anglais) pour leurs VOTs moyens en anglais, mais ces différences étaient bidirectionnelles. Le /p/ était significativement plus long lors des énoncés code-switch vers l'anglais. Le /t/ était significativement plus long lors des énoncés monolingues anglais.

Au total, 191 occurrences de /p t k/ ont été collectés dans le contexte monolingue. La moyenne générale du VOT était de 42 ms. 66 occurrences de /p/ avec un VOT moyen de 32ms, 63 occurrences de /t/ avec un VOT moyen de 50ms, et 62 occurrences de /k/ avec un VOT moyen de 46ms. 202 occurrences de /p t k/ en code-switch ont été collectés, soit un VOT moyen de 42 ms. 74 occurrences de /p/ avec un VOT moyen de 40ms, 70 occurrences de /t/ avec un VOT moyen de 43ms, et 58 occurrences de /k/ avec un VOT moyen de 43ms. Ces résultats sont résumés dans les tableaux suivants :

<table><caption>Francophone English VOT - Baseline and Code-Switching</caption><thead><tr><th rowspan="2">Phoneme</th><th colspan="2">Baseline (L2)</th><th colspan="2">Code-Switching (L1 to L2)</th></tr><tr><th># of Tokens</th><th>Mean VOT(ms)</th><th># of Tokens</th><th>Mean VOT(ms)</th></tr></thead><tbody><tr><td>P</td><td>66</td><td>32</td><td>74</td><td>40</td></tr><tr><td>T</td><td>63</td><td>50</td><td>70</td><td>43</td></tr><tr><td>K</td><td>62</td><td>46</td><td>58</td><td>43</td></tr><tr><td>All</td><td>191</td><td>42</td><td>202</td><td>42</td></tr></tbody></table>

<table><caption>Difference in Francophone English VOT - Baseline vs Code-switch</caption><thead><tr><th>Phoneme</th><th>p-value</th><th>Significant</th><th>Direction</th></tr></thead><tbody><tr><td>P</td><td>0.01788</td><td>Yes</td><td>BL &lt; CS</td></tr><tr><td>T</td><td>0.03572</td><td>Yes</td><td>BL &gt; CS</td></tr><tr><td>K</td><td>0.386</td><td>No</td><td>-</td></tr></tbody></table>

TABLE 3 : VOT en anglais des francophones : contexte monolingue vs contexte code-switch

## 3.5 Comparaison du baseline VOT en français entre les anglophones et les francophones

Aucune différence significative de VOT lors des interactions monolingues françaises n'a été constatée entre les anglophones et les francophones.
Un total de 76 occurrences de /p t k/ dans un contexte monolingue a été collecté auprès des participants anglophones, avec un VOT moyen de 31 ms. 34 occurrences de /p/ avec un VOT moyen de 25ms, 16 occurrences de /t/ avec un VOT moyen de 35ms, et 26 occurrences de /k/ avec un VOT moyen de 37ms. Des participants francophones, un total de 97 occurrences lors d'un contexte monolingue français ont été extraits, avec un VOT moyen de 34 ms. 30 occurrences de /p/, avec un VOT moyen de 30ms, 27 occurrences de /t/ avec un VOT moyen de 37ms, et 40 occurrences de /k/ avec un VOT moyen de 35ms.

Des tests ont été réalisés dans R Studio entre les participants anglophones et francophones, pour chaque lieu d'articulation. Aucune différence significative n'a été constatée.

## 3.6 Comparaison du VOT en français des anglophones dans le contexte monolingue français et le contexte d'un code-switch vers le français

La comparaison du VOT moyen entre les conditions des énoncés monolingues et des énoncés code-switch n'a été effectuée que pour les anglophones, en raison de la faiblesse des données pour les francophones.

Un total de 76 occurrences de /p t k/ provenant d'un contexte monolingue français a été tiré du corpus pour les participants anglophones, avec un VOT moyen de 31 ms. 34 /p/ occurrences de avec un VOT moyen de 25ms, 16 occurrences de /t/ avec un VOT moyen de 35ms, et 26 occurrences de /k/ avec un VOT moyen de 37ms. Un total de 36 occurrences de code-switch (L1-L2) a été collecté, avec une moyenne globale de 25 ms. 21 occurrences de /p/ avec un VOT moyen de 18ms, 4 occurrences de /t/ avec un VOT moyen de 26ms, et 11 occurrences de /k/ avec un VOT moyen de 40ms.

Des tests ont été effectués dans R Studio pour chaque lieu d'articulation afin de voir s'il y avait une différence significative entre le VOT moyen français dans un contexte monolingue et dans un contexte code-switch pour les participants anglophones. Aucune différence significative n'a été constatée.

# 4 Discussion

En réponse à la première grande question de recherche de cette étude -- savoir si les VOT moyens pour les /p t k/ en début de mot diffèrent lorsqu'ils sont prononcés dans un contexte monolingue et lorsqu'ils sont prononcés dans un contexte de code-switch -- il semble que cela puisse être le cas.

Dans la présente étude, les participants francophones ont montré une moyenne de VOT de /p/ et /t/ en anglais significativement différente entre les contextes. La différence n'était cependant pas constante pour les deux consonnes. Les /p/ ont eu un VOT plus long dans le contexte code-switch par rapport au contexte monolingue. Les /t/ ont eu un VOT plus court dans le contexte code-switch que dans le contexte monolingue.

L'absence d'effet général de contexte linguistique sur la moyenne du VOT de l'anglais ou du français pour les participants anglophones est possiblement exagérée par le faible nombre d'occurrences dans le contexte code-switch, mais notre étude ne permet pas d'affirmer cela.
Dans l'ensemble, le protocole de cette étude a été une réussite. Il a atteint l'objectif visé : générer facilement un discours bilingue spontané que l'expérimentateur pouvait qu orienter vers des données pertinentes avec peu d'ingérence.

La comparaison du VOT moyen des occlusives sourdes en début de mot a été une mesure simple pour obtenir une première impression des performances phonologiques des anglophones et des francophones dans les énoncés code-switchés. Il permet également de contribuer à la quantité croissante de données pour ces mêmes types de critères d'étude.

Il existe de nombreux facteurs qui affectent sans aucun doute le VOT et qui n'ont pas été abordés dans la présente étude. Notamment : le débit de parole, la distance (temporelle ou en nombre de mots/phonèmes) entre l'occlusive mésurée et le moment de changement de la langue matrice à la langue cible d'un code-switch, la voyelle suivant l'occlusive, l'accent de la syllabe, l'allophonie. Les facteurs prosodiques, tels que les groupes de respiration, les contours d'intonation ou les pauses, méritent également d'être étudiés.

Références

ADEL, H., VU, N. T., SCHULTZ, T. (2013). Combination of recurrent neural networks and factored language models for code-switching language modeling. In *Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics* (Volume 2: Short Papers) (Vol. 2, pp. 206-211).

ANTONIOU, M., BEST, C. T., TYLER, M. D., KROOS, C. (2010). Language context elicits native-like stop voicing in early bilinguals' productions in both L1 and L2. *Journal of phonetics*, 38(4), 640-653.

ANTONIOU, M., BEST, C. T., TYLER, M. D., KROOS, C. (2011). Inter-language interference in VOT production by L2-dominant bilinguals: Asymmetries in phonetic code-switching. *Journal of Phonetics*, 39(4), 558-570.

AUER, P. (1995). The pragmatics of code-switching : a sequential approach. One speaker, two languages : Cross-disciplinary perspectives on code-switching, pages 115-135

BULLOCK, B. E. (2012). Phonetic reflexes of code-switching, chapter 10, pages 163-181. Cambridge University Press, Cambridge.

BULLOCK, B. E., TORIBIO, A. J., GONZÁLEZ, V., DALOLA, A. (2006). Language dominance and performance outcomes in bilingual pronunciation. *In Proceedings of the 8th generative approaches to second language acquisition conference* (pp. 9-16). Somerville, MA: Cascadilla Proceedings Project.

FRICKE, M., KOOTSTRA, G. J. (2016). Primed codeswitching in spontaneous bilingual dialogue. *Journal of Memory and Language*, 91, 181-201.

FOWLER, C. A., SRAMKO, V., OSTRY, D. J., ROWLAND, S. A., HALLE, P. (2008). Cross language phonetic influences on the speech of French/English bilinguals. *Journal of Phonetics*, 36(4), 649-663.

GARDNER-CHLOROS, P. (2009A). Code-Switching. Cambridge University Press, Cambridge.

GARDNER-CHLOROS, P. (2009B). Sociolinguistic factors in code-switching. Cambridge University Press.

GOLDRICK, M., RUNNQVIST, E., COSTA, A. (2014). Language switching makes pronunciation less nativelike. *Psychological science*, 25(4), 1031-1036.
GONZÁLEZ-VILBAZO, K., BARTLETT, L., DOWNEY, S., EBERT, S., HEIL, J., HOOT, B., ... RAMOS, S. (2013). Methodological considerations in code-switching research. *Studies in Hispanic and Lusophone Linguistics*, 6(1), 119-138.

GROSJEAN, F. (1995). A psycholinguistic approach to codeswitching : The recognition of guest words by bilinguals. *One speaker, two languages : Crossdisciplinary perspectives on code-switching*, pages 259-275

NEAREY, T. M., ROCHET, B. L. (1994). Effects of place of articulation and vowel context on VOT production and perception for French and English stops. *Journal of the International Phonetic Association*, 24(1), 1-18.

OLSON, D. J. (2013). Bilingual language switching and selection at the phonetic level: Asymmetrical transfer in VOT production. *Journal of Phonetics*, 41(6), 407-420.

OLSON, D., ORTEGA-LLEBARIA, M. (2010). The perceptual relevance of code switching and intonation in creating narrow focus. In *Selected proceedings of the 4th Conference on Laboratory Approaches to Spanish Phonology* (pp. 57-68).

PICCININI, P. AND ARVANITI, A. (2015). Voice onset time in Spanish-English spontaneous code-switching. *Journal of Phonetics*, 52:121-137

PICCININI, P. E., GARELLEK, M. (2014). Prosodic cues to monolingual versus code-switching sentences in English and Spanish. In *Proceedings of the 7th Speech Prosody Conference* (pp. 885-889).
# Où en sommes-nous dans la reconnaissance des entités nommées structurées à partir de la parole ?

Antoine Caubrière¹ Sophie Rosset² Yannick Estève³ Antoine Laurent¹
Emmanuel Morin⁴

(1) LIUM, Avenue Olivier Messiaen, 72085 Le Mans ; (2) LIMSI, Rue du Belvedère, 91405 Orsay

(3) LIA, 339 Chemin des Meinajaries, 84140 Avignon ; (4) LS2N, 2 Chemin de la Houssinière, 44322 Nantes
prénom.nom@[univ-lemans ; limsi ; univ-avignon ; univ-nantes].fr

## RÉSUMÉ

La reconnaissance des entités nommées (REN) à partir de la parole est traditionnellement effectuée par l'intermédiaire d'une chaîne de composants, exploitant un système de reconnaissance de la parole (RAP), puis un système de REN appliqué sur les transcriptions automatiques. Les dernières données disponibles pour la REN structurées à partir de la parole en français proviennent de la campagne d'évaluation ETAPE en 2012. Depuis la publication des résultats, des améliorations majeures ont été réalisées pour les systèmes de REN et de RAP. Notamment avec le développement des systèmes neuronaux. De plus, certains travaux montrent l'intérêt des approches de bout en bout pour la tâche de REN dans la parole. Nous proposons une étude des améliorations en RAP et REN dans le cadre d'une chaîne de composants, ainsi qu'une nouvelle approche en trois étapes. Nous explorons aussi les capacités d'une approche bout en bout pour la REN structurées. Enfin, nous comparons ces deux types d'approches à l'état de l'art de la campagne ETAPE. Nos résultats montrent l'intérêt de l'approche bout en bout, qui reste toutefois en deçà d'une chaîne de composants entièrement mise à jour.

## ABSTRACT

### Where are we in Named Entity Recognition from speech ?

Named entity recognition (NER) from speech is usually made through a pipeline process that consists in (i) processing audio using an automatic speech recognition system (ASR) and (ii) applying a NER to the ASR outputs. The latest data available for named entity extraction from speech in French were produced during the ETAPE evaluation campaign in 2012. Since the publication of ETAPE's results, major improvements were done on NER and ASR systems, especially with the development of neural approaches for both of these components. In addition, recent studies have shown the capability of End-to-End (E2E) approach for NER / SLU tasks. In this paper, we propose a study of the improvements made in speech recognition and named entity recognition for pipeline approaches. For this type of systems, we propose an original 3-pass approach. We also explore the capability of an E2E system to do structured NER. Finally, we compare the performances of ETAPE's systems (state-of-the-art systems in 2012) with the performances obtained using current technologies. The results show the interest of the E2E approach, which however remains below an updated pipeline approach.

**MOTS-CLÉS** : Reconnaissance d'entités nommées structurées, Reconnaissance automatique de la parole, Chaînes de composants, bout en bout.

**KEYWORDS** : Named Entity Recognition, Automatic Speech Recognition, Pipeline, End-to-End.

Traduction de l'article accepté à LREC 2019 : "Where are we in Named Entity Recognition from speech ?"

<figure><img src="image_37.png" /></figure>
# 1 Introduction

La reconnaissance d'entités nommées (REN) consiste en la localisation de concepts, dans des textes non structurés, et en leurs classifications dans des catégories prédéfinies. Le projet Quaero (Grouin et al., 2011) a permis la mise en place d'une définition étendue des entités nommées (EN) dans le cadre de données françaises. Cette définition possède une structure arborescente multiniveau au sein de laquelle différentes EN sont combinés pour définir les plus complexes. Dans le but de mieux décrire les entités nommées, le projet Quaero met en place la notion de composant d'EN. Ainsi, avec cette définition, la REN consiste en la localisation, la classification et la décomposition des entités. La campagne d'évaluation ETAPE (Galibert et al., 2014) a utilisé cette définition étendue.

À notre connaissance, aucun nouveau résultat n'a été publié depuis les résultats de la campagne ETAPE concernant la REN structurées à partir de la parole sur des données françaises. En raison de leurs structures, la reconnaissance de ces types d'EN ne peut pas être abordée comme une simple tâche d'étiquetage de séquences. Lors de la campagne ETAPE, l'état de l'art était construit à l'aide de traitement en plusieurs étapes avant de reconstruire la structure arborescente des EN. Les CRF (Conditional Random Field (Lafferty et al., 2001)) sont au cœur des approches d'étiquetage de séquence. Certaines approches utilisent, en plus des CRF, des grammaires probabilistes sans contexte (Johnson, 1998) (PCFG) leur permettant de mettre en œuvre un modèle en cascade. Les CRF sont appris sur les composants d'EN et les PCFG sont utilisés pour prédire l'ensemble de structure en arbre des EN. Toutefois, le système de REN ayant remporté la campagne ETAPE n'utilise que des CRF avec un modèle par concept (Raymond, 2013). La plupart des approches pour la REN à partir de la parole utilisent une chaîne de deux composants. Tout d'abord un système de reconnaissance de la parole (RAP) produisant des transcriptions automatiques, puis un système de REN est appliqué dessus. Dans cette configuration, le système de REN est appliqué sur des transcriptions automatiques et donc imparfaites. Cela signifie que la qualité des transcriptions a un impact important sur les performances finales de la chaîne (Ben Jannet et al., 2015). En 2012, les systèmes basés sur les modèles de Markov cachés et les modèles à mélange de gaussienne (HMM-GMM) constituaient l'état de l'art en RAP. Depuis, les approches neuronales ont montré leur potentiel (Tomashenko et al., 2016) en se basant sur une combinaison d'HMM et de réseau de neurones profonds (DNN). Les approches neuronales se sont également illustrées dans le cadre de la REN par la combinaison de CRF et de couches neuronales de type bLSTM (Lample et al., 2016; Ma & Hovy, 2016). Dernièrement, une approche de bout en bout (E2E) a été proposée dans (Ghannay et al., 2018) pour la REN directement à partir de la parole. Cette approche laisse un système apprendre l'alignement entre la parole et sa transcription manuelle enrichie avec des concepts d'EN non structurés. D'autres travaux utilisent des approches de bout en bout pour faire correspondre directement la parole aux concepts au lieu de la faire correspondre à des mots, puis ces mots aux concepts (Lugosch et al., 2019). Ces travaux montrent l'intérêt grandissant des approches E2E pour ce type de tâche.

Dans cet article, nous proposons une étude des améliorations récentes pour la tâche de REN dans le cadre de la campagne d'évaluation ETAPE. Nous comparons une approche traditionnelle par chaîne de composants à une approche de bout en bout apprise selon deux stratégies. Notre première contribution consiste en une implémentation en trois étapes permettant d'aborder la REN structurées. Avec cette implémentation, nous séparons la structure arborescente en trois parties distinctes pour les appréhender comme différentes tâches d'étiquetage de séquence plus simple avant de reconstruire la structure arborescente. La seconde est une approche E2E pour la REN structurées. Elle consiste en l'apprentissage de l'alignement entre la parole et les transcriptions textuelles enrichies directement avec les EN structurées.
Nous commençons par une description de la tâche de REN structurées Quaero. Puis, nous décrivons notre implémentation en trois étapes, suivi de la description de nos systèmes état de l'art pour les tâches de RAP / REN dans le cadre d'une chaîne de composant sections 3.2, 3.3 et 3.4, de notre système de bout en bout section 4, de nos jeu de données sections 5 et 6, de nos expérimentation et l'analyse de nos résultats section 7, puis nous concluons.

## 2 Définition de la tâche

Dans ce travail, nous étudions la REN structurées suivant le formalisme d'annotation Quaero (Rosset et al., 2011). Il permet une annotation suivant huit catégories principales : *amount*, *event*, *func*, *loc*, *org*, *pers*, *prod* and *time*. Ces catégories sont enrichies de sous-types dans le but de créer une hiérarchie. Elle permet de décrire davantage les concepts. Ce guide permet ainsi une annotation selon 39 concepts différents par exemple : *loc.add.phys* qui représente une adresse physique.

En complément des types d'EN, le guide Quaero met en place la notion de composants. Ils permettent de décrire davantage les EN et sont au nombre de 28. Le guide impose que chaque mot présent au sein d'une EN soit annoté en composant, sauf dans le cas de certains articles et mots de liaison. Presque tous les composants dépendent directement du type d'EN, par exemple : "day", "week" sont dépendant du type "time". Cependant certain sont transversaux, par exemple : "kind", "qualifier".

L'annotation finale en EN structurées est arborescente, ce qui signifie qu'une EN peut être composée de composants, mais aussi d'autre EN, sans limites d'imbrication. En suivant la méthode d'annotation proposée par le guide Quaero, la phrase : "la mairie de paris", serait annotée ainsi : "la <org.adm<kind> mairie> de <loc.adm.town> <name> paris >> ".

## 3 Systèmes à chaîne de composants

### 3.1 Implémentation en trois étapes

Pour réaliser la REN structurées, les systèmes que nous mettons en place utilisent le format d'annotation BIO. Il consiste en un fichier à deux colonnes, la première pour un mot, la seconde pour le concept associé à ce mot. Le concept est préfixé par un "B", un "I" ou un "O", en fonction de la position du mot au sein du groupe de mots correspondant à ce concept. Un inconvénient de ce format est qu'il ne permet pas de représenter efficacement l'arborescence des EN structurées. En effet, cette arborescence implique qu'un mot puisse appartenir à plusieurs concepts. Le format BIO impose un unique label pour chaque mot. Pour représenter l'arborescence, il est nécessaire de concaténer les labels BIO obtenus avec les différents concepts associés à un mot. Nous illustrons cette concaténation dans la figure 1.

<figure><img src="image_38.png" /><figcaption>FIGURE 1 – Exemple de transformation d'une séquence d'EN arborescente au format BIO</figcaption></figure>
Ainsi, le nombre final de labels possibles augmente drastiquement. Nous dénombrons désormais 1 690 labels prédicibles. À partir de la notion de composant du guide Quaero, nous pouvons déduire que la racine de l'arborescence est nécessairement un type EN. Nous pouvons également observer que ses feuilles sont en très grande majorité des composants. Enfin, les annotations entre la racine et les feuilles sont un mélange de composants et de type EN. L'augmentation drastique du nombre de labels possibles et ces observations nous motivent à mettre en place une annotation en trois niveaux :

- Le premier niveau représente la racine de l'arborescence. C'est-à-dire les concepts de plus haut niveau. Il est représenté par 96 labels distincts.

- Le troisième niveau représente les feuilles de l'arborescence. Il s'agit ainsi des concepts de plus bas niveau. Un total de 57 labels distincts sont nécessaires pour ce niveau.

- Le second niveau représente l'ensemble des concepts présents entre la racine et la feuille de l'arborescence. Pour ce niveau, nous utilisons 187 labels distincts.

Suite à ce découpage, nous proposons d'effectuer la REN structurées par l'intermédiaire de trois systèmes d'étiquetage de séquences fonctionnant de concert. Nous apprenons un système par niveau. Puis, avec la prédiction de chacun des systèmes nous pouvons reconstruire l'arborescence et ainsi obtenir la séquence finale annotée en EN structurées. Nous souhaitons aussi exploiter les liens existants entre les types EN et les composants. Ainsi, nous proposons d'injecter comme données additionnelles, les prédictions issues d'un modèle précédent dans le/les modèles suivant. C'est-à-dire, injecter les prédictions du premier niveau dans le second et le troisième et injecter les prédictions du second niveau dans le troisième. L'approche que nous proposons est représentée par la figure 2.

<figure><img src="image_39.png" /><figcaption>FIGURE 2 – Représentation de notre implémentation en 3 étapes</figcaption></figure>

## 3.2 CRF

Le premier système de REN utilisé dans ces travaux est un CRF. Nous entraînons les modèles à l'aide du logiciel WAPITI (Lavergne et al., 2010). Ils sont basés sur diverses caractéristiques :

- Les mots et les bigrammes des mots localisés autour des mots cibles sur une fenêtre [-2,+2].

- Les préfixes et les suffixes localisés autour des mots cibles sur une fenêtre [-2,+2].

- Plusieurs caractéristiques de types Oui / Non comme la présence de chiffre dans le mot ou la présence d'une majuscule comme première lettre.

En complément, nous utilisons des caractéristiques morphosyntaxiques extraites de la sortie de l'outil tree-tagger, ainsi que les hypothèses des modèles précédents (implémentation en 3 étapes). Tous les modèles sont entraînés à l'aide de l'algorithme rprop pour un maximum de 40 époques.
## 3.3 NeuroNlp2

Il s'agit d'un système d'étiquetage de séquences<fnref n="1" /> proposé par (Ma & Hovy, 2016). Nous l'exploitons pour réaliser une tâche de REN à partir du texte. Ce système est un empilement de couches CNN, bLSTM et d'une couche CRF. La couche CNN permet l'extraction de plongements de caractères qui s'additionnent aux plongements de mots en entrée des couches bLSTM. Les vecteurs résultant des couches bLSTM sont placés en entrée du CRF finale. Dans nos expérimentations, nous conservons les paramètres par défaut, excepté le nombre de couches bLSTM, paramétré à 2, et le nombre d'unités par couches paramétré à 200.

## 3.4 Système de reconnaissance de la parole

Dans cette étude, nous utilisons un système de reconnaissance de la parole traditionnel. Ce système est construit à partir de Kaldi et est composé de modèles de Markov cachés et d'un réseau de neurones de types TDNN (Time-Delay Neural Network).

## 4 Système de bout en bout

L'implémentation<fnref n="2" /> que nous utilisons dans cette étude est basée sur le système de RAP DeepSpeech 2 (Amodei et al., 2016). Son architecture consiste en un empilement de deux couches CNN, cinq couches bLSTM et une couche de sortie Softmax. Ce système est entraîné à l'aide de la fonction de coût Connectionist Temporal Classification (Graves et al., 2006). Cette fonction de coût permet au système d'apprendre l'alignement entre un segment audio et une séquence de caractères à produire. Les caractéristiques d'entrées de ce système correspondent aux log-spectrogrammes des segments audio, calculés sur des fenêtres de 20 ms.

Nous mettons en œuvre notre système E2E tel que nous l'avons proposé dans (Ghannay et al., 2018). Les séquences à produire sont des séquences de caractères constituées de mots et des frontières des EN encadrant leurs valeurs. Comme DeepSpeech 2 produit une séquence de caractères, nous représentons ces frontières par l'intermédiaire de caractères uniques. Notre système va ainsi apprendre l'alignement entre des segments audio et des séquences de caractères enrichies des frontières d'EN. L'exemple annoté de la section 2, deviendrait : "la $ & mairie > de % # paris > > >".

## 5 Données pour la reconnaissance d'entités nommées

Nos expérimentations sont réalisées sur le corpus français ETAPE (Gravier et al., 2012). Il est composé de données issues d'émissions de radio et TV françaises enregistrées entre 2010 et 2011. Ces émissions proviennent de quatre sources différentes : France Inter, LCP, BFMTV et TV8. Il contient 36 heures de parole séparées en trois parties distinctes : Développement (7 heures), Entraînement (22 heures) et Test (7 heures). Ce corpus possède une annotation en EN selon le guide Quaero. En complément, nous augmentons nos données d'entraînement à l'aide de l'ensemble Quaero (Grouin et al., 2011). Ainsi, nous ajoutons 100 heures de parole entièrement transcrites et annotées en EN manuellement. Ces données sont aussi issues d'émissions de radio et TV françaises.

<footnote n="1">1. https://github.com/XuezheMax/NeuroNLP2</footnote>

<footnote n="2">2. https://github.com/SeanNaren/deepspeech.pytorch</footnote>
# 6 Données pour la reconnaissance automatique de la parole

Pour effectuer la tâche de RAP, nous utilisons les ensembles ESTER 1 et 2, REPERE et VERA. Grâce à la combinaison de ces données, nous atteignons un total de 220 heures de parole nous permettant d'apprendre le modèle acoustique du système de RAP de notre approche par chaîne de composants. Le modèle de langage est appris à l'aide des transcriptions manuelles de ces mêmes données enrichies de textes issus de journaux français. Plus de détails sont présents dans la section 4.2.3 de l'article (Deléglise et al., 2009). Notre système E2E est appris sur ces données, en plus de l'ensemble d'apprentissage d'ETAPE.

# 7 Expérimentations

Nos expérimentations sont évaluées à l'aide de l'ensemble de test d'ETAPE et de la métrique du Slot Error Rate (SER) (Makhoul et al., 1999). Le système de REN remportant la campagne d'évaluation ETAPE (Raymond, 2013) consistait en une combinaison de 68 modèles CRF binaires. Un modèle par type d'EN et par composants. Ce système couplé au meilleur système de RAP permettait d'obtenir un SER de 59,3 %. Ce qui constitue notre référentiel. Afin d'utiliser des transcriptions automatiques annotées en EN structurées, les annotations manuelles d'EN sont projetées dans les transcriptions produites par les systèmes de RAP. Aussi, comme notre système E2E produit à la fois des mots et des EN, nous supprimons les EN produites pour obtenir les transcriptions automatiques. Pour être comparable aux résultats publiés (Galibert et al., 2014), nous utilisons les scripts d'évaluation et de projection de la campagne.

## 7.1 Expérimentations par chaîne de composants

Nous comparons les résultats obtenus avec l'utilisation du meilleur système de RAP de la campagne (nommé RAP$_{2012}$) et notre système de RAP état de l'art (nommé RAP$_{2020}$). Le système RAP$_{2012}$ obtenait un taux d'erreur sur les mots (WER) de 21,8 %, tandis que notre système RAP$_{2020}$ obtient 16,5 %, représentant un gain relatif de 24,3 %. Nous réalisons des expérimentations avec plusieurs combinaisons des systèmes de RAP / REN dont les résultats sont reportés dans la table 1. Il comporte également des expérimentations comparant notre implémentation en 3 étapes (3-pass) avec une approche classique en une étape (1-pass).

<table><caption>TABLE 1 – Résultats expérimentaux des chaînes de composants</caption><thead><tr><td>Système</td><td>SER</td></tr></thead><tbody><tr><td>Sys 0. Baseline ETAPE 2012</td><td>59,3</td></tr><tr><td>Sys A. 1-pass – CRF – RAP<sub>2012</sub></td><td>69,4</td></tr><tr><td>Sys B. 3-pass – CRF – RAP<sub>2012</sub></td><td>59,5</td></tr><tr><td>Sys C. 3-pass – CRF – RAP<sub>2019</sub></td><td>55,0</td></tr><tr><td>Sys D. 3-pass – bLSTM-CRF – RAP<sub>2012</sub></td><td>56,1</td></tr><tr><td>Sys E. 3-pass – bLSTM-CRF – RAP<sub>2019</sub></td><td>51,1</td></tr></tbody></table>

Le système le plus simple (A) obtient un taux d'erreur de 69,4 %. Lorsque nous employons notre approche en trois étapes dans la même configuration (B), nous atteignons un SER de 59,5 %, soit un gain relatif de 14,3 % par l'utilisation de cette approche. Ces résultats sont proches de ceux de notre référentiel en utilisant uniquement 3 modèles CRF au lieu de 68. Sans surprise, la qualité des
transcriptions automatique améliore les performances globales. Pour un système de REN à base de CRF, les résultats vont de 59,5 % de SER à 55,0 %, soit un gain relatif de 7,6 % (B et C). Avec un système bLSTM-CRF, les résultats vont de 56,1 % à 51,1 % (D et E), permettant un gain relatif de 8,9 %. La mise à jour du système de REN permet également une amélioration. Avec le système de RAP de 2012, les résultats vont de 59,5 % de SER à 55,0 %, soit un gain relatif de 7,6 % (B et D). Tandis qu'avec le système de 2020, les résultats vont de 55,0 % à 51,1 %, soit un gain relatif de 7,1 %. Avec une chaîne de composants, nous obtenons nos meilleurs résultats en mettant à jour chacun des composants et en employant notre implémentation en 3 étapes (système E).

## 7.2 Expérimentations de bout en bout

Afin d'apprendre notre approche E2E, nous appliquons la même stratégie que dans nos travaux précédents pour compenser le manque de données audio annotées manuellement en EN (Ghannay et al., 2018). Nous effectuons un entraînement multitâche qui consiste tout d'abord à apprendre un système de RAP, puis un système de REN par transfert d'apprentissage ($RAP - > REN_{struct}$). Pour le transfert d'apprentissage, nous conservons le modèle issu de la tâche de RAP, puis nous poursuivons son entraînement en ciblant la tâche de REN. Comme les labels de sorties changent entre les tâches de RAP et de REN, nous réinitialisons la couche de sortie softmax. L'apprentissage du modèle de RAP est effectué à l'aide des données de la section 6 et le modèle de REN à l'aide de celles décrites dans la section 5. Nos travaux précédents ont montré l'intérêt d'un transfert d'apprentissage piloté par une stratégie de curriculum (Caubrière et al., 2019). Cette stratégie consiste à cibler des tâches organisées de celle considérée la plus générique vers celle considérée la plus spécifique. Comme les EN structurées sont composés de type et de composant d'EN, nous proposons d'exploiter cette stratégie. Pour ce faire, nous proposons d'entraîner la tâche de REN en deux apprentissages successifs. Le premier avec des annotations de type EN uniquement, puis le second avec l'annotation complète, incluant donc les composants. Nous supposons les composants comme plus spécifiques que les types EN puisqu'ils en dépendent directement. Ainsi, nous réalisons la chaîne d'apprentissage suivante : $RAP - > REN_{struct} - > REN_{full}$.

Avec notre système E2E, nous pouvons effectuer un décodage classique de type "Greedy", mais aussi un décodage de type "Beam Search" grâce à un modèle de langage. Nous apprenons un modèle de langage 4-gramme à l'aide des données d'apprentissage ETAPE et QUAERO. Les résultats des deux types de décodages pour les deux chaînes d'apprentissages sont donnés dans la table 2.

<table><caption>TABLE 2 – Résultats expérimentaux de l'approche de bout en bout</caption><thead><tr><td>Système</td><td>ML</td><td>SER</td></tr></thead><tbody><tr><td>RAP - > REN<sub>struct</sub></td><td>X</td><td>62,9</td></tr><tr><td>RAP - > REN<sub>types</sub> - > REN<sub>full</sub></td><td>X</td><td>61,9</td></tr><tr><td>RAP - > REN<sub>struct</sub></td><td>4-gramme</td><td>57,3</td></tr><tr><td>RAP - > REN<sub>types</sub> - > REN<sub>full</sub></td><td>4-gramme</td><td><b>56,9</b></td></tr></tbody></table>

Nos résultats montrent l'intérêt de notre stratégie de curriculum pour la REN structurées, par la réduction du SER de 62,9 % à 61,9 %. Ils montrent également l'intérêt du décodage Beam Search qui nous permet d'obtenir de meilleures performances en réduisant le taux de SER de 62,9 % à 57,3 %. La stratégie de curriculum conserve son utilité et nous permet d'obtenir nos meilleurs résultats en atteignant 56,9 % de SER.
## 7.3 Comparaison globale

Nous reportons les résultats de notre référentiel, de notre meilleur système E2E et de notre meilleur système par chaîne de composant dans la table 3.

<table><caption>TABLE 3 – Résultats reportés du référentiel et de nos meilleurs systèmes</caption><thead><tr><td>Système</td><td>SER</td></tr></thead><tbody><tr><td>(Sys 0) Baseline ETAPE 2012</td><td>59.3</td></tr><tr><td>RAP – > REN<sub>types</sub> – > REN<sub>full</sub> (4-gramme)</td><td>56.9</td></tr><tr><td>3-passes – bLSTM-CRF – RAP<sub>2019</sub></td><td>51.1</td></tr></tbody></table>

Notre approche E2E nous permet un gain relatif de 4 % par rapport aux résultats de la campagne ETAPE. Toutefois, nos résultats montrent qu'une approche classique avec notre implémentation en 3 étapes et pour laquelle chaque composants est à jour est bien meilleure. Plaçant le nouvel état de l'art à 51,1% de SER. Cette approche classique nous permet un gain relatif de 13,8 % par rapport à notre référentiel. Enfin, en comparant les résultats de nos deux meilleurs systèmes ensemble, nous pouvons observer un gain relatif de 10,2 % à l'avantage de l'approche par chaîne de composants. Pour mieux comprendre les différences entre notre approche E2E et notre chaîne de composants en 3 étapes, nous comparons leurs réponses pour chaque type d'EN. Nous pouvons noter que les cinq concepts les plus représentés (name, kind, pers.ind, name.first, name.last) bénéficient tous d'une amélioration de reconnaissance autour de 16 %. Nous pouvons cependant noter que certains concepts (year, name.nickname) sont désavantagés par notre approche état de l'art, avec respectivement -21 % et -12,3 % de taux de reconnaissance par rapport à notre approche E2E. Ils restent tout de même peu impactant pour les performances globales, car peu représentés (seulement 95 et 65 concepts de références). Il serait nécessaire, dans de futurs travaux, d'effectuer une étude plus approfondie des différences entre nos deux types d'approches.

## 8 Conclusion

Dans ces travaux, nous présentons les performances désormais atteignables pour la campagne d'évaluation française ETAPE s'étant déroulée en 2012. Nos expérimentations comparent des approches traditionnelles par chaîne de composants et des approches de bout en bout plus récente. Nous proposons dans ce papier une nouvelle implémentation en trois étapes pour la reconnaissance d'entités nommées structurées, dans le cadre des approches par chaîne de composants. En séparant l'arborescence de ces EN en trois parties distinctes, nous sommes capables de réaliser trois tâches plus simples d'étiquetage de séquences. Cette implémentation nous permet d'obtenir des performances similaires au meilleur système de REN en 2012, avec trois CRF classiques au lieu de 68 CRF binaires. Basé sur nos précédents travaux sur les entités nommées non-structurées avec une approche de bout en bout, nous proposons ce type d'approche pour la reconnaissance des entités nommées structurées. Nous exploitons aussi nos précédents travaux sur le transfert d'apprentissage piloté par une stratégie de curriculum pour obtenir nos meilleurs résultats avec une approche de bout en bout. Nous obtenons un gain relatif de 4 % avec ce type d'approche par rapport aux résultats de la campagne ETAPE. Toutefois, nous obtenons nos meilleurs résultats avec une approche par chaîne de composants entièrement mise à jour et exploitant notre implémentation en 3 étapes. Les résultats expérimentaux montrent un gain relatif de 13,8 % entre les résultats de 2012 et le nouvel état de l'art.
Références

AMODEI D., ANANTHANARAYANAN S., ANUBHAI R., BAI J., BATTENBERG E., CASE C., CASPER J., CATANZARO B., CHENG Q., CHEN G. et al. (2016). Deep speech 2 : End-to-end speech recognition in english and mandarin. In *Proceedings of ICML'16*, p. 173–182.

BEN JANNET M. A., GALIBERT O., ADDA-DECKER M. & ROSSET S. (2015). How to evaluate asr output for named entity recognition? In *Interspeech*, Dresden, Germany.

CAUBRIÈRE A., TOMASHENKO N., LAURENT A., MORIN E., CAMELIN N. & ESTÈVE Y. (2019). Curriculum-based transfer learning for an effective end-to-end spoken language understanding and domain portability. In *Interspeech*, Graz, Austria.

DELÉGLISE P., ESTEVE Y., MEIGNIER S. & MERLIN T. (2009). Improvements to the lium french asr system based on cmu sphinx : what helps to significantly reduce the word error rate ? In *Interspeech*, Brighton, United Kingdom.

GALIBERT O., LEIXA J., ADDA G., CHOUKRI K. & GRAVIER G. (2014). The ETAPE speech processing evaluation. In *Language Resources Evaluation Conference (LREC)*, Reykjavik, Iceland.

GHANNAY S., CAUBRIÈRE A., ESTÈVE Y., CAMELIN N., SIMONNET E., LAURENT A. & MORIN E. (2018). End-to-end named entity and semantic concept extraction from speech. In *IEEE SLT*.

GRAVES A., FERNÁNDEZ S., GOMEZ F. & SCHMIDHUBER J. (2006). Connectionist temporal classification : labelling unsegmented sequence data with recurrent neural networks. In *ICML*.

GRAVIER G., ADDA G., PAULSSON N., CARRÉ M., GIRAUDEL A. & GALIBERT O. (2012). The etape corpus for the evaluation of speech-based tv content processing in the french language. In *LREC*, Istanbul, Turkey.

GROUIN C., ROSSET S., ZWEIGENBAUM P., FORT K., GALIBERT O. & QUINTARD L. (2011). Proposal for an extension of traditional named entities : From guidelines to evaluation, an overview. In *Linguistic Annotation Workshop*, p. 92–100, Portland, OR : ACL.

JOHNSON M. (1998). Pcfg models of linguistic tree representations. *Computational Linguistics*.

LAFFERTY J., MCCALLUM A. & PEREIRA F. C. (2001). Conditional random fields : Probabilistic models for segmenting and labeling sequence data. In *ICML*.

SAMPLE G., BALLESTEROS M., SUBRAMANIAN S., KAWAKAMI K. & DYER C. (2016). Neural architectures for named entity recognition. *arXiv preprint arXiv:1603.01360*.

LAVERGNE T., CAPPÉ O. & YVON F. (2010). Practical Very Large Scale CRFs. In *Annual Meeting of the Association for Computational Linguistics*, p. 504–513.

LUGOSCH L., RAVANELLI M., IGNOTO P., TOMAR V. S. & BENGIO Y. (2019). Speech model pre-training for end-to-end spoken language understanding. In *Interspeech*, Graz, Austria.

MA X. & HOVY E. (2016). End-to-end sequence labeling via bi-directional lstm-cnns-crf. *arXiv preprint arXiv:1603.01354*.

MAKHOUL J., KUBALA F., SCHWARTZ R. & WEISCHEDEL R. (1999). Performance measures for information extraction. In *DARPA Broadcast News Workshop*, p. 249–252, Herndon, United States.

RAYMOND C. (2013). Robust tree-structured named entities recognition from speech. In *Proceedings of the International Conference on Acoustic Speech and Signal Processing*, Vancouver, Canada.

ROSSET S., GROUIN C. & ZWEIGENBAUM P. (2011). Entités nommées structurées : guide d'annotation quaero. limsi-cnrs, orsay, france.

TOMASHENKO N., VYTHELINGUM K., ROUSSEAU A. & ESTÈVE Y. (2016). Lium asr systems for the 2016 multi-genre broadcast arabic challenge. In *IEEE Spoken Language Technology Workshop*.
# PTSVOX : une base de données pour la comparaison de voix dans le cadre judiciaire

Anaïs Chanclu¹ Laurianne Georgetown² Corinne Fredouille¹ Jean-François Bonastre¹

(1) LIA - Avignon Université

(2) SCPTS - Police Nationale

{anais.chanclu, corinne.fredouille, jean-francois.bonastre}@univ-avignon.fr, laurianne.georgetown@interieur.gouv.fr

## RÉSUMÉ

Cet article présente la base de données PTSVOX, créée par le Service Central de la Police Technique et Scientifique (SCPTS) spécifiquement pour la comparaison de voix dans le cadre judiciaire. PTSVOX contient 369 locuteurs et locutrices qui ont été enregistrés au microphone et au téléphone. PTSVOX a été conçue pour mesurer l'influence de différents facteurs de variabilité fréquemment rencontrés dans les cas pratiques en identification judiciaire, comme le type de parole, le temps écoulé et le matériel d'enregistrement. Pour cela, 24 des locuteurs de PTSVOX (12 hommes et 12 femmes) ont été enregistrés une fois par mois pendant 3 mois, en parole spontanée et en parole lue. Dans cet article, nous présentons dans un premier temps la base PTSVOX, puis nous décrivons des protocoles standards ainsi que les systèmes de référence associés à PTSVOX, avec une évaluation de leur performance.

## ABSTRACT

### PTSVOX : a Speech Database for Forensic Voice Comparison

This article introduces PTSVOX, a forensic voice comparison database created by the Service Central de la Police Technique et Scientifique (SCPTS). PTSVOX consists in 369 speakers, recorded using a microphone, and a telephone. The database has been conceived with the purpose of studying the influence of various variability factors which are commonly encountered in practical cases, such as the speaking style, the elapsed time between two recordings and the recording equipment. This is why 24 speakers (12 women and 12 men) have been recorded once a month for three months skeaking spontaneously and reading. In this article, we first present the PTSVOX database. Then, we describe the standard protocoles and the baselines associated with PTSVOX as well as an evaluation of the performance.

**MOTS-CLÉS** : comparaison de voix dans le cadre judiciaire, variabilité intra-locuteur, reconnaissance du locuteur, base de données PTSVOX.

**KEYWORDS**: forensic voice comparison, intra-speaker variability, speaker recognition, PTSVOX database.

<figure><img src="image_40.png" /></figure>
# 1 Introduction

La reconnaissance du locuteur a réalisé des progrès importants au cours des dernières décennies, notamment grâce à la mise à disposition de grandes bases de données à travers des campagnes d'évaluations comme les campagnes NIST-Speaker Recognition Evaluation (SRE) organisées par le National Institute of Standards and Technology (NIST). La variabilité inter-locuteur, à la source de la discrimination entre les locuteurs, est bien représentée dans les bases de données type NIST-SRE. Elle est cependant mélangée avec d'autres facteurs de variabilité, comme les accents régionaux, la langue parlée, le microphone ou le bruit ambiant. De nos jours, des taux d'égale erreur (equal error rate (EER)) en vérification du locuteur d'environ 1 % sont couramment enregistrés dans les grandes campagnes d'évaluation. Néanmoins, ces campagnes montrent des limites (Kahn et al., 2010) car le nombre d'échantillons par locuteur reste faible alors que le contrôle des facteurs de variabilité est peu réalisé. La variabilité intra-locuteur est peu représentée alors qu'elle est à la fois un problème difficile à résoudre et une limite intrinsèque de la reconnaissance du locuteur. Elle concerne les caractéristiques vocales spécifiques de la personne qui parle mais également des informations telles que la langue, le style de parole, l'état émotionnel, le contenu phonétique (Ajili et al., 2016a) et l'âge (Ajili et al., 2016c; Kahn et al., 2010). Si la mesure de performance autorisée par de telles campagnes et bases de données peut convenir pour des applications commerciales de la reconnaissance du locuteur — pour lesquelles certains facteurs de variabilité peuvent être contrôlés ou compensés — dans certaines applications, comme la comparaison de voix dans le cadre judiciaire, cela n'est pas le cas. Il est donc nécessaire de construire les bases de données et les protocoles adaptés à ce type d'applications.

La comparaison de voix dans le cadre judiciaire est une application spécifique de la reconnaissance du locuteur où deux types d'échantillons de voix sont analysés :

- la pièce de question ou trace, relative à l'enquête, qui représente l'objet de la comparaison de voix;

- la pièce de comparaison, dont l'origine peut être multiple (mise sous écoute, audition...), peut être un enregistrement prélevé sur un suspect lors d'un entretien.

Dans le cadre judiciaire, la variabilité est une question encore plus prégnante qu'en reconnaissance du locuteur car les conditions d'enregistrements ne sont pas contrôlées, en tout cas pour la pièce de question. Alors que les ressources en vue d'étudier la variabilité inter-locuteurs ne manquent pas, très peu de ressources ont été conçues pour étudier la variabilité intra-locuteur (Ramos et al., 2008; Vloed et al., 2014). La base de données FABIOLE (Ajili et al., 2016b) a été mise en place pour pallier ce manque, mais elle est uniquement composée d'hommes et d'enregistrements issus d'émissions de radio et de télévision, ce qui s'éloigne du contexte de la comparaison de voix judiciaire.

Cet article présente la base de données PTSVOX, qui a été créée dans le cadre du projet ANR-17-CE39-0016 VoxCrim pour correspondre spécifiquement au contexte de la comparaison de voix judiciaire. Les protocoles standards et les systèmes de référence proposés avec PTSVOX sont aussi présentés, ainsi que les résultats expérimentaux correspondants.

# 2 Description de la base

PTSVOX résulte de campagnes de prélèvement de voix organisées par le Service Central de la Police Technique et Scientifique (SCPTS) dans deux écoles de police situées à Chassieu et à Nîmes. 369 personnes (144 femmes et 225 hommes) ont été enregistrées. Le corpus est composé d'enregistre-
ments téléphoniques et microphoniques réalisés sous forme d'entretien. Les personnes chargées des entretiens ont reçu pour consigne de faire parler les locuteurs autant que possible avec pour objectif de favoriser la spontanéité. Le contenu phonétique et la durée des enregistrements en mode entretien sont donc variables. La majorité des locuteurs n'a été enregistrée qu'une fois alors qu'une sous-partie du corpus, composée de 12 hommes et 12 femmes, a été enregistrée à plusieurs reprises, en Octobre 2016 puis en Mars, Avril et Mai 2017. Pour cette sous partie du corpus, des enregistrements de textes lus ont été également réalisés à chaque session, à l'exception de la première.

## 2.1 Fichiers audio

Chaque session d'enregistrement contient au moins deux enregistrements de parole spontanée, l'un effectué au microphone et le second au téléphone. La base compte un total de 952 fichiers audio, ce qui correspond à plus de 80 heures de données.

**Microphone et téléphones** Un enregistreur de type H4n est utilisé, paramétré sur une fréquence d'échantillonnage à 44100 Hz, en stéréo (car il possède deux microphones), avec une résolution de 16 bits. Trois téléphones ont été utilisés pour le prélèvement de voix, un Huawei Ascend Y550 et deux Wiko Cink Slim. Nous avons utilisé l'application Call Recorder, développée par Appliqato, sous la version 4.1.1 d'Android pour enregistrer directement les fichiers audio sur l'appareil. Les enregistrements sont paramétrés sur une fréquence d'échantillonnage de 44100 Hz, en mono, avec une résolution de 16 bits. Cependant, 27 fichiers ont été enregistrés avec une fréquence d'échantillonnage de 8000 Hz.

**Ré-échantillonnage des fichiers audio** Pour unifier les fichiers, les enregistrements sont également proposés après un ré-échantillonage, en mono avec une fréquence d'échantillonnage à 8000 Hz, 16000 Hz ou 44100 Hz.

## 2.2 Transcriptions

Les enregistrements ont été transcrits manuellement en utilisant le logiciel Praat (Boersma & Weenink, 2001) pour préparer l'alignement phonétique qui consiste à segmenter le signal de parole en unités minimales, les phonèmes. Cette segmentation en phonèmes est fournie par un outil automatique d'alignement contraint par le texte, développé par le Laboratoire Informatique d'Avignon (LIA). Cet outil prend en entrée le signal de parole, accompagné d'une transcription orthographique du contenu linguistique et un lexique de mots phonétisés (pouvant comporter différentes variantes phonologiques pour un même mot) et fournit en sortie une liste de frontières (début et fin) pour chaque phonème présent dans la transcription. L'alignement phonétique a ensuite été corrigé manuellement par des réservistes citoyennes de la Police nationale. Au total, la base contient 706 560 tokens ("mots" décomposés en chaînes de caractères) et 2 104 237 phonèmes.

## 2.3 Locuteurs et locutrices

Tous les locuteurs, femmes et hommes, sont des étudiants de l'école de police qui ont signé un formulaire de participation et un formulaire de consentement.
**Âge** Une très grande majorité des locuteurs, 253, est âgée de 18 à 24. Seuls 5 locuteurs ont plus de 30 ans. Les 111 locuteurs restants ont entre 24 et 30 ans.

**Langue maternelle** Le français est la langue maternelle de 346 locuteurs. D'autres langues telles que le shimaoré, les créoles guyanais, guadeloupéen et réunionnais sont également mentionnées. Seize locuteurs ont également déclaré avoir le turc, le portugais, le berbère, le malgache, l'arabe, le bushi tongo, le kurde, le guinéen ou l'italien pour langue maternelle.

**État de santé** Avant chaque session d'enregistrement, les locuteurs devaient indiquer si leur voix était susceptible d'être affectée par une quelconque condition ou état de santé. L'interrogatoire a montré que :

- 130 locuteurs (80 hommes et 50 femmes) ont déclaré fumer ;

- 89 locuteurs ont dit être malade le jour de l'enregistrement (nez bouché, toux, mal de gorge);

- 20 locuteurs ont indiqué avoir eu recours à de l'orthophonie ;

- 7 locuteurs ont subi une opération dans la zone ORL.

## 2.4 Jeux de données

Nous découpons la base PTSVOX en fonction des locuteurs, en trois jeux de données décrits dans le tableau 1. Il n'y a aucun recoupement de locuteurs entre les trois jeux ainsi définis. Chaque enregistrement est découpé en « tours de parole » qui sont ensuite concatenés pour obtenir des chunks d'une durée minimale de 30 secondes.

<table><caption>TABLE 1 – Jeux de données de la base PTSVOX</caption><thead><tr><th rowspan="2"></th><th rowspan="2">Femmes</th><th rowspan="2">Hommes</th><th rowspan="2">Sessions par locuteur</th><th colspan="2">chunks 30 sec</th></tr><tr><th>Microphone</th><th>Téléphone</th></tr></thead><tbody><tr><td>PTSVOX<sub>1</sub></td><td>100</td><td>180</td><td>1</td><td>494</td><td>472</td></tr><tr><td>PTSVOX<sub>2</sub></td><td>32</td><td>33</td><td>1</td><td>151</td><td>146</td></tr><tr><td>PTSVOX<sub>3</sub></td><td>12</td><td>12</td><td>2 à 4</td><td>194</td><td>184</td></tr></tbody></table>

# 3 Protocoles et systèmes

Cette section présente les protocoles standards définis pour la base PTSVOX ainsi que les deux systèmes de référence associés.

## 3.1 Protocoles

Dans les protocoles présentés ci-après, nous utilisons les jeux de données décrits dans la section 2.4. Nous utilisons les enregistrements originaux rééchantillonnés à 16000 Hz.

Les protocoles sont définis sous la forme de deux listes de paires de chunks (extraits d'enregistrements audio) de 30 secondes, (a, b), pour la comparaison de voix. Pour les paires target, les chunks a et b
proviennent du même locuteur quand pour les paires *nontarget*, les *chunks* a et b ont été prononcés par des locuteurs différents mais du même sexe.

Pour créer les paires de test *target*, le jeu de données *PTSVOX*<sub>3</sub> est utilisé de deux façons distinctes :

1. *PTSVOX*<sub>3a</sub> : tous les tests *target* intrasession sont exclus;

2. *PTSVOX*<sub>3b</sub> : composé uniquement des tests intrasession.

Nous distinguons trois protocoles, *P*<sub>2</sub>, *P*<sub>3a</sub> et *P*<sub>3b</sub> dont les spécificités sont présentés dans le tableau 2 :

1. *P*<sub>2</sub> : utilise le jeu de données *PTSVOX*<sub>2</sub>;

2. *P*<sub>3a</sub> : utilise le jeu de données *PTSVOX*<sub>3a</sub>;

3. *P*<sub>3b</sub> : utilise le jeu de données *PTSVOX*<sub>3b</sub>.

<table><caption>TABLE 2 – Nombre de tests par protocole</caption><thead><tr><th></th><th>target<br>intrasession</th><th>Microphone<br>target<br>transsession</th><th>nontarget</th><th>target<br>intrasession</th><th>Téléphone<br>target<br>transsession</th><th>nontarget</th></tr></thead><tbody><tr><th>P<sub>2</sub></th><td>1206</td><td>0</td><td>1206</td><td>1268</td><td>0</td><td>1268</td></tr><tr><th>P<sub>3a</sub></th><td>0</td><td>6484</td><td>6484</td><td>0</td><td>5338</td><td>5338</td></tr><tr><th>P<sub>3b</sub></th><td>2738</td><td>0</td><td>2738</td><td>2284</td><td>0</td><td>2284</td></tr></tbody></table>

Les tests *nontarget* ont été échantillonnés aléatoirement afin de les équilibrer en nombre avec les tests *target*.

## 3.2 Systèmes de référence

Nous mettons en place deux systèmes de référence, que nous évaluerons avec les trois protocoles mis en place précédemment :

1. *S*<sub>UBM-GMM</sub> : approche UBM-GMM;

2. *S*<sub>ivector</sub> : approche *i-vector*.

En utilisant les approches UBM-GMM et *i-vector* (Dehak et al., 2010), nous construisons deux systèmes : *S*<sub>UBM-GMM</sub> et *S*<sub>ivector</sub>. Ces deux systèmes sont conçus grâce au module LIA/SpkDet, partie intégrante du toolkit open-source ALIZE (Larcher et al., 2013). Les paramètres acoustiques sont composés de 19 MFCC, ses dérivées et dérivées secondes. Une normalisation des paramètres est ensuite appliquée au niveau du fichier.

L'Universal Background Model (UBM) possède 512 composants, et est entraîné par un algorithme Expectation Maximisation (EM).

Dans le cas du système *S*<sub>UBM-GMM</sub>, ce modèle générique est entraîné sur le jeu de données *PTSVOX*<sub>1</sub>. Plusieurs UBM sont créés en fonction du genre et du matériel d'enregistrement.

Dans le cas du système *S*<sub>ivector</sub>, ce modèle générique est entraîné sur les données des corpus ESTER (Galliano et al., 2009), ETAPE (Larcher et al., 2013) et REPERE (Giraudel et al., 2012).
Les matrices *T* de variabilité totale sont également apprises sur ces données. Deux *UBM* et deux matrices *T* sont créés en fonction du genre.

Le score délivré lors d'une comparaison de voix est le logarithme du rapport de vraisemblance (log-likelihood ratio (LLR)) exprimé par :

$$ score = \log \frac{P(e_1, e_2 | H_p)}{P(e_1, e_2 | H_d)} \qquad (1) $$

où $H_p$ est l'hypothèse $e_1$ et $e_2$ proviennent de la même personne, et $H_d$ est l'hypothèse que $e_1$ et $e_2$ ont été prononcés par des personnes différentes.

## 3.3 Performances

Les tableaux 3 et 4 indiquent les performances pour les deux systèmes de référence en fonction du protocole de test, avec une paramétrisation en bande large 0-8000 Hz. La performance est exprimée en taux d'égale erreur (EER, le taux d'erreur totale est ici le double de l'EER). Pour le système $S_{UBM-GMM}$, les résultats sont donnés pour les UBM appris sur des données téléphoniques et les UBM appris sur des données microphoniques.

<table><caption>TABLE 3 – Performances (EER) pour le système $S_{UBM-GMM}$ avec une bande passante large 0-8000 Hz</caption><thead><tr><th rowspan="2"></th><th rowspan="2"></th><th colspan="2">Femmes</th><th colspan="2">Hommes</th></tr><tr><th>UBM Mic.</th><th>UBM Tél.</th><th>UBM Mic.</th><th>UBM Tél.</th></tr></thead><tbody><tr><td rowspan="2">P<sub>2</sub></td><td>Microphone</td><td>1.32%</td><td>13.21%</td><td>0.66%</td><td>8.05%</td></tr><tr><td>Téléphone</td><td>7.62%</td><td>1.07%</td><td>3.32%</td><td>1.84%</td></tr><tr><td rowspan="2">P<sub>3a</sub></td><td>Microphone</td><td>2.50%</td><td>39.02%</td><td>2.38%</td><td>34.16%</td></tr><tr><td>Téléphone</td><td>14.47%</td><td>40.33%</td><td>11.80%</td><td>38.53%</td></tr><tr><td rowspan="2">P<sub>3b</sub></td><td>Microphone</td><td>0.60%</td><td>9.02%</td><td>0.31%</td><td>7.43%</td></tr><tr><td>Téléphone</td><td>8.08%</td><td>6.26%</td><td>14.06%</td><td>5.18%</td></tr></tbody></table>

<table><caption>TABLE 4 – Performances (EER) pour le système $S_{ivector}$ avec une bande passante large 0-8000 Hz (UBM et matrice de variabilité totale *T*, appris sur ESTER-ETAPE-REPERE)</caption><thead><tr><th></th><th></th><th>Femmes</th><th>Hommes</th></tr></thead><tbody><tr><td rowspan="2">P<sub>2</sub></td><td>Microphone</td><td>0.00%</td><td>0.00%</td></tr><tr><td>Téléphone</td><td>0.00%</td><td>0.14%</td></tr><tr><td rowspan="2">P<sub>3a</sub></td><td>Microphone</td><td>10.24%</td><td>6.44%</td></tr><tr><td>Téléphone</td><td>43.52%</td><td>40.49%</td></tr><tr><td rowspan="2">P<sub>3b</sub></td><td>Microphone</td><td>4.55%</td><td>5.15%</td></tr><tr><td>Téléphone</td><td>11.41%</td><td>9.27%</td></tr></tbody></table>

Les tableaux 5 et 6 indiquent les performances pour une situation comparable aux tableaux 3 et 4 mais avec une paramétrisation en bande passante étroite, 300-3400 Hz.
<table><caption>TABLE 5 – Performances (EER) pour le système $S_{UBM-GMM}$ en bande étroite 300-3400 Hz</caption><thead><tr><th rowspan="2"></th><th rowspan="2"></th><th colspan="2">Femmes</th><th colspan="2">Hommes</th></tr><tr><th>UBM Mic.</th><th>UBM Tél.</th><th>UBM Mic.</th><th>UBM Tél.</th></tr></thead><tbody><tr><td rowspan="2">P<sub>2</sub></td><td>Microphone</td><td>1.16%</td><td>1.99%</td><td>1.50%</td><td>2.82%</td></tr><tr><td>Téléphone</td><td>4.46%</td><td>1.07%</td><td>4.38%</td><td>2.12%</td></tr><tr><td rowspan="2">P<sub>3a</sub></td><td>Microphone</td><td>7.82%</td><td>12.94%</td><td>2.18%</td><td>7.35%</td></tr><tr><td>Téléphone</td><td>23.55%</td><td>20.41%</td><td>20.92%</td><td>21.47%</td></tr><tr><td rowspan="2">P<sub>3b</sub></td><td>Microphone</td><td>2.66%</td><td>6.79%</td><td>0.44%</td><td>3.37%</td></tr><tr><td>Téléphone</td><td>5.56%</td><td>1.92%</td><td>6.96%</td><td>5.26%</td></tr></tbody></table>

<table><caption>TABLE 6 – Performances (EER) pour le système $S_{ivector}$ en bande étroite 300-3400 Hz (UBM et matrice de variabilité totale T, appris sur ESTER-ETAPE-REPERE)</caption><thead><tr><th></th><th></th><th>Femmes</th><th>Hommes</th></tr></thead><tbody><tr><td rowspan="2">P<sub>2</sub></td><td>Microphone</td><td>0.00%</td><td>0.17%</td></tr><tr><td>Téléphone</td><td>0.00%</td><td>0.00%</td></tr><tr><td rowspan="2">P<sub>3a</sub></td><td>Microphone</td><td>27.16%</td><td>9.08%</td></tr><tr><td>Téléphone</td><td>29.59%</td><td>32.20%</td></tr><tr><td rowspan="2">P<sub>3b</sub></td><td>Microphone</td><td>10.82%</td><td>5.33%</td></tr><tr><td>Téléphone</td><td>8.28%</td><td>6.18%</td></tr></tbody></table>

Le tableau 7 montre la performance du système $S_{UBM-GMM}$ en utilisant l'UBM du système $S_{ivector}$, appris sur ESTER-ETAPE-REPERE, en bande étroite.

<table><caption>TABLE 7 – Performances (EER) pour le système $S_{UBM-GMM}$ en utilisant un UBM appris sur ESTER-ETAPE-REPERE, avec une bande passante étroite 300-3400 Hz</caption><thead><tr><th></th><th></th><th>Femmes</th><th>Hommes</th></tr></thead><tbody><tr><td rowspan="2">P<sub>2</sub></td><td>Microphone</td><td>2.48%</td><td>2.16%</td></tr><tr><td>Téléphone</td><td>2.16%</td><td>5.51%</td></tr><tr><td rowspan="2">P<sub>3a</sub></td><td>Microphone</td><td>17.94%</td><td>5.73%</td></tr><tr><td>Téléphone</td><td>26.74%</td><td>21.93%</td></tr></tbody></table>

# 4 Discussion

Pour le protocole $P_2$ pour lequel il n'y a pas de paires target inter-session, la performance obtenue par les deux systèmes de référence est bonne pour toutes les situations. Le système $S_{ivector}$ montre une supériorité, malgré le fait que ses données d'apprentissage ne viennent pas de PTSVOX. Pour
le protocole $P_{3a}$, qui ne contient que des paires inter-sessions, deux phénomènes sont observés. D'une part, la performance diminue légèrement comparativement à $P_2$ en données microphone pour $S_{UBM-GMM}$ et plus fortement pour $S_{ivector}$. D'autre part, pour les données téléphone, la performance s'écroule complètement pour les deux systèmes et se rapproche du hasard. Une hypothèse plausible pour expliquer ces résultats est la présence d'un facteur de variabilité important entre les différentes sessions d'enregistrement "téléphone" : les systèmes reconnaissent autant la session que le locuteur. Les résultats obtenus en utilisant le protocole $P_{3b}$ confirment cette hypothèse : le niveau de performance est alors proche de celui obtenu pour $P_2$.

Il est difficile d'expliquer cette importante variabilité entre sessions téléphoniques autrement que par un artefact technique. L'analyse spectrale de plusieurs fichiers téléphoniques du protocole $P_{3a}$ montrent une réflection du spectre entre 4000 Hz et 5000 Hz, ce qui pourrait expliquer les résultats observés précédemment. Les expériences en bande étroite confirment que si cette réflection est une part du problème, d'autres facteurs existent également : en bande 300-3400 Hz, alors que la réflexion est exclue, l'écart de performance entre $P_{3a}$ et $P_{3b}$ se réduit mais reste marqué, quel que soit le système employé (une expérience complémentaire avec une bande passante 0-4000 Hz a montré des résultats similaires). Les particularités ou des différences de configuration du logiciel d'enregistrement Call Recorder sont une deuxième source plausible de cet effet session. Par ailleurs, sans surprise, en données microphone, une dégradation des performances est observée quand la bande passante est réduite, dégradation logiquement beaucoup plus forte pour les voix de femmes que pour les voix d'hommes.

Le système $S_{UBM-GMM}$ utilisant un UBM appris sur d'autres données que PTSVOX (tableau 7) montre une perte de performance comparativement à un UBM appris sur PTSVOX (tableau 5) pour les données microphone mais une amélioration de la performance pour les données téléphone, ce qui renforce l'idée que les données téléphone de PTSVOX contiennent un facteur de variabilité important et rarement rencontré. Ceci explique également le très bon, voire trop bon, niveau de performance observé avec le protocole $P_2$ : l'information sur la session d'enregistrement est tellement marquée qu'elle est peut-être plus saillante même que l'information locuteur.

# 5 Conclusion et perspectives

Dans cet article, nous présentons la base PTSVOX, dédié à la comparaison de voix judiciaire. Le corpus contient des enregistrements téléphoniques et microphones de parole spontanée et de lecture provenant de 369 personnes, représentant environ 80 heures au total. La base a été transcrite orthographiquement et alignée phonétiquement. Trois sous corpus et trois protocoles expérimentaux ont été définis, ainsi que deux systèmes de comparaison de voix de référence. Les expériences menées avec ces protocoles et systèmes ont démontré la bonne qualité des systèmes de référence. Elles ont permis de repérer un effet session prononcé et non audible, indicateurs d'artefacts, pour les données téléphone. Ces expériences illustrent également la sensibilité de la comparaison de voix à des facteurs de variabilité inconnus et met en lumière la nécessité d'analyser et de comprendre les raisons d'une différence de performance, dans un sens ou l'autre.

Pour faciliter l'accès de PTSVOX, un outil développé avec MongoDB est en cours de développement. Cet outil permet de créer des protocoles de test spécifiques à travers une interface Web aisée d'accès. L'outil permettra d'automatiser l'exécution des systèmes de référence sur ces protocoles. La base PTSVOX, les systèmes de référence et les outils associés seront diffusés prochainement grâce à une licence libre.
# Remerciements

Ce travail de recherche a été financé par le projet ANR-17-CE39-0016 VoxCrim qui inclut le Laboratoire Informatique d'Avignon, le Laboratoire Parole et Langage, le Laboratoire Phonétique et Phonologie, le Service Central de la Police Technique et Scientifique et l'Institut de Recherche Criminelle de la Gendarmerie Nationale. Les auteurs tiennent également à remercier Nathan Griot pour la conception de l'interface ainsi que les réservistes citoyennes de la Police nationale qui ont travaillé sur la base de données.

# Références

AJILI M., BONASTRE J.-F., BEN KHEDER W., ROSSATO S. & JULIETTE K. (2016a). Phonetic content impact on forensic voice comparison. In *2016 IEEE Spoken Language Technology Workshop (SLT)*, p. 210–217.

AJILI M., BONASTRE J.-F., KAHN J., ROSSATO S. & BERNARD G. (2016b). Fabiole, a speech database for forensic speaker comparison. In *Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC’16)*, p. 726–733.

AJILI M., BONASTRE J.-F., ROSSETTO S. & KAHN J. (2016c). Inter-speaker variability in forensic voice comparison : a preliminary evaluation. In *2016 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*, p. 2114–2118.

BOERSMA P. & WEENINK D. (2001). Praat, a system for doing phonetics by computer. *Glot International*, **5**(9/10), 341–345.

DEHAK N., KENNY P. J., DEHAK R., DUMOUCHEL P. & OUELLET P. (2010). Front-end factor analysis for speaker verification. *IEEE Transactions on Audio, Speech, and Language Processing*, **19**(4), 788–798.

GALLIANO S., GRAVIER G. & CHAUBARD L. (2009). The ester 2 evaluation campaign for the rich transcription of french radio broadcasts. In *INTERSPEECH '09*. Brighton, Royaume-Uni.

GIRAUDEL A., CARRÉ M., MAPELLI V., KAHN J., GALIBERT O. & QUINTARD L. (2012). The repere corpus : a multimodal corpus for person recognition. In *Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC’12)*, p. 1102–1107.

KAHN J., AUDIBERT N., ROSSATO S. & BONASTRE J.-F. (2010). Intra-speaker variability effects on speaker verification performance. In *Odyssey*, p. 21.

LARCHER A., BONASTRE J.-F., FAUVE B., LEE K. A., LEVY C., LI H., MASON J. & PARFAIT J.-Y. (2013). Alize 3.0-open source toolkit for state-of-the-art speaker recognition. In *INTERSPEECH '13*. Lyon, France.

RAMOS D., GONZALEZ-RODRIGUEZ J., GONZALEZ-DOMINGUEZ J. & LUCENA-MOLINA J. J. (2008). Addressing database mismatch in forensic speaker recognition with ahumada iii : a public real-casework database in spanish. In *Ninth Annual Conference of the International Speech Communication Association*.

VLOED D., BOUTEN J. & VAN LEEUWEN D. (2014). Nfi-frits : A forensic speaker recognition database and some first experiments. In *Proceedings of Odyssey Speaker and Language Recognition Workshop*, p. 6–13 : [Sl] : ISCA Speaker and Language Characterization special interest group.
# Dis-moi comment tu varies ton débit, je te dirai qui tu es

Estelle Chardenon, Cécile Fougeron, Nicolas Audibert, Cédric Gendrot

Laboratoire de Phonétique et Phonologie - UMR 7018

Université Sorbonne Nouvelle - CNRS

19 Rue des Bernardins 75005 PARIS, France

(estelle.chardenon, cecile.fougeron, nicolas.audibert, cedric.gendrot)@sorbonne-nouvelle.fr

## RÉSUMÉ

Si l'étude de la variabilité entre locuteurs permet d'identifier des caractéristiques phonétiques potentiellement discriminantes, voire spécifiques, il est essentiel de comprendre, si et comment, ces caractéristiques varient chez un même locuteur. Ici, nous examinons la variabilité de caractéristiques liées à la gestion temporelle de la parole sur un nombre limité de locuteurs, enregistrés sur plusieurs répétitions dans une même session, et sur 6 à 7 sessions espacées d'une année. Sur cette vingtaine d'enregistrements par locuteur, nous observons comment le débit articulatoire, les modulations de ce débit, et la durée des pauses varient en fonction de la répétition et de la session et en interaction avec le locuteur. Les résultats montrent que c'est dans la variation de gestion temporelle de la parole que les locuteurs se distinguent les uns des autres, en termes de régularité ou non entre enregistrements et au sein d'un même enregistrement.

## ABSTRACT

Tell me how you vary your speech flow, I'll tell you who you are

Studying inter-speaker variability makes it possible to identify discriminating or even identifying phonetic characteristics. It is however essential to understand if and how these characteristics vary within the same speaker. Here, we examine the variability of characteristics related to temporal organization of speech over a limited number of speakers, recorded over several repetitions in the same session, and over 6 to 7 sessions spaced one year apart. With this 20 recordings per speaker, we observe how the articulatory rate, the modulations of this rate, and the duration of pauses vary according to the repetitions and the sessions and interact with the speaker. The results show that it is in the variation of the temporal organization of speech that speakers differ from each other, in terms of regularity or not between recordings, and within the same recording.

**MOTS-CLÉS:** débit articulatoire, pause, variation intra et inter locuteur

**KEYWORDS:** articulatory rate, pause, inter-speaker variability, intra-speaker variability

<figure><img src="image_41.png" /></figure>
# 1 Introduction

Le débit d'un locuteur véhicule des informations spécifiques au locuteur. Par exemple, on sait que les hommes ont tendance à parler plus vite que les femmes même si l'écart de débit entre sexes n'est en général pas très élevé (Byrd, 1994 ; Jacewicz, 2009 ; Schwab, 2012). Des différences de variété régionale peuvent aussi être liées à des différences de débit. Ceci a été montré entre des variétés de l'anglais américain (Jacewicz, 2009), du néerlandais (Quené, 2007), mais aussi sur le français. Cependant, la comparaison entre certaines variétés du français (Suisse, Belge, Français), ne montre pas cette même tendance puisque les études se contredisent voire présentent des variabilités nulles (Schwab, 2015). Le débit articulatoire peut aussi différencier un locuteur natif d'un locuteur L2, même si celui-ci est très fluent (Schwab, 2012, Bordal et al. 2012 ; Barquero, 2012).

Si l'étude de la variabilité entre locuteurs permet d'identifier des caractéristiques de parole potentiellement discriminantes, voire identifiantes, il est essentiel de savoir comment ces caractéristiques varient pour un même locuteur pour qu'elles prennent sens (Kahn et al., 2010, Ajili et al, 2018). Par exemple, Campbell et al. (2009) montrent que les performances d'un système de reconnaissance automatique du locuteur sont fortement impactées lorsqu'il est testé sur deux enregistrements d'un même locuteur à plus d'un mois d'écart. Une des explications possibles à cette variation dans les performances serait liée à l'évolution naturelle de la parole en fonction de l'âge du locuteur. En effet, on sait que le vieillissement a des effets sur la parole, et la diminution du débit et la gestion des pauses chez les locuteurs âgés en est un des effets les plus connus (Ramig, 1983, Jacewicz, 2009, Dellwo, 2015). Pour autant, on ne sait pas sur quel laps de temps on peut observer ces effets. De plus, d'autres facteurs peuvent faire varier la façon dont un locuteur va organiser sa parole entre deux enregistrements. Cette variation peut être contrôlée et/ou volontaire, par exemple pour s'adapter à la situation de communication, au style de parole ou à la personne à qui le locuteur s'adresse (ex. personnes malentendantes ou non natives). On peut ainsi observer des différences de débit entre parole lue et parole spontanée, bien que les différences n'aillent pas toujours dans le même sens (Tsao et Weismer, 2006, Schwab, 2012, Dellwo, 2015, Crystal et House, 1982 ; Avanzi, Schwab, Bubosson et Goldman, 2012, Grosjean et Deschamps, 1975 ; Lucci, 1983). Une variation dans la gestion temporelle de la parole et des pauses peut aussi refléter des changements non contrôlés liés à son état général, par exemple sa consommation de tabac, une prise de médicament, le stress ou la fatigue. En outre, les personnes utilisant quotidiennement leur voix (acteurs, professeurs, chanteurs) sont les premières touchées par le syndrome de fatigue vocale alors qu'il existerait pourtant une meilleure stabilité vocale et articulatoire chez les personnes pratiquant à haut niveau une de ces activités (Lortie, 2016). Enfin, une habituation à la tâche lors d'une expérience avec plusieurs répétitions, ou une fatigue lors d'une longue prise de parole peut aussi survenir au sein de la même session d'enregistrement et impacter la vitesse de production d'un locuteur.

Si ces multiples facteurs pouvant impacter la parole ont été examinés ou mentionnés comme des prédicteurs potentiels de la variation intra et inter-locuteurs, ceux-ci ont rarement été comparés directement et évalués. Dans cette étude, notre objectif est d'examiner la variabilité de paramètres liés à la gestion temporelle de la parole entre un nombre limité de locuteurs, enregistrés plusieurs fois dans une même session, et sur 6 à 7 sessions espacées d'une année.
# 2 Méthode

## 2.1 Enregistrements et description de la population

Les enregistrements de 5 locuteurs de la base de données PATATRA ('Parole AdulTe A TRavers les Ages'), en cours d'acquisition au LPP, ont été utilisés. Cette base est constituée d'enregistrements d'une dizaine de locuteurs, collectés une fois par an depuis 2013, sur plusieurs tâches de parole. Les enregistrements audio (et EGG) sont effectués en chambre sourde avec le même matériel, et un questionnaire de qualité de vie, axé sur les potentiels facteurs de variation de la voix/parole, est recueilli à chaque session.

Cinq locutrices francophones natives ayant entre 6 et 7 sessions d'enregistrement ont été sélectionnées. Les informations concernant ces locutrices sont résumées dans la table 1. Lors du premier enregistrement, les locutrices étaient âgées de 39 à 68 ans, les locutrices F05 et F04 étant les plus âgées et les trois autres étant dans la quarantaine. Elles présentent toutes un niveau d'étude similaire et vivent en région parisienne.

<table><caption>TABLE 1 : Description des 5 locutrices (F01-F05) et des sessions d'enregistrement</caption><tr><td></td><td>F01</td><td>F02</td><td>F03</td><td>F04</td><td>F05</td></tr><tr><td>Age &lt;2013-2018&gt;</td><td>&lt;39-45&gt;</td><td>&lt;42-48&gt;</td><td>&lt;42-48&gt;</td><td>&lt;68-73&gt;</td><td>&lt;57-63&gt;</td></tr><tr><td>Résidence</td><td>IDF</td><td>IDF</td><td>IDF</td><td>IDF</td><td>IDF</td></tr><tr><td>Nb sessions (manque)</td><td>7</td><td>6 (2015)</td><td>7</td><td>6 (2013)</td><td>7</td></tr><tr><td>Pratique vocale</td><td>Oui</td><td>Oui</td><td>Oui</td><td>Oui</td><td>Oui</td></tr><tr><td>Fatigue vocale</td><td>Rare</td><td>Modérée</td><td>Modérée</td><td>Modérée</td><td>Modérée</td></tr></table>

## 2.2 Traitement des données

Notre étude se base sur la tâche de lecture du texte « la bise et le soleil » que le locuteur doit lire à 3 reprises avec 5 minutes de pause entre deux lectures. Si une erreur de lecture est commise, le locuteur est invité à recommencer au début du paragraphe lu. Pour chaque locutrice, le matériel analysé inclut 3 répétitions sur 6 ou 7 sessions, donc 18 à 21 enregistrements. De façon à pouvoir aussi évaluer la variabilité au sein d'une même répétition, le texte a été divisé en 18 chunks comprenant chacun une dizaine de syllabe, les pauses internes éventuelles et la pause finale éventuelle (signalées par un dièse).
<table><caption>TABLE 2 : Découpage et transcription des chunks</caption><thead><tr><td>Chunk</td><td>Transcription API</td><td>Nombre de phonèmes</td><td>Nombres de syllabes</td></tr></thead><tbody><tr><td>1</td><td>/la biz e lə solej sə dispytɛ #/</td><td>22</td><td>10</td></tr><tr><td>2</td><td>/ʃakɛ asyka̯ kil etɛ lə ply fɔk #/</td><td>23</td><td>11</td></tr><tr><td>3</td><td>/ka̯ ilz ə vy ɛ̯ vwajaʒɔɛki/</td><td>19</td><td>9</td></tr><tr><td>4</td><td>/savãse # əvəlope dã sõ māto #/</td><td>21</td><td>10 ou 11</td></tr><tr><td>5</td><td>/il sõ tɔ̈be dakɔk kə səlqi/</td><td>20</td><td>9</td></tr><tr><td>6</td><td>/ki akivəkɛ lə prəmje a/</td><td>18</td><td>9</td></tr><tr><td>7</td><td>/fɛk ote sõ māto o vwajaʒɔɛk #/</td><td>21</td><td>10</td></tr><tr><td>8</td><td>/səkɛ kəgaude kɔm lə ply fɔk #/</td><td>22</td><td>9</td></tr><tr><td>9</td><td>/alɔk la biz sɛ miz a sufle/</td><td>20</td><td>9</td></tr><tr><td>10</td><td>/də tut se fɔks me plyz ɛl suflɛ #/</td><td>24</td><td>9</td></tr><tr><td>11</td><td>/ply lə vwajaʒɔɛk sɛkɛ sõ māto/</td><td>23</td><td>10</td></tr><tr><td>12</td><td>/otuks də lqi # e a la fɛk#/</td><td>15</td><td>8</td></tr><tr><td>13</td><td>/la biz a kənɔ̃se a lə lqi fɛk ote #/</td><td>24</td><td>12</td></tr><tr><td>14</td><td>/alɔk lə solej a komãse a brije #/</td><td>24</td><td>12</td></tr><tr><td>15</td><td>/e o bu dɛ̯ momã # lə vwajaʒɔɛk/</td><td>20</td><td>10</td></tr><tr><td>16</td><td>/keſofe # a ote sõ māto #/</td><td>16</td><td>9</td></tr><tr><td>17</td><td>/ɛsi la biz a dy kəkonɛtks/</td><td>19</td><td>9</td></tr><tr><td>18</td><td>/kə lə solej etɛ lə ply fɔk de dɔ #/</td><td>24</td><td>11</td></tr></tbody></table>

Ce choix de découpage est justifié par le fait que nous voulions obtenir des extraits de parole contenant à peu près le même nombre d'unités de parole pour pouvoir les comparer entre eux et avoir un même découpage pour tous les locuteurs. Cette segmentation a été faite en respectant au mieux le découpage syntaxique, sans couper de mots. Les 18 chunks contiennent 20.8 phonèmes en moyenne ($\sigma=2.7$, $15<\sigma<24$) correspondant à 9.7 syllabes en moyenne ($\sigma=1.14$, $9<\sigma<12$).

La durée des 18 chunks ainsi que celles des pauses, a été mesurée de façon à calculer, pour chaque chunk, un débit articulatoire (nombre de phonème sur temps de parole sans pauses), le nombre de pauses éventuelles et la durée de ces pauses. Une mesure de modulation du débit articulatoire au long du texte a été estimée à partir des différences de débit entre chunks adjacents. Ainsi pour chaque paire de chunks adjacents (17 paires) nous avons calculé une différence relative de débit articulatoire entre chunks à l'aide de la formule suivante : $(d_N - d_{N+1})/((d_N + d_{N+1})/2)$ où d est le débit du Nième chunk.

Pour prédire les variations de débit articulatoire, de durée des pauses et de différence relative entre les chunks, nous avons utilisé des modèles mixtes testant les effets du locuteur, de la répétition, de la session, mais également l'interaction entre les facteurs : locuteurs et répétition, ainsi que locuteur et session en conservant l'identité du chunk comme facteur aléatoire (lmer(VD~ LOCUTEUR + RÉPÉTITION + SESSION + LOCUTEUR: RÉPÉTITION + LOCUTEUR: SESSION + (1|CHUNK))).
Afin de vérifier si les variations de débit observées entre les sessions et répétitions n'étaient pas dues à des différences intrinsèques de débit entre locuteurs, nous avons également fait des analyses sur des débits relatifs.

## 3 Résultats

<table><caption>TABLE 3 : Résumé des résultats statistiques</caption><thead><tr><th></th><th>débit articulatoire</th><th>durée des pauses</th><th>diff_inter_chunk</th></tr></thead><tbody><tr><td>LOCUTEUR</td><td>χ<sup>2</sup>(4)= 425.29 p&lt;0.0001, R<sup>2</sup>=0.008</td><td>χ<sup>2</sup>(4)= 81.38 p&lt;0.0001, R<sup>2</sup>=0.007</td><td>(χ<sup>2</sup>(4)= 33.47 p&lt;0.0001, R<sup>2</sup>=0.006</td></tr><tr><td>RÉPÉTITION</td><td>χ<sup>2</sup>(2)= 8.87, p=0.01, R<sup>2</sup>=0.002</td><td>NS</td><td>NS</td></tr><tr><td>SESSION</td><td>χ<sup>2</sup>(6)= 57.87, p&lt;0.0001, R<sup>2</sup>=0.01</td><td>χ<sup>2</sup>(6)= 16.17 p=0.01, R<sup>2</sup>=0.005</td><td>NS</td></tr><tr><td>LOCUTEUR: RÉPÉTITION</td><td>χ<sup>2</sup>(8)=32,52, p&lt;0.0001, R<sup>2</sup>=0.05</td><td>χ<sup>2</sup>(8)=22.73, p=0.004, R<sup>2</sup>=0.03</td><td>NS</td></tr><tr><td>LOCUTEUR: SESSION</td><td>χ<sup>2</sup>(22)=167.82, p&lt;0.0001, R<sup>2</sup>=0.04</td><td>χ<sup>2</sup>(22)=74.46, p&lt;0.0001, R<sup>2</sup>=0.02</td><td>NS</td></tr></tbody></table>

Les résultats sont résumés dans la Table 3 et les figures 1, 2 et 3. Globalement, un effet du LOCUTEUR est observé sur tous les paramètres étudiés mais en interaction avec les facteurs RÉPÉTITION et SESSION pour le débit et la durée des pauses. Pour ces trois paramètres, ces interactions peuvent être expliquées par des profils de variation différents en fonction des locuteurs. Notre étude ne présente que des statistiques descriptives puisque nous n'avons qu'une seule valeur pour chaque enregistrement et locuteur.

En ce qui concerne le débit articulatoire, illustré Figure 1a, toutes les locutrices sauf F02 varient leur débit de manière significative entre sessions. Les comparaisons par paires de sessions montrent toutefois que les locutrices F04, F03 et F01 varient plus d'une session à l'autre que la locutrice F05 qui varie essentiellement entre sa première session et les suivantes. D'autre part, les différences de débit entre sessions semblent essentiellement aléatoires et ne suivent pas de tendance particulière qui pourrait refléter un ralentissement d'une année à l'autre ou sur les dernières sessions. Seul le fait que la première session soit globalement plus rapide ressort pour 3 locutrices (F01, F03, F04). La variation entre répétitions (intra session) dépend aussi du locuteur. Seuls les locutrices F03 et F04 varient leur débit de façon significative entre répétitions, avec une première répétition plus lente que les suivantes.

En ce qui concerne la durée des pauses, illustrée Figure 1b, les différences entre sessions et entre répétitions dépendent aussi du locuteur. F05 et F03 gardent une durée de pause stable entre les sessions. Les locutrices F04, F01 et F02 varient d'une session à l'autre, F04 étant la moins régulière. Pour ces trois locutrices, la variation entre sessions semble aléatoire sans suivre une tendance particulière au cours du temps. Entre répétitions, il y a moins de variation dans la durée des pauses : seuls deux locuteurs, F01 et F05, montrent des différences significatives, avec des pauses plus courtes sur leurs premières lectures.
La mesure de modulation du débit, illustrée Figure 1c, qui capture la variation de débit d'un chunk à l'autre au sein d'une répétition, est particulièrement intéressante car c'est la seule qui distingue les locuteurs indépendamment de la répétition ou la session. Cette mesure permet de distinguer deux groupes : des locutrices qui modulent beaucoup leur débit (les locutrices F01 et F05) et des locutrices qui modulent moins (F02 et F04). La locutrice F03 présente un profil intermédiaire : similaire à F04 mais modulant plus que F02. N'ayant qu'une seule valeur ici, nous n'avons pas de barres d'erreur.

<figure><img src="image_42.png" /><figcaption>Figure 1 : Évolution (a) du débit articulatoire moyen, (b) de la durée moyenne des pauses, (c) de la modulation du débit (différence relative de débit articulatoire entre chunks consécutifs) au cours des 6/7 sessions successives et des 3 répétitions par session. Les barres d'erreur représentent la variation entre chunks au sein de chaque enregistrement.</figcaption></figure>
# 4 Discussion et conclusion

Cette étude basée sur une vingtaine d'enregistrements par locuteur montre que c'est dans la variabilité de leur gestion temporelle (débit, pause, modulation de débit) que les locuteurs se distinguent les uns des autres.

Cette variabilité intra-locuteur s'observe premièrement dans la modulation de débit d'un chunk à l'autre au court d'une même lecture. Certaines locutrices ont un débit qu'on pourrait qualifier de monotone ou isochrone (F02, F04) alors que d'autres lisent le texte en variant beaucoup leur débit. Puisque le débit articulatoire et les pauses dépendent beaucoup du découpage prosodique, nous prévoyons dans les prolongements ultérieurs de cette étude de contrôler dans quelle mesure ces différents profils se retrouvent aussi dans d'autres aspects de l'organisation prosodique du texte produit par les locuteurs dans différents enregistrements.

Deuxièmement, cette variabilité intra-locuteur s'observe entre les différents enregistrements. Certaines locutrices sont très régulières d'une session à l'autre ou d'une répétition à l'autre. C'est le cas de la locutrice F02 qui ne change pas de débit articulatoire, mais aussi de la locutrice F05 qui change peu son débit et a aussi des pauses de durée stable. Au contraire, les locutrices F04, F03 et F01 adoptent des débits plus changeants, accompagnés de durées de pauses variées pour F01 et F04.

Le cas de la locutrice F04 est intéressant. Son débit est très régulier en termes de modulation au court d'une lecture, par contre elle varie beaucoup entre sessions et répétitions. Il est à noter qu'elle est aussi celle qui produit le plus de pauses. Un examen plus poussé de la structuration prosodique du texte lu sera nécessaire pour voir si celle-ci est également plus changeante d'une lecture à l'autre. Cette locutrice est la plus âgée de la cohorte, toutefois son débit n'est pas plus lent sur toutes les répétitions/sessions, ni ses pauses toujours plus longues que celles des autres. C'est donc bien en termes de variabilité que cette locutrice se distingue des autres. Ce résultat est en accord avec les études montrant que s'il y a une tendance à ralentir le débit avec l'âge (5% chez Verhoeven, 2004) ce ralentissement est très variable entre les individus (Decoster, 2000) mais c'est aussi la variabilité intra-sujet qui augmente avec l'âge (Morris et Brown 1994). Toutefois, il reste à démontrer si cette tendance est dû à l'âge ou à l'individu puisque la locutrice F05, également plus âgée que les autres locutrices, présente quant à elle plus de régularité.

Dans ces données, il ne ressort pas d'évolution particulière entre les premières années d'enregistrement et les dernières qui pourrait refléter une évolution longitudinale. Les enregistrements sont réalisés sur une période de 6 ou 7 ans, un laps de temps qui n'apparait pas suffisant pour montrer un effet d'âge, comparé à d'autres études longitudinales qui observent un changement sur un laps de temps beaucoup plus long (30 ans pour Descoster, 2000 ; 35 pour Harrington, 2007). De plus, l'âge auquel on commence à observer de nombreux changements dans la parole se situe entre 60 et 70 ans, ce qui coïncide avec des changements physiologiques (Decoster, 2000).

Cette étude sera poursuivie sur une plus longue durée en exploitant les enregistrements à venir de la base PATATRA. Il sera également intéressant d'explorer la variabilité intra-locuteur sur d'autres caractéristiques de la voix et la parole. Si les recherches en phonétique ont eu pour tradition dans le passé de moyenner les caractéristiques de parole entre répétitions, entre sessions, voire entre locuteurs, des résultats comme ceux présentés ici illustrent l'intérêt de mieux comprendre la variation dans la parole ainsi que la façon dont cette variation peut indexer des particularités individuelles.
Remerciements

Ce travail a été partiellement financé par l'ANR VoxCrim (ANR-17-CE39-0016), le programme
Investissements d'Avenir (ANR-10-LABX-0083), et le subside FNS CRSII5_173711/1 Sinergia du
FNRS.

Références

AJILI, M., ROSSATO, S., ZHAND, D., & BONASTRE, J. F. (2018). Impact of rhythm on forensic voice comparison reability. HAL : [hal-01962531](https://hal.inra.fr/hal-01962531)

AVANZI, M., SCHWAB, S., DUBOSSON, P., & GOLDMAN, J. P. (2012). La prosodie de quelques variétés de français parlées en Suisse romande. *La variation prosodique régionale en français*. Bruxelles: De Boeck/Duculot, 89-118.

BARQUERO-ARMESTO, M. Á. (2012). A comparative study on accentual structure between Spanish learners of French interlanguage and French native speakers. *In Speech Prosody* 2012.

BORDAL, G., AVANZI, M., OBIN, N., & BARDIAUX, A. (2012). Variations in the realization of the French Accentual Phrase in the light of language contact. HAL : [hal-01161304](https://hal.inra.fr/hal-01161304)

BYRD, D. (1994). Relations of sex and dialect to reduction. Speech Communication, 15(1-2), 39-54.

CAMPBELL, W., BONASTRE, J. F., SCHWARTZS, R., DRISS, M. (2009). Forensic Speaker Recognition. *Signal Processing Magazine*. IEEE 26.2 : 95-103. DOI: <10.1109/MSP.2008.931100>

CRYSTAL, T. H., & HOUSE, A. S. (1982). Segmental durations in connected speech signals: Preliminary results. The JASA, 72(3), 705-716.

DECOSTER, W., & DEBRUYNE, F. (2000). Longitudinal voice changes: facts and interpretation. Journal of Voice, 14(2), 184-193. DOI: <doi.org/10.1016/S0892-1997(00)80026-0>

DELLWO, V., LEEMAN, A., KOLLY, M. J. (2015). Rythmic variability between speakers: Articulatory, prosodic, and linguistic factors. *JASA*, 137(3): 1513-1528. DOI: <10.1121/1.4906837>

GROSJEAN, F., & DESCHAMPS, A. (1975). Analyse contrastive des variables temporelles de l'anglais et du français: vitesse de parole et variables composantes, phénomènes d'hésitation. *Phonetica*, 31(3-4), 144-184. DOI: <doi.org/10.1159/000259667>

HARRINGTON, J., PALETHORPE, S., & WATSON, C. I. (2007). Age-related changes in fundamental frequency and formants: a longitudinal study of four speakers. In Eighth Annual Conference of the International Speech Communication Association.

JACEWICZ, E., FOX, R. A., O'NEILL, C., & SALMONS, J. (2009). Articulation rate across dialect, age, and gender. *Language variation and change*, 21(2), 233-256. DOI: <10.1017/S0954394509990093>

KAHN, J., AUDIBERT, N., ROSSATO, S., & BONASTRE, J. F. (2010). Intra-speaker variability effects on Speaker Verification performance. *In Odyssey* p. 21.

LORTIE, C. L., RIVARD, J., THIBEAULT, M., & TREMBLAY, P. (2017). The moderating effect of frequent singing on voice aging. *Journal of Voice*, 31(1), 112-e1.

LUCCI, V. (1983). Etude phonétique du français contemporain à travers la variation situationnelle (débit, rythme, accent, intonation, e muet, liaisons, phonèmes). *Publications de l'Université des Langues et Lettres de Grenoble*, 1-360.
MORRIS, R. J., & BROWN Jr, W. S. (1994). Age-related differences in speech variability among women. *Journal of Communication Disorders*, 27(1), 49-64.

QUENE, H. (2007). On the Just Noticeable Difference for tempo in speech. *Journal of Phonetics*. 35(3), 353–362. DOI: <10.1016/j.wocn.2006.09.001>

RAMIG, L. A. (1983). Effects of physiological aging on speaking and reading rates. *Journal of communication disorders*, 16(3), 217-226. DOI : <doi.org/10.1016/0021-9924(83)90035-7>

SCHWAB, S., & AVANZI, M. (2015). Regional variation and articulation rate in French. *Journal of Phonetics*, 48, 96-105. DOI: <10.1016/j.wocn.2014.10.009>

SCHWAB, S., DUBOSSON, P., & AVANZI, M. (2012). Etude de l'influence de la variété dialectale sur la vitesse d'articulation en français (Dialectal Effect on Articulation Rate in French). *In Proceedings of the Joint Conference JEP-TALN-RECITAL 2012*, 1: JEP, 521-528.

TSAO, Y.C., WEISMER, G., IQBAL, K. (2006). Interspeaker Variation in Habitual Speaking Rate: Additional Evidence. *Journal of Speech, Language and Hearing Research*. 49: 1156-1164.

VERHOEVEN, J., DE PAUW, G., KLOOTS, H. Speech rate in a pluricentric language: A comparison between Dutch in Belgium and the Netherlands. *Language and Speech* 2004;47:297–308.
# Caractérisation du locuteur par CNN à l'aide des contours d'intensité et d'intonation : comparaison avec le spectrogramme

Gabriele Chignoli Cédric Gendrot Emmanuel Ferragne

Laboratoire de Phonétique et Phonologie, 19 rue des Bernardins, 75005 Paris, France

gabriele.chignoli@sorbonne-nouvelle.fr,

cedric.gendrot@sorbonne-nouvelle.fr, emmanuel.ferragne@u-paris.fr

## RÉSUMÉ

Dans ce travail nous avons recours aux variations de f0 et d'intensité de 44 locuteurs francophones à partir de séquences de 4 secondes de parole spontanée pour comprendre comment ces paramètres prosodiques peuvent être utilisés pour caractériser des locuteurs. Une classification automatique est effectuée avec un réseau de neurones convolutifs, fournissant comme réponse des scores de probabilité pour chacun des 44 locuteurs modélisés. Une représentation par spectrogrammes a été utilisée comme référence pour le même système de classification. Nous avons pu mettre en avant la pertinence de l'intensité, et lorsque les deux paramètres prosodiques sont combinés pour représenter les locuteurs nous observons un score qui atteint en moyenne 59 % de bonnes classifications.

## ABSTRACT

CNN speaker characterisation through prosody : spectrogram comparison

In this study we focused on f0 and intensity variation in four-second spontaneous speech sequences by 44 French speakers in order to evaluate the strength of prosodic parameters for speaker characterisation. We used a deep Convolutional Neural Network (CNN) with f0 and/or intensity values as input in a classification task, where the system had to classify 44 speakers in a closed dataset. Spectrograms were also used as input with the same CNN architecture as a benchmark for maximum possible performance. Results show that f0 and intensity are complementary as together they yield 59 % classification precision.

MOTS-CLÉS : Caractérisation du locuteur, intensité, f0, prosodie, réseaux de neurones convolutifs.

KEYWORDS: Speaker characterisation, intensity, fundamental frequency, prosody, convolutional neural network.

# 1 Introduction

Les recherches sur la caractérisation phonétique du locuteur ont fréquemment pour objectif d'identifier des facteurs cohérents expliquant la variabilité inter-individuelle (Kahn, 2011). Ces facteurs comprennent notamment des mesures acoustiques issues de variables d'ordre biologique telles que l'âge ou des troubles de la parole. Par exemple, dans Schötz (2007), parmi plusieurs mesures acoustiques étudiées en relation avec l'âge, l'étendue de la pression acoustique se montre stable. Le style de parole (Arvaniti & Rodriquez, 2013) ou le sexe sont également des critères de variation importants. Dans Keating & Kuo (2012), des locuteurs hommes et femmes natifs de l'anglais ou du mandarin sont comparés à partir de mesures de fréquence fondamentale dans des tâches de lecture de mots isolés,

<figure><img src="image_43.png" /></figure>
de texte et de vocalisation dans différents contextes. Plusieurs mesures de ce descripteur, valeurs moyennes, maximales, minimales, moyenne de l'étendue ou écart type sont comparées dans deux analyses de variance prenant en compte la langue et le sexe comme facteurs de variabilité inter-locuteurs. Les variations de f₀ d'ordre physiologique sont jugées similaires dans les deux langues par les auteurs.

Étant donné la robustesse de la f₀ face à plusieurs facteurs perturbateurs comme les canaux de diffusion, l'effort vocal ou l'état d'esprit du locuteur (Lindh & Eriksson, 2007), elle s'est affirmée comme un des descripteurs les plus analysés non seulement pour essayer de différencier le sexe des locuteurs mais aussi pour distinguer les locuteurs de même sexe. Hudson et al. (2007) montrent comment la distribution des valeurs de f₀ pour 100 locuteurs hommes reste cohérente indépendamment de la tâche exécutée, avec la majorité des locuteurs (65%) qui présentent une variation intra-individuelle ne dépassant pas les 20 Hz. Niebuhr & Skarnitzl (2019) analysent plusieurs mesures de f₀ sur 51 locuteurs, hommes et femmes, lors d'une tâche de conversation semi-spontanée pour décrire comment celles-ci peuvent représenter la variabilité des locuteurs. Les mesures prises en compte, dont la moyenne, l'étendue (pour 80% des locuteurs) et le kurtosis de la distribution des valeurs de f₀ pris tous les 5 ms, s'avèrent utiles pour expliquer la variabilité inter-locuteurs. Les résultats de cette étude montrent également que la f₀ est un paramètre très dépendant du sexe. Dans Adami et al. (2003), c'est la complémentarité des indices qui est analysée avec 40 locuteurs, 20 hommes et 20 femmes, dont le contour intonatif et l'énergie de 15 mots sont utilisés pour modéliser les locuteurs et successivement tester un système de reconnaissance automatique du locuteur pour une des tâches du protocole NIST 2001. Les deux paramètres sont analysés d'abord séparément puis ensemble et montrent une forte complémentarité puisque l'erreur totale passe de 13% à 3%.

Contrairement à la f₀, l'intensité est un facteur prosodique peu utilisé dans la description de la variabilité inter-locuteurs. Sorin (1981) montre la cohérence de ce paramètre et la sensibilité de l'oreille humaine à sa variation ; cependant le rôle linguistique de l'intensité reste à approfondir. Pardo (2006) cite l'intensité comme l'un des facteurs pouvant potentiellement déterminer la similarité entre locuteurs. Dans la lignée de ces considérations sur l'intensité, Tweedy & Culling (2014) montrent comment ce facteur reste peu influencé chez des locuteurs soumis à des perturbations lors de tâches de conversation. Plus récemment nous retrouvons dans He et al. (2015) l'utilisation de mesures d'intensité parallèlement à des corrélats rythmiques pour la classification de 16 locuteurs à travers un système de réseaux de neurones. Dans cette étude, l'intensité permet d'atteindre un taux de bonnes classifications de 30% qui augmente à 36% lorsque les corrélats rythmiques et d'intensité sont observés ensemble. Les mesures utilisées se rapprochent des corrélats rythmiques déjà utilisés par les auteurs, nous renvoyons à cette étude et à d'autres (Dellwo et al., 2015) pour plus de précision à ce sujet. La complémentarité des mesures prosodiques est un des points fondamentaux de l'étude que nous allons présenter puisque la production de la parole, et dans notre cas, la représentation de la variabilité inter-individuelle ne peut être expliquée que par l'interaction de plusieurs facteurs.

Dans ce travail nous essayons d'apporter un élément d'analyse supplémentaire à la caractérisation du locuteur à partir d'indices prosodiques, pour cela nous allons prendre en compte deux dimensions prosodiques classiques : la f₀ et l'intensité. Choisir ces deux mesures nous permettra de comparer leurs résultats respectifs et leur éventuelle complémentarité dans la caractérisation du locuteur. Dans la section suivante nous décrirons de manière plus précise les mesures acoustiques qui ont été sélectionnées, leurs méthodes d'extraction et de classification. La complémentarité entre les résultats des différentes mesures sera présentée dans la section 3 ainsi qu'une analyse plus spécifique de certains locuteurs et cas particuliers.
## 2 Protocole expérimental

Le corpus sur lequel nous avons travaillé est composé d'extraits de 4 secondes provenant de chacun des 44 locuteurs du corpus NCCFr (Torreira et al., 2010) (pour les 45ème et 46ème les transcriptions n'étant pas intégralement présentes, nous les avons écartés). Nous utiliserons les chiffres de 1 à 44 pour identifier les locuteurs à la place des codes présents dans la base. Le corpus NCCFr se compose de conversations sur des thèmes divers entre binômes ou trinômes d'amis, dont la durée totale est d'une heure en moyenne, et enregistrées dans une chambre insonorisée à l'aide d'un micro casque, ce qui limite les variations d'intensité dûes aux mouvements de la tête. Les transcriptions ont été effectuées de manière semi-automatique au laboratoire LIMSI (Gauvain et al., 2002). Nous avons considéré uniquement les extraits comportant un minimum de 20 phonèmes, en dessous de ce seuil, après écoute des extraits, nous avons souvent remarqué la présence de la voix des autres locuteurs de l'enregistrement. À partir de ces extraits nous avons obtenus 4 types de données que nous avons utilisées dans un système de classification à l'aide de réseaux de neurones : le spectrogramme complet de chaque séquence ; le contour de $f_0$ ; les valeurs d'intensité ; la représentation conjointe de $f_0$ et d'intensité. Le spectrogramme servira ici de référence puisqu'il comprend l'information la plus complète sur la séquence analysée.

Ces représentations ont été extraites avec les valeurs par défaut de Praat (Boersma, 2001) et converties en images codées sur 8 bits en niveaux de gris afin de préserver la mémoire du GPU. Pour l'extraction des spectrogrammes nous avons utilisé une fenêtre avec des trames de 5 ms avec un chevauchement de 90 % et une fréquence d'échantillonage de 16 kHz. Sur chaque trame de signal a été appliquée une fenêtre de Hamming pour obtenir 512 échantillons sur lesquels une FFT a été effectuée. Nous n'avons pas appliqué de pré-emphase et la dynamique a été fixée à 70 dB. Dans le but de ne pas saturer la mémoire du GPU, les spectrogrammes ont été redimensionnés à 800 × 257 pixels ($L \times H$), où chaque pixel correspond à 5 ms sur l'axe du temps (après compression de 8000 à 800 par interpolation bicubique), et à 31.13 Hz sur celui de la fréquence. Le même redimensionnement sur l'axe horizontal est utilisé pour les représentations d'intensité et de $f_0$, sur l'axe vertical nous avons 1 seul pixel dont les niveaux de gris correspondent aux valeurs d'intensité ou de $f_0$. Pour la représentation conjointe d'intensité et $f_0$ le format des images passe à 800 × 2 pixels.

Le modèle que nous avons utilisé pour la classification est une version légèrement modifiée d'un réseau de neurones convolutif avec architecture ResNet-18, à la base employé pour de la reconnaissance d'images. Les données de chacun des 44 locuteurs ont été aléatoirement divisées selon des ensembles d'entraînement (70 %), validation (10 %) et test (20 %). Le même découpage est utilisé les quatre expériences ($f_0$, intensité, $f_0$ et intensité, spectrogrammes). L'entraînement du réseau a été effectué avec l'optimiseur Adam et des mini-batches de taille 32 sur un GPU GTX 1080. Le nombre maximum d'itérations défini étant de 30, l'entraînement du modèle s'arrête avant cette limite si la valeur de la perte atteint un chiffre inférieur ou égal à sa valeur minimale dans les 10 dernières itérations. Tous les modèles ont été entraînés et testés à l'aide de la MATLAB Deep Learning Toolbox (Mathworks, 2019).

Pour pouvoir comparer et interpréter les résultats obtenus par la classification automatique nous avons aussi extrait des valeurs acoustiques à l'aide du logiciel Praat (Boersma, 2001) à partir des mêmes séquences de 4s. L'analyse de celles-ci nous a permis de comprendre dans quelle mesure les locuteurs se différencient ou se rapprochent du point de vue acoustique et ainsi d'interpréter les confusions faites par la classification automatique avec une approche phonétique. L'ensemble des mesures effectuées pour la $f_0$ et l'intensité comprend : les valeurs minimales, maximales, la moyenne,
l'écart type, le premier décile, le dernier, le décile du milieu et la différence entre les valeurs de $f_0$ et d'intensité (voir paragraphe 3.2). Nous avons aussi extrait d'autres valeurs comme la pente de $f_0$, le nombre de pics de $f_0$ et d'intensité mais nous les avons écartées de notre analyse finale car elles n'apportent pas d'éléments intéressants à celle-ci.

<table><caption>TABLE 1 – Résultats obtenus par le réseau de neurones lors de la classification des différentes représentations, pourcentage de réussite pour l’ensemble des 44 locuteurs</caption><thead><tr><th></th><th>1</th><th>2</th><th>3</th><th>4</th><th>5</th><th>6</th><th>7</th><th>8</th><th>9</th><th>10</th><th>11</th></tr></thead><tbody><tr><td>Intonation</td><td>5</td><td>15</td><td>17</td><td>8</td><td>44</td><td>14</td><td>10</td><td>30</td><td>24</td><td>72</td><td>17</td></tr><tr><td>Intensité</td><td>37</td><td>15</td><td>37</td><td>25</td><td>50</td><td>31</td><td>22</td><td>40</td><td>35</td><td>45</td><td>41</td></tr><tr><td>Intens-into</td><td>45</td><td>41</td><td>77</td><td>50</td><td>88</td><td>62</td><td>62</td><td>88</td><td>80</td><td>82</td><td>40</td></tr><tr><td>Spectrogramme</td><td>88</td><td>97</td><td>92</td><td>97</td><td>97</td><td>88</td><td>98</td><td>92</td><td>97</td><td>98</td><td>92</td></tr><tr><td></td><td>12</td><td>13</td><td>14</td><td>15</td><td>16</td><td>17</td><td>18</td><td>19</td><td>20</td><td>21</td><td>22</td></tr><tr><td>Intonation</td><td>5</td><td>27</td><td>27</td><td>21</td><td>62</td><td>34</td><td>25</td><td>27</td><td>20</td><td>37</td><td>25</td></tr><tr><td>Intensité</td><td>45</td><td>10</td><td>12</td><td>27</td><td>67</td><td>88</td><td>47</td><td>47</td><td>5</td><td>15</td><td>37</td></tr><tr><td>Intens-into</td><td>72</td><td>48</td><td>51</td><td>51</td><td>87</td><td>100</td><td>71</td><td>65</td><td>51</td><td>42</td><td>70</td></tr><tr><td>Spectrogramme</td><td>97</td><td>81</td><td>90</td><td>87</td><td>97</td><td>98</td><td>98</td><td>98</td><td>92</td><td>95</td><td>95</td></tr><tr><td></td><td>23</td><td>24</td><td>25</td><td>26</td><td>27</td><td>28</td><td>29</td><td>30</td><td>31</td><td>32</td><td>33</td></tr><tr><td>Intonation</td><td>15</td><td>12</td><td>11</td><td>41</td><td>20</td><td>55</td><td>37</td><td>34</td><td>15</td><td>25</td><td>8</td></tr><tr><td>Intensité</td><td>10</td><td>10</td><td>4</td><td>55</td><td>44</td><td>34</td><td>44</td><td>17</td><td>42</td><td>8</td><td>18</td></tr><tr><td>Intens-into</td><td>47</td><td>68</td><td>28</td><td>78</td><td>57</td><td>95</td><td>87</td><td>54</td><td>44</td><td>22</td><td>44</td></tr><tr><td>Spectrogramme</td><td>94</td><td>97</td><td>94</td><td>92</td><td>94</td><td>91</td><td>95</td><td>95</td><td>92</td><td>85</td><td>98</td></tr><tr><td></td><td>34</td><td>35</td><td>36</td><td>37</td><td>38</td><td>39</td><td>40</td><td>41</td><td>42</td><td>43</td><td>44</td><td>Tot.</td></tr><tr><td>Intonation</td><td>4</td><td>20</td><td>44</td><td>68</td><td>25</td><td>37</td><td>42</td><td>25</td><td>25</td><td>62</td><td>20</td><td>28</td></tr><tr><td>Intensité</td><td>17</td><td>8</td><td>22</td><td>62</td><td>24</td><td>62</td><td>12</td><td>31</td><td>21</td><td>61</td><td>48</td><td>32</td></tr><tr><td>Intens-into</td><td>27</td><td>37</td><td>62</td><td>62</td><td>50</td><td>44</td><td>60</td><td>31</td><td>28</td><td>80</td><td>48</td><td>59</td></tr><tr><td>Spectrogramme</td><td>88</td><td>75</td><td>91</td><td>97</td><td>95</td><td>94</td><td>77</td><td>92</td><td>100</td><td>97</td><td>92</td><td>93</td></tr></tbody></table>

## 3 Résultats

La tâche de classification consiste, pour chacun des 44 locuteurs, à donner au réseau de neurones les 70 extraits pris aléatoirement dans l'ensemble de départ et ne faisant pas partie des extraits d'entraînement. Cette même expérience a été répétée 4 fois pour chacune des représentations. La première considération concerne le score obtenu par les spectrogrammes, qui atteint un taux de bonnes classifications de 93 %, résultat attendu en considérant que cette représentation décline plusieurs éléments de la production de la parole alors que les 3 autres ne prennent en compte qu'une dimension voire deux à la fois. L'utilisation du contour intonatif, la réprésentation à la fois des valeurs moyennes et des modulations de $f_0$, atteint le résultat moyen le moins élevé avec 28 %. Les valeurs d'intensité apportent quelques informations supplémentaires en totalisant un taux total moyen de 32 %, mais c'est lorsque les deux représentations sont combinées que le score est presque doublé et atteint 59 %.
## 3.1 Complémentarité des paramètres prosodiques

En considérant le spectrogramme comme la valeur de référence, nous remarquons deux locuteurs qui sont malgré tout mieux reconnus grâce à la prosodie seule : les locutrices 17 et 28. Elles présentent des profils similaires même si l'une se caractérise de manière plus marquée à travers l'intensité : la locutrice 17 obtient 88 % de bonnes classifications à partir des valeurs d'intensité et 34 % à partir de l'intonation, contre respectivement 24 % et 39 % pour la locutrice 28. Lorsque les deux dimensions sont combinées la locutrice 17 enregistre 100 % de bonnes classifications alors que la locutrice 28 obtient 95 %.

La locutrice 17 est caractérisée par des valeurs d'intensité toujours maximalement basses. La Figure 1(a) met en évidence cette tendance avec les valeurs minimales d'intensité pour les 44 locuteurs, nous prenons en exemple cette mesure puisque, avec les valeurs maximales et le dernier décile, elles permettent de distinguer de manière nette quelques groupes de locuteurs. Nous comprenons aussi pourquoi lors de la classification de la locutrice 17 la seule confusion existante se fait avec la locutrice 16, son binôme d'enregistrement, qui apparaît également dans la partie gauche de ce schéma avec des valeurs bien inférieures à la moyenne. Ceci nous renvoie aux considérations faites plus haut sur la convergence phonétique de l'intensité. Nous constatons la même tendance à avoir des valeurs d'intensité proches pour d'autres binômes : 25 et 26, 32 et 33, 34 et 35, 41 et 42. Cependant l'observation des valeurs de $f_0$ pour la locutrice 17 nous fait remarquer qu'elles ne s'écartent pas de la moyenne et forment un groupe compact avec les locutrices 24, 28, 35 et parfois 25. Nous observons cette fois une certaine distance avec la locutrice 16, qui quant à elle fait partie d'un groupe plus large. Cette différence évidente nous montre un exemple saillant de la complémentarité entre les mesures de $f_0$ et d'intensité, puisque grâce à l'une nous pouvons éliminer les confusions obtenues avec l'autre. Pour la locutrice 28, en utilisant la prosodie, nous n'observons pas une élimination totale

<figure><img src="image_44.png" /><figcaption>FIGURE 1 – Comparaisons des valeurs minimales d'intensité, en dB (Figure 1a, à gauche) et des valeurs maximales de $f_0$, en Hz (Figure 1b, à droite) pour les 44 locuteurs. Les locutrices 17 et 28 mises en évidence</figcaption></figure>

des confusions mais plutôt une réduction du nombre de confusions effectuées par la classification. D'un côté, pour ses valeurs d'intensité, nous observons un petit groupe de locuteurs ayant des valeurs très basses mais rapprochés entre eux (Figure 1a) : il s'agit des locuteurs 10, 12 (les deux étant des hommes), 15, 22 et 28. Nous retrouvons tous ces locuteurs dans l'ensemble des confusions faites à partir des valeurs d'intensité pour la locutrice 28, mais aucun d'entre eux n'apparaît dans les résultats
obtenus à partir de la $f_0$. Pour cet autre paramètre nous retrouvons une confusion importante avec les locutrices 17 et 24, avec qui 28 est confondue respectivement 12 et 8 fois. Ces deux dernières locutrices, comme observé précédemment, font partie d'un groupe assez compact dont la locutrice 28 s'écarte grâce à ses valeurs maximales de $f_0$, que nous présentons en Figure 1(b). Le décile moyen et la valeur moyenne de $f_0$ sont aussi des valeurs permettant de distinguer certains groupes de locuteurs.

À partir des valeurs de $f_0$ une distinction nette entre hommes et femmes peut être faite. Effectivement, nous voyons au milieu de la Figure 1(b) un écart entre le dernier locuteur, 43, et la première locutrice, 36. Par conséquent, nous comprenons que les confusions entre locuteurs de sexes différents faites à partir des valeurs d'intensité peuvent disparaître avec cette autre dimension prosodique. La seule similarité qui n'est pas complètement effacée par la prosodie dans le cas de la locutrice 28, est avec la locutrice 24. Ces deux locutrices sont très écartées selon les valeurs d'intensité mais confondues dans tous les autres cas, même à partir des spectrogrammes. À partir des mesures que nous avons à notre disposition lors de cette étude nous pouvons affirmer que ces deux locutrices se distinguent de l'ensemble des locuteurs par leur intonation mais nous n'arrivons pas à déterminer quel élément prosodique peut nous permettre de les différencier nettement entre elles.

## 3.2 Cas de non-complémentarité

Les deux cas que nous venons d'évoquer montrent les deux tendances de la majorité de nos locuteurs : une caractérisation accentuée par l'intensité suivie d'un apport mineur mais complémentaire de la $f_0$ pour réduire les confusions ; ou des taux de classification légèrement différents entre les deux mesures. Dans les deux cas nous observons une augmentation importante du taux de bonnes réponses lorsque la représentation conjointe de $f_0$ et d'intensité est utilisée.

Cependant sur les 44 locuteurs, nous avons remarqué 6 cas dans lesquels la prosodie totalise un score égal ou inférieur à celui des deux mesures prises singulièrement : les locuteurs 11, 39, 41, 44 et les locutrices 32, 37. Parmi ces locuteurs, un premier groupe comprend les locuteurs 41 et 44 dont l'intensité totalise le même score des deux dimensions conjointes, avec des taux de bonnes classifications respectivement de 31 % et de 48 %. D'un autre côté, nous avons les locuteurs 11 et 39 qui ont aussi une meilleure classification à partir de l'intensité mais des scores inférieurs dans tous les autres cas. Enfin les locuteurs 32 et 37 atteignent un score plus important à partir de leur $f_0$.

Pour comprendre quels éléments influencent la non complémentarité nous avons décidé d'observer le locuteur 11 et ses confusions avec le locuteur 27, puisque ce dernier présente quant à lui des indices prosodiques complémentaires. Selon ses valeurs de $f_0$, le locuteur 11 est plus souvent identifié comme le 27 et inversement. En reprenant la Figure 1(a) comme exemple, nous observons que ces deux locuteurs ont des valeurs très proches et légèrement moins élevées que la moyenne. La $f_0$ et l'intensité du locuteur 11 ne montrant pas de complémentarité, il continue à être confondu avec le locuteur 27 à partir de la représentation conjointe de ces indices alors que cet autre locuteur atteint un taux de reconnaissance beaucoup plus important et ne montre pas de confusion avec le locuteur 11.

Nous avons essayé d'expliquer cette non complémentarité en analysant la relation entre les variations d'intensité et de $f_0$ à l'intérieur des séquences analysées. Nous avons observé cette relation sous forme de ratio et de différence des valeurs de $f_0$ et d'intensité. Nos observations montrent que le ratio n'apporte aucune information supplémentaire, pas de significativité statistique observée contrairement à la valeurs de la différence, et nous l'avons exclu de l'analyse statistique présentée dans le paragraphe suivant. La différence nous permet d'écarter les locuteurs 11 et 27 et d'autres cas similaires. Cependant,
ceci ne nous permet pas d'expliquer complètement pourquoi ces locuteurs sont moins caractérisés par la prosodie. Des indices contenus dans le spectrogramme – mais qui ne font pas partie de nos indices prosodiques – permettent ainsi d'améliorer les taux de classification de ces locuteurs. Effectivement, les locuteurs 11 et 27 atteignent respectivement 40 % et 57 % de bonnes classifications avec les deux indices conjoints alors qu'à partir du spectrogramme, ils atteignent respectivement 92 % et 94 %. Ces locuteurs, mais aussi les autres cités dans ces cas de non-complémentarité, atteignent à travers le spectrogramme plus de 90 % de bonnes classifications, nous pouvons supposer par conséquent qu'ils font partie d'un groupe de locuteurs dont la prosodie seule ne peut pas expliquer la variation et pour lesquels une représentation globale est nécessaire.

## 3.3 Analyse en Composantes Principales

Nous avons effectué une Analyse en Composantes Principales pour l'ensemble des mesures acoustiques afin de mieux comprendre leurs interactions. La Figure 2(a) montre les valeurs moyennées pour chacun des 44 locuteurs dans l'espace obtenus à partir des deux premières composantes. Nous n'avons retenu que les deux premières pour la représentation puisqu'elles expliquent ensemble 87.5 % de la variance, respectivement 55.3 % et 32.2 %. La Figure 2(b) montre la contribution des mesures acoustiques à la définition de chacune des composantes. Nous observons que les mesures de $f_0$ et la différence entre $f_0$ et intensité, dernière ligne du tableau, contribuent de manière importante à la première dimension. L'intensité contribue plutôt à la définition de la deuxième composante. Cette division nous confirme la non corrélation et par conséquent la complémentarité des deux paramètres. Seul l'écart type de l'intensité contribue de manière importante à définir la troisième composante, restant presque absent des deux premières. Tous les locuteurs sont représentés par les points dans la

<figure><img src="image_45.png" /><figcaption>FIGURE 2 – Résultats de l'Analyse en Composantes Principales. À gauche (Figure 2a) la distribution des individus selon les dimensions 1 et 2 est représentée. La Figure de droite (2b) montre la contribution de nos mesures acoustiques à la définition de chaque composante</figcaption></figure>
Figure 2(a) où l'espace défini par les deux premières composantes permet d'isoler 10 locuteurs : 3, 7, 8, 16, 17, 24, 28, 29, 36 et 43. Nous remarquons la correspondance entre certains de ces locuteurs et les cas de complémentarité des indices mis en évidence par la classification automatique.

La contribution des indices acoustiques n'étant pas la même pour les deux premières composantes, nous observons l'axe horizontal de l'ACP qui respecte la division par sexe grâce aux mesures de $f_0$. Sur le côté gauche, en jaune, sont disposés tous les locuteurs et sur la droite en rouge toutes les locutrices. Comme observé précédemment aussi (Figure 1b), le locuteur 43 et la locutrice 36 marquent la limite entre les deux sexes. À travers cette analyse nous pouvons également observer comment les paramètres prosodiques permettent de différencier 10 groupes de locuteurs plus ou moins compacts. Certains locuteurs sont plus proches que d'autres dans la représentation de l'ACP. Nous retrouvons parmi les groupes de locuteurs les mêmes confusions présentes lors de la classification à travers les deux paramètres conjoints. Certaines confusions, 38-39 et 11-10 par exemple, montrent une convergence phonétique pour les locuteurs d'un même binôme mais ne représentent qu'une minorité. Ceci renforce les observations faites dans le paragraphe précédent, concernant certains locuteurs qui sont moins caractérisés à partir de leur prosodie mais pouvant être ainsi associés entre eux et ensuite différenciés selon d'autres paramètres présents dans la production de la parole.

# 4 Discussion et conclusion

Dans ce travail nous avons présenté une analyse acoustique pour caractériser des locuteurs à partir de $f_0$ et d'intensité. L'utilisation d'une classification par réseaux de neurones et l'analyse des confusions opérées par le réseau nous ont aidé à comprendre dans quelle mesure le système utilise la prosodie comme facteur déterminant pour classer les locuteurs. Si la $f_0$ se montre très efficace pour trancher entre des locuteurs de sexes différents l'intensité atteint un score global de classification plus élevé. Nous avons ici analysé la contribution de ces dimensions prosodiques face au spectrogramme qui représente la référence puisqu'il englobe d'autres dimensions en plus de la prosodie et permet ainsi d'expliquer la majorité de la variation. Pour le sous-groupe de données que le réseau n'arrive pas à classer correctement en se basant sur le spectrogramme (7 % des données totale) l'utilisation conjointe du contour de $f_0$ et d'intensité arrive à donner 33 % de bonnes classifications.

La $f_0$ et l'intensité sont des paramètres classiques utilisés pour décrire deux aspects différents de la prosodie. Nous avons pu observer, à travers notre étude, comment l'utilisation d'une technique de classification non classique en phonétique peut faire apparaître des nouvelles caractéristiques liées à la description prosodique des locuteurs. L'Analyse en Composantes Principales, présentée en Figure 2, montre comment avec une approche statistique les mesures de $f_0$ contribuent à la description d'une partie conséquente de notre ensemble. L'intensité obtient un meilleur score que la $f_0$ lors de la classification par réseaux de neurones mais elle est moins présente dans l'ACP.

Pour diminuer cette disparité, il est envisageable d'aller regarder de manière plus approfondie d'autres mesures d'intensité plus robustes que celles que nous avons pu présenter. Nous avons observé pour ce paramètre que les valeurs minimales et le dernier décile sont les mesures plus précises pour la caractérisation des locuteurs. En ce qui concerne la $f_0$, la valeur moyenne et le décile du milieu sont les mesures qui se montrent plus adaptées pour la caractérisation.
# Remerciements

Nous remercions l'ANR VOXCRIM (ANR-17-CE39-0016) ainsi que le LaBeX Empirical Foundations of Linguistics (EFL).

# Références

ADAMI A. G., MIHAESCU R., REYNOLDS D. A. & GODFREY J. J. (2003). Modeling prosodic dynamics for speaker recognition. *Proceedings of ICASSP*, p. 788–791.

ARVANITI A. & RODRIQUEZ T. (2013). The role of rhythm class, speaking rate, and f0 in language discrimination. *Laboratory Phonology, 4*.

BOERSMA P. (2001). Praat, a system for doing phonetics by computer. *Glot International, 5 :9/10*, 341–345.

DELLWO V., LEEMANN A. & KOLLY M.-J. (2015). Rhythmic variability between speakers : Articulatory, prosodic, and linguistic factors. *The Journal of the Acoustical Society of America*, **137**(3), 1513–1528.

GAUVAIN J., LAMEL L. & ADDA G. (2002). The limsi broadcast news transcription system. *Speech Communication*, **37**, 89–108.

HE L., GLAVITSCH U. & DELLWO V. (2015). Comparisons of speaker recognition strengths using suprasegmental duration and intensity variability : an artificial neural networks approach. *Proceedings of ICPhS*.

HUDSON T., DE JONG G., MCDougALL K., HARRISON P. & NOLAN F. (2007). F0 statistics for 100 young male speakers of standard southern British english. *Proceedings of ICPhS*, p. 1809–1812.

KAHN J. (2011). *Parole de locuteur : performance et confiance en identification biométrique vocale*. Thèse de doctorat, ED 536.

KEATING P. & KUO G. (2012). Comparison of speaking fundamental frequency in english and mandarin. *Journal of Acoustical Society of America*, **132**, 1050–1060.

LINDH J. & ERIKSSON A. (2007). Robustness of long time measures of fundamental frequency. *Proceedings of Interspeech*, p. 2025–2028.

MATHWORKS (2019). *MATLAB Deep Learning Toolbox R2019a*. Mathworks, Natick, MA, USA.

NIEBUHR O. & SKARNITZL R. (2019). Measuring a speaker's acoustic correlates of pitch - but which? a contrastive analysis based on perceived speaker charisma. *Proceedings of ICPhS*, p. 1774–1778.

PARDO J. (2006). On phonetic convergence during conversational interaction. *The Journal of the Acoustical Society of America*, **119**.

SCHÖTZ S. (2007). Analysis and synthesis of speaker age. *Proceedings of ICPhS*.

SORIN C. (1981). Functions, roles and treatments of intensity in speech. *Journal of Phonetics*, **9**, 359–374.

TORREIRA F., ADDA-DECKER M. & ERNESTUS M. (2010). The nijmegen corpus of casual french. *Speech Communication*, **52**, 201–212.

TWEEDY R. S. & CULLING J. F. (2014). Does the signal-to-noise ratio of an interlocutor influence a speaker's vocal intensity? *Computer Speech and Language*, **28**, 572–579.
# C'est "mm-hm, oui" ou "mm-hm, non" ? Propositions pour une grammaire des composantes acoustiques des interactions nasalisées

Aurélie Chlébowski, Nicolas Ballier

Université de Paris, CLILLAC-ARP, F-75013 Paris, France

aurelie.chlebowski@hotmail.fr, nicolas.ballier@u-paris.fr

## RÉSUMÉ

Cet article se propose d'envisager l'existence d'une grammaire spécifique aux interactions nasalisées (Chlébowski et Ballier, 2015). Notre proposition se fonde sur une annotation des composantes acoustiques de cette sous-catégorie de sons non-lexicaux (Ward, 2006) dans le corpus CID (Bertrand et al., 2008). Nous voudrions présenter les contraintes combinatoires et régularités qui semblent s'appliquer à ces composantes acoustiques, ainsi que discuter leur structuration. Les résultats préliminaires de l'analyse des composantes acoustiques semblent suggérer des plages de valeurs par défaut pour les réalisations des IN (notamment pour la durée). La violation de ces usages peut donner lieu à une analyse de type gricienne d'implicature.

## ABSTRACT

**A modest proposal for the pragmatic of nasal grunts in the CID corpus.**

This paper proposes to consider that a specific grammar might govern the production of nasal grunts (Chlébowski et Ballier, 2015). This proposal is based on an annotation of the acoustic components of this sub-category of non-lexical conversational sounds (Ward, 2006) in the CID corpus (Bertrand et al., 2008). We would like to show the combinatory constraints and regularities that apply to these acoustic components as well as debate their potential organisation. Our preliminary observations suggest that certain ranges of realisations are expected (especially for duration), the violation thereof leading to Gricean implicature.

**MOTS-CLÉS** : interactions nasalisées, compositionalité, CID.

**KEYWORDS:** nasal grunts, compositionality.

## 1 Introduction

D'abord exclus du champ de l'analyse linguistique (soit parce qu'ils étaient considérés comme événements marginaux, soit au prétexte qu'ils entraveraient la bonne production et compréhension du message principal), les sons « non-lexicaux » (entres autres dénominations, cf. Dingemanse, 2020) ont, depuis, suscité la curiosité, de par leur omniprésence dans la conversation. Ces dernières décennies témoignent d'un regain d'intérêt significatif pour leur analyse, principalement motivé par le désir de rendre compte de leurs multiples rôles en interaction. On peut citer, entre autres, les études qui interviennent dans la compréhension ou le partage de l'état émotionnel, attitudinal ou cognitif du locuteur (Duez, 2001 ; Corley et Hartsuiker, 2011), celles qui s'intéressent au niveau de maîtrise d'une langue et à sa perception (Cenoz, 1998 ; Niebuhr et Fischer, 2019) ou encore celles qui traitent de la structuration des tours de parole (Peters et Wong, 2015). Quels que soient leurs

<figure><img src="image_46.png" /></figure>
motivations, méthodes ou supports d'analyse (enregistrements, transcriptions, et même, corpus écrits), ces études se rejoignent pour ce qui est de leur approche fondamentalement onomasiologique : elles reposent sur des catégories majoritairement fonctionnelles, voire sémantiques (*backchannels, disfluences*, pour ne citer que celles-ci). Certaines ont proposé des hypothèses quant à la relation qu'entretiennent le sens et la forme des sons non-lexicaux (Duez, 2001 ; Clark et Tree, 2002 ; Dingemanse et al., 2013, entre autres) mais pas d'explication unificatrice sur la capacité qu'aurait une même forme sonore (telle qu'ils la posent *a priori*, hors toute considération de variation) d'endosser différentes fonctions ou de dénoter diverses significations (Ward, 2006). Néanmoins, ces études suggèrent que la production de ces sons n'est pas arbitraire : pour les employer correctement, il faut en apprendre et en comprendre l'usage. D'autres études se sont proposées de s'émanciper des catégories fonctionnelles susnommées. Compte tenu de la nature acoustique des sons non-lexicaux, Ward (2006) défend une approche sémasiologique, qui part des signes, et plus particulièrement d'une étude multidimensionnelle du signifiant sonore, pour remonter vers le concept. Il postule que ces sons sont régis par des règles différentes de celles qui s'appliquent au lexique : le sens transmis par un son non-lexical provient en grande partie de sa composition acoustique.

A défaut d'une sémantique, qui serait assez difficile à définir et sujette à caution pour la formulation de tests de perceptions qu'il faudrait établir (Chlébowski, 2016), nous proposons de discuter des régularités et contraintes qui nous paraissent à l'œuvre dans l'agencement des composantes acoustiques des sons non-lexicaux. Nous focalisons notre étude sur l'analyse des composantes des interactions nasalisées (ci-après, IN) dans le corpus CID (*Corpus of Interactional Data* ; Bertrand et al., 2008). La section suivante pose le cadre théorique, explicite les composantes acoustiques et problématise leur superposabilité. La section 3 présente le traitement des données tirées du CID. La section 4 esquisse la typologie des contraintes observées et la dernière section discute les résultats et conclut.

## 2 Cadre théorique

Cette section se propose de poser le cadre théorique dans lequel se situe notre étude, en explicitant d'abord la notion de *modèle compositionnel* (Ward, 2006), puis en proposant une représentation des composantes acoustiques des IN monosyllabiques telles qu'on peut les observer dans le CID.

### 2.1 Le modèle compositionnel de Ward (2006)

L'analyse acoustique des sons non-lexicaux n'est pas sans précédent et certaines études ont laissé entrevoir l'importance de la forme sonore de ces sons pour signifier une intention de sens. Néanmoins, la majorité d'entre elles se focalise sur les réalisations acoustiques d'une unique interprétation fonctionnelle de ces sons non-lexicaux. Les hypothèses formulées sont alors contraintes, selon nous, par les limites qu'impose cette catégorie unique en ce qu'elles ne permettent pas de rendre compte de ce qui est, ou n'est pas, partagé par différentes réalisations fonctionnelles (*backchannels, disfluences ...*) des sons non-lexicaux. Ward (2006) propose, pour l'anglais américain, de répertorier tous les sons non-lexicaux d'un corpus de taille moyenne, indépendamment des catégories fonctionnelles qui leur sont généralement prêtées. Son étude, principalement auditive, des formes acoustiques de ces sons est fondée sur une conception décompositionnelle de leur substance sonore. Il propose un modèle componentiel (*compositional model*) selon lequel les sons non-lexicaux sont décomposables en un nombre fini d'entités acoustiques (que nous appellerons ici des composantes acoustiques). Il relève une dizaine de
composantes (/h/ ou voix soufflée, voix craquée, nasalité, /o/, /a/, entre autres) qui se présenteraient de manière superposée (voire concaténée dans de rares cas) et dont le nombre de combinaisons est difficilement estimable. Selon ce modèle, chaque composante acoustique d'un son non-lexical porte une valeur sémantique qui s'exprime indépendamment du contexte dans lequel le son est produit. La signification du non-lexical, contrairement au lexical, n'est pas à chercher dans la succession des signifiants. La production des composantes acoustiques dans les sons non-lexicaux n'était pas astreint à la linéarité du signifiant, il serait possible de dériver le sens d'un son non-lexical par l'inspection de sa composition acoustique. Bien que la saillance perceptive de certaines composantes soit notable (comme les variations de mélodie ou de durée), chaque composante d'un son non-lexical apporte bien une contribution au sens final du son non-lexical. Il n'est alors pas question de hiérarchiser les composantes mais plutôt de les traiter sur le même plan. Nous illustrerons l'intérêt du modèle compositionnel de Ward par l'exemple suivant :

(1a)
A : J'ai fait rentrer le chat.
B : Hein ?
A : J'ai fait rentrer le chat.

(1b)
A : J'ai fait rentrer le chat.
B : Ah ?
A : Oui, il miaulait à la porte.

Posons que les composantes à l'œuvre dans les sons non-lexicaux dans (1a) et (1b) sont les mêmes, à l'exception de la qualité du segment prononcé par B (/ɛ̃/ vs. /a/). Sans entrer dans les détails, on remarque que la réponse de A est cohérente avec le son non-lexical produit par B. L'issue de la conversation varie considérablement selon le timbre vocalique choisi par B, ce qui semble accréditer l'idée qu'une seule composante acoustique de l'IN (telle qu'ici le timbre vocalique) puisse être signifiante. On perçoit ici les relations qu'entretiennent sens et forme sonore d'un son non-lexical mais aussi la reconnaissance de ces relations par le locuteur, qui est capable de les employer, et par l'interlocuteur, qui est capable de les décoder (Duez, 2001). Au-delà des applications sémantiques et pragmatiques impliquées par la sélection des composantes acoustiques dans la constitution d'un son non-lexical, nous estimons qu'il est d'abord nécessaire de déterminer la nature de ces composantes (et leur inventaire) dans une langue donnée. A la différence du modèle de Ward (2006), nous estimons que toutes les composantes acoustiques n'ont peut-être pas le même statut combinatoire.

## 2.2 Anatomie des composantes acoustiques des IN monosyllabiques autonomes

La représentation stratificationnelle proposée en Figure 1 (à gauche), qui superpose les composantes d'une IN monosyllabique *autonome* (voir section 3), nous paraît réaliser le programme de recherche de Ward. L'acte de production (ou de *vocalisation*) d'une IN contraint la présence de certaines composantes acoustiques, notamment : un son syllabique nasal, une durée, une valeur de fréquence fondamentale (F0), un degré d'intensité et un registre. Comme exposé dans Chlébowski (2020), nous considérons ces composantes comme *fondamentales* à la production d'une IN par rapport à d'autres qui sont, de fait, *optionnelles*. Chaque strate de cette représentation offre un éventail de valeurs possibles. Par exemple, la variation de la F0 peut être déclinée en contours *plat*, *montant* ou *descendant*. L'aspect catégoriel ou continu des valeurs que peut revêtir chaque composante n'est pas tranché (Ward, 2006). Il est tout à fait possible d'imaginer qu'il existe un continuum de *montant* à *descendant* (en passant par le niveau *plat*) au niveau de la 3e strate, de *bouche fermée* à *bouche ouverte* pour la 1ère strate (Chlébowski, 2020), ou encore continuum de *haut* à *bas* (en passant par le niveau *médian*) pour la 5e strate.
<figure><img src="image_47.png" /><figcaption>FIGURE 1 : Modèle stratificationnel des composantes *fondamentales* (à gauche) et modèle pour l'interaction avec les composantes *optionnelles* (à droite), pour les IN autonomes dans le CID.</figcaption></figure>

Dans notre représentation, les composantes *optionnelles* (qui, selon nous, ne relèvent pas de paramètres pathologiques ou stylistiques) sont : la voix craquée, /h/ ou voix soufflée, la voix ingressive et le coup de glotte. Ces composantes sont sujettes à des contraintes physiologiques, voire phonotactiques : certaines seront davantage successives que simultanées. La propriété essentielle de leur combinatoire est la possibilité d'être potentiellement non-congruentes avec la durée totale des composantes principales de l'IN. Nous avons représenté ces composantes *additionnelles* à droite sur la Figure 1. La composante /h/, ou voix soufflée, peut apparaître en début ou en fin de IN. Lorsqu'elle est en position finale, elle est toujours discrétisable, contrairement à la position initiale où elle est susceptible de se propager sur les composantes principales de l'IN. Il semblerait que les coups de glotte aient une distribution comparable (sans la propagation). La phonation ingressive, quant à elle, commence avant les composantes principales de l'IN et se prolonge (fréquemment, après leur réalisation dans l'IN). Le craquement lui, est co-occurrent avec le son syllabique mais présente la particularité de pouvoir être discontinu. Dans une optique compositionnelle, cette capacité de désynchronisation des composantes optionnelles permettrait de varier le sens transmis par une IN<fnref n="1" />.

## 3 Constitution et traitement des données

Dans la continuité des travaux de Ward (2006), Chlébowski et Ballier (2020) ont proposé un protocole pour l'annotation des composantes acoustiques de 947 interactions nasalisées (nasal grunts)<fnref n="2" /> sélectionnées dans le corpus CID. Les IN y sont définies comme une sous-catégorie de sons non-lexicaux qui partagent dans leur combinaison le trait acoustique de la nasalité. Les items

<footnote n="1">¹ Bien que cela complique les analyses, on pourrait proposer de considérer que ces composantes soient elles-mêmes divisibles en sous-composantes, par exemple : durée, intensité et position vis-à-vis des composantes principales.</footnote>

<footnote n="2">² Chlébowski et Ballier (2015) emploient le terme *grunt* dans leur étude sur les *nasal grunts* en anglais Geordie, suivant (Ward, 2000), qui entérine à la fois le caractère non technique et stigmatisant du terme. La traduction de ce terme par « grognement » n’est pas, à notre connaissance, attestée dans cet emploi en français. Notons que l’ensemble de ses synonymes renvoie à des verbes de parole connotés négativement (*grommellement*, *bougonnement*, *marmonnement*, *ronchonnement*). Notre terme *interactions nasalisées* souligne l’aspect profondément interactionnel de ces sons.</footnote>
susceptibles d'entrer dans cette catégorie dans le CID sont alors les suivants : hein, han, hum (ou euh+mh) et mh (ou hm). Ils soutiennent que l'observation d'indices acoustiques minimiserait la subjectivité qu'induit la perception auditive sur ces sons. Ils ont proposé un guide d'annotations de leurs composantes acoustiques, basées majoritairement sur des critères visuels, conduites sous Praat (Boersma et Weenink, 2019). Le tableau 1 ci-dessous récapitule la nature des observations proposées pour les composantes des IN. Les composantes segment, registre et syllabation ont, pour diverses raisons que nous ne re-exposeront pas ici, échappé à une analyse exclusivement visuelle. De plus, si le repérage de /h/ et de la phonation ingressive peut se faire visuellement, la distinction entre les deux nécessite l'écoute de l'annotateur. Il semble que seule la durée soit directement objectivable. Ils proposent une liste d'étiquettes restreintes, pour non seulement signifier la présence d'une composante mais aussi déterminer sa localisation dans l'IN. Ils soulignent que leurs annotations se veulent préliminaires à des études plus approfondies des corrélats acoustiques et de leurs interactions et reconnaissent que leur protocole d'annotation réalisé par un annotateur unique devra être soumis à validation inter-juges<fnref n="3" />.

D'autre part, Chlébowski et Ballier (2020) proposent d'annoter la position de l'IN dans l'énoncé du locuteur de l'IN (en début, milieu, fin d'énoncé ou comme étant isolée du reste de l'énoncé par des pauses) et en termes d'interaction entre locuteur et interlocuteur (voir la distinction en termes self vs. others dans Fruehwald (2016)). Nous avons retenu pour le présent article les IN prononcées à l'isolée dans l'énoncé du locuteur et qui peuvent donc être considérées comme autonomes<fnref n="4" />. En revanche, nous n'avons pas tenu compte de la position de l'IN en interaction.

<table><caption>TABLE 1 : Degrés de la subjectivité des observations de Chlébowski et Ballier (2020)</caption><thead><tr><td>Composantes</td><td>Type d'observation</td></tr></thead><tbody><tr><td>Segment ; registre</td><td>Auditive</td></tr><tr><td>Syllabation</td><td>Visuelle et auditive</td></tr><tr><td>Distinction entre /h/ et phonation ingressive</td><td></td></tr><tr><td>Variations de la F0 ; coup de glotte ; voix craquée ; /h/ ; phonation ingressive</td><td>Visuelle</td></tr><tr><td>Durée</td><td>Par mesure à partir des frontières des annotations</td></tr><tr><td>Intensité</td><td></td></tr></tbody></table>

## 4 Typologie des contraintes observées

Nous avons montré en 2.2 l'importance de contraintes physiologiques pour le statut superposable (craquement) ou concatenable (coup de glotte) des composantes acoustiques. Des

<footnote n="3">³ Les procédures envisageables sont, en fonction des composantes, visuelles, auditives et/ou automatiques. Pour la composante syllabation, par exemple, nous pourrions mettre en place des tests d'annotation croisée auditifs ou visuels (basés sur la recherche d'indices acoustiques). Une approche plus instrumentale pourrait être envisagée. Par exemple à l'aide de la détection automatique de pics syllabiques (De Jong et Wempe, 2009).</footnote>

<footnote n="4">⁴ A l'inverse des IN prononcées en début, fin ou milieu d'énoncé (par exemple, hein en tant que marqueur de discours), les IN entourées par des pauses ne sont pas constituantess d'une unité prosodique plus importante qu'elles-mêmes.</footnote>
contraintes d'ordre phonotactique peuvent également être observées. Ward (2006) et Chlébowski (2020) notent des combinaisons limitées pour certaines composantes. On retrouvera par exemple la succession /j/ + /e/ dans yeah (en anglais américain) ou la succession /œ/ + /m/ dans hum (en français dans le CID). A l'inverse, les séquences */e/+/j/ et */m/+/œ/, ne sont pas attestées et fort peu probables. Une partie de la distribution des formes des IN recensées pourrait s'expliquer par le jeu d'interrelations entre les composantes. Chlébowski et Ballier (2020) notent que la phonation ingressive se rencontre essentiellement avec les IN de type segmental /m/ et /ð/, mais pas avec celles de type segmental /ɛ/. Dans cette section, nous voulons montrer des tendances distributionnelles des composantes des IN mono- et dissyllabiques de type segmental /ɛ/ ou /m/ dans le CID.

## 4.1 Contraintes distributionnelles pour les monosyllabiques autonomes en voix modale

Nous concentrons nos premières observations sur la durée, la catégorisation du contour, et le sexe du locuteur pour les IN monosyllabiques autonomes en voix modale de type segmental /ɛ/ ou /m/. Les IN de type segmental /m/ semblent être préférées en position isolée, et ce, indépendamment du sexe du locuteur (tableaux de contingence en Figure 2). Le contour montant (M) est préféré pour les monosyllabes de type segmental /ɛ/ et les contours descendant (D) et plat (P) pour les monosyllabes de type segmental /m/ (p-valeurs pour le test exact de Fisher de 0,0009 et 0,002 pour les locuteurs et locutrices du CID, respectivement). En ce qui concerne les variations de durée (voir Figure 2, à gauche), nous rejoignons les résultats de Chlébowski et Ballier (2020) sur un autre jeu de données. L'hétéroscédasticité des données a été contrôlée avec un test de Levene (p-valeur < 0,001) sous R (R Core Team, 2017) et les résultats de l'ANOVA montrent une forte interaction de la durée avec le sexe du locuteur et le type segmental de l'IN. La catégorisation du contour ne semble pas jouer de rôle majeur dans les variations de la durée d'une IN. En moyenne, les locuteurs masculins produisent des IN plus longues que celles locutrices féminines et les IN de type segmental /m/ sont souvent plus longues que celles de type segmental /ɛ/. Nous remarquons aussi que les IN de type segmental /ɛ/ ne dépassent pas une certaine durée de production (jusque 250 ms.) alors que les IN de type segmental /m/ présentent une plus large plage de variation de durée (jusque 684 ms.). Certes, il est physiologiquement possible de réaliser un monosyllabe de type /ɛ/ d'une certaine durée, mais l'absence d'observations de durée supérieure à 250 ms. pourrait laisser penser qu'une réalisation de type /ɛ/ n'est pas compatible avec l'interprétation sémantique d'une durée plus longue. On voit par là qu'il pourrait exister des plages de valeurs par défaut qui sont susceptibles d'interagir avec l'interprétation.

<figure><img src="image_48.png" /><figcaption>FIGURE 2 : Variation de la durée des IN monosyllabiques autonomes en voix modale en fonction du sexe du locuteur (F/M), du segment et de l'étiquette de la F0 (à gauche) et tableaux de contingence pour ces mêmes paramètres, à l'exception de la durée (à droite).</figcaption></figure>
## 4.2 Dissymétrie de la durée dans les IN dissyllabiques

Nous ne reviendrons pas sur les difficultés du découpage syllabique exposées dans Chlébowski et Ballier (2020)<fnref n="5" />. Nous voudrions argumenter en faveur d'une attente des locuteurs en termes de réalisations des IN dissyllabiques en montrant que, par défaut, la durée de la première syllabe semble inférieure à celle de la seconde (Figure 3). Chlébowski (2020) propose que cette distribution s'explique non pas par des contraintes de production (il est physiologiquement possible de produire la première partie de l'IN plus longue que la seconde) mais plutôt par ce qui est de l'ordre des attentes pragmatiques. Allonger la première syllabe d'une IN serait interprété dans un contexte interactionnel de la même manière que pour les violations du principe de coopération de Grice (1975) : comme une implicature. S'il est conventionnel que la première syllabe soit plus courte, l'allonger produirait un effet non-conventionnel souvent sarcastique, glosable, entre autres, par « ah ouais, tu m'en diras tant ». En d'autres termes, cette interprétation sarcastique de l'IN fonctionnerait à la manière d'une méta-règle (Ballier, 2005) : si la durée de l'IN ne respecte pas la répartition attendue, l'interaction est d'ordre sarcastique (et pas dans l'approbation, pour reprendre la problématique du titre de notre article). Nous proposons de vérifier cette hypothèse par un exemple en contexte. Sur la Figure 3, les IN pour lesquelles le premier segment et nettement plus long que le second (environ 100 ms.) sont les IN 905 et 896.

<figure><img src="image_49.png" /><figcaption>FIGURE 3 : Durées des premiers et seconds segments des IN autonomes perçues comme dissyllabiques (la nature de la réalisation de la découpe syllabique n'est pas prise en compte)</figcaption></figure>

Nous focaliserons notre analyse sur l'IN 905 de la conversation entre les participants AP et LJ (bien que L'IN 896 soit passible d'une même analyse). Dans cette conversation, AP explique à LJ comment il s'est retrouvé à faire la cuisine, sans aucune expérience, dans un restaurant peu recommandable, à l'hygiène et aux méthodes douteuses. L'exemple (2) ci-dessous présente un extrait de cette conversation.

<footnote n="5">⁵ Nous soutenons néanmoins leur hypothèse qui pose que la présence des composantes /h/ ou *coup de glotte* en position médiane d'une IN fonctionne comme un marqueur de coupe syllabique (/m.hm/ et /mʔm/). Les résultats d'une première expérience d'annotation croisée (impliquant trois participants, étudiants en phonétique) semblent aller en ce sens, avec plus de 75% d'accord sur la forme dissyllabique des IN lorsqu'elles sont présentées avec un /h/ ou un coup de glotte médian. D'autres analyses sont en cours.</footnote>
<table><tr><td>(2)</td><td>LJ (576,72)</td><td>t'as fait la cuisine antillaise @@</td></tr><tr><td></td><td>AP (577,90)</td><td>ouais cuisine antillaise ben la cuisine antillaise en fait je croyais que c'était vachement dur quoi et en_fait j'étais un super cuistot</td></tr><tr><td></td><td>LJ (582,75)</td><td>@@</td></tr><tr><td></td><td>AP (583,01)</td><td>il suffisait d'ouvrir euh les les d- de piocher dans les trois congélateurs</td></tr><tr><td></td><td>LJ (586,28)</td><td>IN#905</td></tr><tr><td></td><td>AP (586, 81)</td><td>de prendre euh les les trucs tout faits</td></tr></table>

S'il n'est pas perceptible de prime abord dans la transcription donnée en (2), le sarcasme impliqué par cette IN l'est à l'oreille, selon nous. L'IN sarcastique « tu m'en diras tant, piocher dans les congélateurs, c'est pas être un super cuistot » semble alors tout à fait à propos pour ponctuer le côté absurde du contexte.

# 5 Discussion et conclusion

Cet article, s'il ne constitue que des propositions et observations, a néanmoins le mérite de proposer une interprétation systémique des résultats obtenus. Nous avons voulu montrer le caractère superposable et/ou concatenable des composantes acoustiques à l'œuvre dans les IN du CID, en rendant compte de certaines contraintes et régularités.

Au-delà de l'importance des contraintes physiologiques qui semblent diviser les composantes en ce qu'elles seraient *fondamentales* ou *optionnelles*, nous avons suggéré l'importance que joue la sémantique dans leur combinatoire. Il est nécessaire de distinguer les impossibilités physiologiques de certaines productions (à la manière des articulations jugées impossibles des cases noires du tableau de l'API) et leur improbabilité, qu'elle soit agrammaticale (cas de *mh* + *euh*) ou apragmatique (produire la première syllabe d'une IN dissyllabique plus longue que la seconde). Les composantes acoustiques des IN seraient sujettes à une sorte de « grammaire » (Chlébowski, 2020) où la sélection des composantes serait principalement motivée par des choix sémantiques susceptibles d'exploitations pragmatiques, comme on vient de le voir. Notre analyse s'inscrit dans un courant plus général qui milite en faveur d'une grammaire de l'interaction (Ginzburg et Poesio, 2016).

Nous avons bien conscience qu'un certain nombre de questions restent en suspens. Entre autres, pour ces IN, selon les langues considérées, se pose toute la question de la grammaticalisation des composantes acoustiques (l'utilisation et l'investissement sémantique de telle ou telle composante acoustique). Les contraintes de production (ou les habitudes articulatoires ?) ne sont pas nécessairement les mêmes en français et en anglais, ou même entre variétés d'une même langue (Chlébowski, 2020). Le CID étant un corpus de français méridional, il ne semble pas exclu d'avoir des réalisations septentrionales qui soient différentes. Est-ce à dire pour autant qu'il n'y pas d'universal pour ces interactions nasalisées ? Nous défendons que seule une approche intégrative (Ward, 2006) des études sur les sons non-lexicaux pourrait nous permettre de mieux comprendre leur *modus operandi*. En ce sens, nous ne considérons pas notre approche comme *meilleure* mais comme *complémentaire* de toute autre étude sur le sujet.

# Remerciements

Nous tenons à remercier Roxane Bertrand pour nous avoir donné accès au CID et les deux relecteurs anonymes pour leurs commentaires.
Références

BALLIER, N. (2005). De l’exception à la régulation des exceptions pour la phonologie de l’anglais: d’un système de métarègles?. *Faits de Langues*, 25(1), 245-253.

BERTRAND, R., BLACHE, P., ESPESSER, R., FERRE, G., MEUNIER, C., PRIEGO-VALVERDE, B., & RAUZY, S. (2008). Le CID-Corpus of Interactional Data-Annotation et exploitation multimodale de parole conversationnelle. *Traitement Automatique Des Langues, 49*(3), 105-134.

BOERSMA, P. & WEENINK, D. (2019). *Praat: doing phonetics by computer*. Version 6.1.06.

CENOZ, J. (1998). Pauses and Communication Strategies in Second Language Speech. *Reports-Research, 143*, 1-11

CHLÉBOWSKI, A. (2016). The Meaning of “Nasal Grunts” in the Necte Corpus. A Preliminary Perceptual Investigation. *Research in Language, 14*(1), 43–59.

CHLÉBOWSKI, A. (2020). A Semasiological Approach to Non-Lexical Conversational Sounds: Issues, Benefits and Impact. In Proc. *Laughter and Other Non-Verbal Vocalisations Workshop*

CHLÉBOWSKI, A., & BALLIER, N. (2015). “Nasal grunts” in the NECTE corpus, Meaningful interactional sounds. In Proc. *EPIP4-4th International Conference on English Pronunciation: Issues & Practices*, 54–58.

CHLÉBOWSKI, A., & BALLIER, N. (2020). A Manually Annotated Resource for the Investigation of Nasal Grunts. In Proc. *LREC 12th*

CLARK, H. H., & TREE, J. E. F. (2002). Using *uh* and *um* in spontaneous speaking. *Cognition, 84*(1), 73–111.

CORLEY, M., & HARTSUIKER, R. J. (2011). Why *um* helps auditory word recognition: The temporal delay hypothesis. *PloS One*, 6(5), e19792.

DE JONG, N. H., & WEMPE, T. (2009). Praat script to detect syllable nuclei and measure speech rate automatically. *Behavior Research Methods, 41*(2), 385–390.

DINGEMANSE, M. (2020). Between sound and speech: Liminal signs in interaction. *Research on Language and Social Interaction, 53*(1), 188–196.

DINGEMANSE, M., TORREIRA, F., & ENFIELD, N. J. (2013). Is “*Huh*?” a universal word? Conversational infrastructure and the convergent evolution of linguistic items. *PloS One*, 8(11), e78273.

DUEZ, D. (2001). Signification des hésitations dans la parole spontanée. *Revue Parole*, 17-18.

FRUEHWALD, J. (2016). Filled pause choice as a sociolinguistic variable. *University of Pennsylvania Working Papers in Linguistics, 22*(2), 41–49.

GINZBURG, J., & POESIO, M. (2016). Grammar is a system that characterizes talk in interaction. *Frontiers in psychology, 7*, 1938.

GRICE, H. P. (1975). Logic and conversation, syntax and semantics. *Speech Acts, 3*, 41–58.

NIEBUHR, O., & FISCHER, K. (2019). Do not hesitate!–Unless you do it shortly or nasally: How the phonetics of filled pauses determine their subjective frequency and perceived speaker performance. In Proc. *Interspeech 2019*, 544–548.

PETERS, P., & WONG, D. (2015). Turn management and backchannels. In *Corpus pragmatics: A handbook* (408–429). Cambridge University Press.

R CORE TEAM (2017). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria

WARD, N. G. (2000). Issues in the transcription of English conversational grunts. In Proc. *1st SIGdial Workshop on Discourse and Dialogue*, 29–35.

WARD, N. G. (2006). Non-lexical conversational sounds in American English. *Pragmatics & Cognition, 14*(1), 129–182.
# Variation prosodique des styles de parole et interface syntaxe-prosodie: Étude sur corpus à grande échelle

George Christodoulides<fnref n="1" />

(1) Service de Métrologie et des Sciences du Langage, Université de Mons,
18 Place du Parc, 7000 Mons, Belgique
george@mycontent.gr

## RÉSUMÉ

La mutualisation et diffusion des grands corpus de parole permet de réexaminer des analyses pré-
cédentes effectuées sur des corpus plus petits, afin de vérifier si les conclusions de ces analyses se
généralisent aux nouvelles données. Dans cette étude, nous présentons les résultats préliminaires
d'une analyse de la variation des styles de parole en français, basée sur un corpus à grande échelle
(300 heures, 2500 locuteurs). Le corpus a été réaligné au niveau des phones, syllabes et mots, et
une annotation morphosyntaxique et syntaxique a été ajouté en améliorant les annotations existantes.
Plusieurs caractéristiques acoustiques et prosodiques sont automatiquement extraites et une analyse
statistique (analyse en composantes principales, ACP) est effectuée afin d'explorer les caractéristiques
des styles de parole et leur variance. Nous explorons aussi la relation entre frontières prosodique et
syntaxiques comme méthode pour discriminer les styles de parole.<fnref n="1" />

## ABSTRACT

### Speaking Style Prosodic Variation and the Prosody-Syntax Interface : A Large-Scale Corpus Study

As large spoken language corpora become available, we can revisit previous analyses based on smaller
datasets and verify whether the conclusions generalise to the new data. We present an analysis of
speaking style variation in French, based on a large-scale corpus (300 hours, 2500 speakers). The
corpus was segmented at the phonetic, syllabic and word level. Automated annotation in parts-of-
speech and syntactic dependencies was performed, enhancing existing annotations, and a multitude of
acoustic and prosodic features were automatically extracted. Statistical analysis (principal component
analysis, PCA) is performed to explore the characteristics of speaking styles and their variance. We
finally explore congruency and mismatch between prosodic and syntactic boundaries, as a method to
discriminate speaking styles.

**MOTS-CLÉS** : style de parole, variation prosodique, classification et regroupement (clustering) de
styles de parole, interface prosodie-syntaxe, linguistique de corpus.

**KEYWORDS:** speaking style, prosodic variation, classification and clustering of speaking styles,
prosody-syntax interface, corpus linguistics.

<figure><img src="image_50.png" /></figure>

<footnote n="1">1. Cet article est une traduction en français de la communication Christodoulides, G. (2020) Speaking Style Prosodic Variation and the Prosody-Syntax Interface : A Large-Scale Corpus Study, 10th International Conference on Speech Prosody, 24-28 May 2020, Tokyo, Japan.</footnote>
# 1 Introduction

La variation situationnelle, c'est-à-dire la variation linguistique liée aux différentes situations de communication, est importante pour l'étude du langage et de la parole. L'étude systématique de cette variation, à la croisée de la sociolinguistique et de la phonétique/phonologie, est du domaine de la sociophonétique. Dans ce contexte, la pertinence de la dichotomie entre « parole de laboratoire » et « parole spontanée » a été remise en question, étant insuffisante pour décrire la grande variation observée dans des corpus qui recensent plusieurs situations (Wagner et al., 2015). Les caractéristiques de la parole sont déterminées à la fois par le contexte situationnel et les différences individuelles (Listerri, 1992; Eskenazi, 1993; Léon, 1993). L'apport du contexte situationnel à un style de parole (« phonostyle ») est mieux décrit en utilisant plusieurs dimensions (cf. le modèle proposé dans (Koch & Österreicher, 2012)) plutôt que des distinctions binaires (p.ex. « discours formel » vs « discours informel »).

La variation de caractéristiques prosodiques selon les styles de parole ont été étudiés en analysant des corpus (Goldman et al., 2014; Beliao et al., 2013), ou parfois en vue d'une application spécifique, comme la classification automatique des échantillons sonores (Veiga et al., 2012). La mutualisation et la diffusion de plus grands corpus de parole nous amène à revoir les analyses précédentes qui étaient basées sur des corpus plus petits, afin de vérifier si les résultats se généralisent, ainsi que pour effectuer des analyses plus fines. Cette contribution présente une étude sur un corpus de français parlé à large échelle (voir section 2.1) et sa méthodologie s'inspire de (Goldman et al., 2014). Nous présentons également une analyse de la relation entre segmentation prosodique et syntaxique, et de sa variation selon les styles de parole, sur la base du même corpus.

# 2 Méthodologie

## 2.1 Corpus

La présente étude a été réalisée sur le sous-corpus de parole du Corpus d'Étude pour le Français Contemporain (CEFC) (Benzitoun et al., 2016). Il s'agit d'une collection de corpus du français parlé provenant de diverses sources (Branca-Rosoff et al., 2012; Cresti et al., 2005; Baldauf-Quilliatre et al., 2016; Avanzi et al., 2016; Carruthers, 2008; Équipe Delic, 2004) qui ont été homogénéisés, transcrits, annotés automatiquement en parties du discours et en syntaxe des dépendances, et ont été approximativement alignés au niveau des tokens. La composition du corpus est présentée dans le tableau 1. Le corpus contient 900 échantillons, a une durée de 300 heures et contient plus de 2500 locuteurs. Sa taille est d'environ 3,7 millions tokens, ce qui après la phonétisation correspond à environ 4,6 millions de syllabes.

Une grande variété de situations de communication sont représentées dans le corpus CEFC, du fait qu'il est composé de plusieurs sources. Afin d'organiser les échantillons, les métadonnées du corpus CEFC proposent quatre dimensions principales : secteur (public ou privé), type/genre (fournissant une description large de l'activité ou de la situation communicative), milieu (p.ex. : amical, familial, affaires, politique, universitaire, etc.) et modalité (discours en public, face à face, radio, télévision, téléphone). Une distinction est également faite entre les monologues, les dialogues et les conversations multipartites. Nous avons combiné l'attribut secteur avec l'attribut type/genre (regroupant certaines situations de communication qui sont sous-représentées), afin d'arriver à une
catégorisation des styles de parole, qui est présentée dans le tableau 1. Dans cet article, nous présentons nos résultats principalement à travers ce regroupement en *genres / styles de parole* ; cependant, des analyses supplémentaires peuvent être effectuées sur les *sous-genres* plus détaillés, ou selon une autre dimension.

<table><caption>TABLE 1: Composition du corpus CEFC : nombre d'échantillons, durée (heures), nombre de locuteurs, syllabes (en milles) et tokens (en milles).</caption><thead><tr><th>Style de parole</th><th>Nb</th><th>Dur</th><th>Loc</th><th>Tok</th><th>Syll</th></tr></thead><tbody><tr><td><strong>Privé</strong></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Activité</td><td>10</td><td>2,3</td><td>14</td><td>21,4</td><td>27,4</td></tr><tr><td>Conversation</td><td>174</td><td>65,5</td><td>488</td><td>902,5</td><td>1075,2</td></tr><tr><td>Repas</td><td>12</td><td>8,0</td><td>39</td><td>102,0</td><td>120,7</td></tr><tr><td>Entretien</td><td>351</td><td>137,2</td><td>829</td><td>1672,3</td><td>2076,4</td></tr><tr><td>Narration</td><td>37</td><td>8,3</td><td>43</td><td>89,4</td><td>111,7</td></tr><tr><td><strong>Public</strong></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Activité</td><td>13</td><td>8,1</td><td>126</td><td>62,7</td><td>77,9</td></tr><tr><td>Conversation</td><td>81</td><td>6,2</td><td>209</td><td>67,6</td><td>86,5</td></tr><tr><td>Entretien</td><td>9</td><td>3,2</td><td>31</td><td>42,1</td><td>52,6</td></tr><tr><td>Didactique</td><td>16</td><td>4,3</td><td>63</td><td>35,3</td><td>49,2</td></tr><tr><td>Média</td><td>31</td><td>10,4</td><td>271</td><td>117,2</td><td>163,0</td></tr><tr><td>Réunion</td><td>50</td><td>28,1</td><td>319</td><td>348,6</td><td>443,6</td></tr><tr><td>Narration</td><td>86</td><td>15,8</td><td>96</td><td>148,2</td><td>188,3</td></tr><tr><td>Discours public</td><td>30</td><td>5,9</td><td>66</td><td>58,9</td><td>84,3</td></tr><tr><td><strong>Total</strong></td><td>900</td><td>303</td><td>2594</td><td>3668,4</td><td>4556,9</td></tr></tbody></table>

## 2.2 Traitement de données

Dans un premier temps et afin d'améliorer la performance de l'alignement automatique texte-parole, une procédure de restauration et d'amélioration a été appliquée à tous les échantillons audio du corpus, en utilisant le logiciel *iZotope RX 6 Audio Editor*. Les filtres suivants ont été appliqués en séquence : de-clip (restaurer les échantillons écrêtés à haute qualité), de-click (supprimer les clics aléatoires), de-hum (supprimer le bruit parasite et ses harmoniques), de-noise (réduction adaptative du bruit), equaliser (en mode dialogue) et leveller (normalisation des niveaux audio, respectant la dynamique du dialogue). Les métadonnées du corpus (fichiers XML encodés en TEI) et les annotations (fichiers CoNLL-U avec les informations sur les locuteurs et l'alignement approximatif de chaque token) ont tous été importés dans une base de données SQL à l'aide du logiciel de gestion de corpus *Praaline* (Christodoulides, 2014) pour le traitement ultérieur.

Une transcription phonétique avec des variantes de prononciation a été produite à partir de la transcription orthographique, et a été alignée au niveau du phone, de la syllabe, du token et de l'énoncé, en utilisant le système d'alignement forcé de *Praaline*, qui pour le français, utilise le système de reconnaissance vocale Kaldi (Povey et al., 2011) et un lexique de prononciation basé sur GLÀFF (Hathout et al., 2014).

Le corpus a été ré-annoté en utilisant *DisMo* (Christodoulides & Barreca, 2017) qui fournit une annotation morphosyntaxique détaillée, une détection des unités polylexicales ainsi qu'une annotation automatique des disfluences. Ces annotations ont été combinées avec l'annotation en syntaxe de dépendance originale. Le corpus aligné a été analysé à l'aide de *ProsoGram* (Mertens, 2004), qui détecte le noyau de chaque syllabe en fonction de la fréquence fondamentale (F0) et l'intensité ; la courbe F0 est ensuite stylisée selon un système perceptif, produisant une annotation en segments
tonales. Nous avons ensuite appliqué le plug-in *Promise* afin d'effectuer une détection automatique des syllabes proéminentes (Christodoulides & Avanzi, 2014) et une détection automatique des frontières prosodiques majeures et mineures (Christodoulides, 2018); les algorithmes statistiques de *Promise* ont été entraînés sur des corpus du français annotés manuellement, comme détaillé dans les références de l'outil. Une segmentation automatique en unités prosodiques (phrases intonatives et groupes accentués) a été effectuée sur la base de ces annotations, et est corrélée à l'annotation syntaxique (voir section 3.3).

Nous avons finalement appliqué les outils d'analyse statistique de Praaline (plug-ins d'analyse temporelle, profil prosodique et extraction d'unités) afin d'extraire plusieurs caractéristiques (mesures) acoustiques et prosodiques pour chaque échantillon du corpus et pour la participation de chaque locuteur à chaque échantillon. Ces mesures peuvent être regroupées comme suit : mesures temporelles (par exemple durée de pauses silencieuses et pleines, débit de parole); mesures de dynamique conversationnelle (longueur des tours de parole, pauses interlocuteurs et chevauchements); mesures prosodiques (ex. registre et mouvements dynamiques); mesures de proéminence; et les mesures de segmentation (unités prosodiques, unités syntaxiques et leur corrélation). La base de données SQL de Praaline a été liée au logiciel R (R Core Team, 2017) pour l'analyse statistique.

# 3 Résultats

Dans ce qui suit, nous présentons des résultats statistiquement significatifs, selon la classification en *styles de parole*, pour certains groupes de mesures.

## 3.1 Mesures temporelles et prosodiques

Le taux d'articulation (pourcentage du temps d'enregistrement pendant lequel un locuteur articule) par situation (style de parole) est présenté dans la figure 1. Le style "narration privée" (narration spontanée d'expériences personnelles), ainsi que le style "narration prof" (contes de fées récités par des professionnels) ont un taux plus faible, indiquant que les pauses silencieuses sont plus nombreuses et/ou plus longues. Une observation similaire peut être faite pour le style "prof-leçon" (conférences académiques et leçons scolaires), ainsi que le style "prof-public speech" (où les pauses sont principalement utilisées pour l'effet rhétorique).

<figure><img src="image_51.png" /><figcaption>FIGURE 1 – Taux d'articulation (%) par situation.</figcaption></figure>

<figure><img src="image_52.png" /><figcaption>FIGURE 2 – Débit d'articulation (syll/s) par situation.</figcaption></figure>
Nous observons également que la narration professionnelle a un débit d'articulation (syllabes par seconde) plus faible, et que la variabilité est plus élevée dans les conversations spontanées, tandis que les différences entre les autres styles de parole restent mineures. Le nombre de pauses pleines (normalisé au nombre de tokens) est présenté dans la figure 3 et est un descripteur prosodique qui discrimine les styles de parole avec un faible degré de planification, ou spontanés (p.ex. conversation, que ce soit dans un cadre privé ou professionnel, entretiens). Cependant, nous observons que les hésitations ainsi que les autres types de disfluences sont présentes dans tous les styles de parole (à l'exception de la narration professionnelle).

La figure 4 montre la distribution des trajectoires mélodiques (mouvements de F0 stylisée en demi-tons par seconde) par modalité de communication. Nous observons que les deux activités médiatiques (radio et télévision) ont des trajectoires mélodiques plus importantes, ce qui peut s'expliquer par l'adoption d'un style plus expressif par ces locuteurs professionnels.

<figure><img src="image_53.png" /><figcaption>FIGURE 3 – Pauses pleines (normalisé au nombre de tokens) par situation.</figcaption></figure>

<figure><img src="image_54.png" /><figcaption>FIGURE 4 – Trajectoire mélodique (ST/s) par médium.</figcaption></figure>

## 3.2 Dynamique conversationnelle

En ce qui concerne la dynamique conversationnelle, la figure 5 montre la durée moyenne (en secondes) des tours de parole.

<figure><img src="image_55.png" /><figcaption>FIGURE 5 – Durée de tour de parole moyenne (s) par situation.</figcaption></figure>

<figure><img src="image_56.png" /><figcaption>FIGURE 6 – Dynamique conversationnelle par situation.</figcaption></figure>
Les différences entre les situations de communication plus ou moins interactives peuvent ainsi être observées, surtout si la durée du tour est combinée avec le pourcentage de chevauchements et de gaps (pauses interlocuteurs, entre deux tours de parole appartenant à des locuteurs différents). Cette distribution par situation est illustrée dans la figure 6.

## 3.3 Interface prosodie-syntaxe

Le corpus CEFC est annoté en syntaxe de dépendance en utilisant un nombre réduit de relations de dépendance, proposé dans le cadre du projet ORFEO. L'annotation syntaxique de la parole présente des difficultés et des choix doivent être faits concernant le traitement des faux départs (phrases inachevées), des parenthèses et des disfluences. Pour cette raison, dans la présente étude, nous avons utilisé l'annotation fournie et limité les analyses à la relation entre les unités syntaxiques majeures (c'est-à-dire les unités de dépendance complètes) et les unités prosodiques majeures. L'annotation en dépendance définit les unités syntaxiques (SU) et leur taille en syllabes, selon la situation de communication, est illustrée à la figure 7.

<figure><img src="image_57.png" /><figcaption>FIGURE 7 – Nombre de syllabes par unité syntaxique, par situation.</figcaption></figure>

<figure><img src="image_58.png" /><figcaption>FIGURE 8 – Relation entre unités syntaxiques et prosodiques, par situation.</figcaption></figure>

Sur la base de la détection automatique des frontières prosodiques et des syllabes proéminentes, nous avons annoté le corpus en unités prosodiques (PU) majeures (groupes intonatifs) et mineures (groupes accentués). Il existe des congruences et des décalages entre ces unités, créant quatre configurations possibles : un PU correspond à un SU (1 :1), un PU regroupe plusieurs SU (1 :m), plusieurs PU sont regroupés dans un SU (n :1), et une série de décalages entre les frontières prosodiques et syntaxiques qui conduisent à plusieurs PU correspondant à plusieurs SU (n :m). Cette méthode d'analyse est similaire à celles précédemment présentées par (Beliao et al., 2013) et (Martin et al., 2014) pour des corpus multi-genres du français parlé, de taille plus petite. Les résultats de l'analyse de la relation entre les unités syntaxiques et prosodiques (congruence/décalage), selon la situation, sont présentés dans la figure 8. Les situations de communication sont caractérisées par des différences dans la planification de la parole, et celles-ci affectent la longueur des structures syntaxiques, ainsi que le nombre et la durée des pauses silencieuses (qui sont le principal corrélat acoustique des frontières prosodiques majeures); on peut donc utiliser ces mesures de congruence / décalage entre les unités syntaxiques et prosodiques majeures afin de différencier (certains) styles de parole.
## 3.4 Analyse en composantes principales

Nous avons constaté qu'aucun paramètre prosodique unique n'est suffisant pour différencier les styles de parole. Étant donné que plusieurs mesures sont fortement corrélées entre elles, nous avons procédé en appliquant une analyse en composantes principales (ACP), qui réduit l'ensemble de mesures à un petit ensemble de *composantes principales* non corrélés linéairement (chaque composante principale est une combinaison linéaire des mesures initiales). Les résultats de l'ACP indiquent que les 2 premières composantes principales (PC) expliquent 25,1 % de la variance, les 4 premiers PC expliquent 44,6 % de la variance et 8 PC expliquent 71,0 % de la variance. On peut comparer ces résultats à ceux de (Goldman *et al.*, 2014) (avec 9 styles de parole et 105 échantillons), où les 2 premiers PC expliquaient seulement 43 % de la variance et les 8 premiers expliquaient 78,2 %.

Dans la figure 9, chaque point représente la participation d'un locuteur dans un échantillon de corpus, codé par couleur selon la situation / le style de parole, et est tracé sur un plan défini par les 2 premières composantes principales (PC1 sur l'axe x et PC2 sur l'axe y). Les ellipses de confiance indiquent la variabilité de chaque style de parole sont présentées dans la figure 10 : on peut ainsi observer que certains styles de parole sont très homogènes (par exemple les présentations médiatiques), tandis que les conversations et les entretiens sociolinguistiques ont une variabilité plus élevée.

<figure><img src="image_59.png" /><figcaption>FIGURE 9 – Deux premières composantes principales, tous les échantillons.</figcaption></figure>

<figure><img src="image_60.png" /><figcaption>FIGURE 10 – Deux premières CP et ellipses de confiance pour chaque situation / style de parole.</figcaption></figure>

## 4 Conclusion

Dans cet article, nous avons présenté une analyse de la variation prosodique des styles de parole dans un corpus à grande échelle (300 heures, plus de 2500 locuteurs) du français parlé. Alors que les tendances générales des études antérieures sur les corpus plus petits sont largement confirmées, l'analyse de ces «big data» indique qu'une approche beaucoup plus nuancée de la variation du style de parole est nécessaire : certaines situations de communication ont des contraintes très spécifiques (par exemple, le discours professionnel dans les médias, ou le discours politique en public, mais aussi narrations spontanées d'expériences personnelles) qui influencent plusieurs paramètres prosodiques
à la fois et sont ainsi plus faciles à distinguer et à classer. Cependant, la variation individuelle des
conversations spontanées, voire des entretiens sociolinguistiques, est plus élevée. Ce résultat de
notre étude sur grand corpus renforce les appels à encore plus de diversité dans la recherche sur la
parole : un effort doit être fait non seulement pour étudier les phénomènes phonétiques et prosodiques
à travers les différents styles de parole, mais aussi pour intégrer la variation individuelle dans les
analyses. De plus, dans des études futures, nous envisageons une analyse plus détaillée de l'interface
prosodie-syntaxe (entre autres, en incluant plusieurs niveaux d'unités syntaxiques et prosodiques);
une exploration de méthodes alternatives pour décrire les styles de parole (un autre regroupement
au niveau des métadonnées); et étendre les mesures extraites (en particulier au niveau segmental).
Enfin, notre travail a enrichi et amélioré l'annotation d'un grand corpus du français parlé : le corpus
est disponible sous la licence Creative Commons, et notre travail est rendu disponible sous les mêmes
conditions.

Références

AVANZI M., BÉGUELIN M.-J. & DIÉMOZ F. (2016). De l'archive de parole au corpus de référence. Le corpus oral de français de Suisse romande (OFROM). *Corpus*, **15**, 309-342. Actes du colloque Corpus de Français Parlés et Français Parlés des Corpus.

BALDAUF-QUILLIATRE H., COLON DE CARVAJAL I., ETIENNE C., JOUIN-CHARDON E., TESTON-BONNARD S. & TRAVERSO V. (2016). CLAPI, une base de données multimodale pour la parole en interaction : apports et dilemmes. *Corpus*, **15**, 165-194. Actes du colloque Corpus de Français Parlés et Français Parlés des Corpus.

BELIAO J., KAHANE S. & LACHERET A. (2013). Modéliser l'interface intonosyntaxique. In *Prosody-Discourse Interface Conference 2013, Proceedings*. DOI: 10.13140/2.1.1701.1205.

BENZITOUN C., DEBAISIEUX J.-M. & DEULOFEU H.-J. (2016). Le projet ORFÉO : un corpus d'étude pour le français contemporain. *Corpus*, **15**, 91-114. Actes du colloque Corpus de Français Parlés et Français Parlés des Corpus.

BRANCA-ROSOFF S., FLEURY S., LEFEUVRE F. & PIRES M. (2012). *Discours sur la ville*. *Présentation du Corpus de Français Parlé Parisien des années 2000 (CFPP2000)*.

CARRUTHERS J. (2008). Annotating an oral corpus using the Text Encoding Initiative : Methodology, problems, solutions. *Journal of French Language Studies*, **18**(1), 103-119.

CHRISTODOULIDES G. (2014). Praaline : integrating tools for speech corpus research. In *LREC 2014 – 9th International Conference on Language Resources and Evaluation, May 26–31, Reykjavik, Iceland, Proceedings*, p. 31–34.

CHRISTODOULIDES G. (2018). Acoustic correlates of prosodic boundaries in french : A review of corpus data. *Revista de Estudos da Linguagem, Belo Horizonte*, **26**(4), 1531-1549. aop13597.2018.

CHRISTODOULIDES G. & AVANZI M. (2014). An evaluation of machine learning methods for prominence detection in french. In *Interspeech 2014 – 15th Annual Conference of the International Speech Communication Association, September 14–18, Singapore, Proceedings*, p. 116–119.

CHRISTODOULIDES G. & BARRECA G. (2017). Expériences sur l'analyse morphosyntaxique des corpus oraux avec l'annotateur multi-niveaux DisMo. *Corela : Cognition, Représentation, Langage, HS-21*. journals.openedition.org/corela/4867.