impressions. *J. of Nonverbal Behavior*, 14(3), 141-153. DOI: 10.1007/BF00996223.

BLOOD G. W., MAHAN B. W., & HYMAN M. (1979). Judging personality and appearance from voice disorders. *J. of Communication Disorders*, 12(1), 63-67. DOI: 10.1016/0021-9924(79)90022-4.

BOERSMA P. & WEENINK D. (2019). Praat: doing phonetics by computer [Computer program]. Version 6.1.08, retrieved 5 December 2019 from http://www.praat.org/

BRUCKERT L., BESTELMEYER P., LATINUS M., ROUGER J., CHAREST I., ROUSSELET G. A., & BELIN P. (2010). Vocal attractiveness increases by averaging. *Current Biology*, 20(2), 116-120. DOI: 10.1016/j.cub.2009.11.034

CAETANO G., GILBERT F., LOIE C., LAPIE-LEGOUIS P., & GARSI J. P. (2017). Recherche interventionnelle sur les troubles vocaux chez les enseignants : vers une prévention collective ? *Archives des Maladies Professionnelles et de l'Environnement*, 78(5), 421-436. DOI: 10.1016/j.admp.2017.03.003.

EXPERTISE COLLECTIVE. INSERM. (2006). La voix : ses troubles chez les enseignants. INSERM.

GHIO A., DUFOUR S., ROUAZE M., BOKANOWSKI V., POUCHOLIN G., REVIS J., & GIOVANNI A. (2011). Mise au point et évaluation d'un protocole d'apprentissage de jugement perceptif de la sévérité de dysphonies sur de la parole naturelle. *Rev. de laryngologie-otologie-rhinologie*, 132(1), 1-9. HAL: hal-01491737.

GILES H., & COUPLAND N. (1991). Mapping social psychology. *Language: Contexts and consequences*. Thomson Brooks/Cole Publishing Co.

HIRANO M., Clinical examination of voice. Wien: Springer, 1981. DOI: 10.1121/1.393788.

KREIMAN J., & SIDTIS D. (2011). Foundations of voice studies: An interdisciplinary approach to voice production and perception. John Wiley & Sons. DOI: 10.1002/9781444395068.

MCCRAE R. R., & COSTA JR P. T. (1985). Comparison of EPI and psychoticism scales with measures of the five-factor model of personality. *Personality and individual Differences*, 6(5), 587-597. DOI: 10.1016/0191-8869(85)90008-X.

MONTEPARE J. M., & ZEBROWITZ-MCARTHUR L. (1987). Perceptions of adults with childlike voices in two cultures. *J. of Experimental Social Psychology*, 23(4), 331-349. DOI: 10.1016/0022-1031(87)90045-X.

NASS C., & LEE K. M. (2001). Does computer-synthesized speech manifest personality? Experimental tests of recognition, similarity-attraction, and consistency-attraction. *J. of experimental psychology: applied*, 7(3). DOI: 10.1037/1076-898X.7.3.171.

OSGOOD C. E. (1952). The nature and measurement of meaning. Psychological bulletin, 49(3), 197. DOI: 10.1037/h0055737.

PARDO J. S. (2006). On phonetic convergence during conversational interaction. *The J. of the Acoustical Society of America*, 119(4), 2382-2393. DOI: 10.1121/1.2178720.

PEIRCE J. W., GRAY J. R., SIMPSON S., MACASKILL M. R., HÖCHENBERGER R., SOGO H., KASTMAN E., LINDELØV J. (2019). PsychoPy2: experiments in behavior made easy. *Behavior Research Methods*. 10.3758/s13428-018-01193-y.

PENG Y., ZEBROWITZ L. A., & LEE H. K. (1993). The impact of cultural background and cross-cultural experience on impressions of American and Korean male speakers. *J. of Cross-Cultural Psychology*, 24(2), 203-220. DOI: 10.1177/0022022193242005.

RUSCELLO D. M., LASS N. J., & PODBESEK J. (1988). Listeners' perceptions of normal and voice-disordered children. *Folia phoniatrica*. DOI: 10.1159/000265922.

THORNDIKE E. L. (1920). A constant error in psychological ratings. *J. of applied psychology*, 4(1), 25-29. DOI: 10.1037/h0071663.

VAN BEZOOIJEN R. (1995). Sociocultural aspects of pitch differences between Japanese and Dutch women. *Language and speech*, 38(3), 253-265. DOI: 10.1177/002383099503800303.

ZUCKERMAN M., & DRIVER R. E. (1988). What sounds beautiful is good: The vocal attractiveness stereotype. *J. of Nonverbal Behavior*, 13(2), 67-82. DOI: 10.1177/0265407515612445.
# Émergence du contraste entre les fricatives sibilantes /s/ - /ʃ/ du français en contexte d'acquisition bilingue

Marie Philippart de Foy¹, ², Véronique Delvaux¹, ², Kathy Huet¹, Morgane Monnier¹
Myriam Piccaluga¹ & Bernard Harmegnies¹

(1) Institut de Recherche en Sciences et Technologies du Langage, Service de Métrologie et Sciences du Langage, Université de Mons, Belgique

(2) Fonds National de la Recherche Scientifique, Belgique

marie.philippartdefoy@umons.ac.be ; bernard.harmegnies@umons.ac.be

## RÉSUMÉ

Cette contribution vise à observer l'émergence du contraste de lieu d'articulation entre les fricatives sibilantes sourdes /s/ - /ʃ/ en français chez des bilingues simultanés d'âge préscolaire exposés à l'une des deux combinaisons linguistiques suivantes : français-italien et français-arabe. Les productions orales des enfants ont été recueillies longitudinalement via une tâche de dénomination originale en français. Les deux fricatives ont fait l'objet d'analyses basées sur des données acoustiques, et plus précisément les premier et troisième moments spectraux, et sur les transcriptions phonétiques des productions de parole. L'impact du développement lexical sur la production des deux fricatives a été investigué. Les résultats suggèrent, d'une part, un contraste émergeant plus précocement chez les bilingues français-arabe et, d'autre part, une acquisition plus précoce du /s/ pour l'ensemble des participants.

## ABSTRACT

Emergence of the contrast between the French sibilant fricatives /s/ - /ʃ/ in bilingual acquisition.

This contribution aims at examining the emergence of the place-of-articulation contrast between the voiceless sibilant fricatives /s/ - /ʃ/ in simultaneous bilingual toddlers exposed to one the two following language pairs: French-Italian and French-Arabic. The children's speech productions in French have been longitudinally collected via an original picture-naming task. The two fricatives have been subjected to analyses based on acoustic data, and more precisely the first and third spectral moments, and on phonetic transcriptions of the speech productions. The impact of the lexical development on each fricative's production has been investigated. Results suggest, on the one hand, an earlier emergence of the contrast in French-Arabic bilingual children and, on the other hand, an earlier acquisition of /s/ for all participants.

**MOTS-CLÉS** : acquisition phonologique, bilinguisme, production de parole, fricatives sibilantes.

**KEYWORDS** : phonological acquisition, bilingualism, speech production, sibilant fricatives.

## 1 Introduction

La mise en place du système phonologique implique pour l'enfant d'acquérir les sons de parole de sa langue native et les oppositions existant entre ceux-ci, autrement dit les contrastes vocaliques et consonantiques caractérisant sa langue maternelle. Si le rythme d'acquisition des sons de parole diffère d'une langue à l'autre, on observe toutefois des tendances similaires au niveau de l'acquisition des inventaires consonantiques. Des études menées dans différentes langues indiquent que les occlusives, les nasales et les glides sont généralement acquises précocement alors que les fricatives, les affriquées et les liquides tendent à être acquises plus tardivement (Dinnsen, 1992).

<figure><img src="image_222.png" /></figure>
Initialement prédominantes dans les productions des enfants (Boysson-Bardies & Vihman, 1991), les occlusives (labiales) impliquent des patrons articulatoires simples tandis que la production des fricatives requiert un contrôle moteur et articulatoire plus sophistiqué (Menn & Vihman, 2003). Plus précisément pour le français, les résultats d'une étude de cohorte menée par MacLeod et collaborateurs (2011) auprès de 156 enfants canadiens francophones âgés de 20 à 53 mois indiquent que les fricatives sibilantes /s, z, ʃ/ feraient partie des consonnes acquises le plus tardivement. Dans le cas d'une acquisition bilingue du langage, les enfants sont confrontés au challenge de développer simultanément deux systèmes phonologiques. Un nombre restreint d'études ont porté sur l'acquisition phonologique du français en contexte bilingue (dont Brulard & Carr, 2003 ; Kehoe & Havy, 2019) et rares sont celles qui ont ciblé la production des fricatives. De fait, si les recherches existantes se sont majoritairement focalisées sur l'acquisition consonantique, elles ont plutôt évalué la précision de réalisation des consonnes globalement et/ou les processus phonologiques affectant les segments consonantiques dans leur ensemble. En outre, ces travaux ont principalement étudié le bilinguisme français-anglais. A notre connaissance, seule l'étude de Kehoe et Havy (2019) a investigué spécifiquement la production des fricatives palatales du français chez des enfants bilingues préscolaires, par ailleurs exposés à plusieurs combinaisons linguistiques associant le français à différentes langues. Néanmoins, les productions de fricatives n'ont pas été observées longitudinalement et ont été évaluées perceptivement, à partir des transcriptions phonétiques des productions orales, sans faire l'objet d'analyses acoustiques permettant une description objectivée des sons de parole. Il n'y a donc actuellement encore aucune étude qui ait impliqué l'analyse des caractéristiques acoustiques des fricatives du français produites par des enfants bilingues.

Similairement, peu de recherches sur l'acquisition monolingue du français se sont penchées sur les fricatives. Il convient de citer l'étude de Grandon (2016) qui a évalué la production des fricatives /f/ /s/ et /ʃ/ par le biais de mesures acoustiques chez des enfants francophones sourds et normo-entendants âgés entre environ 5 et 10 ans, et plus précisément via l'analyse des moments spectraux permettant de caractériser le spectre des fricatives sur base d'indices de statistique descriptive destinés à quantifier divers aspects de la forme des spectres (centre de gravité, variance, coefficients de dissymétrie et d'aplatissement). Les résultats de cette étude révèlent, entre autres, des centres de gravité distincts pour les fricatives alvéolaires /s/ et post-alvéolaires /ʃ/ chez les enfants normo-entendants, suggérant une émergence du contraste de lieu d'articulation entre les deux fricatives sibilantes sourdes avant l'âge de 5 ans. Ces résultats vont dans le sens de ceux de travaux ayant pareillement investigué les caractéristiques spectrales de fricatives produites par des enfants anglophones et japanophones (Nissen & Fox, 2005 ; Li et al., 2009) indiquant une maîtrise tardive des fricatives ainsi qu'une période d'acquisition prolongée pour le contraste entre les sibilantes /s/ et /ʃ/ à partir d'environ 4 ans. Par ailleurs, des différences inter-linguistiques dans l'acquisition des fricatives sont également relevées dans l'étude de Li et collaborateurs (2009) impliquant à la fois des analyses acoustiques et perceptives des segments.

L'étude exploratoire que nous présentons ici s'inscrit dans une démarche empirique et a pour objectif d'étudier l'évolution de la production du contraste de lieu d'articulation entre les fricatives sibilantes sourdes /s/ - /ʃ/ du français chez l'enfant en situation de bilinguisme simultané. Cette étude présente l'originalité d'adopter une approche comparative en observant des enfants exposés à deux combinaisons linguistiques : (1) français-italien et (2), français-arabe. L'objectif est d'observer si l'acquisition du contraste entre les deux fricatives du français pourrait être influencée par la deuxième langue auquel l'enfant est exposé, et plus particulièrement par la richesse de son inventaire consonantique et/ou par la complexité articulaire des sons qu'il comporte. De fait, l'arabe, d'une part, comporte bien plus de fricatives que le français – 14 fricatives en arabe standard (/f, θ, ð, s, z,ʃ,ʒ,χ, κ,ħ,ζ, h, ð, s, ʃ/ d'après Benamrane, 2013) pour 7 en français (/f, v, s, z,ʃ,ʒ, κ/) – réparties sur davantage de lieux d'articulation dont des lieux postérieurs non présents en français et, d'autre part, inclut des sons de parole présentant une grande complexité articulaire telles que les consonnes emphatiques dont la production implique un déplacement de la zone d'articulation principale vers le
palais mou (Benamrane, 2013). L'inventaire consonantique de l'italien comporte quant à lui 5 fricatives (/f, v, s, z,ʃ/) comprises dans l'inventaire du français (Rogers & d'Arcangeli, 2004). Dans la mesure où l'enfant bilingue est simultanément exposé à deux systèmes linguistiques, chacun de ceux-ci est susceptible d'exercer des effets spécifiques séparément ou en interaction (Paradis & Genesee, 1996). Parallèlement, l'impact du développement lexical des enfants sur la précision de réalisation des deux fricatives est également investigué. Deux autres aspects innovants de l'étude résident dans l'élaboration d'un protocole original pour le recueil des productions orales des enfants et dans l'utilisation d'analyses complémentaires impliquant des données acoustiques et des mesures effectuées sur base des transcriptions phonétiques des productions de parole.

# 2 Méthode

## 2.1 Participants

L'échantillon de participants consiste en un groupe de 16 enfants bilingues d'âge préscolaire initialement âgés entre 21 et 36 mois et exposés à l'une des deux combinaisons linguistiques suivantes : français-italien et français-arabe. Plus précisément, les enfants ont été exposés au français de Belgique, à l'italien standard et à l'arabe marocain et soudanais. La répartition des participants dans chaque groupe linguistique est la suivante : 11 bilingues français-italien (5 filles et 6 garçons, âge moyen global = 34 mois, E.T. = 7 mois) et 5 bilingues français-arabe (2 filles et 3 garçons, âge moyen global = 34 mois, E.T. = 8 mois). Exposés à leurs deux langues depuis la naissance (ou dès les premiers mois), les participants sont des bilingues simultanés présentant des degrés d'exposition importants aux deux langues (au minimum trois jours entiers par semaine).

## 2.2 Recueil des données

Nous avons mis au point un paradigme expérimental spécifique afin de recueillir longitudinalement les productions orales en français des enfants ainsi que des données complémentaires hétéro-rapportées obtenues via des questionnaires parentaux et actualisées lors de chaque recueil de données. Plus précisément, les parents ont rempli des adaptations des *MacArthur-Bates Communicative Development Inventories* (Fenson et al., 1993) dans chaque langue de l'enfant (Kern & Gayraud, 2010 ; Caselli & Casadio, 1995¹) afin d'évaluer le développement lexical en français et globalement, dans les deux langues. Les productions de parole en français ont été recueillies lors de quatre sessions (ci-après S1-S2-S3-S4) planifiées à intervalles réguliers de 4 mois et tous les enregistrements ont été réalisés au domicile des enfants au moyen d'un enregistreur audio-portable Zoom H5 avec une fréquence d'échantillonnage de 44 100 Hz. Les productions orales ont été recueillies via une tâche de dénomination de mots insérée au sein d'un jeu avec un livre imagier afin de cibler des structures phonologiques spécifiques dans un contexte interactif. Les items à faire produire ont été sélectionnés sur base de critères psycholinguistiques et phonologiques listés par ordre d'importance : (1) l'âge d'acquisition (ci-après AoA) sur base des normes de Chalard et al. (2003) et des rapports parentaux de Kern et Gayraud (2010) ; (2) l'imageabilité des mots ; la présence dans le corpus total de (3) tous les phonèmes du français, (4) toutes les consonnes du français en position initiale/médiane/finale dans le mot, (5) de groupes consonantiques dans différentes positions dans le mot et (6), de différentes structures syllabiques et longueurs de mots. Le corpus final inclut 3 items d'entrainement et 48 items test. Les items ont été organisés dans un ordre

<footnote n="1">¹ Pour l'arabe (marocain et standard), nous avons utilisé des listes de vocabulaire qui nous ont été transmises par l'équipe du Babylab de Plymouth travaillant actuellement sur des adaptations des MBCDI dans différents dialectes de l'arabe.</footnote>
spécifique, en 8 séries de 6 items, par AoA et complexité phonologique croissants. La complexité phonologique a été évaluée à partir de critères précis situés à différents niveaux d'organisation phonologique (syllabique, segmental et inter-segmental) afin de générer un classement de complexité des mots. La Figure 1 représente les différentes séries de mots dans un graphe cartésien où l'axe des X correspond à l'ordre de présentation des mots et l'axe des Y au degré de complexité phonologique. Chacune des 8 séries apparaît dans une couleur spécifique et 3 items d'AoA et de niveau de complexité différents sont mis en évidence, à titre illustratif.

<figure><img src="image_223.png" /><figcaption>FIGURE 1 : Ordre de présentation des items en fonction de l'AoA (croissant avec les séries successives de 1 à 8) et de la complexité phonologique (croissante au sein de chaque série).</figcaption></figure>

## 2.3 Traitement et sélection des données

Les données obtenues via les adaptations des MBCDI ont permis de calculer, pour chaque participant, deux scores de vocabulaire : un score pour le français et un score global pour les deux langues combinées. Les scores ont été codés de manière à créer des variables catégorielles à cinq niveaux<fnref n="2" />. Les enregistrements ont été annotés via PRAAT (Boersma & Weenink, 2015) dans le format Textgrid sur six couches d'annotation : (1) le locuteur, (2) l'item-cible, (3) la transcription phonétique, (4) la technique d'élicitation (dénomination/répétition), (5) la séquence de segments (issues de 3) alignés sur le signal acoustique et (6), les éventuels commentaires sur les productions. Toutes les annotations ont été faites manuellement excepté pour la couche 5 pour laquelle la segmentation et l'alignement automatique ont été réalisés via le logiciel SPPAS (Bigi, 2015) à partir des transcriptions de la troisième couche d'annotation. Toutes les transcriptions phonétiques ont été réalisées par l'expérimentatrice, linguiste entrainée et locutrice native du français et ont fait l'objet d'une vérification et d'un réajustement si nécessaire.

## 2.4 Analyses

Notre protocole nous a permis de récolter longitudinalement des productions des deux fricatives en position initiale/médiale/finale dans le mot (voir Table 1), lors des quatre sessions de chaque participant. Du fait des contraintes de corpus, nous n'avons pas pu contrôler l'environnement

<footnote n="2">²Niveaux des scores de vocabulaire français : (1) 27-155 mots, (2) 156-284 mots, (3) 285-413 mots, (4) 414-542 mots, (5) 543-670 mots. Niveaux des scores de vocabulaire total : (1) 54-272 mots, (2) 273-491 mots, (3) 492-710 mots, (4) 711-929 mots, (5) 930-1150 mots.</footnote>
vocalique des fricatives. Si le corpus implique plus d'occurrences de la fricative /ʃ/ (7 au total et 4 pour la fricative /s/), aucun contexte vocalique n'a été favorisé pour aucune des deux fricatives.

<table><caption>TABLE 1 : Occurrences des fricatives dans le corpus de la tâche de dénomination.</caption><thead><tr><th>Position<br>Fricative</th><th>Initiale</th><th>Médiale</th><th>Finale</th></tr></thead><tbody><tr><td>/s/</td><td>souris</td><td>poisson, chaussure</td><td>glace</td></tr><tr><td>/ʃ/</td><td>cheveux, chaussure, chaise, chien, champignon</td><td>écharpe</td><td>cloche</td></tr></tbody></table>

Les fricatives ont fait l'objet d'analyses basées sur des mesures acoustiques et sur les transcriptions phonétiques des mots produits par les enfants. La 5ème couche d'annotation PRAAT impliquant les phonèmes segmentés a servi de base pour les analyses acoustiques et les valeurs des quatre premiers moments spectraux des fricatives (centre de gravité, variance, coefficients de dissymétrie et d'aplatissement) ont été automatiquement extraites via un script PRAAT personnalisé, élaboré à partir du script *Time averaging for fricatives.praat* développé par Christian Di Canio (2013, Haskins Laboratories). Les analyses ont été focalisées sur les premier et troisième moments spectraux, respectivement le centre de gravité et le coefficient de dissymétrie (ci-après, CoG et skewness pour des raisons de concision), étant donné que ces deux indices permettent le mieux de différencier les deux sibilantes /s/ et /ʃ/. En effet, le CoG correspond à la zone de fréquence principalement excitée durant la production de la fricative, qui devrait se localiser dans une zone de fréquence plus haute pour la fricative alvéolaire /s/ que pour la post-alvéolaire /ʃ/. Le skewness quantifie quant à lui la dissymétrie de la distribution de l'énergie autour de la moyenne. Un skewness positif correspondrait à une distribution biaisée à droite et donc à un maximum énergétique opposé, soit dans des fréquences basses, et à l'inverse, un skewness négatif indiquerait une concentration d'énergie dans des fréquences hautes. Dès lors, /s/ devrait présenter des valeurs de skewness plus basses que /ʃ/. Sur base des transcriptions phonétiques des productions orales, les taux de réalisation correcte vs. de substitution ainsi que le Pourcentage de Consonnes Correctes (ci-après, PCC) ont été calculés pour chaque fricative via le logiciel PHON (Rose et al., 2006).

## 3 Résultats

La Table 2 présente les valeurs moyennes des premiers et troisièmes moments spectraux des deux fricatives pour chaque groupe linguistique. Nous avons exclu les fricatives inintelligibles, ainsi que celles substituées par des consonnes ayant un mode d'articulation différent, de nos analyses basées sur un total de 227 productions pour la fricative alvéolaire /s/ et de 371 productions pour la fricative post-alvéolaire /ʃ/. Les résultats de tests non-paramétriques (U de Mann-Whitney) révèlent des différences statistiquement significatives entre les deux groupes linguistiques (toutes sessions confondues) pour les valeurs de CoG (p < .001) et les valeurs de skewness (p = .004) de la fricative post-alvéolaire /ʃ/.

<table><caption>TABLE 2 : Valeurs moyennes (avec E.T.) des 1er et 3ème moments spectraux des fricatives /s/ et /ʃ/ pour les deux groupes linguistiques.</caption><thead><tr><th>Groupe linguistique</th><th>Fricative</th><th>Nombre total de fricatives</th><th>Nombre moyen de fricatives par enfant par session</th><th>CoG moyen en Hz</th><th>Skewness moyen</th></tr></thead><tbody><tr><td rowspan="2">Français-italien</td><td>s</td><td>145</td><td>3</td><td>7410 (2938)</td><td>0.16 (1.01)</td></tr><tr><td>ʃ</td><td>251</td><td>6</td><td>7221 (2974)</td><td>0.37 (1.18)</td></tr><tr><td rowspan="2">Français-arabe</td><td>s</td><td>82</td><td>4</td><td>7811(2518)</td><td>0.04 (1.22)</td></tr><tr><td>ʃ</td><td>120</td><td>6</td><td>6534 (2119)</td><td>0.68 (1.21)</td></tr></tbody></table>
Les graphes de la Figure 2 représentent l'évolution des valeurs de CoG (à gauche) et de skewness (à droite) des deux fricatives au cours de quatre sessions pour les deux groupes linguistiques. On peut observer que les courbes des valeurs de CoG des deux fricatives sont très proches l'une de l'autre, se confondant presque, pour le groupe de bilingues français-italien. Ceci indique que les enfants ne produisent pas encore les deux fricatives de manière distincte et ce, lors des quatre sessions. Qui plus est, les valeurs de CoG des deux fricatives sont concentrées dans des zones de hautes fréquence (au-dessus de 6000 Hz), correspondant davantage à des valeurs de CoG généralement attendues pour la fricative alvéolaire /s/. Toujours pour les bilingues français-italien, on observe des valeurs moyennes de skewness légèrement plus basses pour /s/ par rapport à /ʃ/ et ce, de manière plus prononcée lors des deux premières sessions. De manière contrastée, les courbes des valeurs de CoG des deux fricatives sont plus distinctes les unes des autres chez les participants français-arabe, avec des valeurs de CoG plus hautes pour /s/ que pour /ʃ/. La distance entre les deux courbes atteint son maximum à la S3 pour ensuite se réduire fortement à la S4. Cette réduction de la distance entre les valeurs moyennes de CoG des deux fricatives à la S4 semble être due davantage à une diminution du CoG moyen du /s/ qu'à une augmentation de celui du /ʃ/. Ensuite, on observe chez les bilingues français-arabe des valeurs de skewness plus hautes pour le /ʃ/ et plus basses pour le /s/ que chez les bilingues français-italien lors des deux dernières sessions. Similairement aux valeurs de CoG, les valeurs moyennes de skewness des deux fricatives se rapprochent lors de la S4.

<figure><img src="image_224.png" /><figcaption>FIGURE 2 : Valeurs moyennes de CoG (en Hz, à gauche) et de skewness (à droite) des fricatives /s/ et /ʃ/ au cours de quatre sessions pour les deux groupes linguistiques.</figcaption></figure>

Sur base des transcriptions phonétiques des productions de parole, les processus phonologiques affectant spécifiquement les deux fricatives ont également été investigués. Nous avons plus particulièrement examiné dans quelle proportion chaque fricative a été soit produite correctement soit substituée par l'autre fricative afin d'observer si l'une, l'autre, ou les deux consonne(s) étai(en)t plus ou moins bien réalisée(s) par les enfants et, dans le premier cas, si la consonne mieux réalisée aurait tendance à être produite à la place de l'autre. De fait, les résultats des analyses des moments spectraux suggèrent, entre autres, que les bilingues français-italien pourraient produire un son similaire pour les deux consonnes qui, d'après les valeurs moyennes de CoG se rapprocherait davantage d'un [s]. La Figure 3 représente les taux de réalisation correcte (c'est-à-dire, le son cible /s/ produit [s] et le son cible /ʃ/ produit [ʃ]) pour les deux fricatives ainsi que les taux de substitution mutuelle (c'est-à-dire, le son cible /s/ produit [ʃ] et le son cible /ʃ/ produit [s]). Comme le montre la
Figure 3, les bilingues français-italien produisent la fricative /s/ bien plus correctement que la fricative /ʃ/ et qui plus est, tendent à produire le /ʃ/ comme un [s]. Les résultats des analyses perceptives basées sur les transcriptions sont donc corrélatifs avec ceux des analyses acoustiques. Il apparaît que le taux de réalisation correcte de /ʃ/ augmente progressivement de la S2 à la S4 ; toutefois, le taux de substitution de /ʃ/ par [s] diminue à peine. Les bilingues français-arabe présentent quant à eux des taux de substitution de /ʃ/ par [s] significativement plus bas que ceux des bilingues français-italien (p = .006). S'ils produisent initialement la fricative /s/ plus correctement (comme un [s]) que la fricative /ʃ/, les taux de réalisation correcte des deux consonnes deviennent très proches lors de la dernière session. Par ailleurs, les taux les plus hauts de réalisations correctes pour les deux fricatives sont observés chez les bilingues français-arabe – les différences entre les deux groupes sont significatives pour les deux fricatives (/s/ : p = .005 et /ʃ/ : p < .001) – ce qui corrobore également les résultats des analyses acoustiques. Néanmoins, l'apparente régression dans la production du contraste entre les deux fricatives observée à la S4 pour les deux moments spectraux (voir Figure 2) n'est pas reflétée par les analyses perceptives, étant donné que les taux de réalisation correcte dépassent les 80 % pour les deux fricatives. Finalement, il apparaît que, pour les deux groupes de bilingues, l'alvéolaire /s/ est très peu substituée par la post-alvéolaire [ʃ].

<figure><img src="image_225.png" /><figcaption>FIGURE 3 : Taux de réalisation correcte vs. substitution des fricatives /s/ - /ʃ/ au cours des quatre sessions pour les deux groupes linguistiques.</figcaption></figure>

Nous avons également examiné l'impact du développement lexical en français et global sur la précision de réalisation des deux fricatives dans les deux groupes de bilingues et plus particulièrement, sur les valeurs moyennes de PCC de chaque fricative. Les résultats de tests non-paramétriques (Kruskall-Wallis) révèlent un effet statistiquement significatif des deux scores de vocabulaire sur la production de la post-alvéolaire /ʃ/ chez les bilingues français-italien (score de vocabulaire français : X² (4) = 38.4, p < .001 - score de vocabulaire global : X² (4) = 18.08, p < .001). Pour les deux scores de vocabulaire, l'effet va dans la même direction : les valeurs de PCC de la fricative augmentent en parallèle avec les scores de vocabulaire.

# 4 Discussion

L'analyse des moments spectraux suggère que le contraste de lieu d'articulation entre les fricatives sibilantes sourdes /s/ - /ʃ/ ne semble pas encore être acquis, voire n'aurait pas encore émergé, chez les participants français-italien qui tendent à produire un son similaire pour les deux consonnes ayant davantage les caractéristiques spectrales d'un [s]. Autrement dit, il est probable que lorsqu'ils tentent de produire un /ʃ/, les bilingues français-italien auraient tendance à produire le son [s]. Ensuite, les valeurs distinctes de moments spectraux des deux fricatives observées chez les bilingues
français-arabe lors des trois premières sessions semblent indiquer l'existence d'un contraste entre les deux consonnes pour ce groupe. Toutefois, les valeurs moyennes des deux moments spectraux à la S4 suggèrent une régression dans les patrons de production des enfants. Il pourrait s'agir d'une régression temporaire ; néanmoins, deux sessions supplémentaires seraient nécessaires pour pouvoir affirmer si le contraste est effectivement en voie d'être acquis. Les analyses basées sur les transcriptions indiquent que les participants français-italien produisent le son /s/ bien plus correctement que le son /ʃ/ et tendent à initialement réaliser la fricative /ʃ/ comme un [s]. De manière contrastée, les bilingues français-arabe présentent des taux de substitution de /ʃ/ par /s/ beaucoup plus bas et présentent globalement les taux de réalisation correcte les plus hauts pour les deux fricatives. Les résultats issus des deux types d'analyses, acoustiques et perceptives, corrèlent donc globalement pour les deux groupes, si ce n'est pour la régression à la S4 observée via les analyses acoustiques chez les bilingues français-arabe. Il est probable, d'une part, que les analyses des moments spectraux aient permis de mettre en évidence des phénomènes plus difficilement détectables via l'analyse perceptive des productions orales et, d'autre part, que la variabilité propre à la parole enfantine ait été propice à déclencher chez la transcriptrice des réflexes de reconstruction et d'interprétation plutôt que d'analyse (Haidar, 2018).

Par ailleurs, ces résultats sont cohérents avec ceux d'études mentionnées dans l'introduction ayant utilisé l'analyses des moments spectraux, d'après lesquels le contraste entre les deux sibilantes émergerait entre 4 et 5 ans et mettrait un certain temps avant d'être acquis (Nissen & Fox, 2005 ; Grandon, 2016). Aussi, pour les deux groupes de bilingues, la substitution de la fricative alvéolaire /s/ par la post-alvéolaire [ʃ] n'est que marginalement observée et la consonne /s/ présente les taux de réalisation correcte les plus élevés. La substitution ne se fait donc pas dans les deux directions et la consonne /s/ est produite de manière prédominante, ce qui indique une acquisition plus précoce du /s/ pour les enfants exposés aux deux combinaisons linguistiques. Les résultats suggèrent une acquisition des fricatives plus rapide chez les bilingues français-arabe. Ces différents patrons développementaux dans les deux groupes pourraient être attribués à une potentielle influence inter-linguistique entre les deux systèmes phonologiques en contact. Plus précisément, l'exposition à l'arabe pourrait avoir un effet facilitateur pour l'acquisition des fricatives en français potentiellement dû à des propriétés quantitatives et/ou qualitatives de l'inventaire consonantique de l'arabe comportant davantage de fricatives, qui plus est réparties sur des lieux d'articulation plus diversifiés, ainsi que des consonnes emphatiques présentant un mode d'articulation particulier. Cette complexité articulatoire pourrait donc permettre aux bilingues français-arabe d'acquérir plus précocement un plus grand contrôle moteur et articulatoire en comparaison avec les bilingues français-italien, ce qui pourrait les avantager pour la production des fricatives en français.

Enfin, le développement lexical n'a significativement impacté que la production de la fricative post-alvéolaire /ʃ/ chez les bilingues français-italien, avec une augmentation parallèle de la précision de réalisation de la consonne et de la compétence lexicale en français et dans les deux langues. Toutefois, il est difficile de complètement dissocier l'impact du développement lexical de celui de l'âge chronologique ; il pourrait donc être intéressant de comparer des enfants d'âge chronologique différents ayant un niveau de développement lexical similaire. Par ailleurs, on pourrait présumer que l'absence d'effet du développement lexical sur la précision de réalisation du /s/ pour les bilingues français-italien et, globalement, sur la précision de réalisation des deux fricatives chez les bilingues français-arabe serait probablement dû à l'acquisition plus précoce de la fricative alvéolaire et à un niveau de développement consonantique plus avancé et, conséquemment, à des patrons de production plus stables chez les bilingues français-arabe.

Références

BENAMRANE, A. (2013). *Etude acoustique des fricatives de l'arabe standard (locuteurs algériens)*. Doctoral dissertation, Université de Strasbourg.
BIGI, B. (2015). SPPAS-multi-lingual approaches to the automatic annotation of speech. *The Phonetician-International Society of Phonetic Sciences*, (111-112), 54-69.

BOERSMA, P. & WEENINK, D. (2015). Praat, vers. 5.4. 01.

BRULARD, I., & CARR, P. (2003). French-English bilingual acquisition of phonology: One production system or two?. *International Journal of Bilingualism*, 7(2), 177-202.

CASELLI, M. C. & CASADIO, P. (1995). *Il primo vocabolario del bambino: guida all'uso del questionario MacArthur per la valutazione della comunicazione e del linguaggio nei primi anni di vita* (Vol. 5). FrancoAngeli.

CHALARD, M., BONIN, P., MEOT, A., BOYER, B. & FAYOL, M. (2003). Objective age-of-acquisition (AoA) norms for a set of 230 object names in French - relationships with psycholinguistic variables, the English data from Morrison et al. (1997), and naming latencies. *European Journal of Cognitive Psychology*, 15(2), 209-245.

de BOYSSON-BARDIES, B., & VIHMAN, M. M. (1991). Adaptation to language: Evidence from babbling and first words in four languages. *Language*, 67(2), 297-319.

DI CANIO, C. (2013). Time-Averaging for Fricatives. Praat script. http://www.acsu.buffalo.edu/~cdicanio/scripts/Time_averaging_for_fricatives.praat

DINNSEN, D. A. (1992). Variation in developing and fully developed phonetic inventories. *Phonological development: Models, research, implications*, 191-210.

FENSON, L., DALE, P. S., REZNICK, J. S., THAL, D., BATES, E., HARTUNG, J. P., PETHICK, S. & REILLY, J. S. (1993). *MacArthur Communicative Development Inventories: User's guide and technical manual*. San Diego: CA Singular Publishing Group.

GRANDON, B. (2016). *Développement typique et atypique de la production de parole : caractéristiques segmentales et intelligibilité de la parole d'enfants porteurs d'un implant cochléaire et d'enfants normo-entendants de 5 à 11 ans* (Doctoral dissertation).

HAIDAR, L. A. (2018). *De la linguistique à la didactique, regards croisés en phonétique. Oralité-Variabilité-Corpu*. Mémoire d'Habilitation à diriger des recherches.

KEHOE, M., & HAVY, M. (2019). Bilingual phonological acquisition: the influence of language-internal, language-external, and lexical factors. *Journal of child language*, 46(2), 292-333.

KERN, S., & GAYRAUD, F. (2010). *Inventaire Français du Développement Communicatif: 8/30 mois*. Les Editions de la Cigale.

LI, F., EDWARDS, J., & BECKMAN, M. E. (2009). Contrast and covert contrast: The phonetic development of voiceless sibilant fricatives in English and Japanese toddlers. *Journal of Phonetics*, 37(1), 111-124.

MACLEOD, A. A., SUTTON, A., TRUDEAU, N., & THORDADOTTIR, E. (2011). The acquisition of consonants in Québécois French: A cross-sectional study of pre-school aged children. *International Journal of Speech-Language Pathology*, 13(2), 93-109.

MENN, L., & VIHMAN, M. M. (2003). *Acquisition of Language: Phonology*. Oxford International Encyclopedia of Linguistics (2nd edition). Oxford: Oxford University Press.

NISSEN, S. L., & FOX, R. A. (2005). Acoustic and spectral characteristics of young children's fricative productions: A developmental perspective. *The Journal of the Acoustical Society of America*, 118(4), 2570-2578.

PARADIS, J., & GENESSE, F. (1996). Syntactic acquisition in bilingual children: Autonomous or interdependent? *Studies in Second Language Acquisition*, 18, 1-25.

ROGERS, D., & d'ARCANGELI, L. (2004). Italian. *Journal of the International Phonetic Association*, 34(1), 117-121.

ROSE, Y., MACWHINNEY, B., BYRNE, R., HEDLUND, G., MADDOCKS, K., O'BRIEN, P. & WAREHEM, T. (2006). Introducing Phon: A software solution for the study of phonological acquisition. In *Proceedings of the 30th Annual Boston University Conference on Language Development*, 489-500. Somerville.
# Apport des comptines pour la prononciation du /y/ français chez des enfants italophones : une étude perceptive pilote

Claire Pillot-Loiseau¹ Martina Grando²

(1) Laboratoire de Phonétique et Phonologie (LPP) UMR 7018, Université Paris 3
Sorbonne Nouvelle, CNRS, 19 rue des Bernardins, 75005 Paris, France

(2) New English Teaching School, Via Marconi, Res. Ripa 102, Milano 20080 Basiglio,
Italie

claire.pillot@sorbonne-nouvelle.fr, randomartina@gmail.com

## RÉSUMÉ

Dans l'apprentissage de /y/ français par des enfants italophones débutants de 6 ans, les comptines sont-elles plus efficaces qu'un apprentissage phonétique les utilisant sans leur rythme et leur mélodies propres ? Deux classes de première année élémentaire d'une école publique milanaise ont suivi douze séances d'apprentissage de la prononciation du Français Langue Etrangère, avec comptines originales pour le Groupe Expérimental (GE) mais juste parlées pour le Groupe Contrôle (GC). L'apprentissage de /y/, durant 4 séances, s'est déroulé avec des tâches de perception, productions corporelle et verbale. Après la troisième séance, 7 enfants du GE et 7 du GC ont été enregistrés sur une comptine, perceptivement évaluée par 4 auditeurs experts et 4 auditeurs étudiants, français natifs : plus d'occurrences sont perçues comme correctes pour le GE chez les auditeurs experts. Pour le GE, /y/ non correctement produit était principalement remplacé par un phonème également antérieur (/i/), contrairement au GC (/u/).

## ABSTRACT

**Contribution of nursery rhymes for the pronunciation of French /y/ in Italian-speaking children: a perceptive pilot study.**

In the learning of French /y/ by beginner Italian children aged 6, are nursery rhymes more effective than phonetic training using them without their own rhythm and melody? Two elementary first year classes at a public school in Milan attended twelve French as a Foreign Language's phonetics learning sessions, with original nursery rhymes for the Experimental Group (EG), and with just spoken nursery rhymes for the Control Group (CG). The learning of /y/, during four sessions, took place with tasks of perception, bodily and verbal productions. After the third session, 7 children from the EG and 7 from the CG were recorded on a nursery rhyme, perceptively assessed by 4 expert and 4 students, French native listeners: more occurrences are perceived as correct for the EG among the expert listeners. For the EG, incorrect /y/ was replaced by an equally anterior phoneme (/i/), unlike the CG (/u/).

**MOTS-CLÉS** : Français Langue Etrangère, comptines, prononciation de /y/, enfants italophones.

**KEYWORDS:** French as a Foreign Language, nursery rhymes, /y/ pronunciation, Italian children.

<figure><img src="image_226.png" /></figure>
# 1 Introduction et état de l'art

Si de nombreuses études portent sur le rôle de l'âge et des apprentissages explicites lors de l'acquisition d'une langue étrangère par des enfants (Watorek & Wauquier-Gravelines, 2016), peu de recherches ont expérimentalement objectivé l'impact d'enseignements spécifiques de leur prononciation du Français Langue Etrangère (FLE). En outre, il a déjà été démontré que les chansons et comptines améliorent l'apprentissage d'une langue : leur utilisation « pour jouer avec les formes sonores des mots » (Delasalle, 2005:109) est fortement recommandée. Les comptines permettent en effet une approche plurisensorielle (visuelle, auditive, kinesthétique en particulier) respectant la nature multiple de l'intelligence enfantine (Gardner, 2001; Vanthier, 2009) : approche ludique, discursive (car « les mots de la langue ne prennent sens qu'en contexte, dans le cadre de discours et de textes », Vanthier, 2009: 47), interculturelle et interdisciplinaire.

L'enfant « développe très tôt des capacités à repérer les phénomènes de rythme, d'accentuation et d'intonation [...] bien avant de comprendre le sens de chaque mot particulier » (Delasalle, 2005: 104), c'est pourquoi tenir compte des aspects suprasegmentaux dans l'apprentissage de la prononciation d'une langue chez l'enfant est fondamental. Musique et langage partagent des paramètres et fonctions communs dans leur composition (fréquence, intensité, durée; communication esthétique, structures profonde et de surface). Même si le langage seul possède une fonction communicative linguistique au sens strict du terme, ses nombreux points communs avec la musique expliquent qu'une pédagogie fondée sur l'apport de comptines est efficace pour améliorer la prononciation d'une langue étrangère (Calvet, 1980; Cornaz & Caussade, 2014).

A l'origine « formulette enfantine parlée ou chantée servant à départager ou à désigner celui à qui sera attribué un rôle particulier dans un jeu » (Vanthier, 2009: 82), la comptine est aujourd'hui le genre littéraire le plus riche en rythme, capable d'associer rythme et parole (parlée ou chantée) avec régularité et simplicité. Étant « très facilement perçue, mémorisée et reproduite », elle suscite une « immense fascination [...] sur les enfants dans le domaine de l'apprentissage de la langue maternelle, dans celui d'une langue étrangère ou encore dans celui de la rééducation des troubles de la parole. » (Roberge, 2003: 118). « Apprendre des comptines en langue étrangère ouvre à une autre culture où le découpage du réel à travers les mots est à la fois nouveau et différent » (Vanthier, 2009: 82) ; les comptines permettent d'« affiner la perception auditive » (Vanthier, 2009: 82) par des rythmes inconnus et étrangers qui suscitent l'intérêt des enfants.

L'italien standard ne partage comme voyelles communes avec le français que les voyelles antérieures étirées et les voyelles postérieures (Ferrero, 1972). Les oppositions /e/-/e/ et /o/-/ɔ/, très variables au niveau régional, persistent en italien standard seulement dans les syllabes accentuées (Rogers & d'Arcangeli, 2004). Il est donc prévisible qu'un italophone aie des difficultés à prononcer les voyelles nasales et antérieures arrondies /y, ø, œ/, sauf s'il parle le piémontais qui possède cette série vocalique. Notre choix s'est donc porté sur l'acquisition de /y/ par des enfants italophones à Milan : il est attendu des écarts de prononciation de type [u] pour cette voyelle.

Cette étude a donc pour but de savoir si l'utilisation auprès d'enfants italophones de comptines chantées en classe de langue pour des finalités phonétiques, est perçue comme efficace pour l'acquisition du /y/ français, par des auditeurs francophones natifs experts et étudiants en phonétique et en didactique de la prononciation du FLE. Il est attendu que des enfants ayant travaillé les comptines chantées et rythmées originales, prononcent mieux le /y/ français que des enfants qui ont travaillé avec la version parlée (sans rythme et sans mélodie) de ces comptines.
# 2 Méthode

## 2.1 Population et travail effectué auprès des enfants

L'expérimentation s'est effectuée dans une école publique de Milan, actuellement considérée comme le pôle de standardisation du pays au niveau linguistique, où la langue nationale s'est diffusée et affirmée de façon plus définie (Berruto, 1987). Deux classes de 23 élèves débutants de FLE (âge moyen : 6 ans, autant de garçons que de filles) de l'équivalent du cours préparatoire français, ont suivi 12 séances conduites par la deuxième auteure durant six semaines (2 x 1h hebdomadaires sur deux jours différents). Quatre séances d'1h chacune constituaient une séquence didactique, visant notamment un travail ciblé sur un phonème du FLE à l'aide de l'apprentissage de deux comptines par phonème étudié (séances 1 à 4 : /y/ - /u/ ; séances 5 à 8 : /z/ - /ʃ/ , non développé ici; séances 9 à 12 : /k/ , non développé ici). Une classe était le groupe expérimental (GE) auquel les comptines ont été perçues et produites dans leur version originelle chantée, l'autre le groupe contrôle (GC) qui a travaillé sur les mêmes comptines dépourvues de rythme et de mélodie.

Les séances 1 à 4 (/y/-/u/) étaient composées de : 1. jeux d'échauffement (corps, articulateurs, onomatopées avec les sons-cible, 10 à 15mn), 2. l'appropriation et la mémorisation de 2 comptines (découverte de Une poule sur un mur séance 1 et de Lulu la tortue séance 3 ; explication à l'aide d'images et de gestes<fnref n="1" /> durant 5mn, réécoute régulière d'un support sonore enregistré chanté pour le GE (dans Samson, 2010) et parlé sans rythme par la première auteure pour le GC ; exécution collective puis tour à tour, phrase par phrase, 10mn) ; 3. la découverte du phonème-cible (association geste-phonème ; caractéristiques perceptives de /y/ et /u/ puis des mots les contenant dans les 2 comptines, via cris, bruits et couleurs, 10mn) ; 4. l'appropriation du phonème (jeux phonologiques de perception – discrimination et identification à l'aide de cartes couleurs, images ou gestes – et de production – répétition, production de mots des comptines avec le phonème-cible en le transmettant à un autre élève jusqu'à l'enseignant, dénomination, 15mn) ; 5. la consolidation et l'évaluation (production des 2 comptines collectivement et chacun son tour, 10mn).

Après dépouillement d'un questionnaire proposé aux parents et enseignants pour cerner au mieux le profil linguistique de chaque enfant, 14 enfants (GE : 4 filles et 3 garçons italiens de 6 ans 7 en moyenne, écart-type : 3,5 mois ; GC : même nombre de garçons et de filles de 6 ans 5 en moyenne, écart-type 3,6 mois) ont été choisis, sans troubles du langage et ayant séjourné en France au plus 3 semaines et ne suivant par ailleurs aucun cours de français mais d'anglais depuis 4 mois. Une mère du GE et un père du GC sont bilingues français-italien, et ils parlent régulièrement en français à leurs enfants (90% pour l'enfant du GE et 100% pour l'enfant du GC). Nous n'avons malheureusement pas pu obtenir un enregistrement de leurs productions de /y/. La mère de l'enfant du GE est bilingue tardive, tandis que le père de l'enfant du GC est un bilingue précoce. Tous les enfants suivent des cours de musique hebdomadaires à l'école en chantant différents genres musicaux. En contexte scolaire, les enfants n'apprennent pas à jouer des instruments ; hors contexte scolaire, un seul locuteur du GC suit des cours de piano depuis trois ans. Tous avaient une attitude respectueuse envers l'enseignant et une disponibilité à apprendre en classe.

<footnote n="1">¹ La partition et la nature des gestes inventés par la deuxième auteure pour les mots contenant /y/ de la comptine *Une poule sur un mur* peuvent être visualisées au lien suivant : https://drive.google.com/file/d/1CFM8TxH9wp-ujMWAlqnJWGOCJaMC5_MY/view?usp=sharing</footnote>
## 2.2 Corpus et modalités d'enregistrement

Une poule sur un mur et Lulu la tortue (Martin & Trésallet, 1998 : fiche 6) ont fait l'objet d'un apprentissage auprès des enfants, débuté respectivement aux première et troisième séance. Seule la première phrase de la comptine Une poule sur un mur (Samson, 2010) concerne la présente étude perceptive. Cette célèbre comptine française est courte dans ses groupes rythmiques mais aussi dans ses mots dont la plupart son monosyllabiques, et de rythme lent et régulier. Sa mélodie descend à la fin de chaque groupe rythmique dont les deux premiers se terminent sur une valeur longue correspondant à la production de /y/ (mur et dur) ; /y/ se trouve également en initiale de groupe (une, sur, du), marqué par une note plus élevée que les autres¹. /u/ apparaît également une fois (poule). En outre, l'occurrence de /u/ et les 5 occurrences de /y/ se trouvent dans la plupart des cas dans des contextes favorisant son émission (Callamand, 1981), notamment devant /n/ pour Une, après /s/ pour sur, après /d/ pour dur concernant le phonème /y/. Enfin, du point de vue lexical, la présence d'onomatopées ressemblant au cri de l'animal mentionné et l'introduction d'un nom d'animal (« poule ») rentrent dans une sphère sémantique proche de celle des enfants.

Pour n'engendrer aucune frustration, tous les élèves ont été enregistrés dans un lieu calme de leur école avec un enregistreur Fostex et un microphone externe Beyerdynamic M201TG à 2 cm de la bouche, après la troisième séance. Trois comptines les plus faciles parmi les 6 apprises en 12 séances, ont été enregistrées, répétées deux fois. Seul le test de perception issu de l'enregistrement de la comptine comportant les occurrences de /y/ (Une poule sur un mur, séance 3) est ici présenté.

## 2.3 Analyse perceptive

Les données obtenues des 14 enfants ont été découpées puis segmentées par groupe rythmique en notations phonétique et orthographique sous Praat (Boersma et Weenink, 2018). Le premier groupe rythmique de Une poule sur un mur a été sélectionné pour le test perceptif et les stimuli obtenus normalisés en intensité puis regroupés selon l'ordre suivant : un premier stimulus d'exemple, puis deux stimuli d'entraînement, puis 28 stimuli (2 par enfant des deux groupes, 14 stimuli extraits des productions du GE puis les 14 autres issus de celles du GC). Chaque stimulus a été répété deux fois avec une pause inter stimuli constante (respectivement 2s entre deux répétitions et 9s pour laisser aux auditeurs le temps de répondre aux différentes questions). Les occurrences avec les phonèmes cible ont été numérotées (exemple : *u(1)ne poule su(2)r un mu(3)r).

Après chaque stimulus, l'auditeur devait coter chacune des trois occurrences par stimuli (soit 84 occurrences en tout par auditeur : 28 stimuli x 3) en choisissant entre 0 (« confusion avec un autre phonème » comme indiqué aux auditeurs sur le formulaire de recueil des réponses), 1 (absence de confusion phonologique mais « faute de réalisation phonétique » ; par exemple : /y/ non réalisé comme un autre phonème de type /u/ mais pas assez arrondi ou trop ouvert) ou 2 (« réalisation correcte »). Ce type de cotation de 0 à 2 est inspiré de Di Cristo (1975). S'il notait 0 ou 1, l'auditeur devait préciser, pour chaque occurrence, quel phonème (score 0) ou vocoïde (score 1) remplaçant le phonème cible il avait perçu. Au moyen du logiciel VassarStats, un test de Mann-Whitney a permis de comparer l'ensemble des scores par auditeur entre le GE et le GC, et un test de Wilcoxon a comparé le nombre de réponses avec les scores 0, 1 et 2 entre les deux groupes d'auditeurs.

4 auditeurs francophones experts (3 femmes dont 2 musiciennes, 1 homme musicien, professeurs de FLE et linguistique, âge moyen 48 ans, écart-type ET 8,6) et 4 auditeurs étudiants en M2 de linguistique dont 2 musiciennes (3 femmes, 1 homme, français natifs, âge moyen 24 ans, ET : 0,9) ont passé ces tests en ligne avec un casque, sauf pour un auditeur étudiant et un auditeur expert.
# 3 Résultats

## 3.1 Réponses de l'ensemble des auditeurs

Le test de perception sur *Une poule sur un mur* (phonème /y/) a été jugé difficile à faire par nos auditeurs, notamment pour faire abstraction des autres écarts de prononciation que ceux concernant /y/. 672 réponses (=28 stimuli × 3 occurrences × 8 auditeurs), soit 336 par groupe, ont été obtenues.

La figure 1 (gauche) montre le nombre de réponses de tous les auditeurs concernant /y/, en fonction du score attribué aux trois occurrences confondues, et elle montre au milieu et à droite le détail des scores de perception en fonction de l'occurrence : si le GE présente un nombre légèrement plus important de réalisations perçues comme correctes (score 2) que le GC, le nombre de confusions avec un autre phonème perçu (score 0) est notablement inférieur pour le GE, parce-que ce groupe comporte plus d'écarts uniquement phonétiques (score 1). La figure 1 (au milieu et à droite) montre le nombre de réponses de tous les auditeurs en fonction de l'occurrence et du groupes d'enfants : *sur* (contexte favorisant avant /y/) est plus favorisé que *une* (en début de groupe rythmique) et *mur* (contexte défavorisant) pour les GE et GC, le GE révélant moins de réponses avec un score 0 que 1.

<figure><img src="image_227.png" /><figcaption>FIGURE 1: gauche : nombre de réponses de tous les auditeurs pour /y/ en fonction du score attribué aux trois occurrences confondues. Droite : nombre de réponses en fonction de l'occurrence. Score 0 : confusion avec un autre phonème, Score 1 : faute de réalisation phonétique, Score 2 : correct.</figcaption></figure>

## 3.2 Différences entre les réponses des auditeurs experts et étudiants

La figure 2 montre les nombres de réponses concernant /y/ (A et B) ainsi que les moyennes et écart-types des scores auditeur par auditeur (C) pour les auditeurs étudiants et experts en fonction du groupe (GE et GC) et de l'occurrence (« une », « sur », « mur », figures D1 à D4) : même si le score 2 est majoritaire pour les deux groupes et pour les deux catégories d'auditeurs, on observe plus de réponses avec le score 0 pour le GC chez les experts, et plus de score 2 (correct) pour le GE chez ces mêmes experts, par rapport aux étudiants : un écart d'ordre phonologique est donc plus perçu chez les professeurs que chez les étudiants qui détectent plus d'altérations phonétiques. En outre, il existe moins de réponses avec le score 1 par les experts pour les GC et GE ($W_6$=-21, p<0,05). Les moyennes et écart-types des scores auditeur par auditeur (Figure 2C) montrent des scores supérieurs pour le GE chez tous les auditeurs experts (dont les auditeurs A1 et A2, musiciens amateurs de bon niveau) et deux auditeurs étudiants (contrairement à l'auditeur étudiant A2, musicien et choriste amateur, et A3, non musicien). Excepté chez l'auditeur 2 expert ($U_{(42, 42)}$=631,5 ; p=0,012), ces tendances ne sont cependant pas significatives. Il est à noter que les productions de /y/ des deux enfants dont les parents sont bilingues français-italien sont perçus par tous les auditeurs avec des scores moyens globaux de 1,7 contre 1,3 pour l'ensemble des autres enfants.
<figure><img src="image_228.png" /><figcaption>FIGURE 2 : Phonème /y/ : nombre de réponses en fonction du groupe (A, B) et de l'occurrence (D), moyennes et écart-types des scores auditeur par auditeur (C) pour les auditeurs étudiants (A, C, D2, D4) et experts (B, C, D1, D3).</figcaption></figure>

La figure 2D détaille le nombre de réponses des auditeurs experts et étudiants en fonction du groupe et de l'occurrence : *sur* (contexte favorisant avant /y/) comporte plus de perception de la voyelle comme conforme au phonème attendu /y/ (plus de réponses avec le score 2 et moins avec le score 0), surtout pour le GE et chez les auditeurs experts. Par ailleurs, les scores 1 (absence de confusion phonologique mais faute de réalisation phonétique) sont moins utilisés dans les réponses des auditeurs experts pour ces trois types d'occurrences, au profit des scores 0 (phonème confondu avec un autre), surtout pour le GC.

## 3.3 Accords intra et interlocuteurs

<figure><img src="image_229.png" /><figcaption>FIGURE 3 : pourcentage d'accord absolu inter-auditeurs (gauche) et intra-auditeurs (droite)</figcaption></figure>

La figure 3 (gauche) représente le pourcentage d'accord (ou concordance) absolu (calculé d'après Kreiman et al., 1993) entre les quatre auditeurs de chaque groupe, pour les GE et GC: ce pourcentage est plus élevé pour les experts d'une part, et pour le GE d'autre part. Concernant l'accord intra-auditeur (droite), les résultats sont similaires entre les experts et les étudiants, avec un accord intra-auditeur supérieur pour le GE.
## 3.4 Nature des erreurs perçues

La figure 4 montre le nombre de réponses de tous les auditeurs (haut) et des experts (bas) sur la nature du remplacement de /y/ en fonction du score (0 ou 1) et du groupe (GE et GC). Quand la réalisation de /y/ est perçue comme incorrecte (score 0), son phonème de remplacement perçu est majoritairement /i/ chez les enfants du GE, et /u/ pour le GC, surtout pour l'occurrence *une* et pour les auditeurs experts. Quand /y/ est réalisé [y] mais avec une mauvaise articulation de celui-ci (score 1), la même tendance est observée pour *une* que pour les réalisations phonologiquement incorrectes, contrairement aux deux autres occurrences, ce qui n'est pas le cas des auditeurs experts. Les productions du GE du phonème attendu /y/ sont donc davantage perçues par tous les auditeurs francophones natifs comme une voyelle (/i/) dont l'antériorité est similaire à celle de ce phonème cible, contrairement à la voyelle majoritairement perçue comme erronée du GC (/u/, postérieure). L'arrondissement propre à /y/ n'est cependant pas perçu pour le GE. Cette tendance est plus importante pour les auditeurs experts, surtout pour l'occurrence *mur* (figure 4 en bas). Les productions de /y/ perçues comme erronées, avec une perception d'autres voyelles que [i] ou [u], peuvent concerner [e, ɛ, ø, jø, œ, o], en particulier pour l'occurrence *mur* pour les scores 0 et 1 attribués par tous les auditeurs aux enfants du GE.

<figure><img src="image_230.png" /><figcaption>FIGURE 4 : Nature du remplacement de /y/ à chaque occurrence de *une poule sur un mur*. GC : groupe contrôle ; GE : groupe expérimental. Score 0 : incorrect phonologiquement ; score 1 : faute de réalisation phonétique. En haut : réponses tous auditeurs confondus. En bas : auditeurs experts.</figcaption></figure>

## 4 Discussion et conclusion

La différence dans la perception des scores corrects de réalisation de /y/ (score 2) entre les GE et GC ne paraît pas notable tous auditeurs confondus : plusieurs auditeurs ont exprimé leur difficulté à effectuer le test de perception. En outre, tous les enfants pratiquent la musique et ont reçu un apprentissage des comptines avec des gestes, efficaces pour de nouvelles acquisitions (Tellier, 2010). Ces résultats seraient probablement plus notables si plus de quatre séances avaient pu être consacrées au travail des /y/ et /u/ français. Toutefois, la perception de la voyelle comme conforme au phonème attendu /y/, est plus importante pour le GE chez les auditeurs experts, surtout dans l'occurrence *sur*, bien que ce mot grammatical ne soit pas situé en fin de groupe rythmique. /y/ de *sur* est produit en contexte favorisant avant /y/, et chanté (pour le GE) comme *Une*, sur une note plus aigue que *mur*¹ et surtout beaucoup plus aigue que *-le de poule* qui le précède¹. *Sur* est aussi
associé avec la montée des bras et mains vers le haut¹ (GE et GC). Les accords inter-auditeurs sont les plus importants chez les experts et pour le GE. Les étudiants détectent globalement plus d'altérations phonétiques et moins d'erreurs phonologiques, peut-être en raison d'une différenciation entre phonétique et phonologie acquise théoriquement mais pas encore exercée perceptivement. Nous n'expliquons pas pourquoi ils jugent plus sévèrement la production de /y/ dans *Une* pour les enfants du GE. Dans les scores perçus comme incorrects (score 1 et surtout score 0), le GE est perçu, surtout par les experts, comme remplaçant le /y/ attendu par une voyelle de même acuité mais étirée, alors que les productions du GC sont perçues comme remplaçant ce phonème par une voyelle grave et arrondie, probablement à cause de l'effet du travail chanté auprès du GE. Notons que les productions des deux enfants bilingues français-italien sont supérieures à celles des autres enfants.

En effet, l'aspect affectif et ludique des comptines chantées, leur structure syntaxique simple, répétitive donc rassurante, facilement compréhensible et mémorisable, et leur contenu positivement émotionnel (Schön et al., 2008), expliquent leur efficacité pour l'amélioration de la prononciation d'une langue étrangère, si elles respectent l'accentuation de la langue et ne la contrecarrent pas musicalement, et si l'accompagnement musical éventuel ne masque pas la correcte perception de la voix du chanteur. Dans le domaine phonétique, « la langue chantée fonctionne comme une loupe des phénomènes articulatoires de tel ou tel autre système phonologique. » (Zedda, 2006: 258). Chez les enfants, la rythmisation du langage par la comptine est un jeu, une motivation au travail et elle peut être associée aux exercices « musico-moteurs » visant « à perfectionner chez les élèves la coordination audio-motrice », celle entre le geste et le son produits (Pamula, 2008: 137-138). Si les comptines sont courtes tout en apportant un peu de nouveauté aux enfants (Zedda, 2006), le mouvement au rythme aide les jeunes apprenants à se détendre, à participer plus activement et à « développer une expression créatrice et un travail en groupe. » (Pamula, 2008: 138).

La catégorisation phonémique est perçue par les experts comme meilleure pour le GE ayant bénéficié d'une expérience musicale ciblée sur /y/. Patel (2011, modèle OPERA), affirme que la formation musicale améliore le codage neuronal de la parole si cinq fonctions sont remplies O: Overlap (chevauchement anatomique des réseaux cérébraux traitant une caractéristique acoustique utilisée à la fois en musique et parole); P: Précision (la musique impose des exigences plus élevées sur ces réseaux partagés que la parole, en termes de précision de traitement); E: Émotion (les activités musicales suscitent une forte émotion positive); R: Répétition (ces activités musicales sont souvent répétées); A: Attention (la musique est associée à une attention ciblée). Il semble que la pratique des comptines dont a bénéficié le GE réunisse les conditions O, E (chanter suscite plus de plaisir que parler, même en rythme), R et A (*Une et sur*, attirent l'attention par leur note plus aigue¹)

Cette étude n'est qu'une amorce des recherches sur ce sujet, qui pourront être poursuivies par : 1) une analyse plus approfondie des résultats perceptifs en fonction des profils de chaque enfant ; 2) une étude sur de plus grands échantillons avec ajout d'analyses statistiques, 3) une analyse acoustique de ces productions et de celles de francophones natifs du même âge (F2 et F3 distinguant /i/, /y/ et /u/) ; 4) l'analyse approfondie de nos données concernant les effets de l'utilisation d'autres comptines sur les autres phonèmes travaillés, /ʒ/ et /k/ ; 5) l'analyse à plus long terme de ce travail spécifique sur ces comptines, plusieurs mois après la fin de cet entraînement spécifique.

## Remerciements

Ce travail a bénéficié / bénéficié partiellement d'une aide de l'Etat gérée par l'Agence Nationale de la Recherche au titre du programme "Investissements d'Avenir" portant la référence ANR-10-LABX-0083. Il contribue à l'IdEx Université de Paris - ANR-18-IDEX-0001.
Références

BERRUTO, G. (1987). *Sociolinguistica dell'italiano contemporaneo*, Roma, Carocci editore.

BOERSMA, P. & WEENINK, D. (2018). Praat: doing phonetics by computer, Version 6.0.37, retrieved 14 March 2018 from http://www.praat.org/

CALLAMAND, M. (1981). *Méthodologie de l'enseignement de la prononciation : organisation de la matière phonique du français et correction phonétique*, Paris, CLE International.

CALVET, L.-J. (1980). *La chanson dans la classe de français langue étrangère*, Paris, CLE International.

CORNAZ, S. & CAUSSADE, D. (2014). Musique, voix chantée et apprentissage: une revue de littérature et quelques propositions d'exploitation en didactique de la phonétique des langues, *Revue Electronique du Centre de Recherche sur les Identités Nationales et l'Interculturalité (e-CRINI)*, 6, 1-34. HAL: hal-01242980

DELASALLE, D. (2005). Repères à l'oral et passage phonie/graphie : comment aider l'élève?, In Delasalle, D. (dir.), *L'apprentissage des langues à l'école : diversité des pratiques*, tome I, Paris, L'Harmattan, p. 104-113.

DI CRISTO, A. (1975). Présentation d'un test de niveau destiné a évaluer la prononciation des anglophones. *Revue de Phonétique Appliquée*, 33-34, pp. 9-35. ERIC NUMBER: EJ124364

FERRERO, F. (1972). Caratteristiche acustiche dei fonemi vocalici italiani, *Parole e metodi*, 3, 9-31.

GARDNER, H. (2001). *Les intelligences multiples*, Paris, Retz.

KREIMAN, J., GERRATT, B.R., KEMPSTER, G.B., ERMAN, A., & BERKE, G.S. (1993). Perceptual evaluation of voice quality: Review, tutorial, and a framework for future research. *Journal of Speech, Language, and Hearing Research*, 36(1), 21-40. DOI: 10.1044/jshr.3601.21

MARTIN, C., TRÉSALLET, E. (1998). *30 phonèmes en 30 chansons*, Paris, Retz.

PAMULA, M. (2008). Sensibiliser les enfants à une langue étrangère par le biais d'une activité musicale, *Synergies Espagne*, 1, pp. 133-140.

PATEL, A.D. (2011). Why would musical training benefit the neural encoding of speech? The OPERA hypothesis. *Frontiers in Psychology*, 2, 142, 1-14. DOI: 10.3389/fpsyg.2011.00142

ROBERGE, C. (2003). Chapitre 14. Les enfants : « Le Français dans l'espace » (Réflexions à propos d'une expérience d'enseignement précoce), In RENARD, R. (éd.) *Apprentissage d'une langue étrangère / seconde. Vol. 3. La méthodologie*, Bruxelles, De Boeck Université, p. 311-321.

ROGERS, D. & D'ARCANGELI, L. (2004). Italian. *Journal of the International Phonetic Association*, 34(1), 117-121. DOI: 10.1017/S0025100304001628

SAMSON, C. (2010). *Alex et Zoé et compagnie 1 : chansons et comptines*, Paris, CLE international.

SCHÖN, D., BOYER, M., MORENO, S., BESSON, M., PERETZ, I., KOLINSKY, R. (2008). Songs as an aid for language acquisition, *Cognition*, pp. 975-983. DOI: 10.1016/j.cognition.2007.03.005

TELLIER, M. (2010). Faire un geste pour l'apprentissage: le geste pédagogique dans l'enseignement précoce. Impact sur le développement de la langue maternelle. In C. CORBLIN, *L'enseignement des langues vivantes étrangères à l'école*, L'Harmattan, pp.31-54. HAL: hal-00541985

VANTHIER, H. (2009). *L'enseignement aux enfants en classe de langue*, Paris, CLE International.

WATOREK, M. & WAUQUIER-GRAVELINES, S. (2016). Diversité d'approches et de méthodes en acquisition des langues secondes, *Revue française de linguistique appliquée*, 2016/2, XXI, 5-17. DOI: 10.3917/rfla.212.0005

ZEDDA, P. (2006). La langue chantée : un outil efficace pour l'apprentissage et la correction phonétique, *Cahiers de l'Acedle*, 2, p. 257-282.
# Évaluation de systèmes apprenant tout au long de la vie

Yevhenii Prokopalo¹ Sylvain Meignier¹

Olivier Galibert ² Loïc Barrault ³ Anthony Larcher¹

(1) LIUM, 72 Le Mans, France, (2) LNE, 78 Trappes, France, (3) University of Sheffield, UK

yevheniiprokopalo@univ-lemans.fr

## RÉSUMÉ

Aujourd'hui les systèmes intelligents obtiennent d'excellentes performances dans de nombreux domaines lorsqu'ils sont entraînés par des experts en apprentissage automatique. Lorsque ces systèmes sont mis en production, leurs performances se dégradent au cours du temps du fait de l'évolution de leur environnement réel. Une adaptation de leur modèle par des experts en apprentissage automatique est possible mais très coûteuse alors que les sociétés utilisant ces systèmes disposent d'experts du domaine qui pourraient accompagner ces systèmes dans un apprentissage *tout au long de la vie*. Dans cet article nous proposons un cadre d'évaluation générique pour des systèmes apprenant tout au long de la vie (SATLV). Nous proposons d'évaluer l'apprentissage assisté par l'humain (actif ou interactif) et l'apprentissage au cours du temps.

## ABSTRACT

### Evaluation of lifelong learning systems

Current intelligent systems need the expensive support of machine learning experts to sustain their performance level when used on a daily basis. To reduce this cost, i.e. remaining free from any machine learning expert, it is reasonable to implement lifelong (or continuous) learning intelligent systems that will continuously adapt their model when facing changing execution conditions. In this work, the systems are allowed to refer to human domain experts who can provide the system with relevant knowledge about the task. Nowadays, the fast growth of lifelong learning systems development rises the question of their evaluation. In this article we propose a generic evaluation methodology for the specific case of lifelong learning systems. Two steps will be considered. First, the evaluation of human-assisted learning (including active and/or interactive learning) outside the context of lifelong learning. Second, the system evaluation across time, with propositions of how a lifelong learning intelligent system should be evaluated when including human assisted learning or not.

**MOTS-CLÉS** : Apprentissage automatique, évaluation, apprentissage tout au long de la vie.

**KEYWORDS**: Machine learning, Lifelong learning, Evaluation.

## 1 Introduction

Les systèmes intelligents utilisent une représentation du monde, un modèle, dont l'apprentissage est réalisé en laboratoire par des experts en apprentissage automatique (EAA) (Bishop, 2006). Le rôle de ces experts est triple : (1) ils sélectionnent et annotent les données d'apprentissage ; (2) ils déterminent les méta-paramètres inhérents à la structure du système en utilisant des données de développement ;
(3) ils évaluent et comparent les systèmes afin de déterminer lequel mettre en production sur un jeu de données de test. Dans cet article, nous appellerons "données initiales" l'ensemble de ces trois jeux de données. Une fois en production, ces systèmes sont confrontés aux données réelles. Le cycle de vie d'un tel système est illustré sur la figure 1-A (Chen & Liu, 2016). Si il est raisonnable de considérer que les données d'entrée du système lors de sa mise en production sont proches des données initiales, il arrive la plupart du temps qu'elles s'en éloignent avec le temps. Cet effet est bien connu et entraîne de sévère dégradations de performances (Quionero-Candela et al., 2009) qui ne peuvent être résolues que grâce à l'intervention d'un expert qui entraînera un nouveau modèle. Afin d'éviter le recours couteux à cet expert, la communauté scientifique se mobilise pour développer des systèmes qui apprennent seuls au cours du temps, sans l'aide d'un expert en apprentissage automatique mais en adaptant continuellement leur modèle à l'aide des données disponibles et la possible intervention d'un expert humain du domaine. Ces systèmes sont appelés des systèmes apprenant tout au long de la vie (SATLV). Les SATLV diffèrent des systèmes à apprentissage statique car ils disposent de modules d'adaptation qui doivent permettre de maintenir leurs performances au cours du temps en apprenant des nouvelles données d'entrée. Le cycle de vie d'un système SATLV est décrit par la figure 1-B.

<figure><img src="image_231.png" /><figcaption>FIGURE 1: Comparaison des cycles de vie d'un système à apprentissage statique et d'un système apprenant tout au long de la vie.</figcaption></figure>

Les SATLV peuvent adapter leur modèle selon deux modes : en-ligne et hors-ligne. Dans ce travail, nous définirons l'adaptation en-ligne comme l'action d'un système qui met à jour ses connaissances (le modèle) en apprenant des données d'entrée qu'il doit traiter. En d'autres termes, il est possible pour le système d'utiliser toutes les données d'entrée qui lui sont fournies lors de son exploitation. Dans ce cas, le SATLV reçoit les mêmes données que n'importe quel système à apprentissage statique.

L'adaptation hors-ligne permet à un SATLV d'utiliser l'ensemble des données qui lui sont accessibles pour améliorer son modèle. Ces données incluent entre autre les données initiales, que le système peut décider de réutiliser, des données additionnelles qui peuvent être fournies par l'expert humain du domaine, des données collectées automatiquement par le SATLV et même des données réelles que le SATLV a dû traiter par le passé.

Lors d'une adaptation hors-ligne, le SATLV n'a pas à générer d'hypothèse (de sortie) et peut bénéficier de ressources de calcul importantes. Dans la suite de cet article, nous supposerons que les données d'adaptation en-ligne sont fournies sans aucune annotation tandis que les données d'adaptation hors-ligne peuvent inclurent des données annotées et des données non-annotées.

Les processus d'adaptation en-ligne et hors-ligne peuvent utiliser des méthodes d'adaptation non-supervisées ou assistées par l'humain. L'apprentissage assisté par l'humain inclue l'apprentissage actif (AA; pour lequel le système prend l'initiative d'engager un échange avec l'humain) et de l'apprentissage interactif (AI; dans lequel l'humain est à l'initiative de cet échange).

L'apprentissage non-supervisé permet au système d'adapter son modèle en exploitant les données
d'entrée sans annotation. L'AA autorise le système à demander à l'humain de corriger une partie de l'hypothèse qu'il a générée et l'AI permet à l'humain de renvoyer au système des corrections de son hypothèse courante afin que le système intègre ces corrections et génère une nouvelle hypothèse.

Les SATLV, comme les systèmes à apprentissage statique doivent être évalués avant leur mise en production. Cette évaluation prend souvent la forme d'une comparaison entre systèmes respectant un protocole strict et contrôlé. Notons que le présent article ne traite que de l'évaluation des systèmes automatiques et non de leur développement.

L'évaluation des systèmes à apprentissage statique suit une méthodologie bien établie et requiert un jeu de données d'évaluation, une métrique objective et un protocole d'évaluation. Pour de très nombreuses tâches, ces éléments ne sont pas disponibles pour l'évaluation de systèmes SATLV et la dérivation des modalités d'évaluation des systèmes statiques pour permettre l'évaluation de SATLV effectuant les mêmes tâches n'est pas simple. L'évaluation des SATLV nécessite de pouvoir évaluer les performances du système au cours du temps ainsi que les performances des modules d'AA et d'AI individuellement. Cette évaluation doit également prendre en compte la chronologie des données. En effet, si les systèmes automatiques traitent la plupart du temps les données actuelles, il est possible que pour certaines tâches spécifiques, ce système ait à traiter des données issues du passé. Les performances de ce système sur des données actuelles ou des données du passé peuvent avoir une incidence différente pour l'utilisateur. Nous introduisons dans la section 3.1 une politique-utilisateur que la métrique d'évaluation doit prendre en compte pour évaluer la capacité du SATLV à s'adapter selon la politique dictée par l'utilisateur.

Le travaux existant pour l'évaluation de tels systèmes font souvent état d'un manque de protocoles et de données nécessaires et proposent de simuler la chronologie ou l'évolution des données en permutant les données de corpus existant (Kemker et al., 2018; Lomonaco & Maltoni, 2017). Il apparaît également que les performances de tels systèmes sont évaluées à plusieurs instant dans le temps ou sur des données présentant de nouveaux événement mais qu'aucune évaluation de leur comportement temporel n'est rapportée (Parisi et al., 2019). Dans cet article<fnref n="1" />, nous proposons des métriques et protocoles pour l'évaluation de l'apprentissage assisté par l'humain pour les cas d'apprentissage hors-ligne et en-ligne (sections 2.1 et 2.2) (Prokopalo et al., 2020). Nous proposons également une métrique pour évaluer la capacité des SATLV à adapter leur modèle pour respecter la politique fixée par l'utilisateur au cours du temps. Une métrique d'évaluation de l'apprentissage assisté par l'humain est introduite dans la section 2. Conscients que les métriques d'évaluation et les protocoles sont toujours limités et ne permettent pas d'évaluer tous les aspects de systèmes complexes, nous discutons des limitations de nos propositions dans la section 4.

L'ensemble des propositions de cet article considèrent que les systèmes à apprentissage statiques sont évalués par des métriques similaires à des taux d'erreurs (le plus faible le meilleur) mais il est important de noter que les solutions proposées peuvent être appliquées à toute métrique scalaire sans perdre de leurs généralités.

## 2 Évaluation de l'apprentissage assisté par l'humain

Pour supprimer la nécessité de faire intervenir un expert en apprentissage automatique, il est raisonnable de faire appel à un expert humain du domaine (EHD). Dans cette section, nous ne considérons

<footnote n="1">1. ce travail a fait l'objet d'une publication à LREC 2020</footnote>
pas l'évaluation au cours du temps mais seulement l'apprentissage assisté par l'humain. L'interaction entre l'EHD et le SATLV peut avoir lieu hors-ligne ou en-ligne.

Hors-ligne, l'EHD interagit avec le SATLV sur les données disponibles sans considérer de contrainte de temps ou de calcul. Dans ce contexte, les SATLV sont libres d'apprendre de n'importe quelles données non-annotées et ont l'opportunité de poser à l'EHD un nombre limité de questions à propos de ces données. Durant cet apprentissage actif, le système doit poser les questions qui maximisent la généralisation des réponses apportées par l'utilisateur. La section 2.1 décrit une façon d'évaluer l'apprentissage actif.

En-ligne, l'EHD est partie prenante de la chaîne de production, ses interactions avec le SATLV ont lieu entre l'arrivée des données à traiter et l'envoie de l'hypothèse finale à l'utilisateur. Dans ce travail, nous restreignons le cadre d'interaction de l'EHD aux seules données à traiter (sans considérer que l'EHD peut apporter une information sur des données additionnelles). Étant donné un ensemble *X* de données à traiter, le SATLV peut poser des questions à l'EHD. Il est également possible pour l'EHD de surveiller le traitement automatique et de fournir des informations au système au cours du processus de traitement.

Afin d'évaluer les processus d'adaptation hors-ligne et en-ligne, l'EHD doit être simulé par un système qui assure la reproductibilité des tests.

## 2.1 Apprentissage hors ligne assisté par l'humain

L'efficacité de l'apprentissage assisté par l'humain réside dans la capacité du système à exploiter au mieux les interactions avec l'humain pour en minimiser le coût. De nombreux articles dans la littérature conseillent de mesurer la qualité de l'apprentissage assisté par l'humain en fonction du coût des interactions et des performances du système (Krogh & Vedelsby, 1995; Siddhant & Lipton, 2018; Drugman et al., 2019; Beluch et al., 2018; Pérez-Dattari et al., 2018; Celemin & Ruiz-del Solar, 2019). Cette mesure nous semble pertinente, ainsi nous ne proposons pas de nouveauté dans ce domaine et nous contentons ici de décrire cette métrique. Étant donné un modèle initial, un processus itératif est initié par le système avec pour but de réduire le taux d'erreurs obtenu sur un jeu de données. Le système peut poser des questions relatives à n'importe quel document auquel il a accès et ses performances sont évalués sur un jeu de données de test qui ne peut pas être utilisé pour adapter son modèle. Dans ce contexte, il n'est pas certain que le taux d'erreurs diminue et atteigne zéro au cours de l'apprentissage. Pour cette raison, un coût maximum d'interaction est fixé. Une fois atteint ce coût, l'apprentissage actif est interrompu. Il est important de noter que lors d'un apprentissage hors-ligne, le système n'a pas à traiter de données en particulier et l'apprentissage assisté par l'humain se trouve donc réduit à l'apprentissage actif. Le cas où le EHD initie l'interaction peut être vu comme de l'apprentissage faiblement supervisé ou supervisé.

## 2.2 Apprentissage en ligne assisté par l'humain

Lors d'un apprentissage en-ligne, le système doit traiter une séquence de données réelles et renvoyer les hypothèses correspondantes. En fonction du scenario, deux types d'interactions sont possibles : soit le SATVL initie une session d'apprentissage actif avant de renvoyer l'hypothèse finale, soit l'EHD initie une session d'apprentissage interactif en corrigeant itérativement les hypothèses générées par le système.

Dans le cas d'un apprentissage interactif, il est raisonnable de considérer que l'EHD est en mesure de
fournir des corrections jusqu'à obtenir une hypothèse entièrement correcte. L'efficacité de l'apprentissage assisté par l'humain peut alors être mesurée par le coût de supervision minimal présenté dans (Geoffrois, 2016).

Différents systèmes peuvent autoriser différentes modalités d'interaction. Il est donc difficile d'estimer le coût de l'interaction humaine de façon homogène et comparable entre systèmes. (Broux et al., 2018). Dans l'idéal, une mesure de performance produirait une comparaison équitable de systèmes offrant des modalité d'interaction diverses. Nous proposons pour ceci de mesurer le coût d'interaction sous forme d'une métrique scalaire donnée dans la même unité que le score de performance du système (taux d'erreur par exemple). Cette pénalité peut s'appliquer à l'apprentissage actif ou interactif. Calculer une pénalité dans la même unité que la performance du système permet de calculer un unique score pénalisé qui reflète à la fois la performance finale du système et l'effort humain nécessaire pour l'obtenir.

Une première option consiste à calculer le coût d'interaction comme la quantité d'information donnée au système par l'utilisateur. Cependant, cette stratégie ne fonctionne pas pour des métriques non linéaires comme par exemple BLEU pour la traduction automatique (Papineni et al., 2002). Nous proposons de calculer la pénalité comme la part du score correspondant aux données corrigées pas l'humain. Afin de calculer cette quantité, nous calculons deux scores : un score corrigé, $S_{cor}$, et un score dégradé, $S_{faux}$, dont le calcul est décrit par la figure 2-1.

<figure><img src="image_232.png" /></figure>

Une hypothèse (a), produite par un système automatique contenant une partie correcte (vert) et des erreurs (rouge) obtient un score $S_{base}$. Lors de l'apprentissage assisté par l'humain, une section de l'hypothèse (partiellement fausse) est corrigée. Pour calculer l'effort fourni par l'humain, un nouveau score $S_{cor}$ est calculé immédiatement après application de la correction (b). Nous introduisons un score $S_{faux}$ qui est calculé en remplaçant la section corrigée par une hypothèse entièrement fausse (c). Après avoir reçu une information provenant de l'humain, le système adapte son modèle et produit une nouvelle hypothèse qui obtient un score $S_{adapt}$. Un système capable de généraliser l'information reçue devrait améliorer l'hypothèse finale sur des portions où l'utilisateur n'est pas intervenu manuellement (d).

<figure><img src="image_233.png" /></figure>

Effet de la pénalisation dans différents cas. Le score A, $S_{base}$, est obtenu sur l'hypothèse initiale, avant toute intervention de l'humain. Les trois autres colonnes représentent des scores pénalisés, $S_{pen}$, obtenus en utilisant différentes méthodes d'apprentissage assisté par l'humain. La partie uniforme des colonnes B, C et D représente le score finale après adaptation, $S_{adapt}$. La partie hachurée représente la pénalité. Le score (B) illustre le cas où le système exploite peu l'information apportée par l'humain. Dans le cas (C), le système obtient un gain significatif au prix d'un effort humain important. Dans le cas (D), le système obtient un taux d'erreur final plus élevé que pour (C) mais l'effort humain nécessaire est beaucoup plus faible. Notons que la différence entre $S_{base}$ et $S_{pen}$ (indiqué pour le score D) correspond au gain obtenu par le système qui a généralisé les corrections appliquées par l'humain.

<caption>FIGURE 2: Pénalisation de l'apprentissage assisté par l'humain.</caption>

Un système produit une première hypothèse (Figure 2-1-A) et obtient un score $S_{base}$ avant toute interaction avec l'EHD. L'EHD fournit alors des informations en corrigeant une partie de l'hypothèse courante. La partie des données corrigée est indiquée sur la figure 2-1-B et cette correction permet d'obtenir un score $S_{cor}$. En fonction de la tâche, il est possible qu'une partie de l'hypothèse qui est corrigée ait été en partie correcte. (Dans le cas de la traduction il peut s'agir de la correction d'une phrase qui contenait déjà certains mots corrects). La différence entre $S_{base}$ et $S_{cor}$ correspond à l'amélioration apportée par la seule correction mais ne reflète pas le coût de la correction. Nous calculons alors un nouveau score $S_{faux}$ qui est obtenu en remplaçant l'intégralité de la partie corrigée de l'hypothèse par une hypothèse erronée. (Figure 2-1-C) La différence $S_{faux} - S_{cor}$ mesure la part
du score qui correspond au coût réel de la correction. Finalement, l'hypothèse corrigée est renvoyée au système qui adapte son modèle et re-génère une nouvelle hypothèse qui obtiendra le score $S_{adapt}$. Le scores pénalisé, $S_{pen}$, est obtenu de la façon suivante :

$$S_{pen} = S_{adapt} + (S_{faux} - S_{cor}) \qquad (1)$$

Notons qu'un système qui ne prendrait pas la correction en compte ou demanderait une information déjà correcte serait pénalisé deux fois : une fois par la valeur élevée de $S_{adapt}$ et une fois par le second terme de l'équation 1.

L'effet de cette pénalisation est illustré par la figure 2-2. Le score $S_{base}$, illustré par le score A est obtenu avant toute interaction humaine. À partir de cette hypothèse, différentes stratégies d'adaptation pourraient mener à différents scores pénalisés, illustrés par les barres B, C et D de la figure 1. Les parties uniformes de ces barres illustrent le score $S_{adapt}$ tandis que les parties hachurées illustrent la pénalité appliquée à chaque version du système. Le système idéal obtiendra un score pénalisé très faible tout en nécessitant une petite quantité d'interactions.

# 3 Évaluation au cours du temps

Une fois le modèle initial, $M_0$, d'un système SATLV entrainé et testé en laboratoire, le système est mis en production et traite une séquence de données, $[X_{l_i}]_{i=1...T}$, lui parvenant au cours du temps. Cette séquence est ici nommée données au cours du temps et $l_i$ est le temps auquel $X_{l_i}$ a été produit. Le SATLV peut adapter son modèle après avoir traité des données $X_{l_i}$ pour obtenir une nouvelle version $M_i$. Les performances du SATLV sont évaluées sur les données $X_{l_i}$ et la séquence de scores obtenue est $[S(M_i, l_i)]_{i=1...T}$.

## 3.1 Prise en compte d'une politique fixée par utilisateur

Les données que les SATLV doivent traiter évoluent au cours du temps mais il arrive qu'un système rencontre des données semblables à des données vues dans le passé. L'adaptation du modèle aux données actuelles peut entraîner « l'oubli catastrophique » des données du passé au sens de (French, 1999). Le coût de cet oubli pour l'utilisateur dépend de l'application visée et il est essentiel que l'utilisateur puisse l'indiquer au SATLV afin d'adapter la politique d'adaptation du SATLV. Différentes politiques sont illustrées sur la figure 3

Pour l'évaluateur du système, il est essentiel d'évaluer la capacité du SATLV à adapter son modèle de façon à répondre au mieux aux exigences de l'utilisateur. Afin d'évaluer la capacité du SATLV à suivre une politique d'adaptation donnée, une nouvelle séquence de données, $[Y_{t_j}]_{j=1...N}$, est utilisée. La date de création de ces données doit couvrir la même période que les données sur lesquelles le système a été adapté. Il faut que : $l_1 < t_1 < t_N < l_T$. Ainsi, chaque version $M_i$ du modèle peut être évaluée sur l'ensemble de la séquence de test $Y_{t_j}$ pour obtenir une séquence de scores $[s(M_i, t_j)]_{j=1...N}$. Idéalement, ces séries temporelles de données devraient être strictement alternées mais de nombreux critères sur la nature des données et les événements rencontrées au cours du temps doivent être pris en compte afin de produire des études objectives. Notons que cette séquence de scores est calculée pour une unique version, $M_i$, du modèle. Les performances de ce système sur les données antérieures à $l_i$ montrerons à quel point le système a oublié le passé. La figure 3-1 illustre la
<figure><img src="image_234.png" /><figcaption>FIGURE 3: Scores obtenus par un système apprenant au cours du temps et 3 politiques d'adaptation différentes (1). Scores pondérés au cours du temps (2). Score final résultat de la somme pondérée des scores au cours du temps pour les 3 politiques (3).</figcaption></figure>

séquence de scores obtenue par la version $M_i$ du système dont le modèle a été adapté jusqu'à $l_i$. Cet exemple factice illustre le cas d'un système optimisé pour les données les plus récentes mais dont les performances sur les données du passé sont moins bonnes. La même figure montre trois politiques d'adaptation : (A) l'utilisateur désire que le système privilégie les données actuelles ; (B) les données du passé sont aussi importantes que les données actuelles : (C) l'utilisateur privilégie les données du passé. Évaluer la politique d'adaptation pour ce système consiste à pondérer les scores obtenus au cours du temps par la politique définie par l'utilisateur (Figure 3-2) La somme de ces scores pondérés est un indicateur des performances du sytème mais également de sa capacité à satisfaire la politique d'adaptation, $\mathcal{P}$, fixée.

$$S_{\mathcal{P}}^{M_i} = \sum_{t_j \in [l_1; l_i]} s(M_i, t_j) \cdot \mathcal{P}_{t_j} \quad (2)$$

On observe sur la figure 3-3, que le système factice obtient un meilleur score pour la politique qui privilégie les données actuelles, comme attendu.

## 3.2 Évaluation au cours du temps de l'apprentissage assisté par l'humain

Dans ce travail nous considérons que l'adaptation hors-ligne au cours du temps représente un coût fixe pour le système car elle nécessite la présence permanente d'un expert humain, mais ne modifie pas la disponibilité du système. En revanche, l'adaptation en-ligne influe sur le temps de réponse du système qui effectue des cycles d'adaptation entre la réception des données et la communication de l'hypothèse au client. Ainsi nous proposons d'intégrer la coût de l'adaptation en-ligne en remplaçant, dans l'équation 2, le score $s(M_i, t_j)$ par sa version pénalisée proposée dans la section 2.2. Le score pénalisé et pondéré par la politique d'adaptation devient alors :

$$S_{\mathcal{P}}^{M_i} = \sum_{t_j \in [l_1; l_i]} S_{\text{pen}}(M_{ij}, t_j) \cdot \mathcal{P}_{t_j} \quad (3)$$

## 4 Discussion

Dans cet article, nous proposons trois contributions pour évaluer les systèmes automatiques apprenant tout au long de la vie (SATLV). Nous proposons une nouvelle mesure du coût de l'interaction humaine dans l'apprentissage assisté par l'humain, donnée dans la même unité que la mesure de performance du système. Nous introduisons le concept de politique d'adaptation afin d'évaluer la capacité des
SATLV à respecter une politique définie par l'utilisateur. Enfin, nous avons combiné ces éléments pour
proposer un cadre complet d'évaluation des systèmes SATLV. Notre travail considère des métriques
de type « taux d'erreur » mais peut également être appliqué à des métriques scalaires définies sur un
intervalle semi-ouvert.

La pénalité proposée pour sanctionner le coût de l'interaction humaine dans l'adaptation du modèle est exprimée dans la même unité que la mesure de performance du système afin d'être directement combinée et d'offrir un indicateur de performance unique. Cette pénalité permet d'évaluer la capacité du système à généraliser l'information reçue de l'expert du domaine. Dans certains cas, le calcul du score intermédiaire, $S_{faux}$, pose des questions complexes. Par exemple dans le cas de la traduction automatique, la définition de la traduction la plus fausse est très complexe car il est toujours possible de dégrader le scores en insérant des mots. Une borne raisonnable consiste à limiter la taille de l'hypothèse fausse à la taille de la référence. Ce calcul sera appliqué dans une tâche de l'évaluation internationale WLT 2020 dédié aux SATLV. Le calcul de la pénalité considère que l'information fournie par l'humain peut être directement appliquée à l'hypothèse pour calculer un nouveau score, $S_{cor}$. Cette hypothèse n'est pas toujours réaliste car elle dépend des interactions autorisées.

Afin de garantir la reproductibilité et l'équité de l'évaluation de l'adaptation assistée par l'humain, il est nécessaire d'implémenter une simulation d'expert humain. Différentes implémentations sont possibles et tous les systèmes comparés devront interagir avec le même simulateur. Idéalement, plusieurs simulateurs pourraient être utilisés afin de confronter les systèmes à différents cas de figure. Le développement de ces simulateur est un sujet de recherche en soi qui n'est pas l'objet de cet article.

Notre deuxième contribution est l'introduction d'une politique d'adaptation. Cette politique permet à l'utilisateur d'introduire une connaissance du domaine relative à l'évolution des données au cours du temps (par exemple le cas ou un système rencontrera des données qui varient da façon cyclique). La définition d'une telle fonction par un utilisateur non-expert en apprentissage automatique nécessite une interface utilisateur intuitive et bien définie qui peut être difficile à évaluer en elle même.

Dans ce travail, nous avons tenté de définir un cadre général d'évaluation qui pourrait être transposé à un grand nombre de tâches et de mesures de performance. Comme c'est le cas pour de nombreuses métriques existante et utilisées, nos propositions ne répondent pas à tous les besoins et doivent être combinées à d'autres afin d'évaluer tous les aspects de système complexes par définition.

Enfin les métriques et protocoles définis dans ce travail ont été appliqués au cas de la segmentation en
locuteur et de la traduction automatique et seront utilisés lors d'évaluations internationales organisées
en 2020 : ALLIES/ALbayzin 2020 et WMT2020. À la fin de ces évaluations, les métriques, protocoles
et données collectées pour ces évaluations seront distribuées gratuitement pour les fins de recherche.

Remerciements

Ce travail a été financé par le projet Chist-ERA ALLIES (ARN-17-CHR2-0004-01) 2

<footnote n="2">2. https://lium.univ-lemans.fr/allies/</footnote>
Références

BELUCH W. H., GENEWEIN T., NÜRNBERGER A. & KÖHLER J. M. (2018). The power of ensembles for active learning in image classification. In *Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition*, p. 9368–9377.

BISHOP C. M. (2006). *Pattern recognition and machine learning*. springer.

BROUX P.-A., DOUKHAN D., PETITRENAUD S., MEIGNIER S. & CARRIVE J. (2018). Computer-assisted speaker diarization: How to evaluate human corrections. In *Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC-2018)*.

CELEMIN C. & RUIZ-DEL SOLAR J. (2019). An interactive framework for learning continuous actions policies based on corrective feedback. *Journal of Intelligent & Robotic Systems, 95*(1), 77–97.

CHEN Z. & LIU B. (2016). Lifelong machine learning. *Synthesis Lectures on Artificial Intelligence and Machine Learning, 10*(3), 1–145.

DRUGMAN T., PYLKKONEN J. & KNESER R. (2019). Active and semi-supervised learning in asr : Benefits on the acoustic and language models. *arXiv preprint arXiv:1903.02852*.

FRENCH R. M. (1999). Catastrophic forgetting in connectionist networks. *Trends in Cognitive Sciences, 3*, 128–135.

GEOFFROIS E. (2016). Evaluating interactive system adaptation. In *Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC 2016)*, p. 256–260.

KEMKER R., MCCLURE M., ABITINO A., HAYES T. L. & KANAN C. (2018). Measuring catastrophic forgetting in neural networks. In *Thirty-second AAAI conference on artificial intelligence*.

KROGH A. & VEDELSBY J. (1995). Neural network ensembles, cross validation, and active learning. In *Advances in neural information processing systems*, p. 231–238.

LOMONACO V. & MALTONI D. (2017). Core50 : a new dataset and benchmark for continuous object recognition. In *Conference on Robot Learning*, p. 17–26.

PAPINENI K., ROUKOS S., WARD T. & ZHU W.-J. (2002). BLEU : A method for automatic evaluation of machine translation. In *Proceedings of the Annual Meeting on Association for Computational Linguistics (ACL) : ACL*.

PARISI G. I., KEMKER R., PART J. L., KANAN C. & WERMTER S. (2019). Continual lifelong learning with neural networks : A review. *Neural Networks*.

PÉREZ-DATTARI R., CELEMIN C., RUIZ-DEL SOLAR J. & KOBER J. (2018). Interactive learning with corrective feedback for policies based on deep neural networks. *arXiv preprint arXiv:1810.00466*.

PROKOPALO Y., MEIGNIER S., GALIBERT O., BARRAULT L. & LARCHER A. (2020). Evaluation of lifelong learning systems. In *International Conference on Language Resources and Evaluation (LREC)*.

QUIONERO-CANDELA J., SUGIYAMA M., SCHWAIGHOFER A. & LAWRENCE N. D. (2009). *Dataset Shift in Machine Learning*. The MIT Press.

SIDDHANT A. & LIPTON Z. C. (2018). Deep bayesian active learning for natural language processing : Results of a large-scale empirical study. *arXiv preprint arXiv:1808.05697*.
La voix actée : pratiques, enjeux, applications

Mathias Quillot³ Lauriane Guillou² Adrien Gresse³ Rafaël Ferro¹

Raphaël Roth² Damien Malinas² Richard Dufour³, Axel Roebel¹

Nicolas Obin¹, Jean-François Bonastre³, Emmanuel Ethis²

(1) STMS Lab - Ircam, CNRS, Sorbonne Université, Paris, France

(2) Laboratoire Culture et Communication, Avignon Université, Avignon, France

(3) Laboratoire d'Informatique d'Avignon, Avignon Université, Avignon, France

RÉSUMÉ

La voix actée représente un défi majeur pour les futures interfaces vocales avec un potentiel d'application extrêmement important pour la transformation numérique des secteurs de la culture et de la communication, comme la production ou la post-production de voix pour les séries ou le cinéma. Un aspect central de la voix actée repose sur la notion d'interprétation, un aspect peu étudié dans la communauté scientifique de la parole. Cet article propose un état des lieux et une réflexion sur les défis scientifiques et les applications technologiques de la voix actée : à la croisée de l'acoustique, de la linguistique, de la culture, et de l'apprentissage machine. Une analyse préliminaire des pratiques permet de rendre compte de la diversité de l'écosystème des "métiers de la voix" et de pointer les fonctions et les conventions qui s'y rattachent. Nous nous intéresserons ensuite à la pratique particulière du doublage de voix, en faisant ressortir ses enjeux et problématiques spécifiques puis en présentant des solutions proposées pour modéliser les codes expressifs de la voix d'un acteur ou les choix d'un opérateur pour le doublage.

ABSTRACT

Acted voice : practices, challenges, applications

The acted voice represents a major challenge for the next generation of voice interfaces with an extremely important application potential for the digital transformation of cultural and communication sectors, such as production or post-production of voice for series or films. A central aspect of the acted voice relies on the notion of interpretation, an aspect that has been little studied in the speech community. This article offers an overview and a reflection on the scientific challenges and technological applications of acted voice: at the crossroads of acoustics, linguistics, culture, and machine learning. A preliminary analysis of practices is presented to account for the diversity of the “voice professions” ecosystem and to point out the functions and conventions associated with it. The remaining of the paper focuses on the specific practice of voice dubbing, highlighting its specific issues and presenting some solutions proposed to model the expressive codes of an actor or the choices of an operator for dubbing.

MOTS-CLÉS : voix actée, interprétation, analyse des pratiques, doublage

KEYWORDS: acted speech, interpretation, practice analyse, dubbing

<figure><img src="image_235.png" /></figure>
# 1 Introduction

Les avancées spectaculaires réalisées cette décennie en traitement automatique de la parole, pour des tâches comme la reconnaissance ou la synthèse de parole, ont permis la réalisation de nombreuses applications devenues d'usage quotidien, comme l'interaction vocale avec un smartphone. Tour à tour et successivement voix de "laboratoire", "pathologique", "ordinaire", "spontanée", "expressive" ou "conversationnelle", la recherche sur la parole s'attaque à des domaines variés et s'affranchit peu à peu des défis posés par des facteurs de variabilité de plus en plus nombreux et complexes. Par contraste, l'étude de la parole "actée" demeure aujourd'hui marginale dans la communauté de la parole au point où un article sur le doublage était encore catalogué il y a quelques années dans la catégorie "parole anormale" ("abnormal speech"). Contrairement à la parole "ordinaire" ou "spontanée", la voix "actée" est un artifice, une construction fruit d'une interprétation maîtrisée et planifiée de sa voix par un acteur afin de produire un effet désiré chez un spectateur, par exemple rendre manifeste le comportement d'un personnage fictif, et faciliter la crédibilité et l'immersion du public dans une situation ou une trame. La voix est souvent dénaturée, grossie, pour rendre audible et sensible les effets expressifs produits par le comédien. Ainsi, la voix actée élargit le champs de recherche des fonctions expressives de la voix humaine et ouvre sur le domaine encore peu étudié de l'interprétation. Par ailleurs, une brève revue des "métiers de la voix" (voix-off pour le commentaire, publicité, voix doublée, voix au théâtre, voix au cinéma, etc...) montre la diversité des pratiques et les usages spécifiques de la voix principalement dans le secteur de la culture et de la communication, et des industries créatives. Pour comprendre les fonctions de la voix dans ces usages, la voix ne peut être considérée seule, mais dans une relation à un être humain dont elle ne constitue que l'une des modalités d'expression : l'incarnation de la voix par un corps (les voix-off sont ainsi totalement désincarnées) ou l'adéquation d'une voix et de son corps (le doublage offre un exemple de composition du corps d'un acteur réel ou fictif et de la voix d'un autre acteur) (Le Breton, 2011).

L'appréhension de la voix actée soulève à la fois un ensemble de questions inédites pour la recherche et de nouvelles possibilités technologiques et applicatives, en ouvrant sur la dimension interprétative de la voix humaine. Premièrement, l'étude de la voix actée — qui est par essence expressive — nécessite d'être en mesure de se confronter à des modalités de productionsinusuelles et des registres extrêmes de variations acoustiques. Par ailleurs, elle pose la vaste question de la notion d'interprétation appliquée au domaine de la parole. La compréhension de cette notion nécessite d'étudier les pratiques des métiers de la voix : depuis la diversité de ses pratiques et de ses fonctions jusqu'aux conventions et aux choix de l'interprétation. On peut citer, à titre d'exemple, la production des voix dans les industries créatives qui suit un protocole extrêmement codifié, faisant intervenir un ensemble de conventions implicites depuis le choix d'un acteur capable d'incarner un physique ou un personnage, la supervision de son interprétation par un directeur artistique lors de séances d'enregistrements, jusqu'à la diffusion finale à un public cible. L'appréhension de la voix actée ne se limite manifestement pas à des facteurs acoustique ou linguistique et fait intervenir des facteurs sociologiques et culturels nécessaires pour sa compréhension et à sa modélisation. Cet article tente de présenter un état des lieux et une réflexion d'ensemble sur les défis et les applications de la voix actée, à la croisée de l'acoustique, de la linguistique, de la culture, et de l'apprentissage automatique. Il propose en outre un cadre méthodologique pour mieux définir le champs de la voix actée et en particulier les critères utilisés par un opérateur humain expert pour qualifier la voix et l'interprétation vocale d'un acteur. La compréhension des processus cognitifs mis en œuvre par un opérateur humain dans ses choix d'un acteur ou d'une interprétation devrait permettre, à terme, d'apprendre à la machine à reproduire ces choix.
L'article est organisé de la manière suivante : une première partie présente une enquête sociologique menée sur les pratiques des métiers de la voix, une seconde partie esquisse les défis et problématiques spécifiques au traitement de la voix actée, et une dernière partie présente une application dans le cadre du doublage au cinéma.

## 2 Enquête sociologique sur le rapport à la voix dans le travail d'interprétation

Dans l'optique de produire des connaissances sur les qualités de la voix actée, nous avons mis en place une enquête auprès de professionnels du doublage vocal. Artistes interprètes, directeurs artistiques et adaptateurs ont été interrogés dans le cadre de 7 entretiens semi-directifs conduits auprès de 9 enquêtés dans trois contextes en 2019 (Festival d'Avignon, festival international des voix du cinéma d'animation Voix d'Étoiles, échanges téléphoniques). L'analyse de ce matériau a permis de mettre en exergue un ensemble de caractéristiques propres à la voix dans le contexte du jeu d'acteur et du doublage, celui des fictions audiovisuelles (prise de vue réelle et animation) et des documentaires ; une diversité assurant une représentativité au sein de ce secteur professionnel.

Dérivé de l'anglais *dubbing*, le doublage est aujourd'hui un terme intégré dans le langage courant. Ce sont les Cahiers du cinéma qui, pour la première fois en mai 1930, ont présenté cette technique au public francophone : « Le *dubbing* ou doublage, est un système qui consiste à tourner des paroles en n'importe quelle langue et à l'adapter sur une bande tournée primitivement en parlant américain » (Cornu, 2014). Le doublage s'est institutionnalisé en un secteur à part entière l'industrie audiovisuelle. Il est particulièrement sollicité au regard de l'expansion du nombre de productions en circulation nécessitant une réponse technique et artistique de qualité pour leur diffusion internationale. Le doublage ne concerne pas tous les pays de la même manière, certains comme les pays scandinaves privilégient les versions originales sous-titrées, à l'inverse de la France qui est l'un des principaux *doubleurs* (en découle aussi une grande qualité des doublages français). D'autres pays en restent éloignés pour des raisons socio-culturelles : la Chine réserve ainsi le doublage aux films d'animation pour le jeune public. Un doublage dont le synchronisme labial n'est pas suffisant, voire non adapté au genre cinématographique ou audiovisuel, peut générer une suspension volontaire d'incrédulité pour les spectateurs (une notion entendue au sens de Samuel Taylor Coleridge dans Biographia (1817), relevant d'abord du champ littéraire, qui renvoie à l'acceptation, par le récepteur d'une œuvre, d'un univers fictionnel).

Le doublage tel que nous le connaissons aujourd'hui est un aboutissement d'une histoire culturelle et technologique. Avant « d'être parlant, le cinéma était muet, mais pas silencieux. Certes, les films muets n'offraient pas une parfaite *synchronisation*, mais ils n'étaient pas dénués de sons et d'illustrations musicales » (Roth, 2017). Le doublage se caractérise par un impératif de synchronisation, à commencer par un synchronisme labial (Bosseaux, 2015). La généralisation du doublage va entraîner la création de métiers qui lui sont spécifiques à l'instar des traducteurs-adaptateurs, des repéreurs et détecteurs, des coordinateurs linguistiques ou encore des monteurs en synchronisation. Elle va également générer une spécialisation de certains comédiens dont la carrière peut se concentrer presque exclusivement sur le doublage (post-synchronisation, narration, *voice over*, habillage d'antenne, publicité, bandes annonces, etc.). D'ailleurs, les équipes artistiques tentent de garantir une certaine continuité dans la relation au spectateur en gardant le même doubleur pour un comédien très reconnu (i.e. Patrick Poivey pour Bruce Willis ou Céline Monsarrat pour Julia Roberts). Si « L'arrivée du parlant va influencer la façon de produire le cinéma, de le voir et de l'entendre » (Roth, 2017 : 26), l'expansion du doublage va générer une spécialisation au sein de ce secteur industriel. Nous en distinguons quatre grands
champs : la postsynchronisation (domaine de la fiction), la narration (une voix *off* qui décrit le développement d'une trame, le plus souvent un documentaire), le *voice over* (traduire la personne qui parle à l'écran sans synchronisme labial), la publicité et les autres activités comme l'habillage d'antenne, les voix institutionnelles ou les bandes annonces.

L'enquête conduite auprès des comédiens a permis de mieux qualifier le travail sur la voix dans un contexte d'interprétation, notamment du doublage qui s'y consacre pleinement, soit le passage de la voix naturelle à la voix actée, et quelquefois chantée. Les artistes apprennent ainsi à *fixer leur voix*, à stabiliser leur identité, voire leur signature de voix. Certains acteurs admettent le fait de *changer leur voix* pour s'adapter au personnage ou à l'acteur en version originale. Pour d'autres, il s'agit plutôt de prendre un accent, de moduler la voix, de la modifier ou de l'adapter, mais non pas de la changer ou de la transformer. D'autres ont un langage plus artistique et parlent de *modeler la voix*, d'imaginer une sculpture, voire d'être artisan de la voix, de travailler à partir de leurs tessitures et de l'amplitude de la palette vocale qu'ils maîtrisent. Le travail sur la voix s'accompagne de deux autres démarches : une attention portée à la *respiration* et au rythme du personnage ou de l'acteur à doubler. Celui-ci peut relever de la prosodie de l'acteur ou de la langue (les acteurs doublant des productions audiovisuelles sont le plus souvent tributaires des traducteurs et des adaptateurs du scénario ou du texte de la version originale vers la version française). Plus encore, le travail sur la voix doit être conforme « au genre que l'on perçoit » qui se construit dans « l'immédiateté d'un objet concret avant de rejoindre les catégories de discours et vient fermer à sa façon une des fonctions inachevées telle qu'elle est directement reçue depuis le film projeté » (Ethis, 2004 : 166).

Les enquêtés ont également été interrogés sur une part de mimétisme vis-à-vis de la version originale. Il est intéressant de constater que la plupart des comédiens s'appuient sur la version à doubler, tout en s'attachant à conserver leur identité vocale dans la mesure où c'est à partir de celle-ci qu'ils ont été choisis. La voix actée se caractérise par des qualificatifs qui renvoient en particulier à l'idée d'intention : elle est le reflet d'une énergie qui appartient à l'artiste en version originale ou à la situation présentée à l'écran. La voix actée est ainsi une adresse qui ne doit ni trahir une œuvre, ni le jeu en version originale. Elle se situe dans un système de contraintes communicationnelles et symboliques (genre audiovisuel, registre de jeu, registre de langue). Les artistes devant être en capacité d'incarner une multitude de personnages durant leur carrière, et donc s'inscrire dans divers registres de jeu, au-delà de la voix elle-même, c'est leur palette, autrement dit leur amplitude vocale, qui importe. Enfin, la question de la ressemblance physique entre un artiste en version originale et en version française a été posée : si elle est parfois un repère, c'est souvent la personnalité de l'interprète qui va importer dans un casting.

Pour conclure, il convient d'insister sur le positionnement du doublage dans l'industrie audiovisuelle contemporaine : il est à la fois un espace technique, voire technologique, économique, artistique et culturel. Le travail sur la voix actée doit s'inscrire dans des registres filmiques ou audiovisuels pour être au service d'un projet artistique et des publics auxquels il s'adresse.

## 3 Problématiques et verrous scientifiques pour le traitement de la voix actée

La suite de cet article s'intéresse à la voix au cinéma et plus particulièrement les voix pour le doublage, dont le *voice over*. Plusieurs protagonistes interviennent dans la chaîne de traitement du *voice over*. Tout d'abord, les voix des doubleurs doivent à la fois rester fidèles à l'oeuvre
d'origine, mais aussi correspondre aux attentes du public cible. Le public est l'auditeur final du travail et doit être immergé dans l'oeuvre à son visionnage. Ensuite, la qualité d'un doublage ressort de la responsabilité des Directeurs Artistiques (DA). Ce métier nécessite une expérience en comédie et une culture cinématographique développée afin de sélectionner des voix, via le casting vocal, et de guider les acteurs lors d'enregistrements. Pour finir, le client a des objectifs commerciaux ou artistiques et contrôle les prises de décision. Il intervient lors de la sélection des acteurs et valide la qualité du doublage. Cette chaîne implique de nombreux choix humains, ainsi que des conventions culturelles et esthétiques qui sont implicites ou explicites. Identifier les codes explicitement ou modéliser ces choix implicitement imposent des verrous scientifiques que nos travaux cherchent à briser. Pour cela, nous avons concentré nos efforts sur trois points principaux : la taxonomie de la voix, la modélisation d'un processus artistique et la dépendance de réception de la voix à la langue et la culture.

Dans le but de comprendre et modéliser les mécanismes du doublage, il est nécessaire de savoir représenter une voix actée. Cette représentation peut être construite à partir de codes explicites donnant définition au terme palette vocale. Il n'existe cependant aucune taxonomie partagée par les DA et autres protagonistes de la chaîne de production du doublage. Ces faits rendent difficile la création d'un protocole d'annotation. Quand bien même une taxonomie existerait, les DA ont hélas très peu de temps à accorder à l'annotation. Sans ces annotations, il est difficile à la fois de construire des modèles d'apprentissage supervisé pour détecter automatiquement des facteurs de variabilité dans la voix, d'isoler et d'analyser les impacts de certaines caractéristiques dans des prises de décisions. Evaluer des systèmes automatiques de classification de la voix actée, et expliquer de manière intelligible à l'utilisateur les critères qui ont guidé les décisions de nos systèmes sont aussi des limites auxquelles nous nous confrontons. Autant dans une problématique sociologique qu'informatique, se pose alors la question suivante : comment définir une taxonomie de la voix actée sans l'accès à une connaissance de ses codes explicites ?

Le jugement de l'adéquation entre une voix et son personnage conduit par les DA implique de nombreux facteurs humains et perceptifs. Pour modéliser un tel processus, il nous faut comprendre quels critères ou filtres y interviennent. Nous supposons que cette adéquation porte autant sur la nature de la voix d'un comédien que sur l'interprétation qu'il y apporte en jouant le personnage cible. Nous étudions dans nos travaux comment inférer ces critères et filtres depuis des enregistrements de voix et des décisions de DA. Les critères peuvent être différents en fonction du DA. (chacun présente un profil différent, avec une expérience et des préférences artistiques qui lui sont propres) A l'instar de la reconnaissance de la parole où certains modèles sont adaptés au locuteur, il nous est nécessaire d'étudier l'adaptation de nos modèles au DA cible. Différentes pistes sont à explorer. La construction d'un modèle par DA. La construction d'un modèle universel. L'adaptation d'un modèle universel à chaque DA. Ces modèles doivent aussi s'adapter dans le temps. Le DA, à force d'expérience, évolue et ses décisions aussi.

La voix actée est intrinsèquement liée à la perception humaine. Partant de ce postulat, nous recherchons quels codes sont universels et lesquels varient en fonction des individus. Ces codes sont sujets à un processus cognitif qui rend leur modélisation difficile. Les facteurs de variation de ces derniers peuvent être d'ordre culturel ou liés à la structure de la langue parlée. Cette variabilité peut intervenir dans différentes dimensions. Comme, par exemple, la dimension de l'émotion. Certaines émotions sont universelles et ne varient pas d'une langue à l'autre, là où d'autres sont dépendantes de l'individu. Ohala (Ohala, 1996) unifie des théories guidant les recherches sur l'expression d'émotion par la voix et tend à montrer que certaines émotions sont partagées par différentes cultures. De la même manière, nous supposons que le jeu des personnages est construit pour mettre en avant des stéréotypes qui diffèrent d'une culture à l'autre.
Pour finir, tout comme notre société évolue, ces codes évoluent, et nous devons chercher à prendre en compte dans nos modèles l'évolution temporelle de la réception de la voix.

# 4 Application : l'aide au doublage de voix d'acteurs

Un cadre applicatif possible pour la voix actée pourrait être un système de recommandation de voix pour les DA. Un tel système consisterait à proposer automatiquement un ensemble de voix selon une requête formulée. Dans notre contexte d'étude, nous proposons de nous intéresser au casting vocal et plus particulièrement au doublage : considérant une voix dans une langue source, quelles voix d'acteurs dans une langue cible peuvent le mieux correspondre aux attentes d'un DA ? En réponse à ces problématiques, des travaux ont proposé d'étudier la similarité de voix, qui est une notion centrale dans l'élaboration de systèmes de recommandation. Elle consiste à définir une mesure de similarité entre deux voix. Comment considère-t-on que deux voix sont similaires ? A partir de quelles données, vérité, peut-on construire une telle mesure ? L'apparition de la similarité de la voix au sens du personnage a donné des réponses à ces questions. Celle-ci part de l'hypothèse suivante : il existe, dans le signal acoustique de parole, des signes acoustiques caractéristiques du personnage joué. La similarité de la voix au sens du personnage consiste alors à définir une mesure qui, si les deux acteurs jouent le même personnage, doit informer que les voix sont similaires. Dans le cas contraire, la mesure doit indiquer que les deux voix paraissent dissimilaires. Deux approches différentes ont été proposées pour cette mesure de similarité.

Dans la première approche (Gresse, 2017), deux modèles *i*-vecteurs (Dehak, 2010) sont appris, l'espace source (anglais), l'espace cible (français). Le modèle *i*-vecteur est un modèle de représentation de voix plus communément utilisé pour des tâches de reconnaissance du locuteur. Le système proposé consiste à appliquer une matrice de passage *W* à l'espace cible pour le projeter dans un nouvel espace, que nous nommerons l'espace modifié, comparable avec l'espace source. La matrice *W* est apprise sur un ensemble de données d'entraînement. Un score de similarité est ensuite calculé entre les vecteurs de l'espace source et de l'espace modifié dans le cas du système B et C. Pour le système *baseline* A, la mesure est calculée entre l'espace source et l'espace cible.

<figure><img src="image_236.png" /><figcaption>Figure 1: Systèmes de similarité proposés dans (Gresse, 2017)</figcaption></figure>
Dans la seconde approche (Gresse, 2018), un réseau de neurones siamois est entraîné à projeter les deux voix fournies en entrée, une en anglais et une en français, dans un espace commun où celles-ci sont comparables au moyen d'un score de similarité. L'objectif de cet espace est de représenter la dimension personnage des voix qui y sont projetées indépendamment du locuteur, de la langue et du contenu linguistique. Dans la continuité de ces travaux, nous nous sommes intéressés à la création d'un espace personnage en s'inspirant des modèles x-vecteurs (Snyder, 2018). Nous entraînons un réseau de neurones profond à reconnaître le personnage joué quelque soit sa langue. Le réseau fournit en sortie des probabilités indiquant l'appartenance de l'enregistrement à un personnage spécifique. Une fois le réseau entraîné, sa dernière couche sert d'espace de représentation, le p-vecteur. La figure 2 donne un exemple de cet espace de représentation orienté "personnage". Des enregistrements de 4 paires de voix, chacune composée d'une voix anglaise et d'une voix française jouant le même personnage, sont projetée dans l'espace p-vecteur dans lequel nous avons appliqué un algorithme de regroupement pour tenter de retrouver les classes personnage. Chaque paire est représentée avec une couleur donnée. Notons que le système n'a jamais vu durant la phase d'apprentissage, ni les personnages, ni les locuteurs concernés.

<figure><img src="image_237.png" /><figcaption>Figure 2: Comparaison des vrais labels de personnage avec les labels associés à chaque enregistrement par un algorithme de clustering sur un espace de représentation de la dimension personnage de la voix actée.</figcaption></figure>

D'autres travaux ont proposé une mesure de similarité perceptuelle (Obin, 2014). Cette contribution se démarque des précédentes en proposant d'abord de représenter un enregistrement par des classes au lieu de calculer un score directement sur un espace acoustique. Ces classes sont liées à la physiologie, la phonétique, au timbre, à l'articulation, à la prosodie ou au jeu d'acteur. Un système de classification multi-labels est alors entraîné sur des enregistrements étiquetés par un expert. Pour un enregistrement donné, le système calcule un vecteur de probabilités où chaque valeur représente l'affinité de l'enregistrement pour le label. Chaque enregistrement est donc représenté par un vecteur d'affinité, référé comme la signature vocale de l'enregistrement. Appliquer une distance entre deux signatures revient à calculer un score de similarité entre deux
enregistrements. L'article confronte deux signatures vocales, l'une issue de vecteurs d'affinités appris depuis les *i*-vecteurs, l'autre des *i*-vecteurs + PLDA, et montre au travers d'une expérience perceptive que l'apprentissage du classifieur a permis de mettre significativement en lumière, dans l'espace *i*-vecteur, des informations caractéristiques de la perception de la voix actée.

D'un point de vue applicatif, ces travaux sur la similarité et la représentation de voix ouvrent des perspectives pour construire des systèmes de recommandation pour le casting vocal. Ces espaces de représentations vont permettre d'initialiser les systèmes de recommandation pour proposer des voix qui seront pertinentes ou inattendues pour les DA. Un tel système pourra prendre la forme d'une application informatique où le DA pourra demander des recommandations et réagir aux résultats. Dans une dynamique itérative, cette application fournira de nouvelles données à la recherche qui alimenteront nos travaux pour améliorer encore la finesse des recommandations proposées aux DA.

# 5 Conclusion

Nous avons proposé dans cet article un état des lieux et une réflexion sur les défis scientifiques et les applications technologiques de la voix actée. L'appréhension de la voix actée soulève un ensemble de questions inédites de recherche pour la communauté de la parole. Tout d'abord, une analyse des pratiques montre qu'il existe une grande diversité de métiers de la voix, chacun avec ses fonctionnalités et ses objectifs propres. Les pratiques de ces métiers ne sont cependant pas homogènes et relèvent d'une dimension artistique. En particulier, l'étude des voix de doublage montre l'existence d'un cadre partagé pour la sélection et la direction de voix d'acteurs dans le but de produire des effets définis, mais les codes sous-jacents restent implicites et difficiles à formaliser. Ainsi, l'appréhension de la voix actée ne se limite manifestement pas à des facteurs purement acoustiques ou linguistiques, mais fait intervenir des facteurs sociologiques et culturels reflétés par les choix d'opérateurs humains. La modélisation des choix des opérateurs humains nécessite donc de modéliser explicitement ou implicitement les filtres cognitifs ayant amené à ces choix. La mise en évidence de codes explicites par une taxonomie partagée et standardisée et/ou la modélisation implicite des choix représente clairement un défi pour la recherche dans ce domaine. Une étude est en cours pour essayer de faire apparaître une taxonomie partagée par les professionnels pour qualifier une voix dans les métiers en production ou post-production de voix. Par ailleurs, nous avons présenté dans cet article une solution pour modéliser implicitement les choix d'un opérateur autour de la notion de "personnage", avec les résultats préliminaires obtenus en doublage de voix. Les études à venir visent à préciser les méthodologies présentées pour permettre de mieux comprendre et modéliser les nombreux facteurs de la voix actée et, à terme, les exploiter pour créer des applications technologiques pour les industries créatives.

# Remerciements

Cette recherche a été menée avec le projet TheVoice (ANR-17-CE23-0025) financé par l'Agence Nationale de la Recherche.
Références

Bosseaux C. (2015). *Dubbing, Film and Performance. Uncanny Encounters*. Bern : Peter Lage.

Cornu, J.-F. (2014). *Le doublage et le sous-titrage: Histoire et esthétique*. Presses universitaires de Rennes.

Ethis E., Malinas D. (2012). *Films de Campus. L'Université au cinéma*. Paris : Armand Colin.

DIAS G., Éd. (2015). *Actes de TALN 2015 (Traitement automatique des langues naturelles)*, Caen.
ATALA, HULTECH.

Ethis E. (2004). *Pour une po(i)étique du questionnaire en sociologie de la culture. Le spectateur imaginé*. Paris : L'Harmattan.

Gresse A., Rouvier M., Dufour R., Labatut V., Bonastre J.-F. (2017). *Acoustic Pairing of Original and Dubbed Voices in the Context of Video Game Localization*. INTERSPEECH.

Gresse A., Quillot M., Dufour R., Labatut V., Bonastre J.-F. (2018). Similarity Metrics Based on Siamese Neural Networks for Voice Casting. ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)

N. Dehak, P. Kenny, R. Dehak, P. Dumouchel, and P. Ouelle (2010). "Front-End Factor Analysis For Speaker Verification," IEEE Transactions on Audio, Speech and Language Processing, vol. 19, no. 4, pp. 788–798

Launier J.-J. (2016). *L'Art des studios d'animation Walt Disney. Le mouvement par nature*. Art Ludique - Le Musée.

Le Breton, D. (2011). *Eclats de voix.. Une anthropologie des voix*. Métailié.

Obin N., Roebel A., (2016). Similarity search of acted voices for automatic voice casting, IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol. 24, Issue. 9, p. 1642–1651.

Obin N., Roebel A., Bachman G. (2014). On Automatic Voice Casting for Expressive Speech: Speaker Recognition vs. Speech Classification

Ohala J., (1996). *Ethological Theory and the Expression of Emotion in the Voice*. Proceeding of Fourth International Conference on Spoken Language Processing. ICSLP '96

Roth R. (2017). À l'écoute de Disney. *Une sociologie de la réception de la musique au cinéma*. Paris : L'Harmattan.

Snyder D., Garcia-Romero D., Sell G., Povey D., Khudanpur S. (2018). *X-Vectors: Robust DNN Embeddings for Speaker Recognition*. IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
# Étude des facteurs affectant la compréhensibilité de documents multimodaux : une étude expérimentale

Estelle Randria¹,², Lionel Fontan², Maxime Le Coz², Isabelle Ferrané¹, Julien Pinquier¹

(1) IRIT-UPS, 118 route de Narbonne 31062 Toulouse, France

(2) Archean LABS, 20 place Prax-Paris, 82000 Montauban, France

estelle.randria, isabelle.ferrane, julien.pinquier@irit.fr, {lfontan, mlecoz}@archean.tech

## RÉSUMÉ

La compréhensibilité de documents audiovisuels peut dépendre de facteurs propres à l'auditeur/spectateur (ex. langue maternelle, performances cognitives) et de facteurs propres aux contenus des documents (ex. complexité linguistique, intelligibilité de la parole). Dans ces travaux, nous étudions les effets de facteurs propres aux contenus sur la compréhensibilité de 55 dialogues extraits de films, présentés à 15 experts (enseignants de français langue étrangère) selon cinq modalités différentes (transcription, transcription + audio, audio, audio + vidéo, transcription + audio + vidéo). Les experts ont évalué les dialogues en termes de compréhensibilité générale, de complexité du vocabulaire, de complexité grammaticale, et d'intelligibilité de la parole. L'analyse de leurs évaluations montre que (1) la complexité du vocabulaire, la complexité grammaticale, et l'intelligibilité de la parole sont significativement corrélées à la compréhensibilité générale, et (2) que les évaluations de compréhensibilité générale ont tendance à être plus élevées lors de présentations multimodales.

## ABSTRACT

Factors affecting the comprehensibility of multimodal documents : an experimental study

It has been shown that the comprehensibility of audiovisual documents can be influenced both by factors related to the recipient (e.g., native language, cognitive performance) and factors related to the document itself (e.g., linguistic complexity, speech intelligibility). The aim of this study was to investigate the effects of the document-related factors on the comprehensibility of 55 movie clips, presented to 15 experts (language teachers) under five different (combinations of) presentation modalities (text transcript, audio, text transcript + audio, audio + video, text transcript + audio + video). The experts rated the documents in terms of overall comprehensibility, lexical complexity, grammatical complexity, and speech intelligibility. The analysis of the experts ratings indicated that (1) lexical complexity, grammatical complexity, and speech intelligibility are all three significantly correlated to the ratings of comprehensibility and (2) that the combination of different presentation modalities lead to higher ratings of comprehensibility.

**MOTS-CLÉS** : corpus, film, compréhensibilité, compréhension orale, multimodalité, complexité linguistique, complexité grammaticale, intelligibilité de la parole.

**KEYWORDS:** corpus, movie, comprehensibility, listening comprehension, multimodality, linguistic complexity, grammatical complexity, speech intelligibility.

<figure><img src="image_238.png" /></figure>
# 1 Introduction

Le développement et la popularisation des plateformes de vidéo à la demande a eu un impact majeur sur la diffusion de contenus audiovisuels. La compréhension de contenu est un élément clef pour favoriser l'accessibilité à ces collections massives de documents audiovisuels. Il est possible de classer du contenu audiovisuel par genre, et il existe également des labels permettant de définir l'âge minimum conseillé pour regarder une vidéo, mais aujourd'hui il n'existe pas de classification permettant d'indiquer à quel point un document audiovisuel est compréhensible pour un public donné. En effet, ce type de document peut être perçu comme plus ou moins compréhensible selon la personne qui y a accès (personnes âgées, enfants, étrangers...). Dans ce contexte, il est intéressant d'étudier si ce type de classification est envisageable. Cet article traite de la compréhensibilité de contenu audiovisuel, plus spécifiquement de la difficulté potentielle de compréhension qui peut leur être associée, qui sera appelée par la suite « difficulté globale ». Dans un premier temps, la difficulté globale sera abordée principalement dans le cadre de l'apprentissage des langues. Les objectifs de notre étude sont : (1) d'étudier de quelle façon les humains perçoivent la difficulté globale de contenus audiovisuels (2) de savoir ce qui influence cette difficulté entre la complexité du vocabulaire, la complexité grammaticale et l'intelligibilité de la parole (c'est-à-dire à quel point la parole est facile à percevoir) et puis (3) de savoir si l'accès aux différentes modalités (vidéo, audio et texte) prises séparément ou combinées, joue un rôle sur la perception humaine de la difficulté globale.

# 2 Etudes autour de la compréhensibilité de documents

La compréhensibilité de documents, que ce soit de documents écrits, audio ou audiovisuels, a fait l'objet de nombreuses études. La grande majorité a cependant porté sur la compréhensibilité de textes et de documents audio plutôt que sur les contenus audiovisuels. Dans cette partie, nous présentons les éléments les plus souvent dégagés par les études comme étant des facteurs de complexification ou de facilitation de la compréhension orale.

Tout d'abord, il est important d'aborder des aspects linguistiques : il a en effet été démontré très tôt que le vocabulaire et la grammaire (notamment la syntaxe), jouaient un rôle prépondérant dans la compréhension écrite et orale. Les premières preuves ont été apportées dans des études portant sur la lisibilité (readability), qui prennent en compte les aspects linguistiques et conceptuels d'un texte pour évaluer sa difficulté globale. De nombreuses formules de lisibilité, prédisant la difficulté des textes, font appel à des descripteurs liés à la difficulté du vocabulaire et à la complexité grammaticale. Les formules les plus connues sont celles de Lively et Pressey (Lively & Pressey, 1923), Flesch (Flesch, 1948) et la formule (revisitée) de Dale et Chall (Chall & Dale, 1995) pour l'anglais, et la formule de Henry (Henry, 1975) pour le français. Ces formules utilisent notamment des variables liées à la fréquence d'occurrence des mots, à la longueur des phrases et des mots ou à la diversité lexicale du texte. Les nouvelles techniques d'apprentissage informatique (machine learning) ont permis d'aller beaucoup plus loin dans cette voie en analysant un grand nombre de descripteurs dérivés du texte afin d'obtenir de nouvelles formules. Cependant les nouvelles formules proposées par les linguistes construisant continuent toujours à faire appel à des variables liées aux complexités grammaticales et de vocabulaire (François, 2009). Tout comme pour la compréhension écrite, les connaissances linguistiques jouent un rôle prépondérant dans la compréhension orale, que ce soit pour la compréhension orale de la langue native ou étrangère (Buck, 2001) : des connaissances en vocabulaire et grammaire étant nécessaires pour décodeur le contenu. Le lien de ces complexités
avec la difficulté de compréhension orale a été montré à plusieurs reprises (Nissan et al., 1995; Carrow-Woolfolk, 1999).

Mais si la complexité intrinsèque du message est importante, sa vocalisation comporte également des aspects important pour la compréhension orale. Pour l'anglais l'emphase et l'intonation peuvent être déterminantes pour la compréhension du message (Wong & Waring, 2010) en aidant à insister sur les mots importants. Le débit de parole ou l'accent d'un locuteur peuvent également affecter la compréhension (Boyle, 1984). Un débit rapide peut également être une complication pour la compréhension des non natifs (Goh, 1994). Les pauses et les hésitations (aussi appelées disfluences) ont des effets qui varient selon les auditeurs, elles peuvent être informatives pour les auditeurs natifs (Corley & Hartsuiker, 2003) ou porter préjudice à la compréhension des non natifs (Voss, 1979). Chang et Read ont étudié l'impact des accents sur la compréhension orale (Chang & Read, 2008) et ont conclu que la compréhension des auditeurs était affectée par la présence d'accents qui ne leur sont pas familiers.

L'environnement sonore a lui aussi un impact sur la difficulté perçue. Dans l'étude de Boyle (Boyle, 1984), plusieurs professeurs le citent comme un élément important dans la compréhension orale en L1 et L2. Les auditeurs natifs peuvent rencontrer plus de difficultés à comprendre un document audio si les conditions sonores sont mauvaises (Adank et al., 2009). Les effets de l'environnement sonore sont encore plus importants pour des auditeurs non natifs qui sont confrontés à la fois aux conditions d'écoute dégradées et à leurs potentielles lacunes dans la langue cible.

Les études concernant la compréhension de contenus audiovisuels sont moins nombreuses, mais, si l'influence des aspects linguistiques sur la compréhension de contenus audiovisuels n'a visiblement pas été étudiée, on trouve des études s'intéressant à l'influence des sous-titres sur la compréhension de documents audiovisuels. Ce sujet a tout son intérêt dans le cadre de l'apprentissage des langues. Plusieurs tests menés pour déterminer si les sous-titres sont bénéfiques ou nuisibles pour la compréhension, ont principalement conclu que les sous-titres avaient un effet positif en accroissant la compréhension. (Perez et al., 2013; Markham et al., 2001).

Dahl a mené une étude qui a souligné l'importance des gestes dans la facilitation de la compréhension orale L1 et L2 (Dahl & Ludvigsen, 2014) : même si les locuteurs natifs et non natifs ne les exploiteront pas de la même façon, les gestes les aideront à atteindre une meilleure compréhension. En partant de ces observations, l'hypothèse peut être faite que les gestes peuvent faciliter la compréhension des contenus audiovisuels. L'accès à des vidéos qui contiennent des gestes et des indices visuels permet effectivement aux apprenants en langue seconde à mieux réussir la tâche de compréhension orale (Sueyoshi & Hardison, 2005).

Les recherches sur la compréhension de contenu ont mis en avant l'influence des aspects linguistiques sur la compréhension, que ce soit pour la compréhension écrite et orale. Elles ont aussi montré que la qualité de production de la parole (la prosodie, le débit...) et l'environnement sonore ont une influence sur la compréhension de contenu audio. Pour les contenus audiovisuels, la présence d'indices visuels et de sous-titres apparaissent comme des facilitateurs pour la compréhension. Notre étude s'intéresse aux aspects inhérents aux documents audiovisuels qui affectent la compréhension orale : la complexité du vocabulaire, la complexité grammaticale et l'intelligibilité de la parole.
# 3 Matériel et méthodes

## 3.1 Corpus

L'étude porte sur la perception humaine de la difficulté globale d'extraits issus de films. Pour mener cette étude, la création d'un corpus approprié était nécessaire, les sujets de l'expérience devant évaluer la difficulté globale des extraits en fonction des modalités disponibles. Trois modalités ont été exploitées : la modalité audio, la modalité vidéo et la modalité texte. Un corpus composé de 55 extrait de 15 films populaires français a été constitué. Les films ont été choisis pour que le corpus contienne des films de genres et d'époques différents, avec de la variété dans la langue et dans le registre. Les extraits ont été sélectionnés de telle sorte à ce qu'ils répondent à la définition d'une interaction (Traverso, 2013). La compréhension de situations de communication et de leurs éléments contextuels (qui ? quand ? où ? comment ?) étant la première étape menant à la compréhension de contenu audiovisuel. Les scènes d'action, ne comprenant pas de parole ou comportant des interactions trop courtes ont été exclues car elles ont été jugées comme n'étant pas suffisamment pertinentes pour évaluer la difficulté globale. Trois à cinq extraits par films ont été choisis, puis les flux audio et vidéo, ainsi que les transcriptions de ces extraits ont été récupérés. Le corpus compte 55 extraits (2541 secondes), chacun disponible sous trois formats différents :

- texte : il s'agit de la transcription des extraits (7225 mots),

- audio : les pistes sonores seules,

- vidéo : qui inclut les images et le son.

## 3.2 Participants

Les experts de l'étude ont été choisis parmi des professeurs de langue car ils sont souvent confrontés à l'évaluation de documents (de type texte, audio ou vidéo) pour déterminer s'ils sont appropriés pour leurs étudiants en terme de difficulté globale. Quinze professeurs de français langue étrangère (FLE) ont été recrutés, il était requis qu'ils soient francophones natifs avec au moins trois ans d'expérience dans l'enseignement (avec des apprenants de niveaux variés). Ils devaient être familiers avec l'utilisation de documents audiovisuels en classe et être normo-entendants. Les 15 professeurs -13 femmes, 2 hommes, tranche d'âge : 27-63 ans, âge moyen : 37 ans -ont une expérience dans l'enseignement qui varie entre 3 et 40 ans (moyenne : 11 ans, écart-type : 9 ans). Tous les experts ont reçu une compensation financière pour leur participation.

## 3.3 Évaluation

Une interface graphique a été développée puis déployée en ligne, afin de présenter les 55 extraits de films aux différents participants. Les extraits pouvaient être présentés sous cinq conditions différentes, chaque condition correspondant à une combinaison de modalités : texte (T) (seule la transcription de l'extrait était accessible), audio (A), audio+texte (AT), audio+vidéo (AV) et audio+vidéo+texte (AVT). Pour chaque participant, chacun des extraits a été présenté une seule fois sous une des conditions citées ci-dessus. Les participants ont réalisé l'évaluation en ligne, en utilisant leur propre matériel. Il leur a été spécifié de réaliser l'expérience dans un lieu calme, en utilisant un ordinateur et des écouteurs. À la fin de l'évaluation, chacun des 55 extraits de films a été présenté sous chacune des conditions à exactement trois participants.
Les extraits vidéos ont été présentés dans un ordre aléatoire. Pour chacun des extraits, l'interface présentait une zone dédiée à la transcription, un lecteur audio/vidéo ainsi que trois à quatre curseurs, en fonction de la condition présentée. Les participants avaient comme instruction d'utiliser chacun des curseurs mis à leur disposition pour évaluer chacun des extraits en terme de difficulté globale (de 0 -très facile à 100 -très difficile), de complexité du vocabulaire (de 0 -très facile à 100 -très difficile), de complexité grammaticale (de 0 -très facile à 100 -très difficile) et (pour chaque extrait présenté avec la modalité audio) d'intelligibilité de la parole (de 0 -totalement intelligible à 100 -totalement inintelligible). La position initiale de chaque curseur était à 50. L'interface mettait également à disposition des zones de texte où les participants pouvaient laisser un commentaire pour justifier la position donnée à chaque curseur. Les commentaires étaient obligatoires pour justifier l'évaluation de la difficulté globale. Les participants ont été familiarisés avec la tâche d'évaluation lors d'une phase d'entraînement sur cinq extraits de films, qui précédait la véritable évaluation, ils étaient libres de réaliser l'évaluation des extraits en plusieurs fois.

# 4 Résultats

Cette partie traite, dans un premier temps, de l'influence de la complexité du vocabulaire, de la complexité grammaticale et de l'intelligibilité sur la difficulté globale. La dernière partie étudie l'influence des modalités sur la difficulté globale perçue et l'intelligibilité de la parole. La diversité dans la perception des experts pouvant mettre en évidence des facteurs intéressants pour la suite de l'étude, nous n'avons pas procédé à des accords inter-annotateurs.

## 4.1 Relation entre les scores de difficulté globale et les scores de complexité du vocabulaire, de la grammaire et de l'intelligibilité

Dans cette partie les relations entre les scores de difficulté globale et les « sous-scores » (i.e. les scores de complexité du vocabulaire, de complexité grammaticale et d'intelligibilité) sont étudiées, à l'aide de corrélations bivariées et de régressions linéaires multiples.

### 4.1.1 Corrélations bivariées

La table 1 présente les résultats des corrélations par rang de Spearman, calculées entre les scores de difficulté globale et les sous-scores. Dans le cas de l'intelligibilité, les extraits présentés aux participants qui ne contenaient pas la modalité audio ont été ignorés.

<table><caption>TABLE 1 – Corrélations par rang de Spearman entre la difficulté globale et la complexité du vocabulaire, la complexité grammaticale, l'intelligibilité de la parole (*** $p \le 0,001$)</caption><thead><tr><td>Complexité</td><td>Vocabulaire</td><td>Grammaire</td><td>Intelligibilité parole</td></tr></thead><tbody><tr><td>Difficulté globale</td><td>0,74***</td><td>0,56***</td><td>0,63***</td></tr></tbody></table>

Des corrélations significatives positives, modérées à fortes, ont été trouvées entre la difficulté globale et les trois sous-dimensions évaluées. Ces résultats montrent que (1) comme cela pouvait être attendu,
plus le vocabulaire et la grammaire sont perçus comme étant complexes plus la difficulté globale perçue augmente et (2) plus la parole est intelligible, plus la difficulté globale perçue diminue. Pour étudier plus en profondeur le lien entre la difficulté globale et les trois sous-dimensions, des régressions linéaires multiples ont été réalisées.

4.1.2 Régressions linéaires multiples

Les scores de difficulté globale et les scores de complexité du vocabulaire, de complexité grammaticale et d'intelligibilité ont été moyennées pour chaque extrait, en prenant en compte les scores donnés sous toutes les conditions. Deux régressions linéaires multiples ont été réalisées en utilisant ces moyennes. La première régression a été calculée en prenant la difficulté globale comme variable dépendante et la complexité du vocabulaire et la complexité grammaticale comme variables indépendantes.

La régression linéaire multiple donne un coefficient de détermination élevé, avec un R² ajusté de 0,76. Ceci signifie que le modèle permet d'expliquer 76% de la variance de la difficulté globale. Les coefficients non-standardisés (NsCoef) montrent que la complexité du vocabulaire (NsCoef = 0,69) a plus de poids dans la régression que la complexité grammaticale (NsCoef = 0,34). La figure 1 représente un diagramme le dispersion reliant les scores de difficulté globale moyens prédits aux scores humains de difficulté globales moyens.

Une nouvelle régression linéaire multiple est réalisée pour voir si prendre en considération les scores évaluant l'intelligibilité de la parole permet d'améliorer la prédiction de la difficulté globale. Cette régression prend la difficulté globale comme variable dépendante, et la complexité du vocabulaire, la complexité grammaticale et l'intelligibilité comme variables indépendantes. Pour cette régression, les extraits ayant été notés avec la modalité texte seule ont été ignorés. Rajouter l'intelligibilité comme variable dépendante dans cette seconde régression linéaire permet d'obtenir un meilleur coefficient de détermination, avec un R² ajusté de 0,82. La complexité du vocabulaire a toujours plus de poids dans la prédiction de la difficulté globale (NsCoef = 0,55), suivie de la complexité grammaticale (NsCoef = 0,31) et de l'intelligibilité de la parole (NsCoef = 0,28). La relation entre les valeurs prédites et les valeurs réelles sont visibles dans la figure 2.

<figure><img src="image_239.png" /><figcaption>FIGURE 1 – Diagramme de dispersion reliant les évaluations humaines de la difficulté globale aux prédictions de la difficulté globale, en utilisant une régression linéaire multiple avec la complexité du vocabulaire et la complexité grammaticale comme variables indépendantes</figcaption></figure>

<figure><img src="image_240.png" /><figcaption>FIGURE 2 – Diagramme de dispersion reliant les évaluations humaines de difficulté globale aux scores prédits de difficulté globale, en utilisant une régression linéaire multiple avec la complexité du vocabulaire, la complexité grammaticale et l'intelligibilité comme variables indépendantes</figcaption></figure>
## 4.2 Influence des modalités

Un autre aspect intéressant à étudier est la variation des scores en fonction des modalités disponibles. Les hypothèses suivantes ont été faites : (1) la difficulté globale perçue sera plus élevée pour la condition A que pour la condition AT et que pour la condition AV, (2) la difficulté globale perçue sera plus élevée pour les conditions AV et AT que pour la condition AVT, (3) l'intelligibilité de la parole augmente si la modalité vidéo et/ou la modalité texte sont combinées avec la modalité audio. Aucune relation n'est attendue entre les modalités et la complexité du vocabulaire et la complexité grammaticale.

La moyenne et l'écart-type des scores de difficulté globale et d'intelligibilité ont été calculés pour chaque condition, pour visualiser l'évolution des scores en fonction des modalités disponibles. Les résultats sont représentés dans les figures 3 et 4.

<figure><img src="image_241.png" /><figcaption>FIGURE 3 – Scores moyens de difficulté globale en fonction des combinaisons de modalités. Les barres d'erreur représentent ± 1 écart-type</figcaption></figure>

<figure><img src="image_242.png" /><figcaption>FIGURE 4 – Scores moyens d’intelligibilité de la parole (scores bas = intelligibilité haute) en fonction des combinaisons de modalité. Les barres d’erreur représentent ± 1 écart-type.</figcaption></figure>

### 4.2.1 Influence des modalités sur la difficulté globale

En premier lieu, il est possible d'observer sur la figure 3 que la moyenne des scores de difficulté globale est la plus élevée dans la condition A, c'est-à-dire si la modalité audio est seule; dans ce corpus, les extraits présentés avec la modalité audio seule étaient donc les plus compliqués. Comme supposé, les moyennes sont moins élevées quand les modalités vidéo et texte s'ajoutent à la modalité audio seule, la moyenne la plus basse est obtenue pour la condition AVT, c'est-à-dire quand les trois modalités audio, vidéo et texte sont disponibles. Pour ce corpus, avoir accès aux trois modalités en même temps permet de minimiser la difficulté globale perçue.

### 4.2.2 Influence des modalités sur l'intelligibilité de la parole

Avoir accès à la vidéo et au texte devrait représenter un avantage pour la compréhension : si l'accès à la vidéo ne permet pas totalement de désambiguïser ce qui est entendu, la présence du texte permet de définitivement éliminer les problèmes d'inintelligibilité (même s'il est possible qu'un surplus d'information amène une surcharge cognitive). Cette théorie peut être supportée par les observations faites sur l'évolution de la moyenne des scores d'intelligibilité en fonction des modalités disponibles. La figure 4 montre que les extraits vidéos présentés avec la modalité audio seule, sont
perçus comme moins intelligibles par les participants et que l'ajout des modalités vidéo et/ou texte améliore l'intelligibilité. Les extraits vidéos les plus intelligibles sont ceux qui ont été présentés avec les trois modalités audio, vidéo et texte. Ces résultats montrent que, pour ce corpus, combiner les modalités audio, vidéo et texte permet d'optimiser l'intelligibilité.

# 5 Discussion et conclusions

Dans le cadre d'une étude de la compréhension de contenu audiovisuel, un corpus composé d'évaluations subjectives de 55 extraits extraits de 15 films, réalisées par 15 professeurs de français langue étrangère, a été constitué. Ces évaluations ont permis d'étudier les facteurs qui influent sur la difficulté perçue mais aussi d'étudier l'influence des modalités sur la compréhension.

Concernant l'influence de la complexité du vocabulaire, de la complexité grammaticale et de l'intelligibilité de la parole sur la difficulté globale, au niveau du corpus, il a été confirmé qu'une corrélation positive existait entre ces facteurs et la difficulté globale. Des régressions linéaires multiples, prenant la difficulté globale comme variable dépendante et la complexité du vocabulaire, la complexité grammaticale et l'intelligibilité comme variables indépendantes, confirment que la combinaison de ces trois variables permet de construire un modèle prédisant efficacement la difficulté globale, avec un $R^2$ ajusté atteignant une valeur de 0,82. Le fait que le $R^2$ ajusté n'atteigne pas la valeur de 1 peut s'expliquer par le fait que certains éléments jouant sur la difficulté globale n'ont pas été pris en considération. Des facteurs secondaires affectant la difficulté globale (par exemple des facteurs liés à l'aspect cognitif) n'ont pas été inclus dans cette étude. De plus, comme les évaluations ont été réalisées par des humains, d'autres facteurs, comme la fatigue des participants, ont pu influencer les évaluations.

En ce qui concerne l'influence des modalités sur la difficulté globale, il a été montré que les extraits présentés avec la modalité audio seule ont été perçus comme étant les plus difficiles par les participants. Rajouter les combinaisons vidéo et texte diminue la difficulté globale perçue et améliore l'intelligibilité de la parole : les extraits les plus faciles et les plus intelligibles du corpus étant ceux qui étaient présentés sous la condition AVT. La présence du texte doit permettre de contourner les problèmes liés à l'intelligibilité. La présence de la vidéo peut aider à améliorer l'intelligibilité de part les indices que peuvent donner les gestes, les expressions faciales et les mouvements des lèvres. En résumé, l'exploitation de toutes les modalités semble permettre de maximiser l'intelligibilité et de minimiser la difficulté globale perçue.

Ces conclusions résultent d'une étude subjective qui pourra conduire au développement d'un outil de prédiction automatique de la difficulté globale et à l'obtention d'une mesure objective de cette difficulté. La prochaine étape consistera à comparer les scores recueillis avec les scores obtenus automatiquement à partir de paramètres extraits des modalités audio, texte et vidéo, et à différentes modélisations pour voir si la complexité du vocabulaire, de la grammaire et l'intelligibilité peuvent être prédites. L'intérêt de cette étude était de recueillir des scores reflétant la perception d'experts de la difficulté des documents audiovisuels et de déterminer les facteurs influençant la compréhensibilité tout en incluant les variations de perception de chacun des experts. Les critères mis en évidence pourront être intégrés dans les travaux futurs sur la prédiction de la difficulté globale, à leur tour évalués par des enseignants de langue ou des apprenants.
Références

ADANK P., EVANS B., STUART-SMITH J. & SCOTT S. (2009). Comprehension of familiar and unfamiliar native accents under adverse listening conditions. *Journal of Experimental Psychology : Human perception and performance, 35*(2), 520.

BOYLE J. (1984). Factors affecting listening comprehension. *ELT Journal*, **38**(1), 34–38.

BUCK G., Éd. (2001). *Assessing Listening*. Cambridge University Press.

CARROW-WOOLFOLK E. (1999). Comprehensive assessment of spoken language. *Bloomington, MN : Pearson Assessment*.

CHALL J. S. & DALE E., Éds. (1995). *Readability revisited : The new Dale-Chall readability formula*. Brookline Books.

CHANG A.-S. & READ J. (2008). Reducing listening text anxiety through various forms of listening support. *TESL-EJ*, **12**(1), 1–25.

CORLEY M. & HARTSUIKER R. (2003). Hesitation in speech can... um... help a listener understand. *Proceedings of the Annual Meeting of the Cognitive Science Society*, **25**(25), 276–281.

DAHL T. & LUDVIGSEN S. (2014). How I see what you're saying : The role of gestures in native and foreign language listening comprehension. *The Modern Language Journal*, **98**(3), 813–833.

FLESCH R. (1948). A new readability yardstick. *Journal of Applied Psychology*, **32**(3), 221–233.

FRANÇOIS T. (2009). Modèles statistiques pour l’estimation automatique de la difficulté de textes de FLE. *Actes de RECITAL 2009*.

GOH C. (1994). How much do learners know about the factors that influence their listening comprehension? *Hong Kong Journal of Applied Linguistics*, **4**(1), 17–42.

HENRY G., Éd. (1975). *Comment mesurer la lisibilité*. Labor.

LIVELY B. & PRESSEY S. (1923). A method for measuring the ‘vocabulary burden’ of textbooks. *Educational Administration and Supervision*, **9**, 938–398.

MARKHAM P., PETER L. & MCCARTHY T. (2001). The effects of native language vs target language captions on foreign language students’ dvd video comprehension. *Foreign Language Annals*, **34**(5), 439–445.

NISSAN S., DEVINCENZI F. & TANG K. (1995). An analysis of factors affecting the difficulty of dialogue items in TOEFL listening comprehension. *ETS Research Report Series*, **2**, i-42.

PEREZ M., NOORTGATE W. & DESMET P. (2013). Captioned video for L2 listening and vocabulary learning : A meta-analysis. *System*, **41**(3), 720–739.

SUEYOSHI A. & HARDISON D. (2005). The role of gestures and facial cues in second language listening comprehension. *Language Learning*, **55**, 661–699.

TRAVERSO V., Éd. (2013). *L’analyse des conversations*. Armand Colin.

VOSS B. (1979). Hesitation phenomena as sources of perceptual errors for non-native speakers. *Language and Speech*, **22**(2), 129–144.

WONG J. & WARING H., Éds. (2010). *Conversation Analysis and Second Language Pedagogy*. Taylor & Francis.
# Évaluer l'intelligibilité, mots ou pseudo-mots ? Comparaison entre deux groupes d'auditeurs

Marie Rebourg¹, Muriel Lalain¹, Alain Ghio¹, Corinne Fredouille², Nicolas Fakhry¹,³, Virginie Woisard⁴

(1) Aix-Marseille Univ, CNRS, LPL, UMR 7309, Aix-en-Provence, France

(2) Laboratoire d'Informatique d'Avignon, Avignon, France

(3) Service ORL, APHM, La Conception, Marseille, France

(4) Service ORL, CHU Larrey, URI Octogone-Lordat, Toulouse, France

marie.rebourg@univ-amu.fr, muriel.lalain@univ-amu.fr, alain.ghio@univ-amu.fr, corinne.fredouille@univ-avignon.fr, nicolas.fakhry@ap-hm.fr, woisard.v@chu-toulouse.fr

## RÉSUMÉ

La perte d'intelligibilité représente une plainte importante des patients traités pour un cancer de la cavité buccale ou de l'oropharynx. L'évaluation de l'intelligibilité est essentielle dans le parcours de soin, mais les tests existants ne sont pas satisfaisants. Basés sur la perception de listes de mots par des auditeurs entraînés à restaurer des séquences sonores dégradées, ils conduisent souvent à une sous-évaluation des déficits. Nous avons proposé une nouvelle tâche d'évaluation de l'intelligibilité, la tâche de décodage acoustico phonétique (DAP), basée sur l'utilisation de pseudo-mots (Astésano et al., 2018; Ghio et al., 2018; Ghio et al., soumis, Lalain et al., sous presse). Dans cette étude, nous évaluons la capacité de la tâche DAP à neutraliser les effets de restauration lexicale et d'expertise auditive clinique. Les résultats montrent que contrairement à une évaluation de l'intelligibilité basée sur des mots, une évaluation basée sur des pseudo-mots permet d'obtenir des scores de Déviation Phonologique Perçue (DPP) stables au cours du temps quel que soit le degré d'expertise des auditeurs, naïfs ou cliniciens.

## ABSTRACT

### Assess intelligibility, words or pseudo-words? Comparison between two groups of listeners

Loss of intelligibility is a significant complaint from patients treated for Head and Neck cancer. Intelligibility assessment is essential in the treatment process, but the existing tests are not satisfactory. Based on the perception of word lists by listeners trained to restore degraded sound sequences, they often lead to an underestimation of deficits. We have proposed a new task for evaluating intelligibility, the acoustical phonetic decoding (DAP) task, based on the use of pseudo-words (Astésano et al., 2018; Ghio et al., 2018; Ghio et al., soumis). In this study, we assess the ability of the DAP task to neutralize the effects of lexical restoration and clinical auditory expertise. The results show that, unlike a word-based intelligibility assessment, a pseudo-word assessment makes it possible to obtain stable Perceived Phonological Deviation (PPD) scores over time regardless of the level of expertise. listeners, naive or clinicians.

**MOTS-CLÉS** : Phonétique Clinique, Intelligibilité, Trouble de la Production de la Parole, Cancer
VADS

**KEYWORDS:** Clinical phonetic, Intelligibility, Speech disorders, Head and Neck cancer

<figure><img src="image_243.png" /></figure>
# 1 L'intelligibilité

La perte d'intelligibilité constitue une plainte récurrente des patients atteints de Troubles de la Production de la Parole (TPP). Dans la cadre de la prise en charge des cancers ORL, les traitements dont bénéficient les patients (chirurgie, chimiothérapie, radiothérapie) entraînent un déficit communicationnel notable. Dans le parcours de soin, l'évaluation de l'intelligibilité est essentielle puisqu'elle permet de mesurer le handicap à la communication en évaluant les composantes linguistiques préservées et/ou dégradées pour établir la prise en charge orthophonique. Elle permet également de mesurer l'effet du traitement préalablement établi dans le parcours de soin.

La définition de l'intelligibilité ne fait pas consensus dans la littérature, elle est généralement définie comme « le degré de précision avec lequel un message est compris par un auditeur » (Yorkston, Dowden et Beukelman, 1992) ; dans le cadre de notre étude nous préférons adopter le point de vue de Hustad, Jones et Dailey (2003) selon lesquels les processus de bas niveaux supportent des informations « dépendantes du signal » alors que les informations « indépendantes du signal » sont liées aux processus de haut niveau. Il apparaît essentiel de préciser le concept de compréhension, défini par Lindblom (1990), comme « L'intégration à la fois des informations acoustico-phonétiques et de toutes les informations pertinentes indépendantes du signal qui permettent de comprendre un message parlé dans une situation de communication particulière ». Cette dernière met en lien le niveau de la compréhension avec les informations de haut niveau (top down) portées par le contexte et les connaissances générales d'un auditeur. En revanche, dans le cadre de ces travaux nous définissons l'intelligibilité, au sens de Keintz, Bunton et Hoit (2007), comme « la quantité de parole comprise à partir du seul signal acoustique ». Ainsi, l'évaluation de l'intelligibilité repose sur la quantité de signal acoustique perçu et correctement identifié par un auditeur. Cette définition établit un lien étroit entre l'intelligibilité et les informations dépendantes du signal liées aux processus de décodage des sons de parole, soit le bas niveau (bottom up).

## 1.1 L'évaluation clinique de l'intelligibilité

La méthode d'évaluation utilisée par les cliniciens repose sur la perception d'un auditeur. Cette évaluation est peu satisfaisante, mais elle constitue le gold standard de l'évaluation (Balaguer et al., 2019). La perception de la parole repose sur l'intégration d'informations de haut niveau, issues du contexte, et de bas niveau qui concernent l'identification des sons de parole. L'intégration de ces informations permet à un auditeur de restaurer les séquences sonores dégradées (Warren, 1984; Warren et al., 1997) et ainsi optimise le décodage et la compréhension d'un message. La performance de ces mécanismes est essentielle à la communication dans la vie quotidienne, mais perturbe l'évaluation de l'intelligibilité en contexte clinique en entraînant une sous-évaluation des déficits.

En effet, le contexte spécifique à l'évaluation clinique augmente les effets top down. Le matériel linguistique des tests existants, Batterie d'Evaluation Clinique de la Dysarthrie (BECD) (Auzou et Rolland-Monnoury, 2006), Frenchay Dysarthry Assessment 2 (FDA2) adapté au français, (Blanc et al., 2014) se composent de listes de mots courtes et fermées qui, facilement mémorisables, finissent par intégrer le stock de connaissances linguistiques générales des auditeurs. De plus, les connaissances du clinicien lui permettent de faire des prédictions sur les déficits des patients : la connaissance du dossier médical, du parcours de soin, du patient en tant que personne et de la pathologie influencent son jugement / évaluation. Enfin, une étude (Jarzé et al., 2017) a mis en évidence une grande variabilité dans la perception des troubles de la parole pathologique. L'ensemble de ces facteurs, associés à la pratique et à l'utilisation répétée du test par le clinicien le conduisent à
apprendre le matériel linguistique ce qui entraîne la restauration lexicale des items et donc une sous-
'évaluation des déficits.

En définitive, les processus de restauration perceptive sont permis par le recours aux informations de haut niveau, accentués par le contexte spécifique de l'évaluation clinique et conduisent à une évaluation subjective. Bien que peu satisfaisante, la méthode d'évaluation de l'intelligibilité repose sur une évaluation perceptive, dont on ne peut s'affranchir, puisque par définition l'intelligibilité implique la production d'un locuteur et la perception d'un auditeur. On peut alors se demander comment rendre l'évaluation plus objective. Comment générer une évaluation qui force le recours aux informations de bas niveau et neutralise les processus de restauration lexicale ?

La solution que nous avons proposée (Ghio et al., 2017) consiste à utiliser des listes de pseudo-mots pour limiter le recours aux informations de haut niveau et forcer l'auditeur à s'appuyer essentiellement sur des informations de bas niveau en le plaçant dans une situation de décodage acoustico-phonétique.

## 1.2 Le recours aux pseudo-mots

Les pseudo-mots sont des séquences qui suivent les règles phonotactiques du français. Dans le cadre du projet de recherche C2SI, plus de 80 000 formes ont été générées et permettent de constituer aléatoirement un très grand nombre de listes respectant des contraintes prédéfinies (Ghio et al., 2018). Le principe consiste à faire produire une liste de pseudo-mots qui sera ensuite perçue et transcrite par un auditeur. Ex de pseudo-mots : *chouvi, granchu, soga, vosso, zinvo, rouzant, rumo, preglo, coubin*. Nous calculons ensuite un score de Déviation Phonologique Perçue (DPP) en termes de nombre de traits moyen altérés par phonème. Ce score est issu de la comparaison entre une cible qui devait être produite et ce qui a été perçu par un auditeur. Le calcul du score DPP repose sur une matrice de confusion intégrant la distance de Levenshtein à l'algorithme de Wagner Fischer.

Les études conduites jusqu'à présent pour éprouver la robustesse de la tâche de DAP ont montré des résultats positifs (i) pour sa capacité à discriminer deux groupes de locuteurs : patients VS témoins (Ghio et al., 2018), (ii) car quelle que soit la liste utilisée l'évaluation reste stable, les listes de pseudo-mots utilisées sont donc équivalentes (Ghio et al., 2019), (iii) et les scores de Déviation Phonologique Perçues sont corrélés avec les évaluations globales de l'intelligibilité (Lalain, M. et al., sous presse).

Il reste toutefois des questions pour valider les critères de pertinence et d'objectivité de la tâche de DAP. Ainsi, on peut se demander si une évaluation basée sur l'utilisation de pseudo-mots est plus pertinente qu'une évaluation basée sur des mots, autrement dit, quand les auditeurs sont confrontés plusieurs fois aux mêmes stimuli, sont-ils capables de les mémoriser et de les restaurer ? Enfin, l'utilisation de pseudo-mots, si elle permet une évaluation de l'intelligibilité plus objective chez des auditeurs naïfs, permet-elle de neutraliser l'expertise auditive des cliniciens ? Répondre à ces deux questions est l'objectif de l'étude que nous présentons ici.

# 2 Méthodologie

Afin de répondre à ces questions de recherche nous avons constitué un corpus composé des enregistrements de 20 locuteurs. Ce corpus rassemble le matériel linguistique que nous avons utilisé dans le protocole expérimental des tests de jugement perceptif de l'intelligibilité au cours desquels nous collectons les transcriptions de différents groupes d'auditeurs. Ces transcriptions font l'objet d'un traitement spécifique permettant d'obtenir un score de Déviation Phonologique Perçue (DPP). Ces scores (VD) seront mis en lien avec la nature du matériel linguistique (VI : Mots VS Pseudo-mots) et les groupes d'auditeurs (VI : Naïf VS Expert) dans nos analyses statistiques.
## 2.1 Corpus

Pour les besoins de cette étude 10 patients et 10 témoins ont chacun été enregistrés sur la production d'une liste de 50 mots (items de la BECD) et sur la production de 2 listes de 52 pseudo-mots issues du matériel linguistique constitué pour la tâche de DAP. Soit 154 productions par locuteur. Nous avons donc enregistré 154 stimuli x 20 locuteurs, soit 3080 stimuli en tout et respectivement 1000 stimuli pour le corpus BECD et 2080 stimuli pour le corpus DAP. Les locuteurs ont été divisés en deux groupes (A et B) de 10 locuteurs dans lesquels on retrouve 5 patients et 5 témoins, impliquant que les corpus BECD et DAP ont eux aussi été divisés en deux sous corpus composés chacun de 500 stimuli BECD et 1040 stimuli DAP. Ceci afin de limiter le nombre de stimuli transcrit par les auditeurs.

A partir de chaque sous corpus, des listes de stimuli ont été constituées. Nous obtenons alors 6 listes de productions pour les corpus BECD avec 167 stimuli par liste et 12 listes pour les corpus DAP avec 174 stimuli par liste. Les listes 1 à 3 du corpus BECD et les listes 1 à 3 et 7 à 9 du corpus DAP sont produites par le groupe de locuteurs A. Les listes 4 à 6 du corpus BECD et listes 4 à 6 et 10 à 12 du corpus DAP ont été produites par le groupe de locuteurs B. Ces listes ont été utilisées pour effectuer des tests de jugement perceptif de l'intelligibilité auprès de deux populations d'auditeurs, naïfs et cliniciens.

## 2.2 Design expérimental

Dans ces tests, l'auditeur écoute dans un casque les productions de patients (traités pour un cancer des VADS) et de témoins, et transcrit, sur un clavier, ce qu'il entend.

Chaque auditeur écoute et transcrit 3 listes BECD et 6 listes DAP, produites par un groupe de locuteurs (A ou B). Chaque liste est transcrite par trois auditeurs différents et l'ordre de présentation des listes est contrôlé de manière que chaque liste apparaisse dans chaque position possible (T1, T2 et T3) et soit transcrite par trois auditeurs différents. Nous obtenons donc 3 transcriptions, proposées par 3 auditeurs différents, et ce dans chacune des positions (T1, T2 et T3), soit au total 9 transcriptions par liste. L'ordre de passation des listes est résumé dans le tableau de design expérimental suivant :

<table><thead><tr><th></th><th></th><th></th><th>T1</th><th>T2</th><th>T3</th></tr></thead><tbody><tr><td rowspan="12">Groupe de locuteurs A</td><td rowspan="3">3 auditeurs ≠</td><td>BECD</td><td>1</td><td>2</td><td>3</td></tr><tr><td>DAP 1</td><td>1</td><td>2</td><td>3</td></tr><tr><td>DAP 2</td><td>7</td><td>8</td><td>9</td></tr><tr><td rowspan="3">3 auditeurs ≠</td><td>BECD</td><td>2</td><td>3</td><td>1</td></tr><tr><td>DAP 1</td><td>3</td><td>1</td><td>2</td></tr><tr><td>DAP 2</td><td>9</td><td>7</td><td>8</td></tr><tr><td rowspan="3">3 auditeurs ≠</td><td>BECD</td><td>3</td><td>1</td><td>2</td></tr><tr><td>DAP 1</td><td>2</td><td>3</td><td>1</td></tr><tr><td>DAP 2</td><td>8</td><td>9</td><td>7</td></tr><tr><td rowspan="3">Groupe de locuteurs B</td><td rowspan="3">3 auditeurs ≠</td><td>BECD</td><td>4</td><td>5</td><td>6</td></tr><tr><td>DAP 1</td><td>4</td><td>5</td><td>6</td></tr><tr><td>DAP 2</td><td>10</td><td>11</td><td>12</td></tr></tbody></table>

Chaque auditeur transcrit 3 blocs de stimuli (BECD, DAP1 puis DAP2)

Chaque bloc comprend 3 listes de stimuli

L'ordre de passation des listes au cours de la tâche est contrôlé. Ex : La liste 1 est transcrite en T1, puis, T2 et T3
<table><caption>TABLE 1 : Tableau récapitulatif du design expérimental du test de jugement perceptif</caption><tr><td rowspan="3">3 auditeurs<br/>≠</td><td>BECD</td><td>6</td><td>4</td><td>5</td></tr><tr><td>DAP 1</td><td>5</td><td>6</td><td>4</td></tr><tr><td>DAP 2</td><td>11</td><td>12</td><td>10</td></tr><tr><td rowspan="3">3 auditeurs<br/>≠</td><td>BECD</td><td>5</td><td>6</td><td>4</td></tr><tr><td>DAP 1</td><td>6</td><td>4</td><td>5</td></tr><tr><td>DAP 2</td><td>12</td><td>10</td><td>11</td></tr></table>

Ce protocole expérimental a permis de réaliser des tests de jugement perceptif de l'intelligibilité auprès de deux groupes de population.

## 2.3 Test de jugement perceptif

18 auditeurs naïfs, natifs de langue française, sans problème de vue ou d'audition non corrigés, ayant un bon niveau en orthographe et 18 auditeurs experts en écoute de la parole pathologique, tous orthophonistes, ont participé à cette étude. Les auditeurs naïfs ont réalisé la tâche en débutant par la transcription orthographique des mots issus de la BECD puis en transcrivant les listes de pseudo-mots du DAP. Pour des questions d'organisation les auditeurs experts ont réalisé la tâche en débutant par la transcription des listes de pseudo-mots du DAP, puis ont poursuivi l'exercice en transcrivant les mots issus de la BECD. Les auditeurs ont reçu pour consigne de toujours donner une transcription, au plus près de ce qu'ils perçoivent et identifient, en suivant les règles orthographiques du français. Ils ont été dédommagés en ticket Kadeos. Ce design expérimental supporte un double objectif, il permet de comparer les scores d'intelligibilité obtenus par la production et la transcription de deux types de matériel linguistique : des mots et des pseudo-mots ; et de comparer les scores obtenus par les transcriptions de deux catégories d'auditeurs : des auditeurs naïfs et experts. Ce test de jugement perceptif de l'intelligibilité a été mené au CEP (http://cep.lpl-aix.fr/), à l'aide de la station de perception PercEval (André et al., 2003).

## 2.4 Traitement des données

Pour réaliser l'analyse statistique des données collectées lors des tests de jugement perceptif de l'intelligibilité, plusieurs étapes sont nécessaires.

Tout d'abord, nous récupérons les données brutes au sortir du logiciel d'expérimentation PercEval (André et al., 2003). Nous réalisons différentes opérations de prétraitement des données visant à leur donner un format compatible avec les outils de calcul du score DPP. En premier lieu nous recodons les transcriptions orthographiques des auditeurs : si un auditeur propose une transcription avec une lettre accentuée (e.g : « é ») elle est encodée par un symbole dans le fichier de réponse (e.g : « %E9 »), nous remplaçons les symboles du fichier réponse par la lettre correspondante transcrite initialement par l'auditeur. Ensuite nous transformons ces transcriptions orthographiques en phonétique, c'est l'étape de phonétisation ((LIA_Phon, Béchet, 2001) et Lexique.org). Ces transcriptions phonétisées, compatibles avec la matrice de confusion utilisée pour calculer les scores de Déviation Phonologique Perçue (DPP), sont utilisées pour l'analyse des données.

Nous comparons alors les transcriptions phonétiques des réponses des auditeurs aux tests de jugement perceptif de l'intelligibilité avec les transcriptions phonétiques des cibles qui devaient être prononcées par les locuteurs. L'algorithme de Wagner Fischer permet le calcul de distance d'édition entre deux
chaînes de caractères phonétiques. Nous utilisons une matrice de confusion qui attribue un coût en termes de distance basé sur la théorie des traits, développé par A. Ghio dans le cadre de l'analyse des données DAP (Ghio et al., 2018). L'algorithme intègre la distance de Levenshtein, qui considère trois opérations d'éditions élémentaires : la suppression, l'insertion ou la substitution d'un caractère, ce qui permet de traiter les altérations sur les deux axes syntagmatique et paradigmatique. Soit, une distance entre les transcriptions des cibles qui devaient être prononcées par les locuteurs et les transcriptions effectives des réponses des auditeurs.

Les scores de distance cumulée sont obtenus en divisant le score donné par la matrice de confusion pour chaque stimulus par le nombre de caractères de la cible phonétique. Nous obtenons alors des scores de Déviation Phonologique Perçue (DPP) en termes de distance cumulée à la cible, qui représentent le nombre moyen de traits altérés par phonème. Ces scores sont les variables dépendantes (VD) des analyses statistiques. De plus, pour chaque auditeur, un numéro a été assigné à chaque item en fonction de l'ordre de la passation, ainsi, le premier stimulus transcrit est numéroté 1, le second stimulus transcrit est numéroté 2, et ainsi de suite jusqu'à 500 pour les items lexicaux BECD et jusqu'à 1040 pour les items non-lexicaux DAP.

Pour l'analyse statistique, nous comparerons les scores DPP à l'aide d'une analyse de variance appliquée afin de tester les différences significatives des scores d'intelligibilité (VD) en fonction du matériel d'évaluation (Variables Indépendantes (VI) : Mots vs Pseudo-mots) et en fonction du groupe d'auditeurs (VI : Naïfs vs Experts).

# 3 Résultats et discussion

Une analyse de variance (ANOVA) a été conduite, afin de tester les effets simples et les effets d'interaction entre les différents facteurs et ainsi de déterminer les liens entre les variables testées. Nous avons utilisé le score DPP en VD et en VI le groupe d'auditeurs (facteur 2 niveaux : Experts vs Naïfs), le type de matériel linguistique (facteur 2 niveaux : Mots BECD vs Pseudo-mots DAP), et le groupe de locuteurs (Patients et Témoins) en facteur. Les résultats montrent un effet simple des groupes de locuteurs, d'auditeurs et du matériel linguistique (p < 0.001). Cela signifie que, dans nos données, les groupes de locuteurs sont distingués, tout comme les groupes d'auditeurs et type de matériel linguistique. Les résultats révèlent également un effet d'interaction significatif entre Locuteur et Auditeur (p = 0.027) et entre Matériel linguistique et Auditeur (p = 0.047). Cela montre que les locuteurs sont évalués différemment par les deux groupes d'auditeurs et que les groupes d'auditeurs ne proposent pas des scores équivalents avec les deux matériaux linguistiques. Cependant, ils ne montrent pas d'effet d'interaction Locuteur et Matériel linguistique (p = 0.44), donc les deux groupes de locuteurs ne sont pas évalués différemment par les matériaux linguistiques. En revanche, ils révèlent également un effet d'interaction Locuteur, Auditeur et Matériel linguistique (p < 0.001) ; les groupes d'auditeurs évaluent différemment les groupes de locuteurs en fonction du matériel linguistique utilisé.

Pour établir le sens du lien entre nos variables nous avons établi une matrice de corrélation qui intègre l'ordre de passation des items (VI : Order) à la place du groupe de locuteurs. Les résultats révèlent un effet de l'ordre des items dans la passation pour le matériel linguistique lexical (Mots BECD) et ce pour les deux groupes d'auditeurs, Expert (r = -0.197, p < 0.001) et Naïfs (r = -0.302, p < 0.001) (FIGURE 1). En revanche, aucun effet n'est mis en exergue dans une évaluation basée sur l'utilisation de pseudo-mots (DAP) et ce pour les deux groupes d'auditeurs, Experts (r = -0.058, p = 0.06) et Naïfs (r = -0.028, p = 0.37) (FIGURE 3).
<figure><img src="image_244.png" /><figcaption>FIGURE 1 : Scores DPP attribués par une évaluation BECD par deux types d'auditeurs</figcaption></figure>

Ceci indique que, dans une évaluation utilisant du matériel linguistique lexical (Mots BECD) il existe un effet d'apprentissage du matériel linguistique au cours de la tâche. L'accès au lexique mental permis par l'emploi de mots favorise la mémorisation des items et leur restauration perceptive lorsque leur production est dégradée. Les listes de mots courtes et fermées classiquement utilisées (Auzou et Rolland-Monnoury, 2006; Blanc et al., 2014) facilitent ces effets. Défavorables dans le cadre de l'évaluation clinique de l'intelligibilité, car conduisant à la sous-évaluation des déficits, ces effets se trouvent neutralisés dans une évaluation s'appuyant sur du matériel linguistique non lexical (Pseudo-mots DAP). En effet, les pseudo-mots DAP permettent d'obtenir une évaluation stable au cours du temps, critère qui valide la fiabilité de la tâche et du matériel linguistique, et de neutraliser l'effet d'apprentissage et de mémorisation, et donc les effets de restauration perceptive liés au matériel linguistique.

Ces résultats confirment l'hypothèse selon laquelle l'emploi de pseudo-mots est pertinent pour évaluer l'intelligibilité (au sens de la définition de Keintz, Bunton et Hoit (2007)) et qu'il permet de neutraliser l'effet d'apprentissage du matériel linguistique, et ce, pour les deux groupes d'auditeurs, naïfs et cliniciens.

<figure><img src="image_245.png" /><figcaption>FIGURE 2 : Scores DPP attribués par une évaluation DAP par deux types d'auditeurs</figcaption></figure>
Dans les évaluations BECD la différence de scores moyens entre les deux groupes d'auditeurs, Experts (μ = 0,464) et Naïfs (μ = 0,634) était attendue car les auditeurs Experts ont déjà été confrontés aux items de la BECD au cours de leur pratique clinique. Cependant, cette différence nous interpelle dans les évaluations DAP, Experts (μ = 0.685) et Naïfs (μ = 0.787). Ces scores indiquent que les auditeurs cliniciens sont de meilleurs décodeurs que les auditeurs naïfs, du fait de leur expertise auditive en écoute de la parole pathologique. Ainsi, pour mesurer l'effet d'expertise sur la tâche de DAP, nous avons comparé les scores DPP moyens attribués par les deux groupes d'auditeurs. La différence observée s'est révélée significative (p < 0.001). Les experts proposent des scores DPP significativement plus bas que les auditeurs naïfs. Cette différence moyenne correspond à une différence moyenne de 0.1 trait d'écart moyen par phonème, ce qui est très faible. Nous avons donc cherché à évaluer la taille de cet effet en calculant un coefficient d de Cohen (« cohen.d » in R). Un 'd' aux alentours de 0.2 est considéré comme « faible », à 0.5 « médium » et à 0.8 « fort ». Le d de Cohen estimé pour le DAP, entre les auditeurs naïfs et experts est (d : 0.102) dit négligeable. La différence de scores DPP moyens attribués par les auditeurs naïfs et les auditeurs experts ne perturbe donc pas l'évaluation car sa faiblesse montre que les deux groupes d'auditeurs n'évaluent finalement pas différemment les locuteurs avec le DAP. Cela indique que l'effet d'expertise auditive des cliniciens est neutralisé lors d'une évaluation de l'intelligibilité par la tâche de DAP.

Ces résultats corroborent l'hypothèse selon laquelle l'utilisation de pseudo-mots dans l'évaluation de l'intelligibilité permet de neutraliser l'effet d'expertise auditive des cliniciens.

# 4 Conclusion

Cette étude visait à valider la pertinence de l'utilisation de pseudo-mots, par rapport à des mots pour évaluer l'intelligibilité. Plus précisément, nous avons cherché à montrer qu'une évaluation basée sur l'utilisation de pseudo-mots permettait d'obtenir des scores de Déviation Phonologique Perçue (DPP) plus stables dans le temps qu'une évaluation basée sur des mots, et ce lorsque cette évaluation est conduite par des auditeurs naïfs aussi bien que par des experts. Nos résultats ont confirmé nos hypothèses : la tâche DAP permet d'obtenir un score DPP objectif, en nombre moyen de traits altérés par phonème, qui est représentatif de la sévérité du déficit des patients et du degré de dégradation du signal perçu. La tâche de DAP permet ainsi de neutraliser les effets d'apprentissage et mémorisation du matériel linguistique, ainsi que l'effet d'expertise auditive des cliniciens.

Ces résultats s'inscrivent dans la lignée des études précédemment conduites (Voir Section 1.1) pour évaluer les critères d'objectivité et de pertinence de la tâche DAP. Une partie des données de cette étude ont également permis d'évaluer la stabilité des scores DPP obtenus lorsque ceux-ci sont calculés non plus à partir de 52 pseudo-mots, mais à partir de 16 (Marczyck et al, soumis). Cette réduction, basée sur des critères phonologiques a montré de très bons résultats dans le cadre d'une évaluation par des auditeurs naïfs. Dans la suite de notre étude présentée ici, nous évaluerons la robustesse de l'évaluation de l'intelligibilité basée sur des pseudo-mots, auprès d'auditeurs experts, en utilisant des listes réduites à 16 items.

# Remerciements

Ce travail de recherche a été réalisé dans le cadre d'un contrat doctoral soutenu par la Ligue Contre le Cancer. Il s'inscrit également dans le cadre de projet de recherche soutenu par la subvention n° 2014-135 de l'Institut National pour le Cancer (INCA) projet C2SI et par la subvention ANR-18-CE45-0008 de l'Agence Nationale de la Recherche en 2018 Projet RUGBI
Références

ANDRE, C. ET AL. (2003): «PERCEVAL: a Computer-Driven System for Experimentation on Auditory and Visual Perception», in *XVth ICPhS. ICPhS*, Barcelone, Espagne, p. 1421-1424.

ASTESANO, C. ET AL. (2018): «Carcinologic Speech Severity Index Project: A Database of Speech Disorder Productions to Assess Quality of Life Related to Speech After Cancer», in *Language Resources and Evaluation Conference*, Miyazaki.

AUZOU, P. ET ROLLAND-MONNOURY, V. (2006): *Batterie d'évaluation clinique de la dysarthrie*. Ortho Edition. France: ORTHO.

BALAGUER, M. ET AL. (2019): «Assessment of impairment of intelligibility and of speech signal after oral cavity and oropharynx cancer», *European Annals of Otorhinolaryngology, Head and Neck Diseases*, 136(5), p. 355-359. doi: [10.1016/j.anorl.2019.05.012](https://doi.org/10.1016/j.anorl.2019.05.012).

BECHET, F. (2001): «LIA PHON: Un système complet de phonétisation de textes», *Traitement Automatique des Langues, TAL*. (TAL - ATALA), 42(1), p. 47-67.

BLANC, E. ET AL. (2014): «Adaptation en français du test d'intelligibilité de la version révisée du « Frenchay Dysarthria Assessment » (FDA-2)», in *Congrès de la Société Française de Phoniatrie*. Paris, France. Disponible sur: [https://hal.archives-ouvertes.fr/hal-01615204](https://hal.archives-ouvertes.fr/hal-01615204).

GHIO, A. ET AL. (2017): «Du décodage acoustico-phonétique pour mesurer l'intelligibilité de locuteurs atteints de troubles de production de la parole», in *Journée de Phonétique Clinique (7ème)*, Paris.

GHIO, A. ET AL. (2018): «Une mesure d'intelligibilité par décodage acoustico-phonétique de pseudomots dans le cas de parole atypique», in *XXXIe Journées d'Études sur la Parole. XXXIe Journées d'Études sur la Parole*, ISCA, p. 285-293. doi: [10.21437/JEP.2018-33](https://doi.org/10.21437/JEP.2018-33).

GHIO, A. ET AL. (2019): «Application d'un test d'intelligibilité à partir de pseudo-mots dans le cas de patients post traitement de cancers des VADS», in *Journées de Phonétique Clinique*. Mons, Belgium. Disponible sur: [https://hal.archives-ouvertes.fr/hal-02098836](https://hal.archives-ouvertes.fr/hal-02098836).

GHIO, A. ET AL. (2020), «Evaluation de l'intelligibilité de patients avec traitement du cancer des cavités orales et pharyngales», submitted in this volume.

HUSTAD, K. C., JONES, T. ET DAILEY, S. (2003): «Implementing Speech Supplementation Strategies: Effects on Intelligibility and Speech Rate of Individuals With Chronic Severe Dysarthria», *Journal of Speech, Language, and Hearing Research*, 46(2), p. 462-474. doi: [10.1044/1092-4388(2003/038)](https://doi.org/10.1044/1092-4388(2003/038)).

JARZE, S. ET AL. (2017): «Analyse perceptive des voix dysphoniques. Influences et corrélations entre les dimensions G, R et B de l'échelle d'Hirano», in *Journées de Phonétique Clinique*. Paris, France. Disponible sur: [https://hal.archives-ouvertes.fr/hal-01615030](https://hal.archives-ouvertes.fr/hal-01615030).

KEINTZ, C. K., BUNTON, K. ET HOIT, J. D. (2007): «Influence of Visual Information on the Intelligibility of Dysarthric Speech», *American Journal of Speech-Language Pathology*, 16(3), p. 222-234. doi: [10.1044/1058-0360(2007/027)](https://doi.org/10.1044/1058-0360(2007/027)).

LINDBLOM, B. (1990): «On the communication process: Speaker listener interaction and the development of speech.», in *Augmentative and Alternative Communication*. (6), p. 220-230.

WARREN, R. M. (1984): «Perceptual restoration of obliterated sounds», *Psychological Bulletin*, 96(2), p. 371-383. doi: [10.1037/0033-2909.96.2.371](https://doi.org/10.1037/0033-2909.96.2.371).

WARREN, R. M. ET AL. (1997): «Spectral restoration of speech: Intelligibility is increased by inserting noise in spectral gaps», *Perception & Psychophysics*, 59(2), p. 275-283. doi: [10.3758/BF03211895](https://doi.org/10.3758/BF03211895).

YORKSTON, K. M., DOWDEN, P. A. ET BEUKELMAN, D. R. (1992): «Intelligibility measurement as a tool in the clinical management of dysarthric speakers», in *Intelligibility in speech Disorders : Theory, measurement and management*. Raymond D. Kent. Madison, Wisconsin: John Benjamins Publishing Company, p. 265-286. Disponible sur: [https://benjamins.com/catalog/sspcl.1.08yor](https://benjamins.com/catalog/sspcl.1.08yor)
# Sur le voisement des consonnes fricatives finales en français du Québec

Josiane Riverin-Coutlée

Institute of Phonetics and Speech Processing, Ludwig-Maximilians-Universität

Schellingstraße 3, 80799 Munich, Allemagne

josiane.riverin@phonetik.uni-muenchen.de

## RÉSUMÉ

Cette étude s’intéresse aux indices acoustiques qui concourent à distinguer les fricatives non voisées /f sʃ/ et voisées /v zʒ/ en position de finale absolue en français du Québec. La durée de la consonne elle-même, celle de la voyelle accentuée précédente et le taux de voisement consonantique sont les indices acoustiques examinés. La durée intrinsèque des voyelles, caractéristique importante de la variété à l'étude, est prise en compte lors de l'analyse des résultats, qui indiquent que les deux groupes de consonnes se distinguent en tous points. Les consonnes voisées ont une durée plus courte, présentent un taux de voisement supérieur quoique moindre que celui rapporté dans la littérature antérieure, et allongent les segments vocaliques précédents. Ce dernier phénomène se produit même lorsque la voyelle est intrinsèquement longue, révélant la robustesse de l'effet allongeant des consonnes voisées et l'extensibilité de la durée vocalique en français québécois.

## ABSTRACT

### On final fricative consonant voicing in Quebec French

This study looks at the acoustic cues distinguishing between unvoiced fricatives /f sʃ/ and voiced /v zʒ/ in absolute final position in Quebec French. The duration of the consonant itself, duration of the preceding stressed vowel and rate of consonantal voicing are the acoustic cues examined. Intrinsic vocalic length, an important feature of the studied variety, is taken into account in the analysis, the results of which indicate that the two groups of consonants are distinct in all manners. The voiced consonants have a shorter duration, greater rate of voicing – although it is smaller than that reported in previous literature – and they lengthen preceding vocalic segments. This latter phenomenon takes place even with intrinsically long vowels, therefore revealing the robustness of the voiced consonants’ lengthening effect and expandability of vocalic length in Quebec French.

**MOTS-CLÉS** : français québécois, consonnes fricatives, voisement, longueur vocalique intrinsèque

**KEYWORDS:** Quebec French, fricative consonants, voicing, intrinsic vocalic length

## 1 Voisement : problématique et objectifs

Le voisement est à la base de nombreux contrastes phonologiques dans les langues du monde. Si en théorie, les segments de la parole peuvent être qualifiés de voisés lorsqu'ils sont produits avec vibration des cordes vocales, dans les faits, un ensemble d'indices concourent à ce que les auditeurs perçoivent certains segments comme étant voisés. Par exemple, en anglais, un très court intervalle de silence suivant l'explosion et précédant le début du segment suivant mène les auditeurs à percevoir

<figure><img src="image_246.png" /></figure>
qu'une occlusive est voisée (Lisker & Abramson, 1964). Dans la même langue, une voyelle longue est un indicateur aussi efficace, sinon meilleur, du voisement de la fricative suivante que le fait que celle-ci ait été produite avec vibration des cordes vocales (Denes, 1955; Raphael, 1972). Ce dernier phénomène se rattache à l'effet de voisement, ou voicing effect, attesté dans plusieurs langues (voir par exemple Pape & Jesus, 2015). L'effet de voisement consiste en l'allongement d'une voyelle en syllabe accentuée fermée par une consonne voisée, comparativement à la même voyelle en syllabe fermée par une consonne non voisée. Si l'effet peut se produire aussi bien avec les consonnes occlusives que fricatives, il serait encore plus marqué avec ces dernières (House & Fairbanks, 1953; Hogan & Rozsypal, 1980).

De fait, l'effet de voisement est reconnu se produire avec les consonnes fricatives du français. Rappelons que cette langue, y compris la variété parlée au Québec, comporte entre autres phonèmes trois paires de consonnes fricatives qui s'opposent par le voisement : /f v/, /s z/ et /ʃ ʒ/ (Fougeron & Smith, 1993; Martin, 1996). Lorsqu'elles se retrouvent en fin d'unité lexicale, on qualifie les consonnes fricatives voisées /v z ʒ/ (ainsi que /ʃ/) d'« allongeantes » (Fouché, 1959), puisque la voyelle accentuée les précédant se trouve sensiblement allongée à leur contact. Par exemple, dans le mot *sage*, la voyelle /a/ est plus longue que dans le mot *sache*. Parallèlement à la présence de cet effet de voisement, les consonnes /v z ʒ/ tendent à être dévoisées en finale absolue (Jatteau *et al.*, 2019). L'allongement vocalique joue donc un rôle prépondérant dans l'expression du voisement de ces consonnes en français. Ces tendances bien connues présentent néanmoins un intérêt de recherche particulier dès lors qu'il est question du français parlé au Québec (désormais FQ). En effet, les locuteurs de cette variété conservent des caractéristiques de durée vocalique historiques que plusieurs francophones d'Europe (quoique pas tous; voir entre autres Walter, 1982) ont perdues. Toutes choses étant égales par ailleurs, en syllabe fermée, les voyelles /o ø aɛ a ã ð ɛ̃ œ/<fnref n="1" /> possèdent une durée intrinsèquement plus longue que les autres voyelles. Par exemple, un locuteur du FQ prononcera *saute* [*sɔ:t*], *sainte* [*sɛ̃t*], *sotte* [*sɔ:t*] et *sept* [*sɛt*]. Dans ces circonstances, on peut s'interroger sur ce qu'il advient de l'effet allongeant de /v z ʒ/ et de l'expression de leur voisement de manière plus générale.

Dans l'une des rares études cherchant à quantifier le voisement des fricatives en FQ, Jacques (1990) analyse un corpus de parole produite par quatre locuteurs montréalais en mesurant des durées vocaliques et consonantiques et en évaluant le taux de voisement consonantique en fonction de l'identification visuelle de barres de voisement sur des spectrogrammes. L'auteur parvient notamment aux trois constatations suivantes. Premièrement, bien que les fricatives soient plus sujettes au dévoisement lorsqu'elles occupent la position de finale absolue qu'initiale ou intervocalique, elles demeurent voisées sur environ un tiers de leur durée pour /z ʒ/ et deux tiers pour /v/ lorsqu'en finale. Deuxièmement, les fricatives finales voisées sont plus courtes que leurs homologues non voisées. Troisièmement, les voyelles suivies de /v z ʒ/ sont en moyenne légèrement plus longues que celles suivies de /f sʃ/, mais sans doute moins que ne le laissait prévoir le titre de « consonnes allongeantes », et les écarts-types sont considérables. Jacques (1990) attribue cette importante variabilité et l'effet apparemment peu allongeant de /v z ʒ/ au fait que le corpus exploité dans le cadre de son étude ne lui permettait pas de tenir compte de la nature des voyelles analysées. Selon l'auteur, la durée intrinsèque des voyelles québécoises pourrait l'emporter sur l'allongement contextuel.

L'objectif de la présente contribution est de reprendre les choses là où Jacques (1990) les a laissées et de proposer une description des consonnes fricatives finales voisées et non voisées du FQ en tenant compte de la durée intrinsèque des voyelles accentuées les précédant, tout en cherchant à confirmer

<footnote n="1">¹ La voyelle /æ/ est celle que l'on retrouve dans des mots comme *fête*, *bêle* ou *maître*. Elle est phonologiquement distincte de /ɛ/ en FQ et habituellement diphtonguée.</footnote>