Erreurs de prononciation en L 2 : comparaison de méthodes pour la détection et le diagnostic guidés par la didactique (2024)

Abstract: La détection et diagnostic d’erreurs de prononciation nécessite des systèmes adaptés aux spécificités de la parole non-native. Élaborer de tels systèmes reste difficile à cause de la rareté des corpus dédiés incluant des annotations expertes. Dans cet article, nous proposons et comparons deux approches, l’une basée sur une transcription phonétique et l’autre sur l’alignement de signaux audio, élaborées dans le but de servir dans un programme d’entraînement à la prononciation assisté par ordinateur (EPAO). Nous les évaluons sur un corpus de parole non-native annoté selon des considérations didactiques, et nous trouvons que l’approche basée sur l’alignement a des propriétés préférables pour l’EPAO, dépassant la précision de l’autre approche de 31,1 et 3,8 en absolu sur deux erreurs communes des apprenants japonais du français.

## introduction la majorité des apprenants n'ayant pas accès à un professeur particulier pour travailler leur compétence orale, les outils d'entraînement à la prononciation assisté par ordinateur (epao) offrent alors un support pédagogique intéressant. il est nécessaire que ces outils soient capables de détecter et de diagnostiquer les erreurs de prononciation avec suffisamment de fiabilité et de précision pour pouvoir fournir à l'apprenant des retours pertinents vis-à-vis des difficultés qu'il rencontre. dans ce domaine, nombre de travaux s'appuient sur un alignement forcé du signal de parole avec la prononciation canonique, ce qui permet d'évaluer les sons produits en connaissant les phones canoniques auxquels ils correspondent. dans cette approche, la méthode la plus utilisé est le gop @xcite employé par exemple par @xcite qui utilisent des scores issus de la variante f-gop (combiné à d'autres informations) dans une régression logistique. des méthodes plus récentes emploient des classifieurs basés sur des réseaux de neurones profonds (dnn) ou des représentations comme wav2vec 2.0 @xcite . dans @xcite , un dnn utilisé dans un pipeline gop est fine-tuné pour produire directement des probabilités de mauvaise prononciation. pour détecter les erreurs de prononciation, @xcite se basent sur des frontières obtenues par un alignement forcé avec l'énoncé cible et sur des représentations issues de wav2vec 2.0 fournies à un réseau convolutionnel (cnn). ces travaux se limitent cependant à de la détection d'erreur sans fournir de diagnostic. d'autres méthodes se basent sur une transcription phonétique suivie d'une comparaison avec la prononciation canonique, ce qui permet de fournir un diagnostic d'erreur. la méthode de comparaison peut être un alignement @xcite , comme dans @xcite , mais n'est pas toujours spécifiée. @xcite entraînent conjointement un modèle sur la détection d'erreurs de prononciation et la reconnaissance de phones (apprentissage multi-tâches) pour produire des transcriptions phonétiques associées à des probabilités de mauvaise prononciation. bien que les auteurs choisissent de se concentrer sur la détection, une telle approche pourrait servir également au diagnostic. @xcite expérimentent avec deux architectures basées sur des transformers pour effectuer la phase de reconnaissance de phones, une utilisant comme fonction de coût l'entropie croisée et une autre utilisant le coût ctc (connectionist temporal classification). les travaux décrits précédemment reposent sur des modèles phonétiques appris sur de la parole non-native, parfois en relativement grande quantité (environ 30 heures pour @xcite ). cependant, les corpus de parole non-native dédiés à la détection et au diagnostic d'erreurs restent rares et peu volumineux par rapport aux corpus de parole native. ceci est dû à la rareté relative des apprenants de langue et de l'expertise nécessaire pour annoter cette parole au niveau phonétique. récemment, @xcite propose de palier ce manque de données en générant de nouveaux exemples de mauvaises prononciations à partir d'exemples existants, tandis que @xcite apprend les caractéristiques de la parole non-native de manière auto-supervisée sur des données non annotées avant d'entraîner son modèle de détection d'erreurs sur une quantité plus faible de données annotées. les erreurs faites par les non-natifs sont souvent dues à l'influence de leur langue maternelle (l1) sur la langue apprise (l2) @xcite . par conséquent, certains travaux se concentrent sur une paire l1/l2 donnée comme @xcite et @xcite , ce dernier se concentrant sur la paire japonais/français, spécifiquement sur les phonèmes /k/ et /v/, difficiles pour les japonophones @xcite . certains travaux incorporent même des connaissances sur les erreurs communes pour cette paire, comme @xcite ou @xcite qui utilise un extended recognition network qui modélise les schémas d'erreur probables pour la paire cantonnais/anglais. dans cet article, nous présentons deux approches de détection et diagnostic d'erreurs de prononciation appliquées à la paire japonais/français. après avoir décrit le corpus de productions orales d'apprenants japonophones du français à notre disposition, nous présentons les deux approches développées. l'une se base sur un système de transcription phonétique, tandis que l'autre s'appuie sur une méthode d'alignement entre signaux pour s'affranchir de l'apprentissage de modèles phonétiques. nous les évaluons sur un sous-ensemble de phonèmes et d'erreurs cibles dont le choix a été guidé par des connaissances didactiques spécifiques à la paire de langues considérée. enfin, nous comparons et discutons les résultats de chaque approche dans la perspective de leur intégration dans un système d'epao proposant une tâche de répétition de stimuli. ## corpus d'apprenants et catégories didactiques dans le cadre du laboratoire commun alaia, un corpus regroupant des productions d'étudiants japonais apprenant le français a été constitué (ci-après appr). il a été collecté auprès de 67 apprenants dans le cadre de tâches de répétition. chaque apprenant devait répéter plusieurs stimuli parmi les 199 possibles, les stimuli présentés ayant été prononcés par le même locuteur français natif. chaque stimulus est composé d'un seul mot ou d'une courte phrase (1 à 6 syllabes) choisis pour faire travailler certains sons de la langue apprise. ce corpus de français l2 totalise 7112 enregistrements. un expert en interphonologie japonais/français a transcrit phonétiquement chaque production et mis en correspondance chaque phone produit avec le phonème attendu. un second expert a ensuite annoté les mêmes productions et aligné temporellement les transcriptions phonétiques avec le signal audio correspondant. nous disposons ainsi des segments correspondant à la réalisation de 47541 phonèmes, dont 20 % sont des erreurs de prononciation. les annotateurs sont d'accord sur 82 % des énoncés et sur 96,7 % des phonèmes. plusieurs réalisations ont pu être identifiées comme ambiguës (environ 4500 réalisations touchant 3639 enregistrements), parce qu'un annotateur a hésité ou parce que les annotateurs sont en désaccord (par exemple sur un phone qui serait entre [y] et [w]). en retirant ces réalisations ambiguës, il reste environ 43000 réalisations dont 17 % sont des erreurs de prononciation. les réalisations ont été regroupées suivant une approche guidée par la didactique. chaque catégorie didactique, définie du point de vue de la perception d'un locuteur natif, correspond à un type de difficulté rencontrée par les apprenants qui appelle à un type d'exercice de remédiation en particulier. certaines réalisations sont trop peu nombreuses et trop atypiques pour justifier la création d'une catégorie propre et sont considérées comme « autres ». le français compte environ une douzaine de phonèmes difficiles pour les japonophones, source d'erreurs fréquentes et importantes pour leur intelligibilité @xcite , et qui sont donc ceux qui nous intéressent pour notre étude. le travail de définition de ces catégories, mené par un expert de l'enseignement du fle, a été réalisé pour deux phonèmes d'intérêt : la voyelle /y/ et la consonne /z/. la ## systèmes de détection et diagnostic d'erreurs de prononciation nous comparons deux approches : l'une repose sur une transcription phonétique de la production de l'apprenant, et l'autre sur un alignement des segments audio correspondant à la prononciation attendue et à sa réalisation. la production de l'apprenant est analysée en connaissant la transcription phonétique du stimulus à répéter (prononciation canonique), et le phone cible, celui sur lequel nous transcription phonétique [dʒǝʃãtǝ] prononciation canonique [ʒǝʃãt] indice du phone cible et réalisations typiques des catégories concordance des catégories diagnostic perçu comme [dʒ] production de l'apprenant alignement textuel reconnaissance de phones dʒǝʃãtǝ -ʒǝʃãt-correct : -ʒ : 10 perçu comme [dʒ] : dʒ : 15 perçu comme [ʃ] : -ʃ : 09 autre : --: 00 erreurs communes sur les phonèmes d'intérêt (s'ils sont présents). par exemple, si la prononciation attendue est [z@sãt], le jeu de phones sera restreint à [z], [dz], [s], [@], [ã], [t]. ## méthode d'évaluation au vu de la petite taille des sous-ensembles utilisables pour l'entraînement, nous avons choisi de mettre en oeuvre une validation croisée, en suivant un schéma leave-one-speaker-out pour mesurer l'adaptabilité des systèmes à de nouveaux locuteurs. comme les modèles de reconnaissance de phones utilisés dans l'approche transcription sont limités au jeu de phones qui a servi à leur pré-entraînement, nous les avons entraînés sur des sous-ensembles issus de notre corpus appr : celui des énoncés ne comportant que des phones du français (appr-fr) et celui des énoncés ne comportant que des phones du français ou du japonais (appr-frjp). la nous analysons les résultats de nos systèmes en terme de performances sur la tâche de prédiction de la catégorie didactique. comme nous sommes limités à deux phonèmes d'intérêt, /y/ et /z/, nous pouvons regarder les performances classe par classe, que nous présentons en terme de précision et de rappel. pour les systèmes d'epao, il est plus dommageable de marquer comme erronée une prononciation correcte que de manquer une prononciation incorrecte @xcite . ## conclusions cet article compare deux approches de détection et diagnostic d'erreurs de prononciation, l'une basée sur une transcription phonétique et l'autre sur un alignement de signaux audio. nous les évaluons sur un corpus d'apprenants japonais du français dont les annotations sont guidées par des connaissances didactiques, ce qui rend les diagnostics pertinents pour l'apprentissage des langues. nous trouvons que l'approche basée sur l'alignement est plus adaptée pour l'epao, avec des précisions plus élevées que l'approche basée sur la transcription, imputables au contrôle qu'elle fournit sur le compromis précision/rappel. les travaux présentés ici se focalisent sur deux phonèmes particuliers pour une paire l1/l2 donnée, mais la méthodologie mise en oeuvre pourrait aisément être appliquée à d'autres phonèmes ou paires de langues, pourvu qu'un corpus de parole non-native intégrant des connaissances didactiques soit disponible. aussi, il serait intéressant de mener plus d'expérimentations dans ce sens.