Réseau de neurones convolutif pour l’évaluation automatique de la prononciation ( CNN -based automatic pronunciation assessment of J apanese speakers learning F rench ) (2016)

Abstract: Dans cet article, nous comparons deux approches d’évaluation automatique de la prononciation de locuteurs japonophones apprenant le français. La première, l’algorithme standard appelé Goodness Of Pronunciation (GOP), compare les vraisemblances obtenues lors d’un alignement forcé et lors d’une reconnaissance de phones sans contrainte. La deuxième, nécessitant également un alignement préalable, fait appel à un réseau de neurones convolutif (CNN) comme classifieur binaire, avec comme entrée des trames de coefficients spectraux. Les deux approches sont évaluées sur deux phonèmes cibles /R/ et /v/ du français, particulièrement difficiles à prononcer pour des Japonophones. Les paramètres du GOP (seuils) et du CNN sont estimés sur un corpus de parole lue par des locuteurs natifs du français, dans lequel des erreurs de prononciation artificielles sont introduites. Un gain de performance relatif de 13,4% a été obtenu avec le CNN, avec une précision globale de 72,6%, sur un corpus d’évaluation enregistré par 23 locuteurs japonophones.

## introduction les systèmes d'apprentissage d'une langue seconde assisté par ordinateur tentent d'évaluer automatiquement la prononciation pour aider les apprenants. pour l'évaluation au niveau segmental, une approche standard consiste à attribuer un score de prononciation à chaque réalisation de phone @xcite . deux grands types d'approches peuvent être distingués : 1) les approches fondées sur des scores de systèmes de reconnaissance, bruts @xcite , ou relatifs, sous forme de rapports de vraisemblances comme c'est le cas de l'algorithme goodness of pronunciation (gop) @xcite utilisé dans la présente étude, 2) les approches « signal », qui font appel à des classifieurs prenant en entrée des paramètres acoustiques @xcite . dans @xcite par exemple, les auteurs comparent ces deux types d'approches pour distinguer les deux phonèmes /k/ et /x/ sources de confusion pour les apprenants du néerlandais. ils obtiennent des performances légèrement meilleures en utilisant une analyse discriminante linéaire (lda) avec des paramètres acoustiques. cette approche présente néanmoins le désavantage d'être spécifique à chaque phone que l'on souhaite évaluer et il faut ré-estimer les poids de la lda à chaque nouveau phone cible. dans l'étude présentée dans cet article, nous comparons également les deux types d'approches, en utilisant un réseau de neurones convolutif (cnn), qui, outre ses performances remarquables en reconnaissance automatique de la parole, permet d'évaluer plusieurs phones simultanément. plus précisément, nous comparons les approches suivantes : 1) une variante plus robuste de l'algorithme de base gop, appelée f-gop, proposée par luo et al. (2010), avec et sans seuils (utilisation d'une régression logistique), 2) un réseau de neurones convolutif qui prend en entrée des paramètres acoustiques (coefficients f-bank) ainsi que l'identité du phone attendu, et qui prend une décision binaire trame à trame d'acceptation ou de rejet d'une prononciation. une décision finale pour un phone est prise par un simple vote majoritaire sur l'ensemble des trames du phone. les expériences d'évaluation ont été réalisées sur le corpus phon-im, corpus de parole produite dans une tâche de répétitions de mots, recueillie auprès de 23 locuteurs japonais qui apprennent le français comme langue étrangère (fle). nous avons centré cette étude sur deux phones particulièrement difficiles à maîtriser pour les japonophones : @xcite , souvent confondus avec @xcite respectivement @xcite . la taille de ce corpus étant très petite pour servir à la fois à l'apprentissage et à l'évaluation des méthodes, nous avons utilisé le corpus de parole lue bref80, enregistré par 80 locuteurs français natifs. des erreurs de prononciation sont simulées en introduisant des substitutions de phones dans le dictionnaire de prononciation utilisé pour réaliser les alignements. si cette méthode a été appliquée avec succès dans @xcite , ce travail nous a permis d'en déceler des limites que nous décrirons. ## approches les approches utilisées nécessitent d'aligner le signal de parole avec les séquences de phones attendus. nous avons utilisé pour cela des modèles acoustiques de phones indépendants du contexte (39 monophones), plus adaptés que des modèles dépendants du contexte pour des applications de détection d'erreurs de prononciation @xcite . ces modèles sont des hmm gauche-droite à trois états avec des mélanges de gaussiennes à 32 composantes, entraînés sur le corpus ester phase i (de @xcite . ce sous-corpus contient 31 heures de parole de diverses émissions de radio française. les modèles sont disponibles en ligne @xcite . actes de la conférence conjointe jep-taln-recital 2016, volume 1 : jep ## conclusions nous avons comparé deux approches d'évaluation automatique de la prononciation de locuteurs japonophones apprenant le français : l'algorithme f-gop et un réseau de neurones convolutif. elles ont été évaluées sur deux phones cibles @xcite du français, particulièrement difficiles à prononcer pour des locuteurs japonophones débutants. un gain de performance relatif de 13,4% a été obtenu avec le cnn, avec une précision globale de 72,6%, sur un corpus de mots recueilli auprès de 23 locuteurs japonophones. pour pouvoir mettre en place ces méthodes, nous avons dû recourir à la simulation d'erreurs de prononciation dans un corpus de parole native pour pallier le manque de données de parole d'apprenants. nous avons constaté que cela présente des limites dans la mesure où des connaissances a priori sont nécessaires sur les confusions les plus fréquentes faites par les apprenants. de plus, les différences de performance en fonction de la position intermot des consonnes montrent que simuler les erreurs sans en tenir compte est une approximation qui peut être améliorée. nous envisageons de comparer les résultats présentés ici avec deux autres situations : 1) avec une prise en compte plus fine des confusions faites en fonction de la position des phones pour la simulation des erreurs, 2) à l'inverse, sans connaissance a priori sur les confusions fréquentes faites par les locuteurs. dans la deuxième situation, nous envisageons d'utiliser des occurrences de phones du français choisis aléatoirement pour simuler des erreurs, en limitant le nombre d'occurrences pour obtenir un jeu d'apprentissage équilibré. des améliorations du modèle cnn lui-même sont également envisagées. enfin, une nouvelle collection de données d'apprenants japonophones est actuellement en cours, dans les mêmes conditions que celles du corpus phon-im, ce qui permettra de doubler la taille du corpus d'évaluation.