Apport de l’adaptation automatique des modèles de langage pour la reconnaissance de la parole: évaluation qualitative extrinsèque dans un contexte de traitement de cours magistraux (Contribution of automatic adaptation of language models for speech recognition : extrinsic qualitative evaluation in a context of educational courses) (2019)

Abstract: Malgré les faiblesses connues de cette métrique, les performances de différents systèmes de reconnaissance automatique de la parole sont généralement comparées à l’aide du taux d’erreur sur les mots. Les transcriptions automatiques de ces systèmes sont de plus en plus exploitables et utilisées dans des systèmes complexes de traitement automatique du langage naturel, par exemple pour la traduction automatique, l’indexation, la recherche documentaire... Des études récentes ont proposé des métriques permettant de comparer la qualité des transcriptions automatiques de différents systèmes en fonction de la tâche visée. Dans cette étude nous souhaitons mesurer, qualitativement, l’apport de l’adaptation automatique des modèles de langage au domaine visé par un cours magistral. Les transcriptions du discours de l’enseignant peuvent servir de support à la navigation dans le document vidéo du cours magistral ou permettre l’enrichissement de son contenu pédagogique. C’est à-travers le prisme de ces deux tâches que nous évaluons l’apport de l’adaptation du modèle de langage. Les expériences ont été menées sur un corpus de cours magistraux et montrent combien le taux d’erreur sur les mots est une métrique insuffisante qui masque les apports effectifs de l’adaptation des modèles de langage.

## introduction la transcription automatique de cours magistraux convertit automatiquement le discours de l'enseignant (audio) en texte. même si ces dernières années la technologie de reconnaissance automatique de la parole a considérablement progressé, principalement grâce aux architectures neuronales pour la modélisation acoustique, un système de reconnaissance automatique de la parole (srap) reste sensible aux mots hors vocabulaire et à la précision de ses modèles de langage (ml). un tel système doit par exemple être bien préparé pour traiter des documents spécialisés. or, dans le cadre de la transcription de cours magistraux, chaque cours nécessite une terminologie précise liée à son domaine. l'adaptation des modèle de langage est une technique indispensable pour résoudre ce problème d'inadéquation entre les données d'apprentissage et de test. généralement, pour la reconnaissance de la parole, le gain en performance de l'adaptation des modèles de langage est mesurée à l'aide du taux d'erreur mots (wer) @xcite : cette métrique d'évaluation est couramment utilisée dans la littérature pour l'analyse des performances des systèmes de reconnaissance automatique de la parole. cette mesure s'appuie sur une comparaison entre la phrase produite par le srap et la phrase correspondante transcrite manuellement. un alignement mot à mot utilisant la distance de levenshtein est réalisé entre la transcription manuelle (référence) et la transcription automatique (hypothèse). ensuite, une comparaison est effectuée selon les différents types d'erreurs sur les mots que peut commettre le système : insertions, suppressions et substitutions. le calcul du wer s'effectue selon la formule suivante : wer attribue un score d'erreur en pourcentage pour la transcription globale. cela est très utile lorsqu'il s'agit d'évaluer la performance du srap isolément. cependant, les systèmes srap sont souvent conçus comme une brique dans d'autres applications de traitement de langage naturel qui utilisent les transcriptions de sortie pour effectuer d'autres tâches. ces transcriptions constituent en effet une ressource précieuse pour d'autres modules technologiques appliquant des traitements tels que la recherche d'informations, la traduction, l'indexation de documents... la qualité des transcriptions de sortie affecte ainsi directement les performances de ces modules. l'adaptation des mls pour des cours magistraux a suscité beaucoup d'attention dans la littérature @xcite @xcite @xcite . la performance de ces travaux a été évaluée en utilisant wer ou la perplexité. cependant, cette mesure ne prend pas en compte la gravité de l'erreur en fonction de la tâche finale @xcite . en 2002, les auteurs de @xcite ont déjà démontré que l'utilisation d'un vocabulaire thématique améliorait la reconnaissance de la parole et l'indexation des cours magistraux. dans leurs analyses, ils se sont intéressés à l'analyse de l'impact du locuteur et du vocabulaire et ils ont démontré que l'utilisation d'un vocabulaire du domaine du cours améliorait les performances du srap. considérant que le taux d'erreur de mot (wer) n'est pas suffisamment pertinent pour comparer la performance du srap pour certaines tâches spécifiques (jannet et al., 2015; favre et al., 2013) et que les erreurs du srap peuvent avoir une forte incidence sur la précision de plusieurs tâches de taln, nous explorons, dans cet article, l'utilisation de deux mesures d'évaluation plus pertinentes pour comparer les apports de l'adaptation du modèle de langage pour un srap. ## conclusion le taux d'erreurs sur les mots wer n'est pas toujours la meilleure mesure à utiliser pour évaluer les systèmes de reconnaissance de la parole. une meilleure compréhension de l'impact des erreurs de transcription automatique implique nécessairement le développement de meilleures mesures (ou métriques) pour l'évaluation, afin de prendre en compte le contexte applicatif dans lequel les srap sont utilisés. dans cet article, nous avons proposé l'utilisation de deux mesures d'évaluation extrinsèque pour évaluer la capacité de créer des requêtes pertinentes pour l'extraction d'information et l'indexabilité de transcriptions automatiques. nous avons appliqué ces méthodes d'évaluation pour mesurer l'impact de l'adaptation des ml dans le contexte de cours magistraux. les résultats obtenus montrent que le taux d'erreur sur les mots est une métrique insuffisante qui masque les apports effectifs de l'adaptation des modèles de langage.