Utilisation des représentations continues des mots et des paramètres prosodiques pour la détection d’erreurs dans les transcriptions automatiques de la parole (Combining continuous word representation and prosodic features for ASR error detection) (2016)

Abstract: Récemment, l’utilisation des représentations continues de mots a connu beaucoup de succès dans plusieurs tâches de traitement du langage naturel. Dans cet article, nous proposons d’étudier leur utilisation dans une architecture neuronale pour la tâche de détection des erreurs au sein de transcriptions automatiques de la parole. Nous avons également expérimenté et évalué l’utilisation de paramètres prosodiques en suppléments des paramètres classiques (lexicaux, syntaxiques, . . .). La principale contribution de cet article porte sur la combinaison de différentes représentations continues de mots : plusieurs approches de combinaison sont proposées et évaluées afin de tirer profit de leurs complémentarités. Les expériences sont effectuées sur des transcriptions automatiques du corpus ETAPE générées par le système de reconnaissance automatique du LIUM. Les résultats obtenus sont meilleurs que ceux d’un système état de l’art basé sur les champs aléatoires conditionnels. Pour terminer, nous montrons que la mesure de confiance produite est particulièrement bien calibrée selon une évaluation en terme d’Entropie Croisée Normalisée (NCE).

## introduction les avancées scientifiques récentes dans le domaine du traitement de la parole ainsi que la disponibilité d'une puissance de calcul croissante, ont conduit à l'obtention de performances très intéressantes d'un point de vue applicatif dans le domaine de la reconnaissance de la parole (srap). cependant, malgré ces performances, les sraps génèrent encore des erreurs. cela s'explique par leur sensibilité aux diverses variabilités liées à l' environnement acoustique, au locuteur, au style de langage, à la thématique du discours, etc). ces erreurs présentent un obstacle à l'exploitation des transcriptions automatiques, par exemple pour certains traitements automatiques tels que l'extraction d'information, la traduction de la parole, la compréhension de la parole, etc. l'exploitation efficace des transcriptions automatiques reste un but qui peut être atteint si l'on est capable de détecter et/ou de corriger des erreurs contenues dans les transcriptions automatiques. cependant, la détection d'erreurs n'est pas une tâche facile, du fait qu'il existe plusieurs types d'erreurs. ces erreurs peuvent aller de la simple substitution d'un mot par un homophone à l'insertion d'un mot non pertinent pour la compréhension globale de la séquence de mots. elles peuvent aussi se répercuter sur les mots voisins et entraîner une séquence de mots erronés. dans cet article, nous proposons une architecture neuronale pour la détection d'erreurs. nous nous intéressons à l'utilisation des représentations continues des mots 1 , qui ont été introduites à l'origine pour la construction de modèles de langages neuronaux @xcite . ces représentations ont montré leurs impacts positifs dans de nombreuses tâches de traitement automatique du langage naturel (nlp) telles que : l'étiquetage morpho-syntaxique, le regroupement en syntagmes, la reconnaissance d'entités nommées ou encore l'étiquetage de rôles sémantiques @xcite . dans le cadre de la tâche de détection d'erreurs de srap, nous étudions l'utilisation de plusieurs types de word embeddings provenant de différentes implémentations disponibles : word2vec @xcite , glove @xcite et une variante des embeddings de collobert et weston @xcite . afin de bénéficier de leurs potentielles complémentarités, nous proposons différentes approches de combinaison. le meilleur embedding obtenu par combinaison est utilisé pour représenter un mot reconnu, ainsi que les probabilités a posteriori de ce mot, des paramètres lexicaux, syntaxiques et prosodiques, qui sont intégrés dans une architecture neuronale pour une détection efficace des erreurs. bien que les paramètres prosodiques aient déjà été utilisés dans le cadre de la détection des erreurs au niveau de l'énoncé (utterance), leur utilisation pour la détection des erreurs au niveau du mot a été moins étudiée. enfin, nous nous intéresserons à l'évaluation des mesures de confiance produites par le système neuronal. cet article est organisé de la manière suivante : la section 2 présente les travaux liés à la tâche de détection des erreurs, l'intégration des embeddings et des paramètres prosodiques pour cette tâche. la section 3 détaille les différents types d'embeddings ainsi que les approches proposeés pour les combiner. la section 4 décrit le système de détection d'erreurs proposé. le protocole expérimental et les résultats sont décrits dans la section 5, juste avant la conclusion (section 6). plusieurs approches sont fondées sur l'utilisation des champs aléatoires conditionnels (crf). dans @xcite , les auteurs se sont intéressés à la détection des régions d'erreurs générées par les mots hors vocabulaires en prenant en compte des informations contextuelles des régions. une approche similaire pour d'autres types d'erreurs a été présentée dans @xcite . celle-ci est basée sur un étiqueteur de séquence à base de crf utilisant des paramètres issus de systèmes de transcription, des paramètres lexicaux et syntaxiques. l'approche la plus récente utilise un réseau de neurones qui intègre plusieurs sources d'information afin de détecter si un mot est correct ou erroné @xcite . on peut notamment citer des paramètres extraits à partir du modèle de langage basé sur les réseaux de neurones récurrents, des réseaux de confusion. d'autres paramètres proviennent également de la complémentarité de deux sraps. les embeddings constituent une projection des mots du vocabulaire dans un espace de faible dimension. ils sont utilisés avec succès, comme paramètres supplémentaires, dans plusieurs tâches nlp @xcite . les auteurs dans @xcite ont évalué différents types de word embeddings ainsi que leur combinaison par simple concaténation pour la tâche de reconnaissance d'entités nommées et le regroupement en syntagmes. ## système de détection d'erreurs le système de détection d'erreurs doit attribuer une étiquette correcte ou erreur à chaque mot en se basant sur un ensemble de paramètres. cette attribution est faite en analysant chaque mot dans son contexte. ## conclusion dans cet article, nous avons évalué l'intégration de différentes représentations continues de mot (embeddings) sur la tâche de détection d'erreurs de srap. la partie expérimentale, effectuée sur le corpus etape, a montré la validité de notre approche pour la détection des erreurs. nous avons notamment proposé différents types d'embeddings simples et combinés et montré le gain obtenu par l'utilisation des embeddings combinés. de plus, nous avons prouvé l'apport significatif de l'utilisation des paramètres prosodiques, en plus de ceux syntaxiques et lexicaux classiques. en outre, les résultats obtenus sont meilleurs que ceux d'un système état de l'art basé sur les champs aléatoires conditionnels. pour terminer, nous nous sommes attachés à démontrer que les mesures de confiances produites par notre système sont bien calibrées.