Estimation de la qualité d’un système de reconnaissance de la parole pour une tâche de compréhension (Quality estimation of a Speech Recognition System for a Spoken Language Understanding task) (2016)

Abstract: Nous nous intéressons à l’évaluation de la qualité des systèmes de reconnaissance de la parole étant donné une tâche de compréhension. L’objectif de ce travail est de fournir un outil permettant la sélection d’un système de reconnaissance automatique de la parole le plus adapté pour un système de dialogue donné. Nous comparons ici différentes métriques, notamment le WER, NE-WER et ATENE métrique proposée récemment pour l’évaluation des systèmes de reconnaissance de la parole étant donné une tâche de reconnaissance d’entités nommées. Cette dernière métrique montrait une meilleure corrélation avec les résultats de la tâche globale que toutes les autres métriques testées. Nos mesures indiquent une très forte corrélation avec la mesure ATENE et une moins forte avec le WER.

## introduction pouvoir estimer la qualité d'un système de reconnaissance automatique de la parole (rap) peut présenter un intérêt certain, notamment si l'on n'a pas accès au développement du système de rap lui-même. actuellement, lorsqu'on mesure la qualité d'un système de rap on utilise le plus souvent le taux actes de la conférence conjointe jep-taln-recital 2016, volume 1 : jep d'erreur mots (ou wer pour word error rate @xcite ). or plusieurs travaux ont montré que le wer ne présentait pas toujours une bonne corrélation avec le score d'une tâche plus globale incluant la rap. par exemple si dans @xcite , les auteurs observent, sur l'utilisabilité par des humains d'archives web transcrites automatiquement, que la relation est linéaire entre le wer et la performance des humains à rechercher et trouver des informations dans les documents, ils observent aussi qu'en cas de grande différence de wer, celui-ci reste une métrique fiable. @xcite ont observé une forte corrélation entre le wer et la mesure utilisée pour l'évaluation de la détection des entités nommées (le ser, slot error rate). cette corrélation n'est pas du tout retrouvée dans une tâche similaire (voir @xcite ). ceci dit, dans cette expérience, @xcite observent également que le système de rap permettant d'aboutir au meilleur score global est celui qui obtient seulement la cinquième position en terme de wer. dans le contexte de la compréhension de la parole (ou slu pour spoken language understanding), des travaux (voir @xcite ) ont mis en évidence le fait que le wer n'est pas la métrique idéale pour évaluer la transcription pour la compréhension automatique de la parole. d'autres auteurs ont signalé des observations similaires sur les tâches de productions par des humains de résumés de séminaires préalablement transcrits automatiquement @xcite . dans le contexte des entités nommées, @xcite ont proposé la métrique atene qui offre une meilleure corrélation que le wer par rapport au résultat global obtenu par des systèmes de reconnaissance d'entités nommées (ren). l'objectif de notre travail est, dans un premier temps, de voir si les résultats obtenus par atene sur une tâche de ren sont reproductibles sur une tâche de compréhension de parole ; dans un deuxième temps, nous souhaitons voir à quel point il est nécessaire ou pas de développer des modèles spécifiques étant donné que ces deux tâches (ren et slu) sont conceptuellement proches. l'article est organisé de la façon suivante : la section 2 présente quelques unes des métriques utilisées ou ayant été proposées pour l'évaluation de la qualité des systèmes de rap. la section 3 présente le contexte de nos travaux et en particulier la tâche et les données utilisées. puis la section 4.2 présente les expériences que nous avons menées pour répondre à nos deux questions ainsi que les différents résultats. enfin la section 5 conclut ces travaux tout en ouvrant quelques perspectives. ## métriques d'évaluation utilisées en rap la métrique la plus utilisée pour évaluer la qualité d'un système de rap est le wer. cette métrique consiste à compter les erreurs selon les types prédéfinis que sont l'insertion, la suppression et la substitution déterminés par un alignement de levenshtein entre la transcription manuelle (référence) et la transcription automatique (hypothèse). plusieurs métriques alternatives existent. certaines tentent de mesurer une perte d'information générale comme le ril, relative information loss, proposé par @xcite . le ril est fondé sur le principe d'information mutuelle et permet d'obtenir une mesure de la dépendance statistique entre le vocabulaire de la référence et celui de l'hypothèse. cette mesure est représentée en termes d'entropie de shannon. par la suite, le wil @xcite (word information loss), qui est une approximation du ril, a été introduit. pour les taux d'erreurs élevés, le ril et le wil montrent des résultats intéressants @xcite . toujours dans le but de mesurer la perte d'information, @xcite ont proposé d'adapter les métriques standards utilisées en extraction d'information, la précision (p), le rappel (r) et la f-mesure (f). l'idée général consiste à calculer le rappel et la précision au niveau des mots actes de la conférence conjointe jep-taln-recital 2016, volume 1 : jep en s'appuyant sur l'alignement entre la référence et l'hypothèse tel qu'il est produit par le calcul du wer. deux autres métriques ont été proposées spécifiquement pour permettre d'évaluer la perte d'information étant donnée une tâche de reconnaissance d'entités nommées. la première métrique est le ne-wer (named entity word error rate) proposé par @xcite , qui mesure un wer dans les zones où la référence comprend une entité nommée. la seconde est atene (automatique transcription evaluation for named entities) proposée par @xcite qui est fondée sur un modèle probabiliste estimant le risque qu'une erreur de rap induise une erreur de ren. elle s'appuie sur une comparaison de probabilités de présence d'éléments d'intérêts (des entités dans le cas de la ren, des concepts si on l'utilise dans le cas de la compréhension par exemple) dans les transcriptions de référence et dans les hypothèses des systèmes de rap. atene est la moyenne de deux mesures élémentaires at en e ds et at en e i . elle est donnée par l'equation 1. at en @xmath0, donnée par l'équation 2, est une mesure du risque d'erreurs de suppression et de substitution d'entités engendré par les erreurs de rap et at en e i , donnée par l'équation 3, est une mesure du risque d'erreurs d'insertion d'entités engendré par les erreurs de rap.