Comparaison de listes d’erreurs de transcription automatique de la parole : quelle complémentarité entre les différentes métriques ? (Comparing error lists for ASR systems : contribution of different metrics) (2016)

Abstract: Le travail que nous présentons ici s’inscrit dans le domaine de l’évaluation des systèmes de reconnaissance automatique de la parole en vue de leur utilisation dans une tâche aval, ici la reconnaissance des entités nommées. Plus largement, la question que nous nous posons est “que peut apporter une métrique d’évaluation en dehors d’un score ?". Nous nous intéressons particulièrement aux erreurs des systèmes et à leur analyse et éventuellement à l’utilisation de ce que nous connaissons de ces erreurs. Nous étudions dans ce travail les listes ordonnées d’erreurs générées à partir de différentes métriques et analysons ce qui en ressort. Nous avons appliqué la même méthode sur les sorties de différents systèmes de reconnaissance de la parole. Nos expériences mettent en évidence que certaines métriques apportent une information plus pertinente étant donné une tâche et transverse à différents systèmes.

## introduction le travail que nous présentons ici 1 s'inscrit dans le domaine de l'évaluation des systèmes de reconnaissance automatique de la parole (rap). nous souhaitons évaluer ces systèmes sachant qu'ils seront utilisés dans une tâche aval et adapter l'évaluation de la transcription à ce type d'usage. au vu des données à notre disposition, nous avons choisi ici comme tâche aval la reconnaissance des entités nommées @xcite . plus largement, nous nous interrogeons sur l'apport d'une métrique d'évaluation au delà de l'optimisation du score. nous nous intéressons particulièrement aux erreurs des systèmes et à leur analyse, et éventuellement à l'utilisation de ce que nous connaissons de ces erreurs. les erreurs produites par les systèmes de rap peuvent avoir un impact plus ou moins important selon leur fréquence, mais aussi selon l'utilisation qui est faite de la sortie du système (voir par exemple @xcite pour des systèmes de réponse précise à des questions en langue naturelle ou encore @xcite pour des systèmes de ren). ainsi comprendre et éventuellement anticiper les types des erreurs ou au moins leur impact sur la tâche qui suit celle de la rap est un élément important pour améliorer la robustesse de ces systèmes, tant de rap que de ren. plusieurs travaux ont porté sur l'analyse des erreurs produites par les systèmes de rap. ils avaient comme objectifs soit d'améliorer les systèmes de rap eux-mêmes @xcite soit de détecter automatiquement les erreurs @xcite . il est à noter que tenir compte des résultats de ces travaux restait à la charge des systèmes appliqués en aval. une grande partie des travaux qui se sont intéressés à l'étude des erreurs résiduelles des systèmes de rap l'ont principalement fait dans le cadre de comparaisons entre erreurs produites par des systèmes et erreurs produites par des humains @xcite . ces études mettent en évidence que si les systèmes sont devenus plutôt très performants, ils ne sont pas encore en mesure de prendre en compte toutes les variations acoustiques observées. par ailleurs, ces résultats montrent que les humains lorsqu'ils transcrivent (ou écoutent) de la parole obtiennent des performances cinq à six fois supérieures à celles des systèmes @xcite . ces travaux ont permis de faire émerger des taxonomies d'erreurs indiquant que certains mots sont plus sujets à erreur que d'autres, en particulier les mots courts, pauvres d'un point de vue acoustique, ou encore les homophones courts potentiellement ambigus comme le verbe a et la préposition à (adda-decker, 2006). d'autres travaux se sont penchés sur la classification des erreurs. par exemple, @xcite ont étudié les erreurs étant donné des classes morpho-syntaxiques de mots et @xcite ont proposé une typologie d'erreurs fondée sur des critères syntaxiques et prosodiques ou encore @xcite ) comparent des classifications fondées sur des études perceptives et des classifications automatiques des erreurs fréquentes sur des homophones. notre hypothèse de travail est qu'une métrique d'évaluation peut permettre de donner des indications sur les erreurs produites par un système de rap. plus précisément, nous considérons qu'une métrique doit pouvoir fournir une information sur la gravité d'une erreur, au sens de l'importance de celleci étant donnée la tâche globale. cette gravité peut être dépendante de différents critères comme la fréquence certes, mais aussi son impact sur la capacité des systèmes intervenant en aval de la reconnaissance de la parole à fournir le meilleur résultat possible. la section 2 présente notre proposition en y associant une brève description de différentes métriques utilisées pour l'évaluation des systèmes de rap en contexte de ren. la section 3 présente les expériences que nous avons réalisées, les résultats obtenus et discute ceux-ci. enfin la dernière section présente un bilan de cette expérience ainsi que quelques perspectives ouvertes. ## proposition considérant qu'obtenir une liste des erreurs et de leur importance passe par l'utilisation d'une métrique d'évaluation, nous commençons dans cette section par décrire quelques unes des métriques existantes. puis nous détaillons notre proposition.