Un paradigme pour l’interprétation des métriques et pour mesurer la gravité des erreurs de reconnaissance automatique de la parole (2024)

Abstract: Les mesures couramment employées pour l’évaluation des transcriptions automatiques de la parole, telles que le taux d’erreur-mot (WER) et le taux d’erreur-caractère (CER), ont fait l’objet d’importantes critiques en raison de leur corrélation limitée avec la perception humaine et de leur incapacité à prendre en compte les nuances linguistiques et sémantiques. Bien que des métriques fondées sur les plongements sémantiques aient été introduites pour se rapprocher de la perception humaine, leur interprétabilité reste difficile par rapport au WER et CER. Dans cet article, nous surmontons ce problème en introduisant un paradigme qui intègre une métrique choisie pour obtenir un équivalent du taux d’erreur appelé Distance d’Édition Minimale, ou Minimum Edit Distance (minED). Nous proposons également d’utiliser cette approche pour mesurer la gravité des erreurs en fonction d’une métrique, d’un point de vue intrinsèque et extrinsèque.

## introduction malgré les progrès considérables réalisés dans le domaine de l'apprentissage automatique et l'utilisation intensive de données pour l'entraînement des modèles, les systèmes de reconnaissance automatique de la parole (rap) présentent encore des erreurs de transcription dans des proportions variables en fonction de leurs conditions d'utilisation. l'évaluation d'un système de rap consiste le plus souvent à comparer les transcriptions manuelles (référence) et automatiques (hypothèse) à l'aide d'une mesure choisie, généralement le taux d'erreurmot (wer) et le taux d'erreur-caractère (cer). tous deux consistent à calculer une distance de levenshtein entre la référence et l'hypothèse. cependant, ces métriques sont critiquées pour attribuer le même poids à toutes les erreurs tout en négligeant les nuances linguistiques et sémantiques @xcite @xcite . pour remédier à ces limitations, des mesures fondées sur les plongements @xcite @xcite ont été proposées pour intégrer les aspects sémantiques. de même, d'un point de vue perceptif, @xcite ont utilisé des ensembles de données annotées pour évaluer rigoureusement l'alignement des métriques de reconnaissance vocale avec la perception humaine, révélant la corrélation supérieure des métriques sémantiques avec le jugement humain. si les mesures sémantiques offrent une perspective d'évaluation différente, leurs scores, calculés par similarité cosinus, manquent d'interprétabilité, contrairement au wer qui s'appuie simplement sur les mots. dans cet article, nous proposons d'intégrer une métrique dans un nouveau paradigme, appelé distance d'édition minimale, ou en anglais minimum edit distance (mined), afin de rendre interprétables les scores des métriques basés sur les plongements. ce paradigme est également appliqué pour mesurer la gravité des erreurs, ce qui peut être utilisé pour l'analyse des métriques. le document est organisé comme suit. la section 2 présente les métriques de rap et un ensemble de données avec des annotations de perception humaine. la section 3 décrit le paradigme mined proposé pour l'interprétabilité des mesures, tandis que la section 4 examine la capacité du paradigme à mesurer la gravité des erreurs. enfin, nous concluons le travail et donnons des perspectives dans la section 5. ## méthodologie dans la section 2.1, nous fournissons des détails sur les métriques de rap utilisées dans cette étude. ensuite, dans la section 2.2, nous présentons le jeu de données hats, utilisé pour évaluer les métriques ainsi que le paradigme proposé. ## intégrer des métriques pour l'interprétabilité le paradigme mined est conçu pour améliorer l'interprétabilité des mesures produisant des scores difficiles à comprendre. pour ce faire, nous intégrons une métrique non interprétable telle que semdist dans mined. cela consiste à calculer le nombre minimum de modifications à appliquer à l'hypothèse pour qu'elle soit suffisamment proche de la référence en ce qui concerne sa perception humaine. suivant cette idée, nous appliquons cette méthode aux mots (minwed) et aux caractères (minced). le paradigme est décrit dans la section 3.1, tandis que la section 3.2 traite du paramétrage de la méthode. nous discutons ensuite de deux types de mesures (cohérentes, incohérentes) influençant le coût de calcul (section 3.3), et explorons la corrélation entre mined et la perception humaine (section 3.4).