L’évaluation de la traduction automatique du caractère au document : un état de l’art (2023)

Abstract: Ces dernières années l’évaluation de la traduction automatique, qu’elle soit humaine ou automatique,a rencontré des difficultés. Face aux importantes avancées en matière de traduction automatiqueneuronale, l’évaluation s’est montrée peu fiable. De nombreuses nouvelles approches ont été pro-posées pour améliorer les protocoles d’évaluation. L’objectif de ce travail est de proposer une vued’ensemble sur l’état global de l’évaluation de la Traduction Automatique (TA). Nous commenceronspar exposer les approches d’évaluation humaine, ensuite nous présenterons les méthodes d’évaluationautomatiques tout en différenciant entre les familles d’approches (métriques superficielles et apprises)et nous prêterons une attention particulière à l’évaluation au niveau du document qui prend comptedu contexte. Pour terminer, nous nous concentrerons sur la méta-évaluation des méthodes.

## introduction nous présentons un état de l'art de l'évaluation de la traduction automatique (ta), en particulier dans le contexte de l'arrivée des approches neuronales dans la ta. la traduction automatique a connu de grands progrès ces dernières années, notamment suite à l'introduction du modèle transformer @xcite , ce qui a permis une grande amélioration de la qualité des moteurs de traduction. face à cette nouvelle génération de modèles de traduction, l'évaluation de la ta manque de robustesse @xcite . le score bleu @xcite , la méthode d'évaluation automatique la plus connue, a été conçue pendant l'ère de la traduction statistique pour un usage avec de multiples phrases de référence. avec l'arrivée des approches neuronales, ce score (de la même manière que les approches similaires) s'est montré peu fiable face aux nouveaux systèmes. le score bleu était controversé même avant l'arrivée de la ta neuronale et cette nouvelle génération de systèmes n'a fait qu'aggraver les critiques de la métrique. les nouveaux systèmes ont un comportement -forces et faiblesses -très différent des systèmes statistiques du début du siècle. en effet, ils sont capables de formuler des phrases de plus en plus naturelles, employer des synonymes divers et des constructions syntaxiques variées, c'est pourquoi une simple comparaison de la traduction automatique avec la traduction de référence (comme le fait bleu) n'est plus suffisante. le développement des systèmes de traduction capables de traduire des segments plus longs que la phrase requiert une évaluation qui va au-delà de la phrase également. de nouvelles approches sont donc nécessaires. la conférence annuelle sur la ta, appelée wmt, essaie de fournir une réponse à ce besoin en organisant chaque année une tâche commune (shared-task) sur les métriques automatiques @xcite @xcite . ainsi, de nombreuses nouvelles métriques ont émergé. face à cette pluralité de nouvelles approches, la communauté fait face un nouveau défi : quelle est la plus performante et comment mesurer cette performance ? plusieurs travaux se sont proposés de comparer leur performance et fiabilité @xcite @xcite . selon les résultats les plus récents, la méthode qui semble montrer les meilleures performances est le score @xcite , qui est en train de devenir le nouveau score standard. une autre famille d'approches propose de répondre au problème du contexte dans l'évaluation. vu qu'il a été démontré que des erreurs de traduction passent inaperçues sans le contexte, ces méthodes ciblent l'évaluation sur les phénomènes linguistiques, préalablement identifiés comme problématiques, et dont la traduction correcte dépend du contexte. l'évaluation se fait en utilisant des ensembles de test spécialement conçus pour la tâche. ces ensembles s'appellent des test-suites et ils servent à étudier la performance des modèles de traduction sur le phénomène linguistique ciblé. généralement un taux de traductions correctes est calculé, qui sert de mesure d'évaluation complémentaire, surtout pour l'évaluation des systèmes de ta sensibles au contexte. il s'agit par exemple de la traduction des pronoms anaphoriques ou des mots polysémiques @xcite @xcite . devant cette pluralité d'approches d'évaluation, il peut être difficile de choisir la plus adaptée. plusieurs méthodes ont été essayées pendant des années et de nouvelles approches émergent tous les ans. comme une évaluation solide est la base du développement, nous proposons d'offrir une vue globale sur l'état de l'art du domaine, en présentant les différentes approches étudiées et une réflexion sur les zones d'améliorations. nous organisons l'article en trois parties : dans la section 2 nous décrivons les méthodes d'évaluation humaine, dans la section 3 nous présentons les méthodes d'évaluation automatique en les classant selon le type d'approche. nous faisons la distinction entre les méthodes qui évaluent les phrases isolées (sous-section 3.1) et les approches qui évaluent les phrases dans leur contexte (sous-section 3.2). dans la sous-section 3.3, nous montrons comment évaluer les métriques automatiques et finalement dans la section 4 nous présentons une discussion sur le sujet. ## évaluation humaine déterminer la qualité de la traduction est une tâche compliquée qui n'a pas de réponse unique. contrairement à certaines tâches du traitement automatique des langues où l'évaluation est plutôt simple à effectuer (comme par exemple la reconnaissance vocale), il est difficile de déterminer la qualité de la traduction automatique et cela même pour les humains. plusieurs traductions d'une seule phrase peuvent être correctes et pour les évaluateurs (surtout les non-professionnels) il est compliqué de distinguer la meilleure. plusieurs aspects jouent un rôle sur le choix : objectif, style, contexte, domaine, etc. du texte à traduire. pourtant un protocole d'évaluation humaine clair est crucial pour l'obtention de résultats fiables et par conséquent pour le développement de la ta. dans la recherche du meilleur protocole d'évaluation, plusieurs approches ont été essayées et étudiées : l'évaluation humaine est considérée la plus fiable. cependant, durant ces dernières années, il s'est avéré que rien que le fait d'effectuer une évaluation avec des évaluateurs humains n'est pas la garantie d'une évaluation de qualité. en effet, elle est souvent subjective et de mauvais protocoles d'évaluation peuvent la rendre peu fiable. l'annonce de la parité de la traduction automatique et humaine de @xcite a généré un grand débat concernant l'évaluation humaine de la ta. de nombreux auteurs ont répondu en démontrant que cette annonce n'était qu'une fausse conclusion liée aux défauts du protocole d'évaluation humaine @xcite @xcite . lors de l'évaluation humaine, les évaluateurs n'avaient pas accès au contexte des phrases à évaluer, ce qui a rendu certaines erreurs impossibles à détecter @xcite . également, certaines phrases utilisées comme phrases sources dans le jeu de test étaient elles-mêmes des traductions, ce qui rend la traduction plus facile dû à l'effet « translationese » @xcite . dans le contexte de nouvelles approches neuronales où les modèles devenaient de plus en plus robustes, cette évaluation n'était plus suffisante et les organisateurs de wmt ont annoncé qu'il faudrait trouver de nouveaux moyens pour évaluer @xcite . à partir de 2021, la conférence a changé de protocole d'évaluation et a adopté l'approche d'annotation mqm telle que proposée dans freitag et al. (2021a). l'idée principale derrière cette approche est qu'implicitement, l'attribution de score par un évaluateur se fait à travers l'analyse des erreurs dans la traduction. c'est pourquoi les auteurs proposent de rendre explicite cette analyse lors de l'évaluation grâce à l'annotation mqm. ils ont rendu publiques des annotations mqm des jeux de test issus de la conférence wmt pour permettre de futurs travaux 1 . certaines implémentations de l'évaluation mqm introduisent des arbres de décision pour guider l'évaluateur, rendant ainsi l'évaluation un processus plus logique et conscient, ce qui permet d'obtenir des résultats plus standardisés et moins subjectifs. dans un effort de compréhension de la significativité statistique de l'évaluation humaine, wei et al. (2022) ont analysé un ensemble de 1728 campagnes d'évaluation provenant de l'évaluation interne chez microsoft (kocmi et al., 2021) et sont arrivés à la conclusion que dans la majorité des cas, les résultats ne sont pas statistiquement significatifs, c'est-à-dire que l'évaluation ne permet pas de déterminer si un système est plus performant qu'un autre. ils concluent que la différence entre les modèles étant petite, les échantillons évalués sont insuffisants et un nombre d'échantillons (et donc un budget) beaucoup plus élevé serait nécessaire pour aboutir à une évaluation statistiquement significative. nous pouvons nous poser la question si une telle analyse statistique sur l'évaluation mqm donnerait des conclusions similaires. freitag et al. (2021b) ont analysé les annotations mqm et ont trouvé que malgré l'accord inter-annotateur plutôt bas, les classements finaux des systèmes restent cohérents parmi les évaluateurs. nous voyons alors que l'évaluation humaine a quelques défauts. ceci est d'autant plus problématique vu que, comme nous allons le présenter dans la section suivante, l'évaluation humaine sert de référence de qualité (gold standard) pour évaluer et, selon les cas, entraîner les approches automatiques. dans la section suivante, nous présentons les approches d'évaluation automatique. ## évaluation automatique une grande partie de l'évaluation de la ta est faite par des méthodes automatiques, c'est-à-dire qui ne nécessitent pas d'évaluateurs humains pour obtenir un jugement sur la qualité du système de traduction. ces méthodes sont souvent appelées métriques, pourtant cela n'est pas dans le sens mathématique du terme. leur avantage principal est leur coût réduit (surtout grâce aux ensembles de tests publics et par rapport à l'évaluation humaine où les évaluateurs sont payés) et leur rapidité. ces méthodes sont largement utilisées pendant la phase de développement des systèmes. nous allons diviser les approches en deux catégories : (1) les méthodes qui évaluent la traduction isolée de son contexte et (2) les méthodes au niveau du document, qui cherchent à évaluer la traduction dans son contexte. il existe un grand nombre de méthodes d'évaluation de la génération de texte. même si la traduction automatique fait partie des tâches de la génération de texte, dans le cadre de ce travail, nous allons nous contenter de présenter les méthodes les plus utilisées en évaluation de la traduction automatique. ## discussion avec le nombre grandissant de métriques automatiques, la question principale est de savoir laquelle choisir et pour cela, la méta-évaluation doit apporter la réponse. comme nous l'avons vu, la métaévaluation est étroitement liée à (1) la méthode de mesure de corrélation et (2) les jugements d'évaluation humaine. @xcite ont présenté un classement de performance des métriques automatiques. comme référence, ils ont utilisé les jugements d'évaluation directe collectés lors des évaluations internes chez microsoft. comme méthode de mesure de corrélation, ils ont introduit et utilisé la précision par paire. pourtant, il s'est montré que les jugements humains ont des défauts de significativité statistique @xcite et que la mesure de la précision par paire n'arrive pas à bien distinguer entre les métriques @xcite . tout cela montre que malgré les avancées en matière d'évaluation humaine, la procédure de la méta-évaluation des métriques présente des difficultés et doit être davantage étudiée et développée. même s'il semble que l'évaluation mqm est la plus fiable, la quantité de cette donnée reste petite par rapport à l'historique d'évaluation directe. en plus, cette approche d'évaluation est plus chronophage, ce qui rend son utilisation peu pratique. cela fait que dans certains cas, les organisateurs d'évaluations préfèrent d'autres approches, comme @xcite qui ont combiné l'évaluation directe en échelle continue avec l'évaluation sur l'échelle de likert qui corrèle bien avec l'évaluation mqm. au mieux de notre connaissance, aucune analyse statistique de grande échelle telle que celle de @xcite n'a été faite sur les annotations mqm, ce qui se révèlerait fortement intéressant. du point de vue de l'évaluation humaine comme donnée d'entraînement pour les métriques automatiques, les données les plus abondantes restent les jugements d'évaluation directe. en effet, les nouvelles métriques de la famille comet commencent à utiliser les annotations mqm pour l'entraînement, mais l'évaluation directe reste la source de données la plus riche. pourtant, il a été démontré que ces jugements corrèlent très peu avec les jugements d'annotation mqm (considérées comme la référence la plus exacte et véridique) @xcite . nous pouvons alors supposer qu'avec la croissance d'ensemble de données annotées en mqm, les métriques automatiques à leur tour vont être améliorées. une vraie carence reste l'évaluation automatique sensible au contexte. l'approche des test-suites est insuffisante pour deux raisons : 1) elle n'est qu'une approche complémentaire à utiliser avec une autre métrique, 2) les ensembles de test ne ciblent que certains cas bien précis et en nombre limité de langues. l'approche @xcite propose une solution, cependant elle ne fait que modifier l'entrée du modèle. une métrique apprise entraînée avec des données annotées au niveau du document est souhaitable et peut faire l'objet de futurs travaux. un autre aspect à prendre en compte est l'impact des traductions de référence sur la performance des métriques, puisque la plupart des métriques les plus performantes ont besoin de ces traductions. la qualité de ces références impacte largement leur performance et il n'est pas encore clair de savoir quelles sont les caractéristiques d'une bonne référence @xcite . les métriques sans références qui deviennent de plus en plus robustes @xcite pourraient être une solution à ce problème. une autre piste de travaux possibles est d'investiguer davantage si les différentes métriques présentent un biais par rapport à certaines familles de modèles de traduction (selon leur architecture ou langues). avec le développement rapide de grands modèles de langues (large language models), il serait intéressant de tester la fiabilité des métriques d'évaluation sur les traductions produites par ces modèles. ## conclusion en conclusion, cet article a présenté l'état de l'art de l'évaluation de la traduction automatique, en soulignant que l'évaluation de la qualité de la traduction automatique est subjective et difficile. nous avons présenté les différentes approches de l'évaluation humaine avec leurs avantages et inconvénients. ensuite, nous avons présenté les approches d'évaluation automatique les plus utilisées dans le domaine de la traduction. d'après les études récentes, il est impératif d'arrêter l'usage du score bleu comme métrique principale. les métriques neuronales se montrent plus fiables. notamment le score comet a attiré beaucoup d'attention, il a été classé comme métrique la plus performante dans plusieurs études et pour cela commence à devenir la nouvelle métrique standard. nous avons montré qu'il y a un besoin pressant de développer des métriques fiables pour évaluer la traduction tout en prenant compte de son contexte. l'évaluation humaine est essentielle pour le développement des approches automatiques, elle est utilisée pour la méta-évaluation et (selon l'approche) pour l'entraînement. il faut mentionner également que la méta-évaluation qui consiste à calculer la corrélation entre les scores automatiques et humains ne fait pas l'unanimité et de nouvelles méthodes ont été proposées sans encore définir de protocole. en somme, nous avons souligné l'importance de continuer à développer des protocoles d'évaluation humaine et de méta-évaluation fiables pour ainsi créer une base solide pour le développement des métriques automatiques. une bonne évaluation étant la condition essentielle pour un développement optimal dans le domaine de la traduction automatique, cela contribuera à l'avancement de manière globale.