Évaluation morphologique pour la traduction automatique : adaptation au français (Morphological Evaluation for Machine Translation : Adaptation to F rench) (2018)

Abstract: Le nouvel état de l’art en traduction automatique (TA) s’appuie sur des méthodes neuronales, qui différent profondément des méthodes utilisées antérieurement. Les métriques automatiques classiques sont mal adaptées pour rendre compte de la nature du saut qualitatif observé. Cet article propose un protocole d’évaluation pour la traduction de l’anglais vers le français spécifiquement focalisé sur la compétence morphologique des systèmes de TA, en étudiant leurs performances sur différents phénomènes grammaticaux.

## introduction le domaine de la traduction automatique (ta) statistique a été récemment transformé par l'arrivée à maturité de nouveaux systèmes de ta reposant massivement sur des architectures neuronales @xcite , qui constituent aujourd'hui le nouvel état de l'art du domaine. ces nouvelles architectures semblent en particulier capables de détecter (dans la langue source) et de modéliser (dans la langue cible) des dépendances entre mots distants et ainsi de mieux restituer des associations lexicales (collocations, expressions figées) ainsi que des accords grammaticaux @xcite @xcite . cette amélioration des performances s'est faite au détriment de la prédictibilité et de la transparence des architectures de calcul, dont le fonctionnement s'avère particulièrement opaque et complexe à diagnostiquer. l'avènement des systèmes neuronaux doit donc s'accompagner du développement de nouvelles méthodes d'évaluation automatique : d'une part parce que le score bleu @xcite ne suffit plus à distinguer des systèmes qui produisent tous des sorties extrêmement fluides ; d'autre part afin de mieux comprendre la capacité des méthodes neuronale à résoudre plus ou moins bien telle ou telle difficulté de traduction, et ainsi d'orienter les évolutions de ces systèmes. cette ambition a donné lieu dans les années récentes à une floraison de travaux sur l'évaluation de la ta neuronale, que nous survolons ci-dessous ( § 2.1). la principale contribution de ce travail est d'étendre l'approche récemment proposée par @xcite pour évaluer les performances morphologiques des architectures neuronales au cas de la traduction vers le français. en plus de traiter une langue supplémentaire, nous introduisons également de nouveaux tests pour le français, qui pourront également être utilisés pour d'autres langues. après avoir rappelé les principes de la méthode ( § 2), nous décrivons les principaux tests utilisés pour le français ( § 3), puis présentons les résultats d'une comparaison des performances morphologiques de plusieurs systèmes de ta ( § 4), qui permettent d'éclairer l'apport des méthodes neuronales par rapport aux systèmes à base de segments @xcite pour la traduction vers le français. les scripts et données utilisées dans cette étude sont librement disponibles foot_0 .