À propos des difficultés de traduire automatiquement de longs documents (2024)

Abstract: Les nouvelles architectures de traduction automatique sont capables de traiter des segments longs et de surpasser la traduction de phrases isolées, laissant entrevoir la possibilité de traduire des documents complets. Pour y parvenir, il est nécessaire de surmonter un certain nombre de difficultés liées à la longueur des documents à traduire. Dans cette étude, nous discutons de la traduction des documents sous l’angle de l’évaluation, en essayant de répondre à une question simple: comment mesurer s’il existe une dégradation des performances de traduction avec la longueur des documents ? Nos analyses, qui évaluent des systèmes encodeur-décodeur et un grand modèle de langue à l’aune de plusieurs métriques sur une tâche de traduction de documents scientifiques suggèrent que traduire les documents longs d’un bloc reste un problème difficile.

## introduction les évolutions récentes des modèles transformer @xcite permettent de traiter (c'està-dire d'encoder et de décoder) de très longs contextes contenant des centaines, voire des milliers d'unités : voir @xcite pour quelques-unes des méthodes qui rendent ce calcul possible. cette capacité à encoder un long contexte qui va conditionner le processus de génération ouvre de nouvelles perspectives pour de nombreuses applications du traitement automatique des langues (tal). nous nous intéressons ici à la traduction automatique (ta), en nous interrogeant sur les difficultés de traduire des documents 1 de manière holistique. la traduction holistique d'un document consiste à l'encoder intégralement, puis à générer d'un trait toute la traduction, à l'instar, par exemple, de @xcite @xcite . cette stratégie revient à traiter les documents comme sont traitées les phrases dans les systèmes de traduction standard. elle se distingue des méthodes qui exploitent un contexte étendu aux phrases précédentes pour traduire la phrase courante @xcite , comme de celles qui traduisent d'un bloc des segments étendus (correspondant à des fragments de taille fixe, ou bien à des paragraphes) @xcite @xcite 2 . avec le déploiement de grands modèles de langue multilingues dotés de capacité de traduction et capables d'interpréter des contextes très longs, cette stratégie devient de plus en plus commune @xcite , ce qui implique d'en analyser les principes et d'en diagnostiquer le fonctionnement. comme discuté §2, traduire holistiquement induit un changement notable par rapport à la traduction de phrases, aussi bien du point de vue des calculs réalisés que du point de vue des métriques, qui ne peuvent plus s'appuyer sur une comparaison phrase-à-phrase des sorties des systèmes et des références. dans la suite de cette contribution, nous nous intéressons plus particulièrement à une question essentielle pour le succès de ces approches, à savoir la capacité à traiter des documents de longueur variable. plus précisément, notre contribution principale est de nature méthodologique et met à l'épreuve les méthodes expérimentales utilisées pour répondre à cette question. nous pointons, dans un premier temps, les problèmes des comparaisons automatiques réalisées dans les articles de l'état de l'art, qui reposent sur des métriques globales calculées au niveau du corpus (le score bleu @xcite ou sa variante d-bleu, voir §2.3). nous présentons ensuite deux manières alternatives d'aborder les questions de longueur, en nous appuyant sur des métriques locales, qui individualisent les scores au niveau des documents. nos expérimentations sont menées sur des documents de taille modeste (de quelques phrases à quelques dizaines de phrases), avec 7 systèmes de traduction automatique. elles nous permettent néanmoins de conclure que la longueur des documents reste un problème, les scores de traduction ayant une tendance à se dégrader avec le nombre d'unités, un effet qui se manifeste clairement en fin de document. ## évaluer les effets de longueur une question récurrente dans les études sur la traduction au niveau des documents est la question de la longueur. un système entraîné uniquement avec des phrases parallèles aura tendance à sous-traduire des documents, stoppant typiquement le processus de génération après la première phrase. comme expliqué §2.2, d'autres sources de problèmes pour les documents longs sont relatives aux encodages des positions (pour des positions non observées à l'apprentissage), ou encore à des méta-paramètres du système (longueurs maximales acceptées par l'encodeur et le décodeur, etc). ces problèmes affectent négativement la pénalité de longueur (bp) du score d-bleu. dans nos expériences ( §5), le système ft scipar, entraîné sur des phrases isolées, obtient un d-bleu de 45,0 (@xmath0; lorsqu'on utilise ce système pour traduire des documents complets, d-bleu tombe à 0,9 (@xmath1, 02). ces problèmes sont assez faciles à corriger : dans nos expériences, en affinant le modèle avec des documents, d-bleu remonte à 45,6 (@xmath2. pour mettre en évidence ces problèmes de longueur, ou pour prouver qu'ils ont été résolus, une première approche consiste à segmenter les documents en fragments de taille fixe, qui sont traduits séparément puis réassemblés pour calculer d-bleu (bao et al., 2021, fig. 7), (li et al., 2022, fig. 7) et (zhuocheng et al., 2023, fig. 1 et 5). le graphe 1 (gauche), extrait de li et al. (2022) illustre la difficulté des modèles sent2sent à traduire des longs fragments et l'amélioration réalisée par des modèles doc2doc correctement entraînés. cette comparaison occulte un biais qui joue en défaveur de la segmentation en fragments plus courts, qui (a) bénéficie de moins de contexte ; (b) traduit des fragments moins cohérents (démarrant ou s'achevant en milieu de phrases).