Traduire des corpus pour construire des modèles de traduction neuronaux : une solution pour toutes les langues peu dotées ? (Corpus Translation to Build Translation Models : a Solution for all Low-Resource Languages ?) (2020)

Abstract: Nous comparons deux usages des langues pivots en traduction automatique neuronale pour des langues peu dotées. Nous nous intéressons au cas où il existe une langue pivot telle que les paires source-pivot et pivot-cible sont bien ou très bien dotées. Nous comparons la traduction séquentielle traditionnelle (source→pivot→cible) et la traduction à l’aide d’un modèle entraîné sur des corpus traduits à l’aide des langues pivot et cible. Les expériences sont menées sur trois langues sources (espagnol, allemand et japonais), une langue pivot (anglais) et une langue cible (français). Nous constatons que quelle que soit la proximité linguistique entre les langues source et pivot, le modèle entraîné sur corpus traduit a de meilleurs résultats que la traduction séquentielle, et bien sûr que la traduction directe.

## introduction pour profiter des avantages de la traduction automatique neuronale, il est nécessaire de disposer de très volumineux corpus @xcite . malheureusement, peu de paires de langues disposent de telles ressources. une première solution très étudiée actuellement est le recours à des modèles multilingues de traduction @xcite , etc.). l'inconvénient est que l'entraînement nécessite plus de données (grand corpus) et plus de puissance de calcul. cette solution s'inscrit d'ailleurs dans une tendance générale observable tant dans le domaine académique que dans l'industrie, d'un intérêt croissant pour des systèmes toujours plus puissants @xcite . pourtant, il existe aussi un besoin pour des systèmes «frugaux» avec de faibles capacités de calcul. il est alors important de limiter la taille des corpus. il existe quelques alternatives à cette course à la puissance pour traiter les paires de langues peu dotées. une première piste récemment proposée est l'apprentissage par transfert de modèles existants @xcite . une autre solution est le recours aux langues pivots, technique ancienne en traduction mais qui revient sous de nouvelles formes grâce à la traduction automatique neuronale. la pratique traditionnelle consiste à traduire séquentiellement, de la langue source vers la langue pivot puis vers la langue cible. c'est une méthode encore appliquée même dans les systèmes commerciaux @xcite . l'inconvénient majeur de la traduction séquentielle automatique avec des systèmes qui restent encore imparfaits, c'est que des informations peuvent être perdues lors de la traduction de la source vers le pivot. pour résoudre ce problème, (currey & heafield, 2019) ont proposé d'utiliser le pivot pour traduire les corpus eux-mêmes et produire des corpus synthétiques sur lesquels des modèles de traduction directe sont entraînés. avant de décrire la procédure, nous convenons des abréviations suivantes. a, a et a i désignent des corpus monolingues pour une langue donnée «a». a n et a m désignent des corpus distincts d'une même langue. m(a, b) désigne un modèle entraîné sur un corpus aligné a-b pour traduire de a vers b. «src», «piv» et «tgt» désignent respectivement les langues source, pivot et cible. la procédure est la suivante. elle n'est envisageable que si il existe deux corpus «de base» (non traduits) alignés piv 1 -src et piv 2 -tgt, et un corpus monolingue piv 0 . supposons que l'on veuille traduire d'une langue source src vers une langue cible tgt. on génère un corpus src en langue source en traduisant piv 0 grâce au modèle m(piv 1 , src) (voir fig. 1 ). en parallèle, on génère un corpus tgt en langue cible en traduisant ce même corpus piv 0 à l'aide du modèle m(piv 2 , tgt). on dispose ainsi d'un corpus synthétique aligné bilingue src -tgt . il est utilisé pour entraîner un modèle de traduction directe de la source vers la cible (par abus de langage et pour faire simple, nous parlerons de «modèle traduit»). les auteurs ajoutent au corpus synthétique les corpus originaux piv 1 -src et piv 2 -tgt et obtiennent ainsi un corpus synthétique et multilingue. cette technique a été utilisée pour traduire la paire russe-allemand avec l'anglais comme pivot et produit des résultats prometteurs (bleu ≈ 23). le premier intérêt est que cette technique fonctionne pour une paire de langue sans corpus aligné. il devrait donc a fortiori fonctionner pour une paire de langues peu dotée. l'autre intérêt est que le corpus synthétique peut être aussi grand que le corpus monolingue. nous nous sommes demandé si cette technique produisait une meilleure traduction que la méthode séquentielle, et dans quelle mesure la proximité entre les langues manipulées influençait les résultats. pour répondre à cette question, nous avons effectué des comparaisons en jouant sur plusieurs variables : la proximité linguistique des langues source et pivot (les langues pivot et cible restant toujours les mêmes), la part de vocabulaire commun entre les corpus piv 1 et piv 2 , et la qualité des traductions. contrairement à (currey & heafield, 2019), nous n'avons pas intégré le multilinguisme car il pouvait affecter différemment la traduction séquentielle et la traduction par modèle traduit. l'article est organisé en deux parties. dans un premier temps, nous décrivons les ressources utilisées et la méthode. puis nous présentons les résultats et les discutons. ## résultats et discussion la qualité des traductions fournies par les systèmes de base (voir comparons les deux méthodes de traduction avec langue pivot (voir tables 3 et 4 , fig. 2 ). avec une traduction de qualité modeste, la méthode séquentielle et la méthode par modèle traduit sont très proches. par contre, on observe une différence au niveau des mots inconnus, plus nombreux avec la traduction par modèle traduit. si l'on augmente la qualité des traductions, les deux techniques n'ont plus la même efficacité ( ce constat est le même quelle que soit la proximité linguistique entre les langues source et la langue pivot, et quelle que soit la quantité de vocabulaire commun entre les deux corpus piv 1 et piv 2 . par extrapolation, nous pouvons avancer que ce résultat vaut quelle que soit la distance thématique entre le corpus d'entraînement et le corpus d'évaluation. la qualité des traductions est malheureusement trop basse pour faire une comparaison qualitative pertinente. on observe des erreurs dans tous les domaines, lexico, syntaxiques et logiques. source en f r traduction ja 10,92 8,38 séquentielle es 24.79 16.76 model ja _ 10,11 traduit es _ 19,79 ## conclusion nos résultats montrent qu'utiliser un «modèle traduit» produit de meilleurs résultats qu'une traduction séquentielle par pivot, sous réserve que les modèles de traduction @xmath0. sinon, la traduction séquentielle reste compétitive. ces résultats confirment les observations @xcite . ils montrent en plus que les résultats vont dans le même sens quelles que soient la proximité entre les langues source et cible et la quantité de vocabulaire commun entre les corpus. enfin, ils montrent que la supériorité de la traduction par «modèle traduit» est vraie même sans recourir à un corpus multilingue.