Améliorer la Traduction Neuronale par Exemple avec des Données Monolingues (2025)

Abstract: Les systèmes de traduction neuronale augmentée par des exemples (RANMT) utilisent des corpus bilingues dits mémoires de traduction (TM). Pourtant, dans de nombreux cas, des corpus monolingues du domaine d’intérêt dans la langue cible sont disponibles. Nos travaux s’intéressent à l’exploitation de telles ressources, en recherchant les segments pertinents directement dans la langue cible, conditionnellement à une phrase source en requête. À cet effet, nous proposons d’améliorer les systèmes de recherche cross-lingue, en les entraînant à réaliser des association lexicales. Nos expériences avec deux architectures neuronales montrent l’avantage de notre méthode dans un cas contrôlé, conduisant à des performances de traduction qui peuvent surpasser les méthodes basées sur une mémoire de traduction. Enfin, nous évaluons notre méthode dans une configuration réaliste pour laquelle la quantité de données monolingues excède celle des données parallèles. Cette approche résulte en une nette amélioration des performances par rapport à des modèles de base ainsi que des encodeurs pré-entraînés.

## travaux connexes nos travaux sont liés aux méthodes dites rag (retrieval augmented generation), utilisant des méthodes lexicales (bm25 @xcite et distance de levenshtein @xcite ) et sémantiques pour la recherche d'information. les systèmes sémantiques se basent généralement sur des encodeurs duals entraînés sur des données parallèles @xcite avec une fonction de perte contrastive @xcite . notre intérêt se porte sur des encodeurs multilingues (comme laser @xcite et labse @xcite ) qui peuvent permettre de rechercher des traductions mutelles avec des méthodes knn. ces dernières années, des travaux ont cherché à intégrer les exemples dans des systèmes de ta. cela permet plus de transparence sur les choix de traduction des modèles @xcite , et permet de déléguer une partie des connaissances (lexicales, stylistiques, etc.) du modèle à une base de données externe. une implémentation simple consiste à encoder le côté cible des exemples pour fournir de l'information contextuelle @xcite @xcite @xcite . d'autres travaux utilisent à la fois les côtés source et cible @xcite . au lieu de regénérer un texte complet, les modèles d'édition proposent d'effectuer des opérations minimales pour transformer les exemples en une traduction. de telles techniques sont étudiées dans @xcite @xcite , adaptant le transformer de levenshtein @xcite . les système de ta via des llm utilisent généralement des exemples via l'apprentissage en contexte (icl), dans lequel l'amorce est enrichie de multiples démonstrations de la tâche de traduction @xcite . de nombreuses études ont cherché à optimiser les performances des telles architectures en modifiant les critères de sélection des exemples @xcite @xcite @xcite . notre alignemement lexical correspond à une forme d'apprentissage de métrique neuronal, dans laquelle un espace de grande dimension est réduit à un plus petit @xcite . ce champ étudie l'apprentissage de distances dans les données @xcite , ce qui est utile pour des algorithmes de recherche par similarité @xcite . ## résultats dans cette section, nous présentons les résultats de différentes fonctions de recherche dans une tm, à savoir les corpus d'apprentissage des données en-fr et de-en. nous pouvons ainsi comparer la méthode fuzzy-src aux méthodes cross-lingues, recherchant directement les segments dans la langue cible. scores de recherche nous évaluons le taux d'erreur xsim (dans la partition d'entraînement) et la similarité de levenshtein moyenne (dans la partition de validation) du premier exemple récupéré. nous reportons les résultats dans le tableau 1. l'utilisation de la rétrotraduction (fuzzy-bt) dégrade la proximité lexicale des exemples par rapport à la baseline fuzzy-src. l'usage d'un objectif sac-de-mot (dense+bow) permet d'augmenter les performances de recherche sur les deux métriques. les ajustements mse et mae appliqués au modèle dense+bow améliorent les résultats sur les deux métriques. lorsqu'ils sont appliqués à labse, ils améliorent les résultats sur les données en-fr, mais conduisent à des résultats inchangés ou dégradés sur les données de-en. l'ajustement rank obtient des résultats plus nuancés, entraînant une dégradation des performances du modèle dense+bow, tout en ayant un effet relativement neutre sur les scores de labse. fuzzy-gold met en évidence la présence d'une marge de progression additionnelle de la proximité lexicale des exemples par rapport à la configuration ft-labse-mae, obtenant les plus hauts scores (hors fuzzy-gold). la recherche d'exemples côté source (allemand) produit des phrases côté cible (anglais) moins proches lexicalement que n'importe quel système clir sur les données de-en. il semble plus difficile de récupérer des exemples de qualité sur les données anglais-allemand que sur les données anglais-français puisque les scores de taux d'erreur xsim sont plus importants (∼ 15 points de taux d'erreur xsim en plus) et que la dl moyenne est également plus faible (de 2 points pour les méthodes clir et de 10 points pour les méthodes fm). absence d'exemples : nous utilisons les modèles nllb et nfa sans le moindre exemple en tant que baselines. leur scores bleu, moyennés sur tous les domaines, sont respectivement de 39,0 (en-fr) et 33,8 (de-en) pour nllb et 48,0 (en-fr) et 38,2 (de-en) pour nfa. les détails complets par domaine sont présentés dans le tableau 3. 5. proportion de phrases avec au moins un exemple récupéré. 58,5 64,8 32,5 61,3 60,5 44,3 27,0 41,0 31,2 40,5 36,9 32,1 8,2 48,7 47,6 19,8 fuzzy-src 56,7 62,2 31,9 58,9 58,8 41,5 27,2 40,3 30,7 38,9 34,6 29,2 8,7 45,8 43,3 16,9