Optimiser le choix des exemples pour la traduction automatique augmentée par des mémoires de traduction (2024)

Abstract: La traduction neuronale à partir d’exemples s’appuie sur l’exploitation d’une mémoire de traduction contenant des exemples similaires aux phrases à traduire. Ces exemples sont utilisés pour conditionner les prédictions d’un décodeur neuronal. Nous nous intéressons à l’amélioration du système qui effectue l’étape de recherche des phrases similaires, l’architecture du décodeur neuronal étant fixée et reposant ici sur un modèle explicite d’édition, le Transformeur multi-Levenshtein. Le problème considéré consiste à trouver un ensemble optimal d’exemples similaires, c’est-à-dire qui couvre maximalement la phrase source. En nous appuyant sur la théorie des fonctions sous-modulaires, nous explorons de nouveaux algorithmes pour optimiser cette couverture et évaluons les améliorations de performances auxquels ils mènent pour la tâche de traduction automatique.

## introduction de nombreux travaux récents s'intéressent à la génération augmentée par des exemples @xcite . en traduction, l'utilisation d'exemples remonte aux méthodes de traduction assistée par ordinateur par des traducteurs professionnels @xcite : éditer des segments très similaires à la phrase de référence permet d'accélérer la traduction. cette idée est au fondement des méthodes basées sur des exemples @xcite @xcite . elle est adaptée aux systèmes statistiques par @xcite et plus récemment aux méthodes neuronales. il existe en fait de nombreuses manières d'exploiter les exemples : la traduction conditionnelle qui introduit un système d'attention sur les exemples @xcite @xcite ; l'affinage « léger » sur un ensemble d'exemples pour faire de la micro-adaptation @xcite ; les méthodes intégrant des exemples dans le contexte de grands modèles de langue (llm) génératifs multilingues @xcite , inter alia) ; l'édition directe du meilleur exemple similaire @xcite . nous discutons ces études dans la section 2. ici, nous nous intéressons au transformeur « multi-levenshtein » @xcite , un modèle d'édition qui combine k(≥ 1) exemples pour calculer une traduction. cette caractéristique le rend sensible à la qualité des exemples récupérés. en particulier, supposant fixé k le nombre de phrases à récupérer, nous cherchons à répondre à la question : comment identifier un ensemble optimal de k exemples ? trouver exactement ce meilleur ensemble conditionnellement au modèle et à la phrase source est difficile, ce qui implique de considérer des heuristiques. pour les construire, nous faisons l'hypothèse qu'un ensemble de phrases parallèles couvrant (en source) la phrase à traduire fournit des exemples couvrant (en cible) la traduction à produire. en dépit de ses limites, liées à des phénomènes linguistiques bien connus (variation lexicale, divergences morphologiques ou syntaxiques entre langues source et cible, etc.), cette hypothèse est adoptée dans les travaux de l'état-de-l'art. notre contribution principale est alors l'étude de plusieurs manières de définir la notion de couverture et de rechercher des k meilleurs exemples dans une mémoire de traduction. en tirant parti de la théorie des fonctions sous-modulaires, dont une sous-classe correspond à une notion très générique de couverture, nous analysons dans un cadre unifié les avantages comparés de ces différentes propositions, et évaluons leur impact dans une tâche de traduction multidomaines. ## travaux connexes de nombreux efforts pour intégrer des exemples dans la génération de textes ont été menés ces dernières années @xcite . au-delà des améliorations de performances, la possibilité de présenter aux utilisateurs améliore la transparence des décisions qui sont prises @xcite . en traduction automatique, les exemples récupérés d'une mémoire de traduction sont fournis au modèle comme un contexte supplémentaire, par exemple en concaténant le côté cible des exemples au texte source @xcite , ou en tirant parti à la fois de la source et de la cible @xcite . @xcite al. (2018 @xcite , tandis que les deux autres proposent une forme de maximisation de couverture. @xcite donne une formulation générale du problème de couverture, l'appliquant à l'apprentissage en contexte (in context learning) sur des tâches diverses. une autre extension de cette approche exploite des corpus monolingues, en recherchant les exemples directement dans la langue cible. @xcite proposent un modèle de recherche et de traduction unique entraîné de bout-en-bout dont la procédure de recherche translingue est optimisée pour retourner des exemples utiles pour la traduction automatique (ta). la plupart de ces travaux reposent sur des modèles de génération auto-régressifs (ar), impliquant que les exemples intégrés au contexte n'ont qu'un effet indirect sur la sortie. l'utilisation d'une mémoire de traduction avec un décodeur non auto-régressif (nar) est étudiée par @xcite al. (2022 une autre approche consiste à utiliser des similarités au niveau des contextes de génération, c'est-àdire d'états cachés du décodage des mémoires de traduction, plutôt qu'au niveau des phrases @xcite . @xcite al. (2021a); khandelwal et al. (2021) il est enfin difficile d'ignorer l'essor des grands modèles de langue multilingues (llm) qui, amorcés par un contexte contenant une description de la tâche à accomplir et des exemples, peuvent générer des traductions de qualité. cette approche a été testée sur de nombreux llm dans le but de mettre en évidence leur capacité à traiter de multiples tâches. pour ce qui concerne la ta, plusieurs travaux étudient l'impact du contexte d'entrée, en cherchant à optimiser le nombre d'exemples et leur sélection @xcite @xcite . voir également sur ces questions @xcite @xcite @xcite . le chat dort sur un lit le chien est sur le grand tapis ! le chat s'assied sur le tapis . ## résultats rôle de λ : nous regardons l'impact de λ pour dl (distance de levenshtein) figures 3 et 4 en termes de couverture, pertinence et longueur. nous trouvons un compromis entre pertinence et couverture. l'intervalle [0,1; 0,9] est très stable. nous observons une singularité à λ = 0. la couverture est légèrement plus faible que λ = 0,1. le cas λ = 1 est singulier car ayant la couverture (resp. pertinence) la plus faible (resp. la plus élevée), ainsi que la plus faible longueur moyenne. quant au score bleu (voir figure 5 ), on observe un comportement différent entre les correspondances médiocres (test-0.4) et bonnes (test-0.6). λ = 0 semble en général mieux sur test-0.4, même si aucune tendance ne s'en dégage. sur test-0.6, on observe une courbe en cloche avec une inflexion à λ = 0. la tendance semble indiquer que λ = 0,5 produit les meilleurs résultats, et cela même sur test-0.4. à noter qu'il y a des différences entre domaines (voir annexe d). comparaison avec mmr nous comparons les méthodes dl pour λ ∈ {0; 0,5; 1} avec la méthode contrastive mmr. sur la figure 6 , nous observons de très légères différences entre les méthodes de recherche. mmr est légèrement mieux (+0,1 bleu) sur test-0.4, mais dl-0,5 surpasse mmr de 0,1 sur test-0.6. aucune des deux méthodes ne semble particulièrement supérieure. rôle de la normalisation : par défaut, la normalisation se fait sur le nombre d'aspects à couvrir, sauf pour dl où il s'agit du maximum entre la longueur de la source et de l'exemple. lorsqu'on sdm-0 sdm-0,2 sdm-1 ngm-0 ngm-0,2 ngm-1 dl-0 dl-0,2 dl-1 0,5 0,4 0,3 0,2 0,1 0,0 0,1 0,2 bleu sdm-0 sdm-0,2 sdm-1 ngm-0 ngm-0,2 ngm-1 dl-0 dl-0,2 dl-1 0,5 0,4 0,3 0,2 0,1 0,0 0,1 0,2 0,3 bleu figure 7 -différence moyenne de bleu entre normalisation idf et cardinale, avec λ ∈ {0; 0,2; 1} et sdm, ngm, dl sur test-0.4 (gauche) et test-0.6 (droite). ## conclusion dans cet article, nous étudions comment optimiser la sélection d'un ensemble varié d'exemples dans une mémoire de traduction. par analogie des travaux en recherche d'information, nous nous appuyons sur la théorie des fonctions sous-modulaires. dans certaines configurations nous observons un léger gain avec l'utilisation de ce paradigme, avec de grandes variations selon le domaine. une difficulté de cette approche est qu'elle sélectionne des exemples plus longs que la méthode de base, ce qui rend plus difficile leur édition conjointe et limite les améliorations des scores de traduction. dans le futur, nous souhaitons continuer à étudier la relation entre choix des exemples et modèle d'édition, par exemple en entraînant le modèle de recherche d'information conjointement avec le modèle de traduction. une autre piste consiste à chercher à imposer une contrainte de longueur aux phrases couvrantes, afin qu'elles soient plus exploitables. enfin, tm k -levt apprend à maximiser la couverture de la cible sans se soucier de la rareté des mots couverts. peut-être vaut-il mieux privilégier l'utilité des mots couverts plutôt que leur nombre, en incitant le modèle à conserver des termes qu'il aurait du mal à regénérer.