Adaptation incrémentale de modèles de traduction neuronaux (Incremental adaptation of neural machine translation models) (2017)

Abstract: L’adaptation au domaine est un verrou scientifique en traduction automatique. Il englobe généralement l’adaptation de la terminologie et du style, en particulier pour la post-édition humaine dans le cadre d’une traduction assistée par ordinateur. Avec la traduction automatique neuronale, nous étudions une nouvelle approche d’adaptation au domaine que nous appelons “spécialisation” et qui présente des résultats prometteurs tant dans la vitesse d’apprentissage que dans les scores de traduction. Dans cet article, nous proposons d’explorer cette approche.

## introduction suite aux avancées de la traduction automatique neuronale (tan) ces dernières années @xcite @xcite , nous observons que les performances obtenues dans les campagnes d'évaluations sont comparables, voire meilleures, que les approches de traduction automatique statistiques (tas) @xcite @xcite . ces succès obtenus nous permettent d'explorer des problématiques qui se posaient déjà avec la tas. l'une de ces problématiques concerne l'adaptation au domaine. malgré la quantité de données disponibles, ces dernières sont généralement hors-domaine. l'idée sous-jacente est de mieux utiliser les données spécifiques à un domaine, conjoitement aux données hors-domaine. intuitivement, la première idée consiste à combiner les données hors-domaine à celles du domaine. or, outre la question de la durée d'apprentissage (qui peut durer jusqu'à plusieurs semaines), se pose surtout celle de la représentativité des données du domaine par rapport aux données hors-domaine. contributions cet article propose une méthode permettant d'améliorer la représentativité des données du domaine par rapport aux données hors domaine en se basant sur les précédents travaux de réentrainement initialement proposé par @xcite . plus généralment, nous présentons une étude de cette approche d'adaptation incrémentale s'insérant dans le cadre expérimental de la traduction assistée par ordinateur. les expériences sont tiennent compte d'un domaine spécialisé : des transcriptions de présentations (issues de ted). la tâche de traduction du cadre expérimental sont de l'anglais vers le français et de l'anglais vers l'allemand. les données sont issues de campagnes d'évaluations ou de dépôts libres de droits et seront mis à disposition afin d'assurer la reproductibilité des résultats. cet article débute par une étude de l'état de l'art, suivit de la description de l'approche. dans la section 4 nous présentons notre protocole d'évaluation, contenant une étude des résultats et une discussion autour de l'approche. enfin nous conclurons cet article. ## état de l'art ces dernières années, les techniques d'adaptation au domaine pour la traduction ont été particulièrement étudiées. ces approches peuvent être appliquées à trois différents niveaux : avant, pendant ou après la phase d'apprentissage initiale. dans le cadre d'une traduction assistée par ordinateur (tao), la plupart des approches sont des pré-traitements ou des post-traitements de la phase d'apprentissage initiale. ainsi, les pré-traitements concernent généralement les données d'apprentissage. citons en exemple la sélection de données proposée par @xcite et améliorée @xcite et bien d'autres @xcite . elle est connue pour être efficace @xcite malgré son principal défaut : les mots et séquences de mots rares ne sont pas identifiés et sont donc rejetés @xcite . en cela, l'approche permettant l'extraction de séquences de mots rares @xcite palie en partie à ce problème @xcite . cependant, ce type d'approche ne nous permet pas d'adapter un modèle de traduction générique déjà entrainé. lors de l'apprentissage, il existe des approches permettant de pondérer des données d'apprentissage au niveau du corpus (du document) ou de la phrase @xcite . mais le principal inconvénient de ce type de pré-traitement est la nécessité de relancer la phase d'apprentissage pour que celle-ci soit efficace. or, pour des besoins pratiques, cette étude focalise sur la possibilité de profiter d'un modèle déjà entrainé afin de l'adapter à un domaine particulier. cependant, l'idée de caractériser les données d'apprentissage selon un domaine particulier, n'est pas nouvelle. cette idée se rapproche des travaux proposés par sennrich et al. (2016a) qui visent à adapter le modèle de traduction en fonction du niveau de politesse dans la phrase. dans ces travaux ils utilisent un marqueur de niveau de language, ce qui rend toute adaptation postérieure à l'apprentissage d'un nouveau domaine compliquée. enfin, @xcite proposent l'utilisation de marqueur afin de caractériser les thématiques de traduction. l'approche, dite de « spécialisation », étudiée ici, appartient à la famille de techniques de posttraitement qui ont pour but la mise-à-jour ou l'optimisation de paramètres d'un modèle de traduction existant. elle est dérivée de celle proposée par @xcite pour le traitement de l'image et appliquée à la traduction une première fois avec succès par @xcite . ces derniers proposent d'entrainer un modèle puis de ré-entrainer ce même modèle sur un corpus entier spécifique à un domaine particulier à travers une douzaine de cycles supplémentaires. cette approche paraît adaptée à la problématique d'une mise-à-jour rapide d'un modèle. a notre connaissance, il n'existe pas de travaux qui ont étudié l'impact de cette approche et son comportement. nous proposons donc d'étudier cette approche dans le cadre d'une mise-à-jour rapide du modèle en faisant varier les quantités de données. ## approche l'approche de spécialisation vise à adapter de manière directe ou incrémentale un modèle de traduction neuronal générique en s'inspirant des travaux sur l'adaptation incrémentale en traduction automatique statistique @xcite . ces approches s'insèrent dans un cadre applicatif particulier : la traduction assistée par ordinateur. dans ce cadre, le traducteur corrige ou post-édite les sorties d'un système de traduction automatique. ces travaux ont montré l'intérêt d'ajouter de manière incrémentale de nouvelles informations dans un modèle de traduction fondé sur les paires de segments. ces informations peuvent être d'ordre lexical ou stylistique, ce qui peut déboucher éventuellement sur une adaptation au style du traducteur. l'idée principale de l'approche est donc de spécialiser un modèle générique déjà entrainé sur des données génériques (i.e. : venant de plusieurs domaines différents). la figure 1 présente le cycle d'adaptation que nous utilisons lors de nos expériences. lors de ce processus de spécialisation, sont réestimées les probabilités conditionnelles p(y 1 , . . . , y m |x 1 , . . . , x n ) où (x 1 , . . . , x n ) est la séquence d'entrée de taille n et (y 1 , . . . , y m ) est la séquence de sortie correspondante de taille m. l'adaptation a donc comme point de départ l'état du réseau de neurones, d'une manière similaire à une pré-configuration des paramètres du modèle. le résultat est un modèle adapté (ou spécialisé) à une tâche ou un domaine particulier. ## expériences ne disposant pas de données post-éditées et afin d'être le plus reproductible possible, nous proposons d'étudier l'approche de spécialisation sur les données issues de l'évaluation iwslt 2015 @xcite , utilisant les traductions de transcriptions de vidéos de ted. les paires de langues concernées sont l'anglais vers le français et l'anglais vers l'allemand. la mesure de comparaison corpus nbr nbr mots nbr mots nbr nbr mots nbr mots lignes (en) (fr) lignes (en) (de) books 120 k 2,9 m 3,0 m 46,1 k 1,1 m 1,1 m europarl v.7 l'approche de traduction automatique neuronale (tan) utilisée dans cet article est fondée sur une approche séquence-vers-séquence @xcite combinée à une approche d'attention @xcite , à travers l'outil opennmt @xcite . les données sont pré-traitées en utilisant une méthode de découpage en sous-mots issue de l'algorithme de compression de données : « byte pair encoding »(sennrich et al., 2016b) avec 30 000 opérations. nous avons conservé les 32 000 mots plus fréquents pour les langues source et cible. le modèle utilise une architecture récurrente (bi-lstm) de 4 couches cachées avec 800 cellules chacune. lors de l'apprentissage, le mini-batch est fixé à 64 avec une régularisation de type « dropout » fixée à 0,3. les modèles génériques sont appris sur 18 cycles avec un taux d'apprentissage à 1,0 auquel il est appliqué une dégradation de facteur 0,7 à partir du cycle 10. le système générique, utilisant ces paramètres, a mis plus de 12 jours à être appris avec une carte nvidia geforce gtx 1080.