Représentations continues dérivées des caractères pour un modèle de langue neuronal à vocabulaire ouvert (Opening the vocabulary of neural language models with character-level word representations) (2017)

Abstract: Cet article propose une architecture neuronale pour un modèle de langue à vocabulaire ouvert. Les représentations continues des mots sont calculées à la volée à partir des caractères les composant, gràce à une couche convolutionnelle suivie d’une couche de regroupement (pooling). Cela permet au modèle de représenter n’importe quel mot, qu’il fasse partie du contexte ou soit évalué pour la prédiction. La fonction objectif est dérivée de l’estimation contrastive bruitée (Noise Contrastive Estimation, ou NCE), calculable dans notre cas sans vocabulaire. Nous évaluons la capacité de notre modèle à construire des représentations continues de mots inconnus sur la tâche de traduction automatique IWSLT-2016, de l’Anglais vers le Tchèque, en ré-évaluant les N meilleures hypothèses (N-best reranking). Les résultats expérimentaux permettent des gains jusqu’à 0,7 point BLEU. Ils montrent aussi la difficulté d’utiliser des représentations dérivées des caractères pour la prédiction.

## introduction la plupart des modèles de langue neuronaux, tels que les modèles n-grammes, @xcite modélisent les mots par des vecteurs de valeurs réelles. ils reposent donc sur la définition préalable d'un vocabulaire fini v, qui contiendra la liste des mots dont le modèle paramétrise la représentation. ainsi, une table de paramètres (look-up table) est associée à v, qui contiendra un ensemble de vecteurs réels de dimension d r correspondant à chaque mot @xmath0, regroupés dans la matrice @xmath1. bien que cette approche se soit révélée fructueuse quand appliquée à différentes tâches et langues, comme par exemple en reconnaissance de la parole @xcite , et en traduction automatique @xcite @xcite , elle reste limitée dans certains cas. ainsi pour les langues morphologiquement riches, comme le tchèque ou l'allemand, couvrir l'ensemble du lexique se révèle difficile, à cause de l'explosion combinatoire du nombre de mots, la plupart n'apparaissant que rarement, voire même jamais, dans les données d'entraînement. augmenter la taille du vocabulaire en conséquence ne ferait qu'augmenter le nombre de paramètres du modèle, alors qu'à données d'apprentissage constantes, le caractère parcimonieux des distributions de mots dans les textes ne fera qu'accroître les difficultés d'apprentissage. une solution consiste à remplacer les mots rares par des classes dédiées, permettant ainsi de regrouper différents mots et ainsi améliorer l'estimation des probabilités. néanmoins, utiliser des classes différentes pour gérer ces mots @xcite ne résout que partiellement le problème, puisque ces mots sont par essence difficiles à classer. de plus, pour la plupart des formes fléchies ou agglutinantes, ainsi que pour les mots composés, la structure est ignorée : le modèle attribue des paramètres à la modélisation de ce qui pourrait plus efficacement être appréhendé en décomposant le mot. si elle peut améliorer le pouvoir de généralisation des modèles de langues neuronaux, l'utilisation de sous-mots comme unités @xcite dépend de méthodes permettant de les induire efficacement. nous proposons d'apprendre un modèle de langue dont l'unité est le mot, mais au vocabulaire ouvert. la difficulté principale est alors de définir une fonction objectif qui ne repose pas sur la définition préalable d'un vocabulaire fini, comme par exemple le maximum de vraisemblance. comme décrit à la section 2, nous cherchons à construire des représentations continues des mots à la volée, à partir des séquences de leurs caractères, à l'aide de filtres de convolution qui, de manière implicite, capturent les régularités morphologiques. l'architecture du modèle est inspirée du modèle de langue n-gramme neuronal @xcite . cependant, l'utilisation d'un vocabulaire ouvert est applicable à n'importe quel autre type de modèle de langue. pour éviter la contrainte de la normalisation des probabilités de prédiction sur l'ensemble d'un vocabulaire, nous utilisons une fonction objectif similaire à l'estimation constrastive bruitée @xcite , ce qui permet au modèle de considérer un vocabulaire potentiellement infini. afin d'évaluer l'efficacité de cette approche, nous utilisons notre modèle dans le contexte d'une tâche de traduction automatique à grande échelle, pour ré-évaluer les meilleures hypothèses proposées par le système de traduction, dans la section 3. les résultats expérimentaux sont présentés dans la section 4. ## description du modèle habituellement, les représentations continues des mots apprises par le modèle sont des vecteurs de paramètres (embeddings), stockés dans une matrice l. la représentation r word ## cadre expérimental la mesure traditionelle de performance pour les modèles de langue est la perplexité : cependant, d'une part, l'objectif principal de notre travail est la traduction automatique. d'autre part, la perplexité repose sur la définition d'un vocabulaire. afin de comparer les différentes architectures présentées, on choisit donc de se servir de nos modèles neuronaux pour trier les sorties fournies par un système de traduction traditionel. il s'agit donc de ré-évaluer les n meilleures hypothèses (n -best reranking), sur la tâche de traduction automatique de la campagne d'évaluation iwslt16, de l'anglais vers le tchèque. ## travaux liés il existe de nombreuses stratégies pour l'entraînement de modèles de langue neuronaux à grands vocabulaires, comme différentes couches de sortie hiérarchiques @xcite , ou approches liées à l'échantillonage (importance sampling @xcite , et noise contrastive estimation l'extraction d'information au niveau des caractères a été récemment beaucoup explorée, permettant l'amélioration des résultats pour des tâches comme l'étiquetage en partie du discours @xcite , la classification de textes @xcite , l'analyse syntaxique @xcite , et la reconnaissance d'entitées nommées @xcite . en ce qui concerne les modèles de langues, les premières applications fonctionnaient strictement au niveau du caractère, parvenant à de moins bons résultats que les modèles entrainés avec des mots @xcite , bien que les résultats pour la génération de textes avec des lstm bi-directionnels soient prometteurs @xcite . plus récemment, (ling et al., 2015) a utilisé des lstm bi-directionnels pour construire des représentations continues de mots à partir de caractères, permettant d'améliorer les résultats de modèles de langues et d'étiquetage de séquences. les travaux présentés dans (kim et al., 2015), utilisant des couches de convolution pour construire des représentations de mots à partir de séquences de caractères, couplé à l'utilisation de highway networks (srivastava et al., 2015), ont démontré que les représentations continues dérivées des séquences de caractères permettent d'améliorer les performances des modèles de langues, et d'autant plus pour les langues morphologiquement complexes (sur des corpus de taille raisonnable). une architecture similaire est présentée par (józefowicz et al., 2016) sur des données bien plus conséquentes, avec des lstm bi-directionnels, et entraînés par importance sampling. sur le sujet de l'application de modèles de langues neuronaux à la traduction automatique, on peut mentionner le travail de @xcite , sur l'influence du nombre de couches cachées sur la performance de la ré-évaluation des hypothèses d'un système de traduction. enfin, bien que cela ne soit pas directement relié à nos travaux, @xcite a obtenu des progrès significatifs à l'aide d'un système de traduction neuronal hybride, obtenant des représentations des mots inconnus à l'aide de leurs caractères. ## conclusion dans cet article, nous avons présenté un modèle de langue neuronal fonctionnant sans vocabulaire fixe. les représentations continues des mots sont calculées à la volée à partir de la séquence de leurs caractères. nous avons entrainé deux nouveaux types de modèles : d'abord, des modèles utilisant les deux types de représentations en entrée, pour représenter le contexte du mot à prédire (cwe), puis en étendant ces modèles afin qu'ils puissent prendre en comptes les représentations dérivées des caractères également en sortie pour la prédiction (cwe-cwe). ces modèles ont été utilisés pour la ré-évaluation d'hypothèses fournies par un système de traduction automatique de l'anglais vers le tchèque. les meilleures améliorations obtenues utilisent un modèle cwe, ce qui, étant donné la diversité limitée des mots générés par le système de traduction, nous fait supposer qu'il reste une marge de progression. nous espérons reproduire nos expériences avec des systèmes de traduction plus élaborés, ainsi qu'appliquer nos modèles à d'autres tâche -comme la ré-inflexion. nos expériences ont également montré que l'introduction d'un vocabulaire ouvert en sortie d'un modèle neuronal de langue entraîne des difficultés en terme d'apprentissage qu'il serait profitable d'explorer plus en profondeur. en particulier, nous prévoyons d'explorer des distributions de bruit plus évoluées permettant lors de l'apprentissage du modèle de présenter au modèles des exemples plus diversifiés.