Modèles neuronaux hybrides pour la modélisation de séquences : le meilleur de trois mondes () (2019)

Abstract: Nous proposons une architecture neuronale avec les caractéristiques principales des modèles neuronaux de ces dernières années : les réseaux neuronaux récurrents bidirectionnels, les modèles encodeur-décodeur, et le modèle Transformer. Nous évaluons nos modèles sur trois tâches d’étiquetage de séquence, avec des résultats aux environs de l’état de l’art et souvent meilleurs, montrant ainsi l’intérêt de cette architecture hybride pour ce type de tâches.

## introduction l'étiquetage de séquences est un problème important du tal, de nombreux problèmes pouvant être modélisés comme des étiquetage de séquences. les cas plus classiques sont l'étiquetage en parties du discours (pos tagging), la segmentation syntaxique, la reconnaissance d'entités nommées @xcite , ou encore la compréhension automatique de la parole dans les systèmes de dialogue humain-machine (de @xcite . d'autres problèmes de tal peuvent être divisés en plusieurs étapes, dont la première peut être modélisée comme étiquetage de séquences. nous plaçons dans cette catégorie de problèmes l'analyse syntaxique, qui peut être décomposée en étiquetage en parties du discours et en analyse des constituants @xcite ; la détection de chaînes de coréférences @xcite , qui peut être décomposée en détection de mentions et détection des mentions coréférentes ; mais aussi la détection d'entités nommées étendues @xcite plus largement, la traduction automatique et l'analyse syntaxique peuvent également être traitées comme des problèmes de prédiction de séquences bout-en-bout @xcite @xcite , ainsi qu'une large classe de tâches de compréhension du langage @xcite . il serait donc possible d'utiliser un modèle pour la prédiction de séquences dans un cadre d'apprentissage multi-tâche pour traiter la plupart des tâches de tal, ce qui montre l'intérêt de la recherche d'architectures alternatives pour ce type de modèles les tâches en plusieurs étapes peuvent également être traitées de bout-en-bout par un modèle unique -comme l'analyse syntaxique en constituants, qui est typiquement traitée par un modèle qui effectue à la fois l'étiquetage en partie du discours et l'analyse syntaxique @xcite . cependant, même dans ce cas un pré-apprentissage de représentations par des réseaux neuronaux récurrents et leur ajustement sur des tâches plus simple -dont des tâches d'étiquetage de séquences -peut améliorer considérablement les performances @xcite . on peut également rapprocher ce procédé du pré-apprentissage de prolongements lexicaux, dont l'efficacité n'est plus à prouver @xcite . dans cet article nous nous limitons à proposer une architecture neuronale pour la modélisation de séquences dans un sens plus classique, c'est à dire l'étiquetage en partie du discours, l'analyse morphosyntaxique, et l'étiquetage en concepts sémantiques tel qu'il est réalisé pour la tâche de compréhension de la parole dans le cadre du dialogue humain-machine (de @xcite . en nous inspirant de @xcite , duquel nous nous sommes inspirés également pour le titre de notre article, qui propose des modèles hybrides entre encodeur-décodeur et transformer, nous proposons une architecture avec les caractéristiques principales des modèles neuronaux plus efficaces proposés ces dernières années : les modèles rnns bidirectionnels @xcite , les modèles encodeur-décodeur @xcite et le modèle transformer @xcite . nous évaluons notre architecture sur trois tâches classiques d'étiquetage de séquences : la compréhension de la parole en français (corpus media) @xcite , le pos tagging en anglais (corpus wsj) @xcite , et l'analyse morpho-syntaxique en allemand (corpus tiger) @xcite . les résultats dépassent souvent l'état-de-l'art, et ils nous permettent de conclure dans tous les cas que notre architecture a sa place parmi les modèles neuronaux. l'adaptation de nos modèles à la traduction automatique et à l'analyse syntaxique est laissée comme futur travail. ## architectures neuronales les modèles neuronaux proposés s'inspirent des modèles lstm+crf @xcite pour encoder l'information en entrée ; des modèles encodeur-décodeur pour l'architecture globale, et des modèles proposés dans @xcite @xcite pour une prise de décision bidirectionnelle au niveau des unités de sortie (les étiquettes). à cette architecture nous avons ensuite ajouté certains caractéristiques du modèle transformer. ## évaluation nous évaluons nos modèles sur trois tâches : le corpus français media @xcite a été créé pour l'évaluation de systèmes de dialogues destinés à fournir des informations touristiques sur les hôtels en france. les données ont été annotées manuellement suivant une ontologie de concepts riche. des composants sémantiques peuvent être combinés pour former des étiquettes sémantiques complexes. 4 les propriétés statistiques des données d'apprentissage, de développement et de test du corpus media sont données dans le tableau 1. la tâche media peut être modélisée comme un étiquetage en concepts sémantiques de séquences en utilisant la convention @xcite . nous nous sommes déjà évalué sur cette tâche dans le passé, en utilisant une variété assez large de modèle probabilistes @xcite @xcite @xcite . pour la tâche media des classes de mots sont disponibles pour permettre aux modèles une meilleurs généralisation sur certaines mots appartenant à des catégories dont des listes peuvent être facilement 3. nous n'excluons pas cependant que l'utilisation des plongements positionnels puisse améliorer davantage notre architecture 4. par exemple l'étiquette localisation peut être combinée avec les composants ville, distance-relative, localisation-relative-générale, rue, etc. le corpus anglais penn treebank @xcite , indiqué avec wsj dans la suite, constitue l'une des tâches les plus utilisées pour l'évaluation de modèles pour l'étiquetage de séquence. la tâche consiste à associer chaque mot avec son étiquette (pos tag). nous utilisons la répartition habituelle des données : les sections 0-18 pour l'apprentissage, les sections 19-21 comme données de développement et les sections 22-24 comme données de test. les propriétés statistiques des données d'apprentissage, de développement et de test du corpus wsj sont données dans le tableau 2. le corpus allemand tiger @xcite est annoté avec des informations morpho-syntaxiques riches, comprenant non seulement les pos comme dans le corpus wsj, mais aussi le genre, le nombre, le cas et des informations de conjugaison pour les verbes. cette tâche est proche du pos tagging d'un point de vue de modélisation, avec une plus grande difficulté liée non seulement à la langue, mais aussi au nombre assez grand d'étiquettes que le modèle doit désambiguïser (694 au total, contre 138 dans media et 45 dans le wsj). nous utilisons la même répartition de donnée que @xcite . les propriétés statistiques des données d'apprentissage, de développement et de test de ce corpus sont données dans le tableau 3. comme nous pouvons le constater la taille des dictionnaires, que ce soit pour les mots ou pour les étiquettes, est assez importante. nous notons que le taux de mots hors vocabulaire (oov) dans le corpus media est assez faible. il y a en effet uniquement deux mots hors vocabulaire dans les données de développement et de test, il s'agit en plus de mots vides, il n'y a donc pratiquement pas de mots inconnus. en revanche le taux de mots hors vocabulaire dans les corpus wsj et tiger est assez élevé : environ 1 sur 5 dans le premier et 1 sur 3 dans le second. ## conclusions dans cet article nous avons proposé un modèle neuronal pour la modélisation de séquences qui réunit des caractéristiques des modèles neuronaux plus populaires de ces dernières années : les rnns bidirectionnels, les modèles encodeur-décodeur et le modèle transformer. une évaluation sur trois tâches classiques d'étiquetage de séquences montre que notre modèle est très efficace pour ce type de problèmes. en effet il obtient souvent des résultats à l'état-de-l'art, et il en est proche dans tous les cas.