Approche supervisée à base de cellules LSTM bidirectionnelles pour la désambiguïsation lexicale ( LSTM Based Supervised Approach for Word Sense Disambiguation) (2018)

Abstract: En désambiguïsation lexicale, l’utilisation des réseaux de neurones est encore peu présente et très récente. Cette direction est pourtant très prometteuse, tant les résultats obtenus par ces premiers systèmes arrivent systématiquement en tête des campagnes d’évaluation, malgré une marge d’amélioration qui semble encore importante. Nous présentons dans cet article une nouvelle architecture à base de réseaux de neurones pour la désambiguïsation lexicale. Notre système est à la fois moins complexe à entraîner que les systèmes neuronaux existants et il obtient des résultats état de l’art sur la plupart des tâches d’évaluation de la désambiguïsation lexicale en anglais. L’accent est porté sur la reproductibilité de notre système et de nos résultats, par l’utilisation d’un modèle de vecteurs de mots, de corpus d’apprentissage et d’évaluation librement accessibles.

## introduction la désambiguïsation lexicale (dl) est une tâche centrale en traitement automatique des langues (tal) qui vise à attribuer le sens le plus probable à un mot donné dans un document, à partir d'un inventaire prédéfini de sens. il existe une multitude d'approches pour la dl, dont les approches supervisées, qui utilisent des méthodes d'apprentissage automatique couplées à de grandes quantités de données manuellement annotées, les approches à base de connaissances, qui se basent sur des ressources lexicales telles que des dictionnaires, des thésaurus ou des réseaux lexicaux par exemple, les approches semi-supervisées, non-supervisées, ou encore les approches à base de graphes ou de similarités. pour un état de l'art plus complet, le lecteur est invité à lire par exemple @xcite . depuis la création des campagnes d'évaluation pour les systèmes de dl telles que senseval/semeval, les approches supervisées se retrouvent systématiquement dans les premières places en terme de scores obtenus @xcite @xcite . alors que l'on voit se multiplier les utilisations de techniques d'apprentissage à base de réseaux de neurones dans la plupart des champs de recherche du tal, comme par exemple pour la représentation vectorielle des mots @xcite @xcite , la traduction automatique @xcite ou l'étiquetage morpho-syntaxique @xcite , on retrouve aussi des approches supervisées à base de réseaux de neurones pour la désambiguïsation lexicale, et ce sont ces méthodes qui obtiennent aujourd'hui les résultats état de l'art @xcite @xcite . dans cet article, nous présentons une nouvelle approche supervisée de dl à base de réseaux de neurones, qui s'appuie sur les modèles existants et qui obtient des résultats état de l'art sur la plupart des tâches d'évaluation de la dl en anglais tout en étant moins complexe et difficile à mettre en place. de plus, nous utilisons pour la première fois l'ensemble des corpus annotés avec des sens provenant de la base lexicale wordnet @xcite qui existent à ce jour, ce qui permet à notre système d'être plus robuste car plus généralisable à de nouvelles données. en effet, les systèmes supervisés de l'état de l'art sont généralement uniquement entraînés sur le semcor @xcite , mais une demi-douzaine d'autres corpus annotés en sens et de grande taille existent. notre équipe les a tous regroupés dans une ressource libre nommée ufsac 1 @xcite . par soucis de comparaison avec les systèmes état de l'art, nous avons évalué notre approche à la fois en utilisant tous les corpus ufsac disponibles, mais aussi en nous restreignant uniquement au semcor. dans un premier temps nous allons présenter les architectures des systèmes neuronaux de dl de l'état de l'art, avec leurs avantages et inconvénients respectifs dans la section 2, ainsi que l'architecture que nous proposons dans la section 3. ensuite nous décrirons le protocole expérimental que nous avons suivi pour évaluer notre système dans la section 4 puis nous détaillerons les résultats dans la section 5. enfin nous présenterons un travail préliminaire d'amélioration de notre système de manière totalement non supervisée dans la section 6 et enfin nous conclurons dans la section 7. ## architectures neuronales pour la désambiguïsation lexicale parmi les approches neuronales pour la dl, on retrouve notamment trois travaux majeurs : le modèle de @xcite , le modèle de @xcite et celui @xcite . le principal avantage de leur modèle est donc sa petite taille. en effet la couche de sortie de leur réseau est de la taille du nombre de sens pour le lemme cible, le nombre de sens moyen pour les mots polysémiques dans wordnet étant d'environ 3 foot_1 . les couches cachées de cellules lstm sont elles aussi très petites, avec seulement deux couches de taille 74 chacune. il est cependant peu aisé d'entraîner ce système à annoter tous les mots d'un document car chaque lemme doit avoir son propre modèle. dans le modèle @xcite , un réseau neuronal à base de cellules lstm est utilisé comme modèle de langue, pour prédire un mot d'une séquence en fonction de son contexte. un apprentissage supervisé sur des corpus annotés en sens est ensuite effectué pour que leur système apprenne à distinguer les différents sens d'un mot en fonction des mots prédits par leur modèle de langue. dans un second temps, les auteurs proposent une méthode de propagation de labels pour augmenter leurs données annotées en sens et obtenir ainsi leurs meilleurs résultats. cette méthode consiste à chercher dans des corpus non annotés de nouvelles phrases, proches des phrases de leur corpus annoté, en se basant sur une mesure de similarité cosinus entre les représentations vectorielles de ces phrases. les annotations en sens sont ensuite propagées de la phrase initialement annotée vers l'autre phrase. dans cet article, les auteurs comparent les performances de différents modèles, entraînés sur le semcor ou l'omsti, avec et sans leur propagation de labels, et obtiennent des résultats état de l'art sur la plupart des tâches. le principal problème de leur approche est la reproductibilité des résultats, en effet leur modèle de langue est entraîné sur un corpus privé d'actualités (news) d'une taille de 100 milliards de mots, et ils ont utilisé pour leur propagation de labels des phrases prises aléatoirement sur le web, sans en spécifier la source plus précisément. enfin, l'architecture de leur modèle de langue ne permet de prédire le sens que d'un seul mot à la fois pour une séquence donnée, parce que le mot cible doit être remplacé par un symbole spécial avant d'être donné en entrée de leur réseau. il est donc nécessaire d'exécuter leur modèle pour chaque mot d'une phrase afin de tous les annoter. @xcite proposent également un modèle à base de lstm mais qui apprend directement à prédire un label pour chacun des mots donnés en entrée. le label à prédire fait partie d'un ensemble comprenant tous les sens possibles dans un dictionnaire ainsi que tous les mots observés pendant l'entraînement. ils augmentent ensuite leur modèle avec une couche d'attention, et ils effectuent un entraînement multi-tâches dans lequel leur réseau prédit à la fois un sens ou un mot, un label de partie du discours, et un label sémantique. cette architecture est la seule qui permet d'annoter tous les mots d'une séquence en une passe et l'entraînement de leur modèle s'est effectué sur le semcor uniquement. leur réseau associe à un mot en entrée un label appartenant à l'ensemble des sens de leur inventaire de sens ainsi que l'ensemble des mots observés pendant l'entraînement. cette approche permet à leur modèle d'apprendre à prédire un label de sens lorsque le mot est annoté dans le corpus d'entraînement, et un label de mot lorsque le mot n'est pas annoté (si c'est un mot outil par exemple). l'inconvénient de leur approche est qu'elle n'est pas applicable lorsque l'on veut réaliser l'apprentissage sur un corpus partiellement annoté en sens. en effet pour ce type de corpus, leur modèle va apprendre à "recopier" des mots non annotés alors qu'ils sont potentiellement porteurs de sens. ## architecture proposée notre approche est, comme pour @xcite , de considérer la désambiguïsation lexicale comme un problème de classification dans lequel un label est assigné à chaque mot. cependant, nous simplifions leur modèle en considérant un label comme appartenant uniquement à l'ensemble de tous les sens possibles de notre inventaire de sens. l'architecture de notre réseau de neurones, illustrée par la figure 1 repose ainsi sur 3 couches de cellules : figure 1 -architecture de notre réseau de neurones pour la dl. la fonction de coût à minimiser pendant la phase d'apprentissage est l'entropie croisée entre la couche de sortie et un vecteur de type one-hot, pour lequel toutes les composantes sont à 0 sauf à l'index du sens cible où elle est à 1. on cherche ainsi à minimiser la fonction h(p, q) =x p(x) log q(x), où x est est une composante du vecteur de la couche de sortie, p est la distribution de probabilité réelle et q la sortie de notre réseau de neurones. comme toutes les valeurs de la distribution réelle sont à 0 sauf à l'index du sens correct, pour un exemple donné, on cherche ainsi à minimiser la formule -log q(s), où s est l'index du sens à prédire. notre modèle prédit toujours un sens en sortie pour chaque mot en entrée, même pour les mots outils ou les mots qui n'ont pas été annotés dans le corpus d'entraînement, cependant, dans ces cas là, nous avons un symbole @xmath0. contrairement à l'approche proposée par @xcite , notre modèle peut ainsi apprendre non seulement sur des données entièrement annotées, comme c'est le cas avec le semcor @xcite par exemple, mais également sur des données partiellement annotées, comme l'omsti @xcite ou le dso @xcite , dans lesquelles un seul mot est annoté par phrase. il est en effet capable d'apprendre à prédire les sens de tous les mots d'une séquence en même temps, et à la fois d'en ignorer certains éléments. l'entraînement se retrouve aussi moins complexe à réaliser que pour raganato et al. (2017b) car la taille de la couche de sortie est beaucoup plus petite : le nombre de sens différents dans la version 3.0 de wordnet est de 117 659 foot_2 , alors qu'une taille de vocabulaire typique pour des modèles de vecteurs de mots en anglais contient au minimum 400 000 mots et plus généralement plus de 1 000 000 de mots foot_3 foot_4 . notre architecture est aussi très différente de celles de yuan et al. (2016) ou de kågebäck & salomonsson (2016), notamment car leurs architectures ne permettent pas d'annoter tous les mots en entrée de leurs modèles en une seule passe, mais seulement indépendamment les uns des autres. ## protocole expérimental pour évaluer notre système de dl à base de réseaux de neurones, nous avons tiré parti de notre précédent travail @xcite dans lequel nous proposions une ressource contenant tous les corpus anglais annotés en sens wordnet connus à ce jour, et nous avons entraîné notre modèle sur 6 de ces corpus : le semcor @xcite , le dso @xcite , le wordnet gloss tagged @xcite , l'omsti @xcite , le masc @xcite et l'ontonotes @xcite . nous avons utilisé le corpus de la tâche 13 de semeval 2015 @xcite