Compression de vocabulaire de sens grâce aux relations sémantiques pour la désambiguïsation lexicale (Sense Vocabulary Compression through Semantic Knowledge for Word Sense Disambiguation) (2019)

Abstract: En Désambiguïsation Lexicale (DL), les systèmes supervisés dominent largement les campagnes d’évaluation. La performance et la couverture de ces systèmes sont cependant rapidement limités par la faible quantité de corpus annotés en sens disponibles. Dans cet article, nous présentons deux nouvelles méthodes qui visent à résoudre ce problème en exploitant les relations sémantiques entre les sens tels que la synonymie, l’hyperonymie et l’hyponymie, afin de compresser le vocabulaire de sens de WordNet, et ainsi réduire le nombre d’étiquettes différentes nécessaires pour pouvoir désambiguïser tous les mots de la base lexicale. Nos méthodes permettent de réduire considérablement la taille des modèles de DL neuronaux, avec l’avantage d’améliorer leur couverture sans données supplémentaires, et sans impacter leur précision. En plus de nos méthodes, nous présentons un système de DL qui tire parti des récents travaux sur les représentations vectorielles de mots contextualisées, afin d’obtenir des résultats qui surpassent largement l’état de l’art sur toutes les tâches d’évaluation de la DL.

## introduction la désambiguïsation lexicale (dl) est une tâche qui vise à clarifier un texte en assignant à chacun de ses mots l'étiquette de sens la plus appropriée depuis un inventaire de sens prédéfini. il existe diverses approches pour la dl, telles que les approches à base de connaissances, qui s'appuient sur des dictionnaires, des bases de données lexicales ou des graphes de connaissances couplés à des algorithmes tels que les mesures de similarité lexicale @xcite ou des mesures basées sur les graphes @xcite , ou les méthodes supervisées, qui exploitent des corpus annotés en sens comme données d'apprentissage pour entraîner un classifieur multi-classe tel qu'un svm @xcite , ou plus récemment un réseau neuronal @xcite . les méthodes supervisées sont de loin les plus représentées car elles offrent généralement les meilleurs résultats dans les campagnes d'évaluation (par exemple @xcite ). les classifieurs état de l'art combinaient jusqu'à récemment des caractéristiques précises telles que les parties du discours et les lemmes des mots voisins, @xcite , mais ils sont maintenant remplacés par des réseaux de neurones récurrents qui apprennent leur propre représentation des mots @xcite @xcite . cependant, une des limitations majeures des systèmes supervisés est la quantité limitée de corpus manuellement annotés en sens. en effet, le semcor @xcite , qui est le plus grand corpus manuellement annoté en sens disponible, contient 33 760 labels de sens différents, ce qui correspond à seulement environ 16% de l'inventaire de sens de wordnet 1 @xcite , la base de données lexicale de référence largement utilisée en dl. de nombreux travaux tentent de résoudre ce problème via la création de nouveaux corpus annotés en sens, générés soit automatiquement @xcite , semi-automatiquement @xcite , ou bien par crowdsourcing @xcite , mais dans nos travaux, nous cherchons à résoudre ce problème en tirant parti des relations sémantiques présentes entre les sens de wordnet comme l'hyperonymie, l'hyponymie, l'antonymie, la méronymie, etc. notre méthode est basée sur les observations suivantes : par exemple, considérons le mot « souris » et deux de ses sens : la souris d'ordinateur et la souris l'animal. les notions plus générales comme « être vivant » (hyperonyme de souris/animal) et « appareil électronique » (hyperonyme de souris/ordinateur), permettent déjà de distinguer les deux sens, et toutes les notions plus spécialisées telles que « rongeur » ou « mammifère » sont, elles, superflues. en regroupant ces étiquettes de sens ensemble, on peut bénéficier de tous les autres exemples mentionnant un appareil électronique ou un être vivant dans un corpus d'entraînement, même si le mot « souris » n'est pas mentionné spécifiquement, pour désambiguïser le mot « souris ». contributions : dans cet article, nous émettons l'hypothèse que seul un sous-ensemble des sens de wordnet peut être considéré pour pouvoir désambiguïser tous les mots de la base lexicale. par conséquent, nous proposons deux méthodes différentes pour construire ce sous-ensemble que nous appelons méthodes de compression de vocabulaire de sens. en utilisant ces techniques, nous sommes en mesure d'améliorer considérablement la couverture des systèmes de dl supervisés, en éliminant quasiment le besoin d'une stratégie de repli habituellement employée pour les mots jamais observés pendant l'entraînement. nous présentons des résultats qui surpassent l'état de l'art de façon significative sur toutes les tâches d'évaluation de la dl, et nous fournissons à la communauté notre outil ainsi que nos meilleurs modèles pré-entraînés, sur un dépôt github dédié 2 . plusieurs avancées récentes ont été réalisées dans la création de nouvelles architectures neuronales pour les systèmes supervisés de désambiguïsation lexicale. ces systèmes atteignent des performances état de l'art et certains peuvent intégrer des sources de connaissances externes. dans cette section, nous donnons un aperçu de ces travaux. ## conclusion dans cet article, nous avons présenté deux nouvelles méthodes qui améliorent la couverture et la capacité de généralisation des systèmes de dl supervisés, en réduisant le nombre d'étiquettes de sens différentes dans wordnet afin de ne conserver que celles qui sont essentielles pour différencier les sens de tous les mots présents dans la base lexicale. à l'échelle de l'ensemble de la base de données lexicale, nous avons montré que ces méthodes permettaient de réduire le nombre total d'étiquettes de sens différentes dans wordnet à seulement 6% de sa taille originale, et que la couverture d'un même corpus d'entraînement est ensuite plus que doublée. nous avons entraîné un système de dl neuronal état de l'art et nous avons montré que nos méthodes permettaient de réduire la taille des modèles par un facteur de 1,2 à 2 et de largement augmenter leur couverture, sans dégrader leurs performances. au final, nous obtenons une couverture de 99,99% sur l'ensemble des tâches d'évaluation (soit un seul mot manquant sur les 7 253) lorsque l'on entraîne notre système sur le semcor uniquement, et 100% lorsque l'on ajoute le wordnet gloss tagged aux données d'entraînement. on élimine ainsi quasiment le besoin d'une méthode de repli pour désambiguïser n'importe quel mot du vocabulaire de wordnet. notre méthode combinée avec les récentes avancées en terme de vecteurs de mots pré-entraînés permet à notre système de surpasser nettement l'état de l'art dans toutes les tâches d'évaluation de la dl de l'anglais, avec une bien meilleure couverture. pour finir, bien que nous ayons appliqué nos méthodes uniquement sur l'anglais dans cet article, elles peuvent facilement s'appliquer à d'autres langues en utilisant toujours wordnet comme inventaire de sens. par exemple, elles peuvent s'appliquer à la désambiguïsation d'une langue moins bien dotée en utilisant la méthode @xcite . cependant, du fait que les autres langues ont très peu de ressources annotées manuellement en sens (que ce soit avec l'inventaire de sens wordnet ou un autre), l'évaluation des systèmes de dl pour d'autres langues que l'anglais est limité.