Construire des représentations denses à partir de thésaurus distributionnels (Distributional Thesaurus Embedding and its Applications) (2017)

Abstract: Dans cet article, nous nous intéressons à un nouveau problème, appelé plongement de thésaurus, consistant à transformer un thésaurus distributionnel en une représentation dense de mots. Nous proposons de traiter ce problème par une méthode fondée sur l’association d’un plongement de graphe et de l’injection de relations dans des représentations denses. Nous avons appliqué et évalué cette méthode pour un large ensemble de noms en anglais et montré que les représentations denses produites obtiennent de meilleures performances, selon une évaluation intrinsèque, que les représentations denses construites selon les méthodes de l’état de l’art sur le même corpus. Nous illustrons aussi l’intérêt de la méthode développée pour améliorer les représentations denses existantes à la fois de façon endogène et exogène.

## introduction dans le cadre du traitement automatique des langues (tal), beaucoup des travaux menés initialement @xcite @xcite dans le domaine de la sémantique distributionnelle se sont focalisés sur la notion de thésaurus distributionnel. les travaux plus récents dans ce domaine se sont davantage concentrés sur les notions de similarité et de proximité sémantiques @xcite ainsi que sur la représentation des données distributionnelles. cette tendance s'est renforcée encore plus récemment avec le courant des travaux sur les représentations distribuées et les plongements lexicaux (word embeddings), construits par des réseaux de neurones @xcite ou par d'autres moyens @xcite . d'un point de vue plus général, les thésaurus distributionnels et les données distributionnelles, c'està-dire les contextes distributionnels des mots, peuvent être considérés comme des représentations duales de la même information de similarité sémantique, ainsi que l'illustre la figure 1. les données distributionnelles en constituent une forme intensionnelle tandis que les thésaurus distributionnels en sont la forme extensionnelle, obtenue par l'application d'une mesure de similarité aux données distributionnelles. passer d'une représentation intensionnelle à une représentation extensionnelle correspond à l'opération classique sous-tendant la construction des thésaurus distributionnels. dans le contexte des plongements lexicaux, @xcite généralisent cette opération à la construction de réseaux lexicaux. le passage inverse d'une représentation extensionnelle à une représentation intensionnelle est, à notre connaissance, un problème nouveau dans le contexte de l'analyse distributionnelle. l'intérêt de cette transformation est double. en premier lieu, quelle que soit sa forme originelle, une connaissance sémantique peut ainsi être convertie sous la forme la plus adaptée à son contexte d'usage spécifique. par exemple, la forme du thésaurus est utilisable facilement pour des tâches comme l'expansion de requêtes tandis que celle des plongements lexicaux est plus adaptée à une utilisation comme traits dans des classifieurs statistiques. en second lieu, chaque forme est également associée à des méthodes spécifiques d'amélioration. beaucoup de travaux ont ainsi été menés pour améliorer les contextes distributionnels par l'étude de différents paramètres, ce qui a conduit à une amélioration importante des thésaurus distributionnels. à l'inverse, des travaux tels que @xcite se sont focalisés sur l'amélioration des thésaurus en tant que tels, en s'appuyant sur leurs caractéristiques propres. il serait donc intéressant de pouvoir transposer ces améliorations au niveau des contextes distributionnels selon une transformation inverse de la construction des thésaurus, telle qu'illustrée par la figure 1 . dans cet article, nous proposons d'étudier une telle transformation, appelée plongement de thésaurus, conduisant à transformer un thésaurus distributionnel en plongements lexicaux. nous montrerons en particulier qu'une telle transformation peut-être réalisée sans perte importante d'information et que les idées sous-jacentes à ce processus peuvent en outre être réutilisées pour l'amélioration endogène de plongements lexicaux déjà existants. enfin, nous illustrerons l'intérêt de ce processus pour construire plus efficacement des plongements lexicaux incorporant des connaissances externes. ## plongement d'un thésaurus distributionnel un thésaurus distributionnel est généralement vu comme un ensemble d'entrées avec, pour chaque entrée, une liste de voisins sémantiques ordonnés selon l'ordre décroissant de leur similarité sémantique avec cette entrée. les voisins d'une entrée étant aussi des entrées du thésaurus, celui-ci peut donc être représenté comme un graphe dont les sommets sont les mots du thésaurus, qu'ils soient entrées ou voisins, et les arêtes sont les relations de voisinage sémantique entre ces mots, pondérées en fonction de leur niveau de similarité sémantique. ce graphe est non dirigé lorsque la mesure de similarité sémantique est symétrique, ce qui est le cas que nous considérons ici. si le mot m 2 est un voisin de l'entrée m 1 et que m 3 est un voisin de m 2 , le graphe comportera ainsi une arête entre m 1 et m 2 et une arête entre m 2 et m 3 , liant ainsi indirectement m 1 et m 3 . si m 3 est un voisin de m 1 , une arête directe existera aussi entre m 1 et m 3 . la notion explicite d'ordre parmi les voisins d'une entrée du thésaurus n'est en revanche pas représentée de façon explicite. une telle représentation a par exemple été adoptée par @xcite pour améliorer un thésaurus en réordonnançant les voisins de ses entrées. une des spécificités des thésaurus distributionnels dans ce contexte est que même si le poids entre deux mots est corrélé à leur véritable similarité sémantique, des travaux tels que @xcite ont montré que la pertinence sémantique des voisins d'un mot décroît très rapidement à mesure que le rang de ces voisins augmente. pour tenir compte de cette particularité, notre stratégie de plongement des thésaurus distributionnels s'articule autour de deux étapes : une première étape construit un plongement en s'appuyant sur la structure de graphe sous-jacente à ces thésaurus tandis qu'une seconde étape adapte ce premier plongement afin de tenir compte de leurs spécificités en termes de similarité sémantique. nous détaillons ces deux étapes dans les deux sections suivantes. ## amélioration exogène de plongements lexicaux le processus de plongement de thésaurus que nous avons présenté peut aussi contribuer de façon globale à la production de plongements lexicaux incorporant de façon plus effective des connaissances sémantiques externes que les méthodes retrofit et counterfit dans leur application directe. la méthode pour ce faire comporte deux phases : dans un premier temps, les connaissances externes sont intégrées à un thésaurus distributionnel construit à partir du corpus considéré ; ensuite, ce thésaurus se voit appliquer le processus de plongement décrit à la section 2.