Des pseudo-sens pour améliorer l’extraction de synonymes à partir de plongements lexicaux (Pseudo-senses for improving the extraction of synonyms from word embeddings) (2018)

Abstract: Au-delà des modèles destinés à construire des plongements lexicaux à partir de corpus, des méthodes de spécialisation de ces représentations selon différentes orientations ont été proposées. Une part importante d’entre elles repose sur l’utilisation de connaissances externes. Dans cet article, nous proposons Pseudofit, une nouvelle méthode de spécialisation de plongements lexicaux focalisée sur la similarité sémantique et opérant sans connaissances externes. Pseudofit s’appuie sur la notion de pseudo-sens afin d’obtenir plusieurs représentations pour un même mot et utilise cette pluralité pour rendre plus génériques les plongements initiaux. Nous illustrons l’intérêt de Pseudofit pour l’extraction de synonymes et nous explorons dans ce cadre différentes variantes visant à en améliorer les résultats.

## introduction le développement des modèles neuronaux dans le domaine du traitement automatique des langues s'est accompagné d'une attention spécifique accordée aux représentations qu'ils construisent et manipulent, en particulier celles relatives aux mots, appelées également plongements lexicaux (word embeddings). cette attention s'est traduite par la définition de modèles permettant de construire de telles représentations à partir de larges corpus selon des critères distributionnels, à l'instar des modèles cbow et skip-gram @xcite ou de glove @xcite . la popularisation de ces méthodes s'est rapidement accompagnée de travaux visant à modifier a posteriori les représentations construites afin de leur donner une orientation spécifique. cette orientation se matérialisant le plus souvent sous la forme de relations lexicales, les plongements lexicaux sont adaptés afin que les similarités qu'ils entretiennent reflètent les relations lexicales considérées. @xcite biaisent ainsi des plongements lexicaux vers la notion de similarité ou de proximité sémantique en s'appuyant soit sur des synonymes, soit sur des associations lexicales libres. des méthodes telles que retrofitting @xcite , counter-fitting @xcite ou paragram @xcite s'inscrivent dans la même perspective. les méthodes opérant sans connaissances externes sont le plus souvent intrinsèquement liées à la façon dont les plongements lexicaux sont construits. @xcite orientent ainsi des plongements vers la similarité sémantique plutôt que la proximité en utilisant des dépendances syntaxiques dans les contextes plutôt que des cooccurrents graphiques. certaines méthodes a posteriori existent mais n'affichent pas d'orientation spécifique autre que d'améliorer les plongements de façon générale : la méthode all-but-the-top @xcite , axée sur la réduction de la dimensionnalité des plongements, est de celles-ci tandis que @xcite , en exploitant des relations morphologiques extraites à partir de règles, se classe parmi les approches pauvres en besoins de connaissances. dans cet article, nous proposons pseudofit, une méthode d'amélioration de plongements lexicaux n'utilisant pas de connaissances externes et visant la similarité sémantique en général et l'extraction de synonymes en particulier. l'idée est d'exploiter la notion de pseudo-sens issue de la désambiguïsation sémantique pour matérialiser les variations observables dans les représentations distributionnelles des mots et les prendre en compte explicitement pour créer des représentations dépassant ces variations. nous montrons plus particulièrement l'intérêt de pseudofit dans le cadre d'une évaluation intrinsèque et pour l'extraction de synonymes (cf. section 3.1). nous testons également différentes variantes de la méthode permettant pour certaines d'entre elles de l'améliorer (cf. section 3.2).