Apprendre des représentations jointes de mots et d’entités pour la désambiguïsation d’entités (Combining Word and Entity Embeddings for Entity Linking) (2017)

Abstract: La désambiguïsation d’entités (ou liaison d’entités), qui consiste à relier des mentions d’entités d’un texte à des entités d’une base de connaissance, est un problème qui se pose, entre autre, pour le peuplement automatique de bases de connaissances à partir de textes. Une difficulté de cette tâche est la résolution d’ambiguïtés car les systèmes ont à choisir parmi un nombre important de candidats. Cet article propose une nouvelle approche fondée sur l’apprentissage joint de représentations distribuées des mots et des entités dans le même espace, ce qui permet d’établir un modèle robuste pour la comparaison entre le contexte local de la mention d’entité et les entités candidates.

## introduction la liaison d'entités (entity linking) consiste à relier des mentions d'entités d'un texte à des entités d'une base de connaissance (bc) si elles existent 1 @xcite , dans le but de normaliser ces mentions. c'est un problème qui se pose, par exemple, pour le peuplement de bases de connaissances par extraction d'information à partir de textes. cette tâche est parfois considérée comme un cas particulier dans un cadre plus général de désambiguïsation de concepts en fonction d'une base de connaissance, qu'il s'agisse d'entités nommées ou d'expressions nominales (par exemple, wikify @xcite ou babelfy @xcite ). les méthodes de liaison d'entités sont généralement décomposées en trois sous-tâches @xcite : 1) l'identification des mentions d'entités dans les textes devant être reliées à la base de connaissances ; 2) la recherche d'entités candidates de la base de connaissances pour chaque mention ; 3) la sélection de l'entité correcte parmi les candidates. l'un des principaux défis de la tâche est la très grande quantité d'entités présentes dans la base, de sorte que chaque mention peut être reliée à différentes entités et la référence correcte ne peut être déduite que du contexte textuel des mentions. ainsi, dans la phrase "koirala n'a pourtant appris la nouvelle que grâce aux tweets de son homologue indien, narendra modi.", la mention "koirala" est ambiguë car elle peut faire référence à l'actrice népalaise "manisha koirala", la "famille koirala", une famille importante dans les milieux politiques du népal, "saradha koirala", une poète d'ascendance népalaise, ou "sushil koirala", le premier ministre du népal entre 2014 et 2015. cet article porte principalement sur la dernière étape du processus, la sélection du meilleur candidat. la plupart des approches pour ce problème s'appuient sur les mots et considèrent les mots comme des unités atomiques pour représenter l'information sur la mention et son contexte. nous proposons une nouvelle approche, plus sémantique, fondée sur l'apprentissage joint des représentations distribuées (embeddings) des mots et des entités dans le même espace. les avantages de l'apprentissage joint sont multiples : 1) les représentations des mots ainsi créées sont mieux ancrées sémantiquement car leur contexte (pendant l'entraînement) peut contenir des vecteurs de concepts qui permettent de passer outre les variations de surface ; 2) les représentations des entités sont apprises sur un grand corpus qui les mentionne avec une plus grande fréquence que si elles étaient apprises à partir de la base de connaissance directement ; 3) comme les représentations des mots et des entités sont apprises dans un même espace, nous pouvons utiliser une mesure de similarité simple pour calculer la proximité d'une mention d'entité et des mots de son contexte dans le texte avec les entités de la bc. dans cet article, nous présentons les contributions suivantes : ## état de l'art les méthodes d'apprentissage proposées pour la désambiguïsation d'entités peuvent être distinguées selon le degré de supervision qu'elles nécessitent. les approches non supervisées s'appuient sur des mesures de similarité entre les mentions dans le texte et les entités dans la base de connaissance @xcite . ces mesures se fondent en général sur des recouvrements de contextes, mais peuvent combiner plusieurs scores. elles ont pour avantage d'être simples à implémenter mais elles obtiennent des performances faibles en comparaison d'approches supervisées @xcite qui s'appuient sur des classifieurs binaires @xcite ou des modèles d'ordonnancement @xcite . plusieurs travaux récents se sont concentrés sur le calcul de similarité entre des mentions d'entités et des entités. babelfy @xcite utilise des algorithmes de marche aléatoire pour projeter des mentions dans des bases de connaissances comme wordnet foot_0 @xcite , babelnet foot_1 @xcite et yago2 foot_2 @xcite . l'apprentissage de représentations de mots a, par ailleurs, récemment permis d'obtenir de très bons résultats pour différentes tâches de traitement automatique de la langue @xcite . les plongements lexicaux (word embeddings) représentent un ensemble de méthodes non supervisées, fondées sur l'observation de régularités dans de très grandes quantités de textes, permettant d'apprendre des vecteurs compacts qui obtiennent de meilleurs résultats que les représentations fondées sur des décomptes @xcite . appliquées à une base de connaissance @xcite , les informations de la base, habituellement représentées sous forme de triplet (sujet, predicat foot_3 , objet), sont transformées en vecteurs de faible dimension. cette transformation est obtenue par optimisation d'une fonction qui donne un score élevé lorsque les triplets sont présents dans la base et un score bas sinon. s'inspirant de ce travail, wang et al. (2014) définissent une fonction à trois composants en charge de l'optimisation des représentations des mots apprises à partir de textes, des représentations des connaissances de la base et leur alignement. cette technique permet de combiner textes et connaissances structurées, ce qui engendre un espace de représentation unique pour les mots, les entités et les relations. la plupart de ces travaux cherchent à compléter une base de connaissance, mais cependant quelques-uns s'intéressent à la tâche de liaison référentielle. une extension des travaux de wang et al. (2014) a été développée en parallèle par fang et al. (2016) et yamada et al. (2016). les auteurs appliquent leurs modèles à plusieurs collections de liaison d'entité. cependant, comme wang et al. (2014), ces travaux n'utilisent pas directement le contexte d'une mention d'entité pour construire la représentation vectorielle, mais une fonction d'alignement appariant la mention et l'entité. pappu et al. (2017) préfèrent utiliser la représentation des documents de le & mikolov (2014) pour représenter conjointement les pages wikipédia et les mots. dans les deux cas, l'espace joint des entités et des mots est utilisé pour calculer des similarités entre eux. zwicklbauer et al. (2016) ont intégré des représentations d'entités pour la désambiguïsation d'entités. néanmoins, ces entités ont été apprises sur des documents qui ne contiennent que des entités et ne peuvent donc pas être utilisées pour aligner des représentations de mots et entités apprises séparément. ## représentation jointe des mots et des entités nous avons choisi d'apprendre de façon jointe et simultanée les représentations des mots et des entités, permettant ainsi une normalisation plus intégrée. dans cette section, nous présentons un modèle capable de combiner les vecteurs de mots et d'entités en utilisant uniquement leurs contextes. ce modèle peut ainsi être considéré comme une extension du modèle original de @xcite ou de sa variation @xcite . ## système de désambiguïsation d'entités nommées le système de liaison d'entités s'appuie sur une architecture standard (ji et al., 2014) composée de deux étapes principales : pour une mention d'entité repérée dans son contexte textuel, un premier traitement permet de générer les entités candidates possibles pour la désambiguïsation de cette mention ; un second module se charge de choisir l'entité la plus pertinente parmi les entités candidates.