Relation, es-tu là ? Détection de relations par LSTM pour améliorer l’extraction de relations (Relation, are you there ? LSTM -based relation detection to improve knowledge extraction ) (2020)

Abstract: De nombreuses méthodes d’extraction et de classification de relations ont été proposées et testées sur des données de référence. Cependant, dans des données réelles, le nombre de relations potentielles est énorme et les heuristiques souvent utilisées pour distinguer de vraies relations de co-occurrences fortuites ne détectent pas les signaux faibles pourtant importants. Dans cet article, nous étudions l’apport d’un modèle de détection de relations, identifiant si un couple d’entités dans une phrase exprime ou non une relation, en tant qu’étape préliminaire à la classification des relations. Notre modèle s’appuie sur le plus court chemin de dépendances entre deux entités, modélisé par un LSTM et combiné avec les types des entités. Sur la tâche de détection de relations, nous obtenons de meilleurs résultats qu’un modèle état de l’art pour la classification de relations, avec une robustesse accrue aux relations inédites. Nous montrons aussi qu’une détection binaire en amont d’un modèle de classification améliore significativement ce dernier.

## motivation les articles de journaux sont une source particulière de données, de par leur quantité -des milliers d'articles écrits chaque jour -et le grand nombre d'entités qui interagissent dans leurs textes au sein de multiples relations. cette masse de textes, souvent confinée aux archives, regorge d'informations, de connaissances, de détails qui peuvent aider à la mise en contexte de nouveaux événements. afin de pouvoir exploiter une telle richesse, l'utilisation de bases de connaissances est un atout majeur. il s'agit de remplir une base contenant des entités et les relations qu'elles entretiennent pour mettre en lien des concepts à plus grande échelle que celle d'un seul texte. pour ce faire, de nombreux aspects de l'extraction d'informations sont mis en oeuvre, un aspect crucial étant l'extraction de relations entre entités. une entité est un objet, soit tangible soit un concept, auquel on peut référer par un nom propre, comme « barack obama » ou « paris ». une relation est une paire d'entités issues d'une même phrase et entre lesquelles la phrase exprime un lien. elle est spécifiée avec un nom, comme « capitale de » ou « époux de ». extraire cette relation permet de structurer l'information, en expliquant en quoi les entités d'une phrase sont liées, si elles le sont. ceci est un défi dans le cas de données journalistiques, où une grande masse d'entités cohabite dans les articles et peu sont réellement en relation. l'extraction doit donc être opérée de façon sûre, rapide, sans omettre les signaux faibles qui sont potentiellement porteurs d'informations inédites pour les journalistes, tout en étant capable de s'adapter au flux constant d'articles aux thématiques variées. de nombreux extracteurs et classifieurs de relations existent déjà, issus principalement de quatre types d'approches : les schémas universels @xcite , l'open information extraction @xcite @xcite , la classification non supervisée @xcite @xcite , et la classification supervisée @xcite @xcite @xcite . certaines approches combinent d'ailleurs plusieurs de ces paradigmes @xcite . cependant, ces diverses méthodes ne sont souvent testées et évaluées que sur des données de référence, en anglais, propres et peu bruitées. quand elles sont testées sur des données réelles, le nombre de relations candidates est habituellement fortement réduit par l'utilisation d'heuristiques, pour ne garder que les relations les plus fréquentes. dans le cas du journalisme, où les relations potentielles dans les textes sont extrêmement nombreuses tout en cachant de précieux signaux faibles, il devient d'une part coûteux d'appliquer des modèles de classification sur toutes les relations candidates ; d'autre part, les signaux faibles se retrouvent noyés dans de telles quantités de données que les systèmes de classification ne les distinguent pas : des relations potentiellement cruciales sont classifiées dans de très vastes classes « poubelle », ou tout simplement ignorées. les systèmes existants ne peuvent donc pas être appliqués directement à notre cas d'application journalistique. nous proposons par conséquent de procéder en deux étapes, en ajoutant un modèle préliminaire pour détecter si une phrase contient ou non une relation. les phrases pour lesquelles un couple d'entités a été identifié comme étant bien en relation peuvent ensuite être traitées par un modèle de classification de relations. cette division permet tout d'abord d'augmenter la qualité des données fournies au modèle de classification, en réduisant le bruit apporté par des entités sans relation, et ensuite de diminuer le temps d'exécution d'une classification de relations, puisque seule une partie des données est traitée par un modèle de classification. nous inspirant de l'état de l'art, nous proposons un modèle simple mais efficace de détection binaire de relations, fondé sur un réseau de neurones lstm exploitant la syntaxe des phrases, que nous testons sur des données réelles que figure 1 -exemple de graphe de dépendances pour la phrase « anne-marie houdebine a travaillé sur la notion d'imaginaire linguistique. ». nous avons collectées. nous montrons la performance de notre modèle sur la détection de relations, ses capacités de généralisation et la possibilité qu'il offre d'améliorer les performances d'un modèle de classification de relations avec de la détection de relations en amont, démontrant ainsi la pertinence de notre approche en deux temps. ## méthodologie notre modèle doit être capable de détecter des relations au sein d'articles de style journalistique, c'est-à-dire identifier si deux entités sont ou non en relation, en analysant la phrase dans laquelle elles apparaissent. dans chaque phrase, tous les couples d'entités potentiellement en relation (les relations candidates) sont donc extraits. notre modèle doit apprendre si les mots se trouvant entre deux des entités signifient qu'une relation incluant ces deux entités existe ou non. la caractéristique principale de notre modèle est le recours au plus court chemin de dépendances entre deux entités, c'est-à-dire le chemin syntaxique liant deux entités dans le graphe de dépendances qui traverse le moins de mots. un graphe de dépendances consiste en un graphe où les noeuds correspondent aux mots, et les arêtes aux dépendances syntaxiques entre les mots (voir un exemple en figure 1 ). suivant @xcite , nous faisons l'hypothèse que le plus court chemin entre deux entités du graphe de dépendances contient l'essentiel de la relation, car il traverse les mots nécessaires à la compréhension de la phrase, omettant l'information auxiliaire et réduisant ainsi le bruit potentiel. ce plus court chemin de dépendances est produit par l'algorithme de dijkstra appliqué sur le graphe de dépendances obtenu avec le stanford dependency parser @xcite , dont nous avons modifié quelques aspects (regroupé les entités « multi-mots » (« barack obama » ou « université d'harvard ») en un seul noeud, réparé les phrases auxquelles il manque un lien, et retiré les doublons créés à cause d'une erreur d'implémentation de l'analyseur). sur ce plus court chemin de dépendances, nous collectons des variables sur chaque mot : les plongements du mot obtenu grâce à un modèle skip-gram pré-entraîné @xcite , la catégorie morpho-syntaxique et l'étiquette de dépendance. la moyenne des plongements de mots est prise pour les entités formées de plusieurs mots. à ceci, nous ajoutons le type des entités donné par un système de détection d'entités, tel « parti politique », « ong », « personne » ou encore « autre ». le plus court chemin exclut donc les entités elles-mêmes, car elles sont déjà prises en compte dans notre modèle via leur type. le modèle est constitué de deux branches, l'une modélisant les entités à travers leur type avec une couche cachée entièrement connectée, et l'autre prenant en compte l'information syntaxique sur le plus court chemin entre les deux entités avec une couche lstm. une variante du lstm proposée dans @xcite est utilisée. les deux branches sont fusionnées par un produit scalaire, puis une couche entièrement connectée dotée d'une activation sigmoïde prédit la probabilité qu'il y ait une relation entre les deux entités. une telle couche de sortie a été préférée à une activation softmax avec deux neurones de sortie, car cette dernière approche nécessite de comparer les deux probabilités de sortie et garder la classe correspondant à la plus grande, tandis que, dans notre cas, une unique probabilité de sortie permet d'appréhender le degré de certitude de la relation. la figure 2 présente l'architecture de notre modèle appliqué à une phrase exemple. le choix d'intégrer les types des entités est motivé par l'observation que certaines relations n'existent pas entre certains types d'entités. ainsi une relation potentielle « fils de » ne peut exister entre une personne et un lieu. nous cherchons donc à confronter les mots du chemin et les types des entités pour s'assurer de leur compatibilité. nous avons de plus séparé l'information sur les entités de l'information séquentielle par souci de simplicité et de rapidité. nos résultats préliminaires ont en effet montré qu'entraîner une couche entièrement connectée uniquement pour les types des entités réduit le temps d'entraînement par rapport à un lstm où les entités sont incorporées dans le plus court chemin de dépendances, pour des performances identiques. ## conclusion nous avons créé un système de détection de relations efficace dans le cas de textes journalistiques, et avons expérimentalement prouvé sa pertinence pour le problème de détection et de classification de relations sur des données réelles. notre modèle peut être utilisé en amont d'un système de classification dont il améliore les résultats, tout en étant capable de repérer des signaux faibles et des relations inédites. ce modèle seul permet, lorsqu'un journaliste recherche des informations sur une entité, de pouvoir éviter les contresens d'une recherche par co-occurrences : nous ne présentons pas les cas où les relations ne sont pas avérées, évitant d'associer des concepts qui ne sont liés que de façon lointaine. notre modèle peut de plus être intégré dans la chaîne de traitement des articles d'un journal, juste avant le typage des relations, dans le but d'améliorer à la fois la qualité et la rapidité de l'alimentation d'une base de connaissances journalistique.