Derrière les plongements de relations (2023)

Abstract: Dans cet article, plutôt que nous arrêter aux scores de performance habituellement fournis (par ex. mesure F1), nous proposons une analyse approfondie, selon différents critères, des modélisations de relations employées par plusieurs architectures de modèles de typage de relations. Cette analyse vise à mieux comprendre l’organisation de l’espace latent des modélisations et ses propriétés, enjeu important pour les modèles se fondant sur les distances dans cet espace. Dans cet objectif d’analyse des plongements, nous étudions l’influence, sur ces modélisations, du vocabulaire, de la syntaxe, de la sémantique des relations, de la représentation des entités nommées liées, ainsi que la géométrie de leur espace latent. Il en ressort que les modélisations de relations sont apprises de manière inégale d’un modèle à un autre entraînés de la même manière ; dans ce cas, les indicateurs que nous proposons sont de nouveaux éléments de compréhension de l’espace latent d’un modèle afin de mieux exploiter ses propriétés.

## introduction l'extraction de relations entre entités -en particulier entre entités nommées (noms de personnes, lieux, entreprises...) -est un champ de recherche très actif du traitement automatique des langues (tal) (cf. par exemple @xcite pour un résumé récent de nombreux travaux et des techniques utilisées). pouvoir acquérir automatiquement et exploiter les relations décrites au sein de textes est un enjeu important, en particulier pour peupler des bases de connaissance et pour comprendre les interactions entre entités d'intérêt, et ce, dans de nombreux domaines (médecine @xcite , finance @xcite , justice @xcite , journalisme @xcite , publications scientifiques @xcite ...). les relations considérées sont fréquemment binaires, exprimées au sein d'une phrase -ce sera aussi le focus de cet article -et sont modélisées par un triplet constitué d'une entité tête (ou sujet), d'une entité queue (ou objet) et d'une relation ou prédicat qui les lie. par exemple, la phrase joe biden est président des états-unis depuis 2021 exprime le fait que l'entité joe biden et l'entité états-unis sont liées par une relation modélisable par le triplet (joe biden, est_président_de, états-unis). la littérature actuelle du tal concernant l'extraction de relations se focalise sur deux tâches de classification principales : la première est la détection de relations qui consiste à déterminer si deux entités dans un texte (ou une phrase) donné sont ou non liées par une relation quelconque ; la seconde est le typage de relations, reposant sur la détermination du type de la relation entre deux entités supposées liées par une relation dans un texte donné. pour la suite de l'article, notre attention se porte sur la tâche de typage de relations : comme expliqué ensuite, nous nous focalisons sur les modélisations des relations, et nous supposerons donc que les relations dans le texte ont déjà été détectées afin de pouvoir directement les étudier en étant certains de leur présence. cette tâche de typage se traduit alors dans le cas général par la résolution de une étude extensive des méthodes de détection et de typage de relations @xcite dégage les grandes familles de modèles et architectures adaptées à ces tâches. elle n'aborde toutefois pas les modèles transformers qui désormais font l'état de l'art dans un grand nombre de tâches de tal, probablement par manque de recul sur ces modèles encore récents. la comparaison des modèles se limite à celle de leurs performances évaluées à l'aide de métriques classiques telles que la précision, le rappel et la mesure f1, qui ne suffisent toutefois pas à comprendre la nature des différences entre les modélisations. du côté des modèles transformers, des avancées notables sont faites en termes de scores de classification, mais encore une fois, sans qu'on ne dispose d'une analyse fine de la modélisation des relations sous-jacente. c'est par exemple le cas de modèles tels que luke @xcite ou le modèle proposé par @xcite , qui figurent parmi l'état de l'art du typage de relations et proposent une modélisation novatrice des entités sans approfondir la modélisation résultante des relations. enfin, les modèles récents d'extraction de relations non supervisée ou sans exemple (zero shot) s'appuient sur des encodeurs transformers et notamment sur la mesure de similarité dans leur espace latent (par exemple (chen & li, 2021) ou plusieurs modèles de l'état de l'art décrit par simon (2022)). il est dans ce cas primordial de comprendre les attributs et informations de la relation reflétés par leur représentation, afin de saisir sur quoi s'appuie un modèle pour définir la similarité entre deux relations. sans cela, il est impossible de comprendre les erreurs du modèle, ou au contraire ce sur quoi repose son efficacité. il apparaît donc qu'une meilleure appréhension des modélisations des relations apprises par les modèles de typage de relations manque dans ce domaine du tal. s'arrêter à des scores de classification est une manière objective et efficace de comparer la performance de modèles, mais, dans une optique académique, est insuffisant pour comprendre la nature des différences de représentations entre ces classifieurs. il est donc nécessaire d'enrichir la comparaison des modèles avec des indicateurs plus fins. par exemple, bien que des modèles aient la capacité de tirer parti de la syntaxe des relations, la littérature récente ne vérifie pas l'influence de celle-ci sur la modélisation résultante. l'impact de la représentation des entités liées n'est également pas éprouvé au-delà des scores de classification. l'espace latent des modélisations de relations de chaque modèle est le siège de l'information sur ces relations, mais il n'est pas sondé au-delà des visualisations de ses projections en deux dimensions par t-sne. pour améliorer les comparaisons des modèles, l'initiative de alt et al. (2020) d'étude critique du jeu de données tacred procède à une analyse approfondie des erreurs de quatre modèles (taux d'erreurs sur les longues relations, les relations avec le même type d'entités tête et queue, les relations aux entités éloignées...). nous nous positionnons dans la lignée de cette démarche, mais souhaitons aller plus loin et comparer des modèles représentatifs d'architectures plus hétérogènes sur davantage de critères afin d'aboutir à une analyse plus fine. dans un premier temps, nous présentons les jeux de données utilisés et les modèles comparés, afin d'exposer leurs différences pour contextualiser les résultats de nos expériences. nous examinons dans un deuxième temps plusieurs critères : l'influence de la prise en compte de la syntaxe sur le typage des relations ; la représentation des entités et la façon dont elle affecte les représentations de relations ; l'intensité du lien entre la similarité des plongements de deux phrases supports de relations et la similarité lexicale, syntaxique et sémantique de ces deux phrases, ainsi que les distances et dispersions inter-relations dans l'espace latent de représentation des relations. nous explorons ces critères pour déceler des différences de plusieurs natures entre les modélisations étudiées sur les jeux de données choisis. nous concluons avec un résumé des résultats des expériences et leurs implications grâce au recul apporté. 2 contexte et cadre expérimental notre analyse porte sur une variété de modèles de typage et extraction de relations représentatifs de différentes avancées du domaine. l'objectif étant de proposer des éléments de comparaison fiables et fins entre ces modèles, nous choisissons d'homogénéiser l'apprentissage de ceux-ci. ainsi, tous les classifieurs ont pour point commun qu'une relation est modélisée par un vecteur de dimension fixe d. le deuxième point commun est l'architecture de la tête de classification utilisée pour déduire de chacune de ces modélisations une prédiction de type de relation par l'équation 1. cette tête de classification effectue une prédiction sous la forme du vecteur x @xmath0, tel que x @xmath1. w 1 et w 2 sont les matrices des poids des deux couches de neurones, et b 1 et b 2 les biais de ces mêmes neurones.