Recherche de relation à partir d’un seul exemple fondée sur un modèle N-way K-shot : une histoire de distracteurs (2024)

Abstract: La recherche de relation à partir d’un exemple consiste à trouver dans un corpus toutes les occurrences d’un type de relation liant deux entités dans une phrase, nommé type cible et caractérisé à l’aide d’un seul exemple. Nous empruntons le scénario d’entraînement et évaluation N-way K-shot à la tâche de classification de relations rares qui prédit le type de relation liant deux entités à partir de peu d’exemples d’entraînement, et l’adaptons à la recherche de relation avec un exemple. Lors de l’évaluation, un modèle entraîné pour la classification de relations en N-way K-shot est utilisé, dans lequel K vaut un pour le type cible, une des N classes (du N-way) représente le type cible, et les N-1 classes restantes sont des distracteurs modélisant la classe de rejet. Les résultats sur FewRel et TACREV démontrent l’efficacité de notre approche malgré la difficulté de la tâche. L’étude de l’évolution des performances en fonction du nombre de distracteurs et des stratégies de leur choix met en avant une bonne configuration globale, à savoir un nombre élevé de distracteurs à une distance intermédiaire du type de relation cible dans l’espace latent appris par le modèle. Le diagnostic a posteriori de notre méthode révèle l’existence de configurations optimales pour chaque type cible que nos analyses actuelles échouent à caractériser, ouvrant la voie à de futurs travaux.

## introduction l'extraction de relations consiste à détecter, dans un texte, les relations liant deux entités (entités nommées ou pronoms leur faisant référence). conceptuellement, cette tâche se divise en deux soustâches : la détection de relations, qui consiste à prédire s'il existe une relation entre deux entités présentes au sein d'une phrase, et la classification de relations, qui suppose l'existence d'une relation et vise à déterminer son type parmi un ensemble prédéfini. en pratique, ces deux sous-tâches sont souvent effectuées conjointement à l'aide d'un modèle qui choisit entre différents types de relations ou une classe de rejet. l'extraction de relations a fait l'objet de nombreux travaux, exploitant notamment des approches neuronales @xcite . ces avancées restent cependant limitées par la quantité de données annotées nécessaires, conduisant à des performances moindres sur les types de relations rares, c.-à-d. pour lesquels peu d'exemples annotés sont disponibles. dans cet article, nous nous penchons sur la tâche de recherche de relation avec un exemple. cette tâche particulière vise à retrouver, dans un grand corpus, toutes les occurrences d'un type de relation cible identifié à l'aide d'un seul exemple. on suppose donc que cet exemple unique suffit à caractériser le type de relation, qui ne possède ni nom ni définition explicites et ne correspond à aucune classe connue d'un modèle. la recherche de relation avec un exemple trouve des cas d'applications concrets par exemple dans un contexte d'analyse de médias, en sociologie ou dans le cadre du journalisme d'enquête, où un utilisateur repère une relation d'intérêt (relation cible) lors de sa recherche et souhaite retrouver d'autres occurrences de ce type de relation dans un corpus. dans ce contexte, il n'est pas envisageable de ré-entraîner un nouveau modèle à chaque changement de type de relation cible, pour des questions de temps de calcul et d'absence de données d'entraînement en quantité suffisante. pour traiter notre problématique, nous nous inspirons des méthodes de classification de relations rares s'appuyant sur des techniques d'apprentissage par transfert @xcite qui permettent d'apprendre à représenter et classifier correctement des types de relations rares grâce à un apprentissage réalisé sur des types de relations fréquents. ces méthodes sont souvent entraînées et évaluées selon le scénario n-way k-shot, dans lequel un batch d'entraînement est composé de n classes -des types de relations dans notre cas -tirées au hasard parmi des classes connues, chacune d'entre elles étant représentée par un petit nombre k de phrases supports issues des données d'entraînement. l'objectif consiste à classifier des énoncés -appelés requêtes -parmi l'une des n classes. ce paradigme d'apprentissage adapté à un faible nombre d'exemples met en avant l'apprentissage de prototypes, c.-à-d. de vecteurs représentant chacun des n types de relations et construits à l'aide des k exemples disponibles. en pratique, les n prototypes d'un batch sont utilisés pour classifier chaque requête parmi les n types de relations en évaluant la distance -éventuellement apprise lors de l'entraînement -entre ces prototypes et le plongement de la requête appelé vecteur requête. les modèles réalisant cette procédure sont nommés modèles d'apprentissage de prototypes, dont une typologie des architectures est définie par @xcite . si le paradigme n-way k-shot est particulièrement pertinent pour la classification de relations rares @xcite , il ne répond pas directement à notre problématique de recherche de relation à partir d'un seul exemple et doit être fortement adapté pour ce faire. dans cet article, nous proposons raremud (rare relation mining using distractors), un modèle dérivé de ce paradigme pour traiter cette tâche. le modèle est d'abord entraîné pour la classification de relations dans le scénario n-way k-shot sur des types de relations fréquents afin d'apprendre à construire des prototypes de relations fiables et, le cas échéant, une métrique de comparaison des plongements (prototypes et vecteurs requêtes). il est ensuite évalué sur des types de relations rares, toujours dans le scénario n-way k-shot : une des n classes au sein d'un batch correspond au type de relation cible représenté grâce à un seul exemple support, les (prototypes des) n-1 autres classes étant des distracteurs 1 modélisant une classe de rejet, c.-à-d. l'absence du type de relation cible. cette phase d'évaluation correspond à la recherche d'occurrences du type de relation cible dans un corpus, les requêtes d'un batch étant à associer soit au type de relation cible, soit à un des distracteurs et par conséquent à rejeter. nous évaluons plusieurs déclinaisons de notre méthode raremud, incluant différents modèles d'apprentissage de prototypes en n-way k-shot, sur fewrel et tacrev, démontrant son efficacité sur la tâche de recherche de relation à l'aide d'un seul exemple et établissant une référence pour cette tâche. nous mesurons l'influence des hyperparamètres de raremud sur ses performances afin de déterminer une configuration globale idéale ; nos expériences portent en particulier sur l'impact du nombre de distracteurs utilisés lors de l'évaluation, de la stratégie de leur choix, et du nombre d'exemples pour le type de relation cible. enfin, le diagnostic a posteriori de notre méthode révèle l'existence de configurations optimales pour chaque type cible que nos analyses actuelles échouent à caractériser, mettant en évidence une marge de gain de performances pour raremud. ## tâche et méthodologie dans cette partie, nous introduisons le formalisme de la tâche et rappelons les principes des modèles d'apprentissage de prototypes, avant de détailler notre méthode et nos choix d'implémentation.