Résolution des coréférences neuronale : une approche basée sur les têtes (Neural coreference resolution : a head-based approach) (2019)

Abstract: L’avènement des approches neuronales de bout en bout a entraîné une rupture dans la façon dont était jusqu’à présent envisagée et implémentée la tâche de résolution des coréférences. Nous pensons que cette rupture impose de remettre en question la conception des mentions en termes de syntagmes maximaux, au moins pour certaines applications dont nous donnons deux exemples. Dans cette perspective, nous proposons une nouvelle formulation de la tâche, basée sur les têtes, accompagnée d’une adaptation du modèle de Lee et al. (2017) qui l’implémente.

## introduction la tâche de résolution des coréférences consiste à partitionner des mentions de référents de discours en chaînes de coréférence. cette définition abstraite ne spécifie pas la nature exacte des mentions de référents de discours, qui demeure à ce jour mystérieuse, et pose la question de la forme linguistique sous laquelle les mentions apparaissent et grâce à laquelle elles peuvent être localisées dans un texte. c'est une représentation syntaxique des mentions qui a été conventionnellement choisie en tal : on prend pour définition d'une mention un empan de texte correspondant à un syntagme maximal, c'est-à-dire à la projection maximale d'un des mots de la phrase. ainsi, la tâche de résolution des coréférences telle qu'elle est pratiquée correspond d'une part à une analyse syntaxique et d'autre part à la résolution des coréférences à proprement parler. ce choix n'a pas été sans conséquence sur les architectures des systèmes de résolution des coréférences proposées. il nous apparaît que l'émergence des architectures neuronales de bout en bout -comme celle de @xcite -invite aujourd'hui à le rediscuter. après avoir évoqué les deux principales architectures de système de résolution des coréférences neuronaux ( § 2), nous nous intéresserons à la section 3 à la nature des attentes que peuvent avoir les applications aval par rapport à un système de coréférences (en ne mentionnant brièvement, faute de place, que quelques exemples) avant de proposer une approche de bout en bout basée sur les têtes, dont les premiers résultats que nous rapportons suggèrent qu'elle peut être fructueuse ( § 4). ces modèles à l'expressivité limitée impliquaient d'extraire indépendamment les descripteurs pertinents pour résoudre les liens de coréférence. aussi, les architectures proposées procédaient typiquement à une analyse syntaxique préalable à la résolution des coréférences pour extraire à la fois les mentions et des descripteurs pertinents, au premier rang desquels leurs têtes. cette architecture en deux étapes, autour de laquelle a longtemps été conçue la résolution des coréférences, permettait de disposer à la fin du processus à la fois des liens de coréférence entre mentions représentées par des empans maximaux, et des représentations linguistiques riches de ces mentions sous forme d'arbres syntaxiques. suite aux premiers succès de l'apprentissage de représentations neuronales en tal, @xcite ont proposé le premier modèle neuronal de résolution des coréférences, qui était donc capable d'apprendre à calculer des représentations vectorielles des mentions pertinentes pour la tâche, avant de procéder à la traditionnelle étape de résolution des coréférences par ordonnement linéaire. ces travaux ont été suivis de plusieurs autres propositions de modèles neuronaux @xcite @xcite , qui ont permis de très rapidement faire progresser l'état de l'art de plusieurs points. ## interlude : quelques exemples d'application de nombreuses tâches qui sont ou pourraient être utilisatrices des résultats d'un résolveur de coréférences ne sont pas intéressées par les bornes des mentions telles que définies dans la tâche standard. on peut en effet distinguer deux principaux cas d'utilisation du résultat d'un résolveur de coréférences : dans le premier cas, aucune localisation précise des mentions n'est requise et elles peuvent être identifiées de n'importe quelle manière. dans le second, les délimitations en termes de syntagmes maximaux s'avèrent souvent insuffisantes, l'information requise pouvant aller jusqu'aux arbres syntaxiques complets des mentions. sans prétendre si brièvement couvrir de façon représentative l'ensemble des applications utilisatrices de résolution de coréférences, nous allons maintenant décrire une approche de résumé automatique, et une de traduction automatique qui permettent d'illustrer ces considérations. ## conclusion la tâche de résolution des coréférences telle qu'on la connaît aujourd'hui n'est qu'une formulation parmi d'autres du problème linguistique sous-jacent. en fonction des applications utilisatrices, des formulations et modèles alternatifs plus appropriés devraient être envisagés. nous proposons par exemple une attrayante approche de la tâche, basée sur les têtes, qui pourrait trouver sa place dans plusieurs applications. cette formulation alternative permet en outre de se focaliser sur la résolution des coréférences à proprement parler en se débarrassant de considérations syntaxiques pas toujours pertinentes. comme preuve de concept, nous montrons que lorsqu'il s'agit d'obtenir les têtes des mentions dans l'approche de bout en bout, il est plus efficace de légèrement adapter le modèle proposé par @xcite que de post-traiter par analyse syntaxique les empans maximaux qu'il produit.