Entity Enhanced Attention Graph-Based Passages Retrieval (2023)

Abstract: Passage retrieval is crucial in specialized domains where documents are long and complex, such as patents, legal documents, scientific reports, etc. We explore in this paper the integration of Entities and passages in Heterogeneous Attention Graph Models dedicated to passage retrieval. We use the two passage retrieval architectures based on re-ranking proposed in [1]. We experiment our proposal on the TREC CAR Y3 Passage Retrieval Task. The results obtained show an improvement over state-of-the-art techniques and proves the effectiveness of the approach. Our experiments also show the importance of using adequate parameters for such approach.

## introduction cet article est un résumé de @xcite , dans lequel nous proposons d'utiliser l'apprentissage par graphe hétérogène avec des bases de connaissances pour tirer parti de la recherche de passages. il étend un travail précédent @xcite , en utilisant explicitement des représentations d'entités dans le processus de recherche de passages. les réseaux neuronaux graphes basés sur l'attention, ou gnns, peuvent aider à calculer les représentations sémantiques contextualisées des passages en tenant compte des interactions entre les différentes parties d'un document, et ces représentations peuvent être utilisées efficacement pour effectuer la recherche de passages. dans cette contribution, nous considérons les documents comme des graphes composés de passages, de sections et d'entités, et nous étudions l'utilisation de gnns pour calculer des représentations contextualisées de passages améliorées par les entités, en particulier pour la tâche de recherche de passages. les passages et les sections sont des éléments structurels définis en fonction de la structure physique du document et dont le contenu peut couvrir plusieurs sujets, tandis que les entités sont des références sémantiques qui représentent généralement un seul concept du domaine. ces deux éléments étant de nature différente, nous étudions comment ils pourraient interagir efficacement au sein des gnns. dans ce qui suit, nous décrivons d'abord les éléments importants des heterogeneous graph attention networks, appelés hgats, de @xcite sur lesquels nous basons ce travail. nous nous concentrons ensuite sur la représentation des graphes de documents en tenant compte à la fois des passages et des entités. ensuite, nous étendons les hgats avec des représentations de passage renforcées par des entités en introduisant l'entity-enhanced hgat (ee-hgat). enfin, nous intégrons les représentations de passages dans un modèle de classement neuronal et réalisons des expériences sur la tâche trec car y3 passage retrieval. ## vue d'ensemble des hgats les gat (graph attention networks) sont des réseaux neuronaux multicouches qui calculent les représentations sémantiques des noeuds d'un graphe en tenant compte des informations fournies par leurs voisins @xcite . les hgats @xcite s'appuient sur les gat en intégrant différents types d'arêtes. chacune de leurs couches contient : (1) un composant d'échantillonnage qui définit le voisinage n i du noeud i, incluant i lui-même ; (2) un composant de propagation qui calcule une représentation pour le noeud i en agrégeant la représentation de chaque noeud dans son voisinage n i en fonction du type d'arête qui les relie. afin de les adapter à la recherche de passages, nous intégrons les modifications suivantes : no out (no) : les liens sortants sont ignorés lors du calcul de voisinage pendant le processus d'échantillonnage ; no self (ns) : les boucles sont ignorées lors du calcul de voisinage pendant le processus d'échantillonnage ; lambda separator (lb) : un coefficient spécifique λ est ajouté aux boucles et 1λ à toutes les autres arêtes. ## intégration des entités dans les hgats un document est représenté sous la forme d'un graphe hétérogène où les noeuds représentent les éléments structurels (passages, sections) et les entités, et les arêtes représentent leurs relations. nous étendons le graphique de contextualisation présenté dans @xcite , en ajoutant le type d'entité du noeud et le type d'entity_rel de l'arête. nous définissons la relation entre une entité et un passage comme la mention de l'entité dans le texte du passage. un encodeur neuronal calcule les représentations sémantiques pour chaque noeud du graphe. les entités sont représentées soit par leur étiquette (label), soit par leur description (desc). nos propositions pour la composante d'échantillonnage de l'ee-hgat visent à étudier la manière dont les entités interagissent avec les passages. une entité doit servir de lien entre les passages @xcite . sur la base de cette hypothèse, nous étudions le composant d'échantillonnage de liens. ce composant définit n i le voisinage du noeud d'entité i tel qu'il contient chaque noeud j où a ji ̸ = ∅ ainsi que i lui-même (a étant la matrice d'adjacence associée au graphe hétérogène). cela permet à l'information de circuler à travers les noeuds d'entité (c'est-à-dire que deux noeuds connectés à un noeud d'entité peuvent recevoir des informations l'un de l'autre). une entité doit injecter ses informations dans des éléments structurels @xcite @xcite . sur la base de cette hypothèse, nous étudions le composant d'échantillonnage injecté. ce composant définit n i le voisinage du noeud d'entité i comme l'ensemble vide : les noeuds d'entités propagent leurs informations et les empêche de recevoir des informations d'autres noeuds. les représentations des noeuds entités ne sont pas modifiées. nous présentons dans le tableau 1 trois modifications de l'architecture des hgats dans nos ee-hgats (cf. section 2) : i) base pour étudier nos propositions sans aucune modification ; ii) n o et lb, d'autres expériences (soumission en cours d'examen, non rapportée ici) ont montré de bonnes performances dans les hgats ; iii) n o, n s et lb, car d'autres expériences (soumission en cours d'examen, non rapportée ici) ont montré les meilleures performances moyennes dans les hgats à travers plusieurs tâches de recherche de passages. représentation des entités composant d'échantillonnage modifications de l'architecture identifiant ee-hgat étiquette description lien injecter no ns lb label_linkbase label_linkno_lb label_linkno_ns_lb desc_linkbase desc_linkno_lb desc_linkno_ns_lb label_injectbase label_injectno_lb label_injectno_ns_lb desc_injectbase desc_injectno_lb desc_injectno_ns_lb ## expérimentations et résultats nous expérimentons nos approches sur la tâche de recherche de passages trec car y3 @xcite . un label d'entité est le titre du document wikipédia correspondant, et une description d'entité est le premier passage du document wikipedia correspondant. pour représenter les documents sous forme de graphe, un noeud est créé pour chaque entité et relié aux noeuds des passages la mentionnant. nous définissons 3 types de noeuds (passage, section, entity) et 6 types d'arêtes : horizontal, pour les passage voisins et horizontal i son symétrique ; hierarchical pour les liens entre un noeud section et un noeud passage ou entre deux noeuds section et hierarchical i son symétrique ; entity_rel pour la relation entre un noeud entity et un noeud passage et entity_rel i son symétrique. nous réalisons nos expériences en utilisant le système de ri pyterrier (macdonald & tonellotto, 2020) et le framework pytorch (paszke et al., 2019). nous avons fixé une longueur maximale de représentation de passage de 180 tokens et une longueur maximale de représentation de requête de modèle de classement des passages p@10 ndcg@20 map label_linkstd_base 0.156 ± 0.018 0.216 ± 0.014 0.110 ± 0.021 label_linkstd_no_lb 0.196 @xmath0.017 0.266 @xmath1.010 0.150 @xmath2.022 label_linklate_no_ns_lb 0.185 ± 0.038 0.255 ± 0.051 0.151 ± 0.046 desc_linkstd_base 0.176 ± 0.017 0.231 ± 0.015 0.134 ± 0.023 desc_linkstd_no_lb 0.206 @xmath3.017 0.291 @xmath4.005 0.174 @xmath5.019 desc_linklate_no_ns_lb 0.215 @xmath6.046 0.301 @xmath7.044 0.181 @xmath8.037 label_injectstd_base 0.194 @xmath9.019 0.287 @xmath10.011 0.198 @xmath11.021 label_injectstd_no_lb 0.250 @xmath12.010 0.377 @xmath13.009 0.241 @xmath14.015 label_injectlate_no_ns_lb 0.255 @xmath15.028 0.381 @xmath16.037 0.254 @xmath17.041 desc_injectstd_base 0.233 @xmath18.020 0.316 @xmath19.016 0.211 @xmath20.021 desc_injectstd_no_lb 0.261 @xmath21.012 0.386 @xmath22.004 0.256 @xmath23.017 desc_injectlate_no_ns_lb 0.265 @xmath24.027 0.401 @xmath25.041 0.262 @xmath26.036 ## conclusion cet article présente une proposition détaillée de définition de l'extension de l'entité de hgats pour la recherche de passages. il décrit également comment ces hgats peuvent être intégrés dans une stratégie de reclassement des passages. les expériences réalisées sur le corpus car y3 montrent que les architectures et les choix d'apprentissage de graphes adéquats peuvent être stables.