Comprendre la Nature des Signaux de Correspondance dans les Modèles Neuronaux pour la RI (2025)

Abstract: Les architectures de recherche d’information (RI) neuronale, en particulier celles basées sur l’interaction, sont des modèles très performants dont les mécanismes restent largement méconnus. La plupart des travaux visant à expliquer leur comportement se sont attachés à décrire des processus en surface (par exemple, quels éléments de l’entrée influencent la prédiction ? le modèle respecte t-il les axiomes connus de la RI ?) mais ne décrivent pas précisément le processus d’appariement. Dans cet article, nous apportons un nouvel éclairage sur le mécanisme de correspondance en analysant le processus d’attention, et en mettant en évidence le rôle crucial de certaines têtes d’attention ainsi que la nature des signaux qui sont manipulés.

## introduction avec l'essor des modèles basés sur les transformeurs @xcite , culminant actuellement avec la démocratisation des grands modèles de langage (llm), la recherche d'information (ri) a radicalement changé depuis l'ère bm25 @xcite . encodant les concepts et la sémantique en vecteurs, les transformeurs ont permis de dépasser les approches par mots-clefs. trois grands types de modèles se distinguent actuellement, avec différents compromis efficacité-efficience : approches neuronales basées sur l'interaction forte (25; 26), sur l'interaction faible (20; 15) ou sur la représentation @xcite selon la façon dont sont encodées les requêtes et les documents. malgré leur succès, ces modèles sont considérés comme des boîtes noires et de nombreuses zones d'ombre entourent leur fonctionnement interne. cette lacune limite les améliorations telles que l'adaptation à de nouvelles données ou la simplification de couches de complexité superflues. la plupart des travaux d'explicabilité en ri visent à identifier les éléments d'entrée ou les composants du modèle qui contribuent le plus aux prédictions (2), renforçant la transparence et la confiance dans le modèle et laissant entrevoir ses limites. par exemple, (30) révèle l'existence de deux ensembles de neurones dans monobert @xcite , dédiés respectivement à la prédiction de la pertinence et des situations hors domaine, tandis que @xcite met en évidence l'importance des noms et des verbes dans la prédiction d'encodeurs siamois. une autre direction consiste à examiner si les modèles basés sur les transformeurs adhèrent aux axiomes traditionnels de la ri @xcite . dans le cas des approches basées sur l'interaction telles que monobert, cela a permis de montrer leurs capacités d'appariement syntaxique mais aussi de mieux mesurer leurs capacités sémantiques @xcite . parallèlement, les études de « sondage »(3) mettent l'accent sur la capacité des modèles basés sur bert (13) à retrouver des mots-clés mais également sur la capacité des premières couches à traiter et capturer la similarité sémantique d'un document avec une requête @xcite . même si les résultats des études de « probing »restent des corrélations et ne permettent pas à eux seuls d'expliquer le fonctionnement des modèles, ils fournissent des indications précieuses sur les propriétés de base utilisées en interne par les modèles. l'analyse des couches intermédiaires révèle que les modèles de ri apprennent implicitement à effectuer des tâches étroitement liées à la ri, telles que la reconnaissance d'entités nommées et la résolution de coréférences @xcite . ces modèles encodent aussi des caractéristiques sur les statistiques liées à la requête et au document, telles que les scores tf-idf ou le nombre de termes de la requête couverts, connus pour être importants pour les modèles d'ordonnancement @xcite . si ces découvertes concernent principalement les modèles d'interaction forte, des études parallèles (16; 21) ont également fait des découvertes similaires sur des modèles d'interaction tardive tels que colbert @xcite . malgré l'importance de leurs apports à la communauté, ces travaux ne clarifient pas entièrement les rôles des composants du modèle ou les processus sous-jacents à la prédiction de la pertinence. des études antérieures ont permis de réaliser des percées dans cette direction dans le cadre de la ri. zhan et al. @xcite étudient le processus d'attention @xcite de monobert. ils montrent que bien que les tokens cls et sep et la ponctuation attirent une grande partie de l'attention, ils ne contiennent que peu d'informations pertinentes, ce qui fait écho au comportement de « no-op(eration) » @xcite . ils soulignent de plus l'importance des transferts d'information de la requête vers le document tout en remettant en question le rôle des transferts en sens inverse. leurs conclusions suggèrent aussi que monobert prédit la pertinence en contextualisant d'abord les requêtes et les documents, puis en capturant les signaux d'interaction et enfin en les intégrant à la prédiction. dans l'ensemble, leur étude fournit diverses informations sur les mécanismes internes de monobert et ouvre la voie à des améliorations potentielles. cependant, ils ne précisent pas les types d'interactions détectés ni la manière dont elles contribuent au signal de pertinence, et leurs conclusions sur la direction de l'attention manquent de preuves empiriques plus solides. il est intéressant de noter que chen et al. (5) a découvert les rôles clés de certaines têtes d'attention dans la détection des copies des mêmes tokens et dans la composition du signal de pertinence en étudiant tas-b (17), un bi-encodeur, en utilisant une méthode d'intervention causale @xcite . ces résultats font écho au processus décrit dans @xcite . dans cet article, nous étendons (34) et approfondissons la façon dont les modèles neuronaux de ri construisent le signal de pertinence. plus particulièrement, nous nous concentrons sur les interactions entre les requêtes et les documents en analysant le flux d'information dans le modèle. pour ce faire, nous étudions les architectures basées sur l'interaction car cette dernière modélise directement les interactions entre les requêtes et les documents, avec le même niveau de granularité que dans chen et al. @xcite . guidés par les conclusions similaires obtenues dans (5; 34) suggérant que certains mécanismes dans les modèles neuronaux de ri pourraient être agnostiques en termes d'architecture, nous pensons que notre travail peut révéler des mécanismes généralisables à l'ensemble des modèles neuronaux de ri. nos contributions sont les suivantes : (c1) nous étendons l'étude d'ablation de @xcite et validons l'importance de la contextualisation du document et des transferts d'informations de la requête vers le document. toutefois, nous remettons en question leur conclusion sur l'importance des transferts du document vers la requête. nous confirmons le rôle du sep dans l'opération « no-op » et montrons que le cls pourrait jouer un rôle similaire, des premières couches jusqu'aux couches intermédiaires. (c2) en contrastant les motifs d'attention entre la requête et les passages pertinents versus des passages non pertinents, nous découvrons des têtes d'attention spécialisées dans la détection des interactions liées à la pertinence. en outre, nous montrons que, des premières couches aux couches intermédiaires, ces interactions sont des correspondances entre les termes de la requête et du document (correspondance syntaxique), et des correspondances entre des tokens sémantiquement contextualisés (correspondance sémantique) pour les dernières couches. ## protocole expérimental nous présentons ici les ensembles de données utilisés ainsi que les notations suivies pour désigner les différentes parties des matrices d'attention. pour ce travail, nous utilisons une version de monobertlarge publique et déjà entraînée sur la tâche de ri foot_0 . l'indexation des couches démarre à 0. ## expérimentations et résultats nous présentons 2 études menées dans ce contexte. dans la section 3.1, nous détaillons l'étude d'ablation, puis décrivons dans la section 3.2 l'approche contrastive utilisée afin d'en apprendre plus sur la nature des signaux d'appariement que le modèle capture.