Adaptation de domaine pour la recherche dense par annotation automatique (2023)

Abstract: Bien que la recherche d’information neuronale ait connu des améliorations, les modèles de recherche dense ont une capacité de généralisation à de nouveaux domaines limitée, contrairement aux modèles basés sur l’interaction. Les approches d’apprentissage adversarial et de génération de requêtes n’ont pas résolu ce problème. Cet article propose une approche d’auto-supervision utilisant des étiquettes de pseudo-pertinence automatiquement générées pour le domaine cible. Le modèle T53B est utilisé pour réordonner une liste de documents fournie par BM25 afin d’obtenir une annotation des exemples positifs. L’extraction des exemples négatifs est effectuée en explorant différentes stratégies. Les expériences montrent que cette approche aide le modèle dense sur le domaine cible et améliore l’approche de génération de requêtes GPL.

## introduction la recherche d'information (ri) joue un rôle crucial dans notre vie quotidienne en raison de l'explosion des données. les approches traditionnelles de ri telles que bm25 @xcite calculent une similarité entre une requête et un document uniquement sur la base des termes communs aux deux. en tant que telles, elles ne peuvent pas gérer la correspondance sémantique entre différentes formes de surface. la recherche d'informations neuronale, avec l'avènement des réseaux de neurones profonds, a considérablement amélioré les systèmes de ri grâce à des modèles capables de capturer la sémantique de chaque terme et de les comparer même si leur forme de surface diffère. un modèle populaire à la fois en traitement du langage naturel (nlp) et en ri est bert (4), qui est basé sur des transformateurs @xcite et est pré-entraîné sur de grandes collections ; bert peut être utilisé sur une variété de tâches secondaires par adaptation (en anglais fine-tuning). les modèles de ri neuronale peuvent être classés en deux catégories @xcite : les approches basées sur l'interaction et les approches basées sur la représentation (également appelées recherche dense). les modèles basés sur l'interaction ont montré des performances moyennes supérieures à celles des modèles de recherche dense ; les modèles de recherche dense sont toutefois plus rapides que les modèles basés sur l'interaction, car les représentations des documents peuvent être générées et stockées à l'avance, et sont préférables si l'on a besoin de déployer un modèle à grande échelle. cela étant dit, des études récentes comme beir @xcite ont montré que les modèles de recherche dense entraînés sur un domaine source généralisent moins bien que les modèles traditionnels tels que bm25 et les modèles basés sur l'interaction sur des ensembles de données hors distribution (ood pour out of distribution). bien que l'entraînement sur des ensembles de données cibles avec des étiquettes de référence soit un processus standard, l'annotation requise peut être à la fois longue et coûteuse, de sorte que cette approche peut ne pas être applicable à de nombreuses utilisations réelles. il est donc important de traiter le problème dans des scénarios ood pour la recherche dense. l'un des objectifs de l'adaptation de domaine (53; 50) est de permettre à un modèle entraîné sur un domaine appelé le domaine source de bien fonctionner sur un autre domaine appelé le domaine cible sans utiliser d'étiquettes humaines sur ce dernier. récemment, différentes techniques d'adaptation de domaine pour la recherche dense ont été proposées. la généralisation de domaine basée sur la génération de données est l'une des approches (50) qui a été suivie dans @xcite grâce à un modèle appelé qgen qui génère des requêtes pour le domaine cible en utilisant un générateur de requêtes entraîné sur le domaine source. dans la même lignée, gpl @xcite utilise des exemples négatifs difficiles et la distillation de connaissances et obtient des résultats de pointe sur un certain nombre d'ensembles de données beir. cependant, les requêtes créées sont synthétiques et peuvent ne pas ressembler à de véritables requêtes cibles. une autre approche populaire et largement utilisée est basée sur l'apprentissage adversarial @xcite . très récemment, xin et al. @xcite ont proposé un modèle appelé modir qui entraîne de manière adverse un encodeur de recherche dense pour apprendre des représentations invariantes aux domaines. cependant, un tel objectif d'apprentissage peut produire un espace de plongement (en anglais embedding) de faible qualité et entraîner des performances instables (52; 14). dans cet article, nous proposons une approche dénommée dodress (pour domain generalization for dense retrieval through self-supervision) qui cherche d'abord à construire des annotations de pseudopertinence 1 sur le domaine cible en utilisant des modèles basés sur l'interaction uniquement entraînés sur le domaine source tels que t53b @xcite . la raison d'utiliser des modèles basés sur l'interaction dans ce contexte réside dans le fait que ces modèles ont montré un comportement relativement bon sur les ensembles de données ood @xcite . notez que le modèle t53b lourd n'est utilisé que pour produire des étiquettes de pseudo-relation avant l'entraînement du modèle de recherche dense afin que l'approche globale reste efficace pendant la recherche en ligne. cette méthode élimine le besoin d'annotations humaines et permet au modèle d'utiliser de véritables requêtes et documents du domaine cible. nous étudions pour cela dans cet article différentes stratégies : l'échantillonnage négatif aléatoire global, les exemples négatifs "durs" de bm25 et les exemples négatifs "durs" de simans @xcite . notre contribution réside dans l'étude et la combinaison de différentes approches existantes pour l'annotation automatique dans un domaine cible qui conduit n fine à une méthode qui améliore l'état de l'art pour l'adaptation de domaine de modèles denses. ## travaux connexes wang et al. @xcite présentent un article de synthèse sur la généralisation de domaine pour les domaines non vus. la généralisation ou l'adaptation de domaine peut être catégorisée en trois groupes : manipulation de données, apprentissage de représentation et stratégie d'apprentissage. il existe deux types de techniques dans le premier groupe : l'augmentation de données (35; 45; 43; 48) qui est couramment utilisée dans les données d'images (par exemple, en modifiant la localisation, le texte des objets et en ajoutant du bruit aléatoire) et la génération de données (38; 36; 57) qui utilise certains modèles pour générer de nouvelles données pour entraîner un modèle. le groupe d'apprentissage de représentation comprend l'apprentissage de représentation invariante de domaine (par exemple, l'apprentissage adversarial de domaine) (1; 7; 31) et les méthodes de désentrelacement de fonctionnalités @xcite . le troisième groupe comporte plusieurs catégories, comme l'apprentissage en ensemble (28; 6), l'apprentissage méta (20; 5) et les approches basées sur l'apprentissage auto-supervisé (par exemple, la résolution de puzzles de type jigsaw) (3; 13). des stratégies similaires, telles que la généralisation de domaine ou l'apprentissage par transfert, sont avancées par les chercheurs pour la recherche d'informations. une stratégie similaire à celle adoptée dans cette étude est décrite dans @xcite , qui effectue une évaluation systématique de la capacité de transfert des modèles de classement neuronaux basés sur bert. les auteurs utilisent également bm25 pour générer des étiquettes de pseudo-pertinence. ils ne se concentrent cependant pas sur les modèles de recherche denses qui sont connus pour nécessiter des méthodes d'entraînement complexes et une grande quantité de données dans une situation distincte @xcite . de plus, l'utilisation uniquement de bm25 pour obtenir des étiquettes de pseudo-pertinence pourrait être une solution faible. pour les modèles basés sur l'interaction (19) ou l'apprentissage d'embeddings de phrases (10; 51), certaines publications suggèrent des techniques auto-supervisées. ces méthodes sont fréquemment utilisées pour la pré-formation, mais elles ne se concentrent pas explicitement sur la généralisation de domaine @xcite . ma et al. @xcite propose qgen, une approche de génération d'apprentissage zéro pour la première étape de la recherche dense de passages qui utilise la génération de questions synthétiques, permettant la construction de paires de pertinence question-passage arbitrairement grandes mais bruyantes qui sont spécifiques au domaine, dans le but de surmonter le défi que les modèles de recherche neuronaux ont besoin d'un grand ensemble d'entraînement supervisé pour surpasser les approches conventionnelles basées sur les termes. les documents utilisés pour générer les requêtes sont considérés comme des passages positifs et les autres instances dans le lot sont considérées comme négatives. en parallèle, liang et al. @xcite examinent l'architecture de recherche de passages denses à deux tours. étant donné que les données étiquetées peuvent être difficiles à obtenir et que les modèles de recherche neuronaux ont besoin d'une grande quantité de données pour être entraînés, ils suggèrent également d'utiliser des requêtes synthétiques produites par un grand modèle de séquence à séquence (seq2seq) pour l'adaptation de domaine non supervisée. ces deux articles montrent l'efficacité de l'approche de génération de requêtes, qui est également utilisée dans le modèle gpl @xcite . gpl s'appuie sur un encodeur-décodeur t5 pré-entraîné (37) pour générer des requêtes à partir de passages d'entrée. les passages d'entrée sont considérés comme des passages positifs tandis que les passages similaires récupérés à l'aide d'un modèle de recherche dense existant sont constitués de passages négatifs (difficiles). la perte margin-mse (12) est utilisée comme distillation de connaissances pour enseigner au modèle de recherche dense à apprendre à partir d'un modèle basé sur l'interaction. les résultats expérimentaux montrent une efficacité de pointe sur plusieurs collections beir @xcite . les chercheurs ont également exploré des stratégies alternatives pour l'adaptation de domaine des modèles de recherche dense. xin et al. (54) a proposé une approche d'apprentissage de représentation invariante de domaine adversaire avec une méthode d'impulsion pour l'apprentissage de classifier de domaine qui distingue les domaines source et cible. l'encodeur de recherche dense est ensuite formé de manière adversaire pour apprendre des représentations invariantes de domaine. une file d'attente à impulsion qui enregistre des embeddings de plusieurs lots précédents est utilisée afin de trouver un équilibre entre précision et efficacité @xcite . cette approche est utilisée sur un modèle ance entraîné @xcite . les résultats varient d'un ensemble de données à l'autre, avec parfois des améliorations importantes et parfois des gains ou pertes marginales. karouzos et al. (14) a proposé udalm pour l'adaptation de domaine pour la classification de sentiment à travers l'apprentissage multi-tâche. il apprend simultanément l'objectif de la tâche de modélisation de langage masquée (mlm) sur le domaine cible et la tâche à partir des données étiquetées source. cependant, cette stratégie n'a pas été conçue pour la recherche dense et, comme mentionné dans (52), elle ne fonctionne pas bien pour la recherche dense. dans cet article, nous proposons de faire l'adaptation de domaine pour la recherche dense par autosupervision par étiquetage de pseudo-relevance. nous appliquons le modèle d'interaction t53b de pointe et généralisable au domaine (34) pour l'étiquetage de pseudo-positif. ce modèle peut produire des étiquettes de pseudo-relevance plus précises, où les documents classés en haut sont considérés comme pertinents pour une requête donnée. de plus, différentes stratégies d'échantillonnage négatives sont étudiées, en particulier avec les négatifs durs de simans (16) échantillonnés à partir de la liste de recherche des modèles dr actuels, pour améliorer l'efficacité du modèle, après la formation avec les données pseudo-étiquetées générées. ## contexte recherche dense la recherche dense (15; 54) vise à encoder à la fois les requêtes et les documents dans un espace de faible dimension à l'aide d'un encodeur g, généralement un modèle de type bert. le score de pertinence (rsv) d'une requête et d'un document est ensuite calculée à l'aide d'une fonction de similarité simple dans l'espace de faible dimension : bm25 bm25 est un algorithme standard en ri basé sur la correspondance de termes. le rsv d'un document par rapport à une requête est donné par :