UC - FIR e: Approche efficace pour la recherche d’informations non supervisée (2025)

Abstract: Nous présentons un modèle de recherche d’informations non supervisé conciliant efficacité et faible coût computationnel, fonctionnant uniquement sur CPU. Plutôt que de remplacer BM25, nous l’améliorons en réduisant l’écart lexical. Notre méthode repose sur l’entraînement de vecteurs de mots FastText et la construction de matrices de coexistence et de similarité pour regrouper des mots interchangeables en clusters. Documents et requêtes sont réécrits avec ces clusters, améliorant la pertinence des résultats sans alourdir l’inférence. Expérimenté sur plusieurs corpus de BEIR, notre modèle surpasse des approches plus coûteuses en calcul et obtient de meilleures performances que BM25 sur diverses métriques, tout en conservant une vitesse d’inférence similaire. Cette recherche démontre que notre méthode offre une alternative pratique, scalable et économique aux modèles denses et hybrides, facilitant son adoption dans des systèmes de recherche réels. UC-FIRe est disponible publiquement : https://github.com/Limekaaa/UC-FIRe.

## introduction la recherche d'informations (ri) efficace et précise est fondamentale pour les applications modernes basées sur les données, permettant aux utilisateurs de localiser des informations pertinentes à partir de vastes dépôts textuels. les méthodes traditionnelles de recherche lexicale, telles que bm25 @xcite , sont restées populaires en raison de leur efficacité et de leur robustesse. cependant, elles peinent à gérer l'écart lexical entre les termes utilisés dans les requêtes et ceux présents dans les documents, un problème bien connu en ri @xcite @xcite , car elles ne reconnaissent pas les termes sémantiquement proches mais lexicalement différents comme équivalents. cela limite leur efficacité dans des contextes où les reformulations ou paraphrases sont fréquentes. plusieurs approches ont été proposées pour atténuer cet écart lexical, notamment l'expansion de requêtes ou de documents @xcite , l'exploitation de relations sémantiques @xcite , ou encore l'utilisation de plongements distribués @xcite . ces méthodes apportent des améliorations notables, mais impliquent souvent des coûts de calcul additionnels ou requièrent des ressources annotées. les modèles de récupération neuronaux plus avancés, tels que dense passage retrieval (dpr) @xcite , @xcite et contriever @xcite , surmontent les écarts lexicaux en codant les requêtes et les documents dans des espaces vectoriels denses, permettant une correspondance sémantique. ces méthodes entraînent des coûts de calcul élevés à la fois pour l'entraînement et l'inférence, nécessitant de grandes quantités de données labellisées. les approches hybrides, telles que splade @xcite , visent à équilibrer efficacité et efficience en intégrant des signaux lexicaux parcimonieux avec des plongements denses, mais elles nécessitent encore de lourds coûts à l'inférence. les performances de notre modèle aux benchmarks établis. la section 5 mène des études d'ablation, analysant l'impact de différents paramètres. enfin, la section 6 discute des implications de nos résultats et des directions potentielles pour les travaux futurs, et conclut l'article avec un résumé de nos contributions et de la signification de notre approche. à travers cette recherche, nous visons à contribuer à l'avancement des techniques de récupération d'informations, en offrant une solution pratique et efficace qui peut être facilement adoptée dans diverses applications. ## travaux connexes la ri est essentielle pour permettre aux utilisateurs d'extraire des documents pertinents à partir de vastes corpus textuels. les méthodes traditionnelles de ri reposent sur des techniques statistiques basées sur la correspondance de termes, tandis que les avancées récentes exploitent l'apprentissage profond pour améliorer la compréhension sémantique. malgré le succès des modèles neuronaux, leur coût computationnel élevé et leur dépendance à de grandes quantités de données d'entraînement posent des défis majeurs. cette section passe en revue les approches existantes en ri, en les classant en modèles lexicaux classiques, méthodes de recherche dense et techniques hybrides ou basées sur le clustering. ## méthode dans cette étude, nous avons d'abord prétraité le texte en supprimant les mots apportant peu d'information (stop words) et en effectuant une lemmatisation à l'aide de la bibliothèque spacy (avec 'en_code_web_sm'). le corpus ainsi prétraité a ensuite été utilisé pour entraîner fasttext de manière non supervisée avec le modèle skip-gram, ce qui a permis d'obtenir des vecteurs de mots de dimension 100. pour analyser la coexistence des mots @xcite , nous avons construit une matrice de coexistence. pour chaque paire de mots w 1 et w 2 dans le corpus, nous avons calculé la probabilité de coexistence selon la formule suivante : ensuite, une matrice de similarité a été créée en sélectionnant les n plus proches voisins de chaque mot w 1 en fonction d'une métrique de similarité. pour accélérer les calculs sur de grands corpus, nous avons utilisé l'implémentation de faiss @xcite , notamment lorsque la métrique choisie est la similarité cosinus. les distances entre voisins ont été calculées, donnant lieu à une matrice de même dimension que la matrice de coexistence, mais contenant des scores de similarité. cette matrice est également stockée sous une forme creuse pour limiter la consommation de mémoire. les clusters de mots ont ensuite été identifiés en combinant les matrices de similarité et de coexistence. plus précisément, pour chaque paire de mots w 1 et w 2 , nous avons évalué si la condition suivante était satisfaite : si cette condition était remplie, indiquant que la combinaison du score de similarité et de coexistence dépassait un seuil prédéfini τ , les mots w 1 et w 2 étaient considérés comme interchangeables. pour organiser systématiquement ces relations, nous avons construit un graphe non orienté une fois le graphe construit, notre objectif était d'identifier des groupes de mots pouvant former des clusters interchangeables. ces clusters ont été définis en recherchant toutes les composantes connexes du graphe, c'est-à-dire que chaque cluster correspondait à une composante du graphe. chaque composante était constituée d'un ensemble de mots liés directement ou indirectement par une séquence de paires interchangeables. pour nommer les clusters, nous leur avons simplement attribué un numéro. après identification des clusters, nous avons procédé à la réécriture des documents en fonction des clusters obtenus. chaque mot du texte prétraité a été remplacé par le nom de son cluster associé, aboutissant à des documents réécrits exclusivement composés de noms de clusters. les requêtes ont été réécrites selon la même méthode que les documents : chaque mot de la requête prétraitée a été remplacé par son cluster correspondant, selon les regroupements précédemment déterminés. dans les cas où un mot de la requête n'avait pas été rencontré lors de l'entraînement, nous avons eu la possibilité soit de l'ignorer, soit de lui attribuer un cluster basé sur son embedding. pour cela, chaque mot inconnu w i de la requête a été assigné au cluster ayant la plus forte similarité agrégée, en se basant sur un grand nombre de voisins les plus proches extraits du modèle pré-entraîné fasttext. plus précisément, étant donné l'embedding de w i , les voisins les plus proches ont été identifiés, filtrés selon leur score de similarité et leur appartenance à un cluster, puis une agrégation pondérée des scores de similarité a été calculée pour sélectionner le cluster le plus représentatif pour chaque mot. n (w i ) = {(s j , c j ) | s @xmath0, c @xmath1, τ est le seuil, et c @xmath2. le cluster final c i pour chaque mot est choisi comme étant celui avec la plus forte similarité agrégée : ## expériences dans cette section, nous évaluons notre modèle sur plusieurs corpus issus du benchmark beir. toutes nos expériences ont été effectuées sur cpu uniquement, avec les mêmes paramètres pour tous les corpus et sans ajustement spécifique.