Vers un élagage de tokens sans coût dans les modèles de récupération à interaction tardive (2025)

Abstract: Les modèles de RI neuronaux à interaction tardive comme ColBERT offrent un compromis compétitif entre efficacité et efficience sur de nombreuses bases de référence. Cependant, ils nécessitent un espace mémoire considérable pour stocker les représentations contextuelles de tous les tokens des documents. Certains travaux ont proposé d’utiliser soit des heuristiques, soit des techniques basées sur les statistiques pour élaguer des tokens dans chaque document. Cependant, cela ne garantit pas que les tokens supprimés n’aient aucun impact sur le score de récupération. Notre travail utilise une approche méthodique pour définir comment élaguer des tokens sans affecter le score entre un document et une question. Nous introduisons trois coûts de régularisation, qui induisent une solution avec des taux d’élagage élevés, ainsi que deux stratégies d’élagage. Nous les étudions expérimentalement (en domaine interne et externe), démontrant que nous pouvons préserver les performances de ColBERT tout en n’utilisant que 30% des tokens.

## introduction et travaux connexes les modèles de langage pré-entraînés basés sur l'architecture transformer, comme bert, ont révolutionné la recherche d'information (ri). les bi-encodeurs (denses @xcite ou parcimonieux @xcite ) et les modèles à interaction forte (e.g., mono-bert @xcite ) représentent respectivement les extrêmes en termes d'efficacité et d'efficience. les modèles dense multi-vecteur (mvdr) comme colbert @xcite utilisent les plongements contextualisés des tokens calculés séparément pour la question et le document, avant de calculer un score issu de leurs produits scalaires (éq. (1)), offrant un compromis précision-vitesse via des index denses @xcite . cependant, cette granularité entraîne un surcoût de stockage important car il faut stocker l'ensemble des représentations de tous les tokens contenus dans les documents 142 gib @xcite pour ms marco @xcite , dépassant largement les 13 gib des encodeurs denses. la complexité numérique lors de l'inférence augmente aussi linéairement avec la longueur des documents, suggérant l'utilisation de stratégies de compression. figure 1 -illustration du concept de dominance. dans cet exemple, d 3 est dominé par d 1 et d 2 . d 3 peut être supprimé de la représentation du document sans modifier une fonction de score colbert modifiée (voir section 2.2). malgré sa norme faible, d 2 est conservé car il apporte une nouvelle information sur la pertinence du document. la zone hachurée correspond à la partie de l'espace où le produit scalaire de tout vecteur avec d 3 est négatif. les travaux antérieurs sur la réduction des index mvdr peuvent être classifiés selon deux axes. premièrement, les méthodes par partitionnement des données (clustering) comme plaid @xcite et emvb @xcite utilisent des centroïdes afin d'accélérer la recherche de documents pertinents, mais requièrent une recherche en plusieurs étapes. deuxièmement, l'élagage de tokens supprime des tokens avant indexation via des approches statiques ou dynamiques. les méthodes statiques utilisent des heuristiques basées sur l'idf @xcite , les scores d'attention @xcite , ou des critères positionnels @xcite . les performances se dégradent toutefois pour des taux d'élagage élevés (>50%). les méthodes dynamiques, comme aligner @xcite et colberter @xcite (agrégation de sous-mots), apprennent des représentations à élaguer mais ne formalisent pas la notion d'élagage sans coût -i.e. supprimer des tokens sans altérer les scores -comme nous le faisons dans cet article. nous montrons d'abord que l'élagage sans coût équivaut à un problème de programmation linéaire (section 2.2), identifiant les tokens « dominants » dont la suppression n'affecte pas les scores (section 2). nous proposons ensuite des régularisations lors de l'entraînement et des stratégies d'élagage (section 3), qui nous permettent d'atteindre jusqu'à 70% de tokens en moins avec un coût de performance minime (1,5% lorsque le modèle est entraîné sur le même jeu de documents que celui utilisé lors de l'apprentissage). nous analysons aussi la généralisation de notre modèle(section 5.3). le code utilisé pour les expériences présentées dans cet article est accessible en ligne foot_0 . questions de recherche et contributions rq1 : peut-on formaliser l'élagage sans coût pour les modèles à interaction tardive ? nous définissons le concept de dominance(section 2) et montrons qu'il s'agit d'un problème de programmation linéaire (pl) en section 2.2). rq2 : comment les régularisations et stratégies d'élagage affectent-elles le compromis efficacité-efficience ? nous proposons trois régularisations et deux stratégies (section 3), avec des résultats compétitifs (sections 5.1-5.2). rq3 : la généralisation hors domaine est-elle préservée ? nos méthodes surpassent les modèles de référence sur beir et lotte (section 5.3).