Projeter pour mieux fusionner : une histoire de bandit et de lit (2025)

Abstract: La mise à disposition d’un nombre important de modèles de langue neuronaux affinés pour différentes tâches conduit assez naturellement à se poser la question de l’intérêt de les combiner, en particulier par le biais de la fusion de paramètres, option aboutissant au résultat demandant le moins de ressources. Dans cet article, nous proposons une nouvelle méthode entrant dans ce champ de recherche, fondé sur l’analyse procustéenne. Nous évaluons cette méthode pour la fusion de modèles affinés pour une même tâche à partir d’un même modèle de base, de type encodeur. En considérant neuf tâches du jeu de données GLUE et six méthodes de fusion de référence, nous montrons que notre proposition est capable d’améliorer les méthodes de fusion existantes dans la plupart des configurations testées.

## introduction les modèles de langue neuronaux, en particulier à base de transformeurs @xcite , occupent un rôle central dans le traitement automatique des langues actuel. néanmoins, leur entraînement initial et leur adaptation à un contexte applicatif particulier sont des opérations coûteuses en termes de ressources de calcul. parallèlement, un nombre de plus en plus important de ces modèles sont mis à disposition, en particulier, sur le dépôt de modèles de la société hugging face 1 . ces modèles regroupent tout à la fois des modèles bruts et des modèles affinés pour certaines tâches. face à un besoin applicatif spécifique, il est tentant d'évaluer si ce besoin ne peut pas être couvert par un modèle existant, voire par une combinaison de modèles existants. la forme la plus directe d'une telle combinaison est la fusion des modèles au niveau de leurs paramètres. cette fusion peut porter sur des modèles très comparables afin d'obtenir un modèle plus robuste, à la manière des méthodes d'ensemble, mais elle peut aussi chercher à associer des modèles complémentaires, en particulier sur le plan de leur tâche, favorisant l'élargissement fonctionnel du modèle résultat, capable alors de réaliser plusieurs tâches. ainsi que l'illustrent @xcite , ce domaine de recherche est particulièrement actif, avec des applications intéressantes notamment pour les modèles décodeurs comme en atteste le succès de la bibliothèque mergekit @xcite . @xcite répartissent le nombre important de méthodes existantes en deux grandes catégories : les méthodes intervenant en amont de la fusion et les méthodes de fusion proprement dites. dans cet article, nous nous intéressons plus particulièrement aux méthodes du premier type mais le lecteur pourra se reporter à la section 3.1 pour la présentation d'un certain nombre de méthodes de référence du second type. au sein du premier type de méthodes, @xcite font le distinguo entre les méthodes d'affinage optimisant la possibilité de fusionner les modèles en leur permettant de cohabiter dans un même espace de représentation, les méthodes prenant en compte les différences d'architecture entre modèles et finalement, les méthodes d'alignement de paramètres. c'est sur ces dernières que nous concentrons notre attention. dans ce champ, un certain nombre d'entre elles @xcite se sont appuyées sur la notion de transport optimal pour réaliser l'alignement des paramètres de plusieurs modèles. ccamerge @xcite utilise pour sa part l'analyse canonique des corrélations pour ce faire, plus précisément en maximisant les corrélations entre les combinaisons linéaires des paramètres des modèles. enfin, @xcite proposent trois algorithmes de permutation des paramètres d'un modèle pour les aligner avec les paramètres d'un autre modèle : l'un s'appuie sur l'appariement des activations des modèles, le deuxième sur l'appariement de leurs poids et le dernier sur l'apprentissage d'un alignement. en nous situant dans ce contexte des méthodes d'alignement de paramètres entre modèles, nous mettons l'accent sur deux contributions principales : ## méthode le problème que nous considérons dans cet article est celui de la fusion de n modèles de langue neuronaux {lm 1 . . . lm n } résultant de l'affinage d'un même modèle préentraîné initial lm pour une tâche donnée t . ces modèles se différencient en pratique par la fixation d'une graine aléatoire différente pour l'affinage. l'objectif poursuivi est la fusion de ces n modèles afin de produire un seul modèle applicable à la tâche t . il s'agit donc d'une configuration comparable à @xcite , avec la différence que nous ne faisons pas appel à un ensemble de validation pour la sélection gloutonne d'un sous-ensemble des n modèles. au-delà de l'application d'un certain nombre de méthodes de fusion de modèles de référence à cette configuration dont nous rendons compte à la section 3, nous proposons également une nouvelle méthode permettant, en amont de cette fusion, de réaliser la projection des modèles à fusionner dans un même espace de représentation. plus précisément, un modèle de langue lm i est défini ici par une liste de matrices (m ik ) correspondant aux différents éléments constitutifs de l'architecture transformeur : matrices constitutives des blocs attentionnels (clés, valeurs et requêtes), matrices des réseaux à action directe (feed forward network) suivant les blocs attentionnels mais également les matrices associés aux plongements des jetons textuels (tokens). notre objectif est dans ce cadre de pouvoir projeter, pour un k fixé, toutes les matrices (m ik ) dans un même espace de représentation afin d'améliorer toute méthode de fusion appliquée aux modèles lm i , à l'instar des méthodes d'alignement de poids des modèles neuronaux évoquées à la section 1. pour réaliser cette projection, nous proposons de nous appuyer sur l'analyse procustéenne @xcite . ce type d'analyse a déjà été appliquée pour aligner des espaces de représentation issus de modèles de langue neuronaux statiques, en particulier dans un contexte d'alignement multilingue @xcite , mais aussi dans le cas de plusieurs modèles comparables @xcite . en revanche, nous n'avons pas connaissance d'une application à des modèles de langue à base de transformeurs. de façon générale, l'analyse procustéenne vise à rapprocher une forme d'une autre en faisant appel à trois types de transformations linéaires : translations, mises à l'échelle uniformes et rotations. en adoptant un formalisme matriciel et en supposant que b est la matrice de référence et a, la matrice à rapprocher de b, on cherche donc la transformation t telle que : dans le cas qui nous occupe, nous limitons t au champ des rotations, ce qui correspond à une analyse procustéenne orthogonale dans laquelle la matrice de transformation t est orthogonale, configuration la plus répandue pour ce type d'analyse foot_0 . @xcite propose de trouver t en réalisant une décomposition en valeurs singulières de la matrice @xmath0. l'analyse procustéenne présentée ci-dessus s'applique au cas de deux matrices, l'une servant de référence à l'autre. dans notre travail, nous souhaitons ne pas nous limiter à la fusion de deux modèles seulement. nous nous sommes donc appuyés sur l'analyse procustéenne généralisée @xcite . cette extension de l'analyse procustéenne à plus de deux matrices se fait selon une procédure itérative définie par l'algorithme 1 dans lequel à chaque itération, une matrice de référence est calculée à partir de l'ensemble des matrices considérées et chacune de ces matrices est ensuite alignée avec cette matrice de référence grâce l'analyse procustéenne orthogonale de deux matrices. la procédure est poursuivie jusqu'à ce que la différence de distance d'alignement d'une itération à l'autre soit suffisamment petite ou qu'un nombre maximal d'itérations soit atteint. en pratique, dans les expérimentations de la section 3, la convergence se fait le plus souvent en une seule itération. algorithm 1 analyse procustéenne généralisée entrée : m e , ensemble de n matrices soit m p , l'ensemble des n matrices initiales projetées soit m ref , la matrice de référence pour l'analyse procustéenne orthogonale (apo) soit apo_dist, la distance entre la matrice de référence et la moyenne des matrices après apo soit max_iter, le nombre maximal d'itérations et tol, le critère de convergence sur apo_dist la méthode de projection de différents modèles dans un même espace de représentation que nous avons décrite à la section 2 peut s'appliquer à tout type de modèles de langue neuronaux et peut être appliquée en amont d'un grand nombre de méthodes de fusion de ces modèles. nous nous sommes plus particulièrement focalisés sur les modèles de type encodeur dans une configuration mono-tâche. la fusion s'opère donc entre plusieurs modèles résultant de l'affinage du même modèle racine pour une même tâche. nos expérimentations ont été réalisées avec le modèle bert @xcite , dans sa version bert-base-uncased. à la suite de beaucoup de travaux sur la fusion des modèles de langue, nous avons retenu les neufs tâches suivantes du jeu d'évaluation glue ( wang