Géométrie des vecteurs de tâches pour l’association et la combinaison de modèles (2024)

Abstract: Les adaptations de rang faible (LoRa) sont devenues un standard pour adapter des modèles à un faible coût. Elles sont de plus en plus utilisées que ce soit en traitement du langage ou des images. Plusieurs études utilisent ces adaptations et cherchent à les combiner it a posteriori de manière à enrichir de manière additive les propriétés d’un modèle. Ces combinaisons suggèrent alors que nous pouvons associer les modèles dans l’espace des paramètres et que nous pouvons donner un sens à cela. Cette propriété n’est que très peu vérifiée dans la pratique et nous proposons ici plusieurs métriques visant à caractériser l’association entre les modèles dans l’espace des paramètres. Nous montrons finalement que nous pouvons corréler ces métriques avec les pertes de performance des modèles lorsque nous réalisons leurs combinaisons.

## introduction l'accroissement de la taille des grands modèles de langue, basés sur l'architecture transformers @xcite , rend de plus en plus complexe et coûteuse leur adaptation sur des tâches précises. dans l'optique de dépasser les contraintes de ressources pour spécialiser des modèles, deux méthodes se distinguent : les méthodes d'affinages efficaces (parameter efficient fine-tuning) et la combinaison de modèles. les méthodes d'affinage dites efficaces, comme la méthode lora @xcite , le prefix tuning @xcite , le scaling and shifting @xcite ou encore le ia3 @xcite , qui sont des dérivées de la notion d'adapteur @xcite , visent à n'affiner qu'une fraction du modèle, basé sur l'hypothèse que pour se spécialiser dans une tâche, seules des modifications mineures du modèle sont nécessaires. parmi ces méthodes efficaces, les adaptations de rangs faibles (lora : low-rank adaptation) se détachent du lot, de par les résultats qu'elles permettent d'obtenir en traitement automatique des langues (tal) @xcite @xcite et en vision @xcite , ou encore les propriétés intéressantes qui se dégagent de ces méthodes @xcite . la combinaison (ou interpolation) de modèles @xcite @xcite @xcite , inspirée des méthodes ensemblistes @xcite , quant à elle, vise à considérer des modèles entraînés sur des tâches et à les combiner dans l'espace des paramètres de manière à créer un nouveau modèle potentiellement meilleur que les modèles précédents sur une tâche donnée (enrichissement), capable de faire plusieurs tâches (multi-tâches) @xcite ou encore à faire une nouvelle tâche encore jamais vue par les différents modèles @xcite -dans la littérature, on parle de modular learning pour ce dernier cas. plus récemment, des études cherchent aussi à combiner les modèles adaptés avec la méthode lora en tal. par exemple, @xcite proposent des méthodes de combinaisons simples, de manière à : supprimer les biais d'un modèle, faire du multi-tâche, supprimer des composantes d'un modèle (notamment la toxicité dans la génération de textes) ou encore faire du transfert de domaine. de la même manière, dans le domaine du traitement des images, certaines études apparaissent aussi sur la composition de modèles adaptés avec lora, de manière à additionner les propriétés dans la génération d'images @xcite . la combinaison de modèles (affinés complètement ou avec des méthodes de faible rang) semble alors fournir des résultats intéressants, mais elle n'est pas sans poser de questions. en effet, @xcite introduisent la notion de connectivité linéaire et montrent que la combinaison de modèles peut parfois mener à des modèles instables perdant toute notion des tâches sur lesquelles ils ont été entraînés, notamment à cause de problèmes d'interférences entre modèles, qui peuvent être évités en forçant les modèles à partager une partie de leur trajectoire d'entraînement. ce problème d'interférence entre les modèles est évoqué aussi plus récemment par @xcite , et ils proposent un algorithme empirique, pour adresser ce problème, basé sur l'amplitude des poids entre les différents modèles : lors de la comparaison de deux modèles, celui ayant les poids de plus grande amplitude sera le plus important. la combinaison de modèles soulève alors la question de l'associativité de modèles entraînés sur des tâches différentes, afin de comprendre et d'interpréter les possibles effets d'interférence entre ces modèles. intuitivement, la combinaison de deux modèles qui sont « proches » résultera en un modèle similaire aux deux premiers (peu d'interférence) et, inversement, la combinaison de deux modèles qui sont « éloignés » résultera en un modèle différent des deux premiers (grande interférence). deux questions viennent alors naturellement : (1) comment définir la notion de proximité entre les modèles dans l'espace des paramètres ; et (2) pouvons-nous interpréter la proximité entre les modèles par rapport à une proximité empirique des tâches sur lesquelles ils ont été affinés afin d'ainsi comprendre a posteriori le comportement de modèles combinés ? nous adressons ces questions dans cette étude, à travers le prisme des adaptations de rang faible ainsi que des adaptations complètes de modèles (full fine-tuning), sur des tâches classiques de classification en traitement automatique des langues. dans la suite, la section 2 présente le formalisme et les tâches étudiées, puis la section 3 présente les expériences et les résultats. ## formalisme et tâches dans un premier temps, nous définissons le formalisme associé aux adaptations de rang faible, les différentes distances utilisées pour calculer les proximités entre modèles, ainsi que les différentes tâches sur lesquelles nous allons travailler. ## expériences et résultats dans cette section, nous utilisons les différentes métriques introduites pour montrer que les distances entre les modèles sont cohérentes par rapport aux tâches sur lesquelles ils sont entraînés. enfin, nous illustrons le fait que combiner des couples de matrices lora (a, b) éloignées, au sens de nos métriques, dégrade les performances de nos modèles allant ainsi dans le sens de nos hypothèses sur les interférences entre ces derniers : combiner des modèles éloignés produira un modèle aux performances dégradées sur les tâches initiales de chaque modèle combiné.