Estimation de l’inclusion entre tâches par projection spectrale de vecteurs de tâches (2025)

Abstract: L’affinage des modèles a permis la plupart des avancées significatives récentes dans les tâches de TALN. Des études ont exploré les raisons de ces succès en étudiant le mécanisme d’attention, la manière dont les connaissances linguistiques et factuelles sont encodées, etc... . Il est cependant difficile d’interpréter les changements causés par l’affinage dans les poids des modèles. Pour mieux comprendre cela, nous proposons une méthode fondée théoriquement pour projeter et comparer les changements de poids (i.e. vecteurs de tâches) dans un espace à faible dimension. Cette approche permet de mieux comprendre les connaissances encodées dans un vecteur de tâches, relativement à un autre vecteur de tâche. Nous validons notre méthode en montrant qu’un modèle affiné sur une tâche de résumé encode des informations sur la reconnaissance d’entités nommées.

## introduction les transformers @xcite ont permis des avancées considérables en traitement automatique du langage naturel (taln), principalement en raison de la puissance du mécanisme d'attention @xcite qui se trouve au coeur de ces architectures. ce succès vient également du pré-entraînement de ces modèles sur des tâches génériques de modélisation du langage comme le langage masqué @xcite ou la prédiction du prochain token @xcite , ce pré-entraînement pouvant également être suivi, dans certains cas, d'une phase dite d'instruction @xcite dans les modèles génératifs utilisés aujourd'hui. ces modèles pré-entraînés peuvent ensuite être adaptés à diverses tâches, par affinage sur un corpus annoté. cette combinaison du pré-entraînement ainsi que de l'affinage, permet d'obtenir les résultats les plus compétitifs : le pré-entraînement permet au modèle d'encoder des connaissances linguistiques et factuelles générales qui facilitent ensuite une meilleure convergence de l'affinage. cependant, malgré ce principe général, plusieurs questions critiques demeurent. comment prévenir les effets d'oublis catastrophiques se produisant lors de l'affinage sur une tâche @xcite ? comment fusionner et/ou démêler les connaissances acquises au cours des différentes phases d'entraînement ? en outre, comment pouvons-nous intégrer des connaissances liées à diverses tâches dans un modèle, en limitant les effets d'interférences entre ces dernières (dans le but de limiter les coûts d'apprentissage) @xcite ? répondre à ces questions nécessite de comprendre comment sont encodées les connaissances liées à une tâche, dans un modèle. dans ce contexte, plusieurs études se sont concentrées sur l'évolution des états cachés (ou activations), donnés par les modèles après un affinage. le résultat principal étant que les couches peu profondes des modèles restent globalement inchangées, tandis que les dernières couches se concentrent davantage sur la tâche sur laquelle le modèle est affiné. cependant, très peu d'études se concentrent sur l'évolution des paramètres des modèles suite à l'opération d'affinage. l'objectif est de mieux comprendre comment les connaissances liées à une tâche sont encodées dans les poids d'un modèle. cette étude vise à présenter une nouvelle méthode, fondée théoriquement, qui projette et compare les modifications des poids des modèles apportées par l'affinage (aussi appelées vecteurs de tâches) dans un espace à faible dimension. cette approche va au-delà des observations de similarités entre les vecteurs de tâches @xcite , permettant une compréhension plus nuancée des connaissances partagées en mesurant une notion d'inclusion entre les tâches au niveau des paramètres des modèles. les contributions sont les suivantes : ## travaux connexes comme mentionné dans l'introduction, l'impact de l'affinage d'un modèle pré-entraîné à une tâche spécifique, au-delà de sa performance sur des ensembles de données de référence, reste mal compris. la sélection de la méthode d'adaptation et l'évaluation de ses effets sur les autres capacités du modèle sont largement basées sur des observations empiriques. pour répondre à ces questions, l'une des principales approches proposées est le probing, consistant à tester les modèles afin d'évaluer leurs connaissances liées à des tâches spécifiques (souvent linguistiques) @xcite @xcite @xcite , en se concentrant principalement sur les états cachés (ou activations) des modèles. initialement conçue pour évaluer les connaissances des modèles pré-entraînées, de nombreuses études se sont concentrées sur l'utilisation de cette méthode pour comprendre les effet de l'affinage sur les modèles de langue de type encodeurs @xcite @xcite . le principal résultat étant que les couches peu profondes des modèles se voient peu modifiées par l'affinage tandis que les dernières couches se spécialisent plus fortement dans la tâche. un résultat qui est notamment confirmé dans @xcite via une méthode de clustering indépendante du probing. néanmoins, bien que le probing propose un cadre intuitif avec des résultats intéressants, @xcite et, plus formellement, @xcite ont souligné que son interprétation est délicate, menant dans certains cas à des résultats erronés. un point qui est également mis en avant dans @xcite et repris théoriquement dans @xcite . par ailleurs, darrin et al. parallèlement à l'étude des états cachés via le probing, certaines études se concentrent sur les modifications dans les poids des modèles suite à l'affinage de ces derniers. ces modifications de poids, appelées vecteurs de tâches @xcite , permettent d'obtenir une représentation de la tâche dans l'espace des paramètres d'un modèle. les vecteurs de tâches ont été utilisés pour combiner les propriétés des modèles par des opérations arithmétiques @xcite @xcite @xcite ou pour supprimer les composants indésirables, tels que la toxicité, les informations personnelles ou les biais, d'un modèle de langue @xcite @xcite . plus récemment, fosse (2024) montre que ces objets peuvent être utilisés pour comparer sémantiquement des tâches : deux tâches proches vont produire deux vecteurs de tâches proches. cette étude propose une nouvelle approche pour la comparaison et l'analyse des vecteurs de tâches. notre objectif étant de dépasser le cadre de la similarité entre ces objets et de comprendre si un vecteur de tâche encode des informations relatives à une autre tâche foot_0 . soit w 0 ∈ r m×n , les poids du modèle pré-entraîné, et w t les poids de ce même modèle après affinage sur une tâche t. le vecteur de tâche (pour la tâche t) est défini comme : il est important de noter que @xcite ont montré que les vecteurs de tâches, sous certaines hypothèses, sont des statistiques suffisantes d'une tâche au sens de fisher (keener, 2010, définition 3.2 p.43). lien avec les adaptations de rang faible (lora). les adaptations de rang faible (ou lora) @xcite sont devenues un standard pour affiner les modèles, que ce soit dans un contexte de @xcite @xcite ou de vision assistée par ordinateur @xcite . il s'agit essentiellement de modifier l'opération d'affinage pour lui donner une dimension intrinsèque plus faible, de manière à modifier le moins possible le modèle pré-entraîné afin d'éviter les effets dits d'oublis catastrophiques @xcite . l'affinage d'un modèle consiste essentiellement à modifier les poids du modèle pré-entraîné w 0 en ajoutant un déplacement ∆w t , qui dépend de la tâche t foot_1 . le modèle résultant étant donné par : w @xmath0. a partir de cela et de la définition de τ t , nous pouvons en déduire que ∆w t est exactement τ t i.e. le vecteur de la tâche t. la spécificité du lora est d'ajouter une contrainte de faible rang pour ∆w t , via un nouvel hyper-paramètre @xmath1, n) (le rang) et en décomposant ∆w t en deux nouvelles matrices @xmath2, telles que ∆w @xmath3. a et b sont alors les nouveaux paramètres à optimiser pendant l'affinage. ainsi, lors de l'affinage d'un modèle avec lora sur une tâche t, nous avons, τ @xmath4. cette définition permet de considérer le lora comme une estimation de faible rang du vecteur de tâche. si un affinage classique est effectué, le vecteur de tâche τ t possède alors une dimension importante qui est exactement le nombre de paramètres dans le modèle foot_2 , le rendant difficile à étudier en raison de la malédiction des grandes dimensions @xcite . cette réduction de la taille, combinée aux résultats de @xcite @xcite , peut notamment expliquer pourquoi les combinaisons de vecteurs de tâches estimés à partir de lora conduisent à de meilleurs résultats @xcite @xcite . un point de clarification est nécessaire quant à l'utilisation du lora. le lora n'est pas calculé une seule fois sur l'ensemble des poids du modèle, mais sur certaines couches linéaires (paramétrées par des matrices), tandis que les autres couches ne se voient pas modifiées. un couple (a, b) est donc défini pour chaque couche linéaire modifiée. dans le cas de l'architecture des transformers @xcite , une pratique courante consiste à effectuer ces adaptations sur les matrices de projection de requêtes et de valeurs dans les couches d'attention @xcite . selon les définitions précédentes, il n'y donc pas un seul vecteur de tâche, mais plusieurs vecteurs de tâche, un pour chaque matrice du modèle modifiée. ## présentation de la méthode cette section vise à présenter la méthode de projection des vecteurs de tâches. soient τ 1 et τ 2 deux vecteurs de tâches. il existe deux matrices orthonormales u, v et une matrice diagonale à valeurs positives s 1 , telles que : cette décomposition correspond à la décomposition en valeurs singulières (svd) @xcite du vecteur de tâche τ 1 . les matrices orthonormées correspondent aux axes principaux du vecteur de tâche τ 1 . les valeurs dans s 1 (également appelé spectre) indiquent l'importance attachée à chaque axe défini par les colonnes de u et v . en d'autres termes, cette décomposition donne l'espace de la tâche 1 (u et v ) et la manière dont cet espace est utilisé (s 1 ). l'objectif ici, est de comprendre si l'espace utilisé pour la tâche 1 peut également être comparé à l'espace pour la tâche 2, et donc, si le vecteur de tâche créé pour la tâche 1 encode des informations liées à la tâche 2, conduisant à une forme d'inclusion de la tâche 2 dans la tâche 1. nous souhaitons aller au-delà des mesures existantes de comparaisons des vecteurs de tâches @xcite qui se contentent d'évaluer la similarité, en introduisant une compréhension hiérarchique des relations entre les vecteurs de tâches. inspirée des travaux de @xcite , la méthode proposée consiste à utiliser l'espace svd de τ 1 et à projeter τ 2 dans cet espace. la projection consiste à trouver s 2 comme la solution du problème d'optimisation suivant : la métrique l p est la norme p classique et est sensible aux valeurs extrêmes des composantes. la métrique rec (recouvrement) s'inspire du taux d'erreur bayésien @xcite entre deux mesures de probabilités discrètes. elle est utilisée pour évaluer le recouvrement entre des mesures de probabilités. ainsi, elle quantifie le recouvrement entre s 1 et s 2 . il a notamment été montré @xcite que cette métrique est liée à la métrique l 1 entre la version normalisée de s 1 et s 2 , et prend ses valeurs entre 0 (faible recouvrement) et 1 (fort recouvrement). nous pouvons la reformuler comme suit :