Apprentissage de sous-espaces de préfixes (2023)

Abstract: Cet article propose une nouvelle façon d’ajuster des modèles de langue en “Few-shot learning” se basant sur une méthode d’optimisation récemment introduite en vision informatique, l’apprentissage de sous-espaces de modèles. Cette méthode, permettant de trouver non pas un point minimum local de la fonction coût dans l’espace des paramètres du modèle, mais tout un simplexe associé à des valeurs basses, présente typiquement des capacités de généralisation supérieures aux solutions obtenues par ajustement traditionnel. L’adaptation de cette méthode aux gros modèles de langue n’est pas triviale mais son application aux méthodes d’ajustement dites “Parameter Efficient” est quant à elle relativement naturelle. On propose de plus une façon innovante d’utiliser le simplexe de solution étudié afin de revisiter la notion de guidage de l’ajustement d’un modèle par l’inférence d’une métrique de validation, problématique d’actualité en “few-shot learning”. On montre finalement que ces différentes contributions centrées autour de l’ajustement de sous-espaces de modèles est empiriquement associée à un gain considérable en performances de généralisation sur les tâches de compréhension du langage du benchmark GLUE, dans un contexte de “few-shot learning”.

## expériences toutes les expériences décrites dans cet article afin d'évaluer les performances prédictives de la méthode proposée sont réalisées avec bert-base-cased sur des jeux de données construits à partir du benchmark glue (wang et al., 2018), un corpus de 8 tâches de compréhension du langage anglais, toutes formulées comme des problèmes de classification. cependant, de part l'inaccessibilité des jeu de test sur ce benchmark ainsi que leur taille d'échantillon sensiblement trop importante pour être pertinente dans un cadre de "few-shot learning", nous n'utilisons pas directement ces jeux de données, mais en construisons de nouveaux plus adaptés à notre problématique suivant une méthodologie similaire à celle présentée dans @xcite . nous construisons par échantillonnage aléatoire des séries de jeux de données de tailles d'échantillon variable (50, 100, 200 et 500 observations). notre méthode de construction de ces jeux de données diffère cependant de la leur sur quelques points clés. premièrement, les auteurs ont choisi de construire des jeux de validation de 1 000 d'observations pour tous leurs jeux de données d'apprentissage, ce qui, de notre avis, n'est pas réaliste dans un contexte de "few-shot learning" (un jeu de validation ne contient généralement pas dix fois plus d'exemple que son jeu d'entraînement). deuxièmement, ils utilisent les jeux de validation du benchmark glue comme jeux de test. toutefois, certains de jeux validation ont des tailles d'échantillon faibles (277 pour rte, 408 pour mrpc), pouvant potentiellement bruiter l'estimation des métriques de performances. par conséquent, pour chaque jeu de données de référence, un ensemble de données de taille d'échantillon k est construit comme suit : pour chaque tâche du benchmark, et pour chacune des tailles d'échantillon retenues, 10 jeux de données sont construits en suivant cette méthodologie, afin de permettre de répliquer les expériences sur différents jeux de données, de permettre l'estimation de performances moyennes, et de tester la significativité au seuil des 5% des différences obtenues (via bootstrap). pour tous ces jeux de données, nous comparons notre méthode à 5 modèles d'ajustement de référence, dont 4 méthodes peft. ces méthodes, de manière similaires à la méthode d'apprentissage de préfixes, se basent sur l'idée de figer les paramètres du modèle de langue, et d'introduire une fraction de nouveaux paramètres ajustables (typiquement d'une cardinalité inférieure de plusieurs ordres de grandeur à celle du modèle lui même), mais elles diffèrent dans la manière dont elles introduisent ces nouveaux paramètres dans le modèle : pour garantir une comparabilité optimale, le choix des hyperparamètres de la méthode proposée seront choisis de manière à correspondre exactement à ceux de la baseline d'apprentissage par préfixe, eux aussi déterminés pour la première fois dans un cadre de classification de texte par @xcite . les sous-espaces ajustés dans les expériences sont tous des simplexes à 6 sommets. la méthode proposée surpasse en revanche significativement l'une des autres méthodes de base à travers les expériences effectuées un total de 80 fois, montrant un clair avantage en termes de pouvoir prédictif. on remarque notamment que la majorité des expériences où la méthode proposée surpasse les méthodes de référence principalement sur 3 jeux de données, à savoir qnli, sst-2 et qqp. de plus, la capacité de la méthode proposée à surpasser significativement les méthodes de référence sur ces tâches ne semble pas dépendre de la taille d'échantillon des jeux de données. il est en revanche difficile d'identifier ce qui différencie ces jeux de données de ceux où la méthode proposée reste comparable aux méthodes de références. en effet, les deux camps présentent autant de tâches similaires, et autant de jeux de données déséquilibrés. ## étude d'ablation de manière à mieux identifier l'impact des différents aspects de la méthode proposées, une étude d'ablation est également rapportée en ces observations, prises dans leur ensemble, amènent notamment plusieurs éléments de preuves quant à la pertinence de l'utilisation en "few-shot learning" de la notion que nous proposons d'inférence stochastique de métrique de validation. l'observation 3, en particulier, montre que l'ajustement de sous-espace de préfixes avec estimation classique de la métrique de validation n'est associé aux mêmes gains de performances que la méthode proposée qu'à partir de @xmath0. que les performances de cette variante soient de plus inférieures à celles obtenues par ajustement de préfixes classiques vient encore appuyer l'importance de la méthode proposée d'inférence stochastique de métrique de validation. les observation 1, 2, 3 permettent par la suite d'amener des arguments légèrement plus faibles sur l'importance de la taille du simplexe dans le cadre de cette estimation stochastique. en effet, bien que la taille du simplexe ne semble pas avoir d'effet pour @xmath1, considérablement plus économes en terme de complexité mémoire), elle semble en avoir un pour des tailles d'échantillon très faible. cette observation pourrait s'expliquer par la richesse de l'information extraites du jeu de données de validation par estimation stochastique, dûe à un simplexe plus important. les résultats présentés dans cet article sont en revanche insuffisants pour confirmer (ou infirmer) cette hypothèse. similairement, les observations 2 et 3 montrent tout particulièrement l'importance d'ajuster par sous-espace l'intégralité des paramètres apprenables du modèle dans le cas où @xmath2. ceci pourrait également s'expliquer en avançant l'idée que l'on perd en capacité à caractériser le minimum local obtenu en limitant l'estimation stochastique de la métrique de validation à une sous partie des paramètres apprenables du modèle. ## conclusion on a dans cet article introduit deux idées novatrices. la première, une adaptation de la méthode des sous-espaces à l'ajustement de gros modèles de langues par le biais de méthode peft, est à notre connaissance le premier exemple d'utilisation de cette méthode dans la littérature académique portant sur le traitement automatique des langues. la seconde, proposant une manière alternative d'estimation des métriques de validation, constitue une application originale de la méthode des sous-espaces et n'est en aucun cas spécifique à des problématiques rencontrées en analyse de données textuelles. l'utilisation jointe de ces deux méthodes donne lieu à une augmentation considérables des performances de modèles de langues communs comme bert, sur les tâches de compréhension du langage proposées par le benchmark glue reformulées dans un contexte de "few-shot learning". l'étude d'ablation présentée en fin d'article permet en outre de poser des hypothèses quant à l'impact de ces deux contributions. le gain de performances observés sur très petits jeux de données (≤ 100) semble être en effet principalement expliqué par l'information plus fine extraite du jeu de validation via la méthode d'estimation stochastique de métrique. ce gain semble en revanche se dissiper pour des tailles d'échantillon plus élevées, ou la méthode des sous-espaces appliquées à l'apprentissage de préfixes semble se suffire à elle-même pour permettre un gain de performance sur les méthodes peft, ainsi que sur l'ajustement de modèle classique. l'application de la méthode des sous-espaces aux méthodes peft permet en outre l'ajustement de puissants modèles prédictifs tout en réduisant considérablement les ressources machines typiquement nécessaires à l'ajustement des gros modèles de langues, ne dénaturant pas ainsi la volonté fondamentale d'efficience de ces méthodes. l'apprentissage de sous-espaces de préfixes reste ainsi accessible même dans des situations où les ressources, autant en données qu'en puissance de calcul, sont limitées.