Une étude statistique des plongements dans les modèles transformers pour le français (An empirical statistical study of embeddings in F rench transformers) (2022)

Abstract: Nous étudions les propriétés statistiques des plongements dans les modèles transformers pour le français. Nous nous appuyons sur une analyse de la variance, des similarités cosinus intra-phrase et du rang effectif des plongements aux différents niveaux d’un transformer, pour des modèles pré-entraînés et des modèles adaptés à la classification de textes. Nous montrons que les modèles FlauBERT et CamemBERT pré-entraînés ont des comportements très différents même si les deux ont une tendance à générer des représentations anisotropiques, c’est-à-dire se concentrant dans un cône au sein de l’espace des plongements, comme observé pour l’anglais. L’adaptation à la classification de textes modifie le comportement des modèles, notamment dans les dernières couches, et procure une tendance forte à l’alignement des plongements, réduisant également la dimension effective de l’espace au final. Nous mettons également en évidence un lien entre convergence des plongements au sein d’une phrase et classification de texte, lien dont la nature reste difficile à appréhender.

## introduction les modèles de type transformers, pré-entraînés comme modèles de langage @xcite @xcite , sont au coeur du succès de nombreuses approches récentes en traitement automatique des langues. le principe général de ces modèles consiste à transformer progressivement la représentation des mots (ou plus exactement, des tokens) en entrée de manière à en donner en sortie une représentation contextualisée sous la forme d'un plongement dans un espace de grande dimension. la transformation des plongements se fait au travers de couches d'auto-attention, qui prennent en entrée une séquence de plongements pour en produire une nouvelle en s'appuyant sur les liens que les plongements en entrée entretiennent entre eux. une des raisons du succès des modèles transformers réside notamment dans l'existence de modèles pré-entraînés sur une tâche générique de modélisation du langage, dans laquelle des tokens masqués en entrée doivent être prédits à partir de leur contexte. plusieurs variantes de ces modèles ont été proposées, avec deux grandes familles : des modèles causaux, dans lesquels seul le contexte gauche d'un token est pris en compte, l'apprentissage se fondant sur la prédiction d'un mot en fonction de son contexte gauche @xcite ; des modèles non causaux qui considèrent les contextes gauche et droit, pour lesquels l'apprentissage repose sur le masquage de tokens @xcite @xcite . en pratique, de nombreuses tâches en traitement automatique de langues sont aujourd'hui résolues en partant des ces modèles génériques pré-entraînés et en y ajoutant des couches de classification qui prennent en entrée les plongements contextualisés par le transformer. la couche de classification ainsi que les paramètres du transformer sont adaptés à la tâche visée par quelques époques d'apprentissage sur des données d'adaptation. nous nous intéressons dans cet article aux propriétés statistiques des plongements générés par les différentes couches de transformation pour deux modèles entraînés pour le français, que ce soit au niveau des modèles pré-entraînés ou dans des modèles adaptés à une tâche de classification de textes. de nombreux travaux se sont intéressés aux informations linguistiques portées par les plongements contextuels issus des modèles transformers pré-entraînés, notamment @xcite @xcite @xcite . en particulier, rogers et al. (2020) donne un aperçu assez complet des différentes études menées à ce sujet et des principales conclusions qui en découlent. pour la plupart, ces études s'appuient sur l'utilisation de classifieurs prenant en entrée les plongements contextuels (désignés comme sondes), l'hypothèse sous-jacente étant qu'une sonde arrive à une performance satisfaisante si les plongements portent l'information nécessaire. dans le contexte de cet article, les enseignements les plus pertinents sont que l'ordre des tokens en entrée perd de l'importance à partir de la quatrième couche @xcite , que les informations syntaxiques sont principalement représentées dans les couches du milieu, la dernière couche étant typiquement très dépendante de la tâche @xcite . peu de ces études portent cependant sur la géométrie et les propriétés statistiques des plongementscf . sec. 4 dans rogers et al. (2020) -à l'exception notable des travaux de ethayarajh (2019) et hernandez & andreas (2021) qui comparent d'un point de vue géométrique plusieurs modèles. en particulier, nous nous inspirons de la comparaison de elmo (peters et al., 2018), bert (devlin et al., 2019) et gpt-2 (radford et al., 2019) dans ethayarajh (2019), qui met en évidence deux faits importants. d'une part, l'anisotropie des plongements, c'est-à-dire leur concentration dans une direction, augmente au travers des couches d'attention, se concentrant progressivement sur un cône étroit. d'autre part, l'influence du contexte croît au travers des couches, éloignant progressivement les plongements d'un même token apparaissant dans des contextes différents. ces observations sont corroborées par jawahar et al. (2019) dont la figure 1 montre une convergence des représentations des différents types de spans et servent de point de départ à notre étude. pour notre part, nous étudions ici les propriétés statistiques des plongements après les différentes couches pour mieux comprendre ces représentations et le fonctionnement des modèles pour le français qui, à notre connaissance, n'a pas été étudié à ce jour. nous nous intéressons plus particulièrement à la convergence des représentations lorsque l'on monte en abstraction aux travers des différentes couches d'attention, convergence absolue et/ou en direction, élargissant ainsi l'étude de ethayarajh (2019) à de nouvelles mesures. nous étudions cette convergence sur les modèles flaubert et camembert pré-entraînés et regardons l'impact de l'adaptation à une tâche de classification de textes sur la géométrie des plongements. bien qu'il n'y ait a priori pas de raison fondamentale pour un comportement différent des modèles français par rapport aux modèles anglais, nous verrons que les modèles flaubert et camembert pré-entraînés ne montrent étrangement pas les mêmes tendances en dépit de leur forte similitude. ## méthodologie dans notre étude, nous comparons deux modèles pour le français, flaubert @xcite et camembert @xcite , à partir des modèles de la librairie huggingface flaubert_bert_cased et camembert_base respectivement. ces deux modèles présentent des architectures proches et génèrent tous deux des plongements de dimension @xmath0. flaubert s'appuie sur des couches d'attention classiques @xcite , avec une couche de plongement initial pour un vocabulaire d'environ 69 000 tokens. camembert utilise des couches de transformation de type roberta @xcite avec un plongement initial sur un vocabulaire plus restreint d'environ 32 000 tokens. les deux modèles ont peu ou prou le même nombre de paramètres (110m pour camembert, 140m pour flaubert) et sont entraînés sur une tâche de modèle de langage masqué. au-delà de l'architecture, flaubert est entraîné sur moins de données que camembert (71 gb vs. 138 gb) mais sur des données plus contrôlées, ce qui résulte en pratique en des modèles complémentaires comme le souligne @xcite . l'adaptation de ces deux modèles à une tâche de classification en polarité se fait sur le corpus cls du benchmark flue @xcite . les modèles initiaux sont complétés avec une tête de classification sur le token cls de manière à prédire la polarité d'un document : l'ensemble des paramètres est réestimé sur 5 000 exemples foot_0 avec une ou deux époques. nous obtenons sur un échantillon de 1 000 phrases de test une précision de 92.8 % pour flaubert et 94 % pour camembert après une époque, sans variation notable après la seconde époque. notons e k i (s) = {e k ij (s), @xmath1, d]} le plongement contextuel du i-ème token d'une phrase s au niveau k du modèle transformer. le niveau @xmath2. pour caractériser la variance des plongements, on s'intéresse avant tout à la variance pour une dimension j donnée par rapport à l'ensemble des tokens i d'une phrase, v k j (s) = var(e k ij (s)). l'intérêt de cette mesure est de mettre en évidence une éventuelle convergence des plongements des tokens d'une même phrase qui se traduirait alors par une diminution de la variance lorsque le niveau d'abstraction k augmente. pour caractériser un niveau k donné de manière globale, on s'intéressera à la trace de la matrice de covariance, soit j v k j (s) . la variance regarde les dimensions de manière indépendante. une autre manière d'étudier une éventuelle convergence des représentations des tokens d'une phrase consiste à étudier leur colinéarité. pour ce faire, nous nous intéressons à la distribution des similarités cosinus entre les plongements de deux tokens d'une même phrase s, soit tant la variance que la distribution des similarités se calculent au niveau d'une phrase. en pratique, nous mesurons ces quantités sur 50 ou 100 phrases issues des données de test de flue/cls et rapportons la distribution de la métrique. nous regardons enfin le rang effectif des plongements (torregrossa et al., 2021) que nous adaptons aux plongements contextuels. le rang effectif (roy & vetterli, 2007) se fonde sur les valeurs singulières de la matrice des plongements pour donner une indication sur le nombre de dimensions utiles en s'appuyant sur le nombre de valeurs singulières qui ont un impact significatif dans la décomposition. pour une matrice de plongements donnée w , le rang effectif est une valeur continue dans [1, d], une valeur de d signifiant que toutes les dimensions sont utiles. dans notre cas, la matrice w correspond à un ensemble de plongements contextuels pour les tokens des 10 premières phrases des données de test de flue/cls afin de limiter la taille et permettre la décomposition en valeurs singulières. l'ensemble des expériences est entièrement reproductible à partir des codes mis à disposition foot_1 . en particulier, pour la sélection des données d'apprentissage dans les modèles adaptés, l'amorce du tirage aléatoire est fixée de manière à générer systématiquement la même sélection. pour les 50 ou 100 phrases utilisées pour mesurer la variance et la distribution des similarités, nous avons simplement pris les 50 ou 100 premières phrases dont la distribution des étiquettes est représentative de celle du corpus. des expériences préliminaires ont montrés que le choix des phrases n'a qu'une influence marginale sur les résultats. ## résultats dans un premier temps, nous comparons le comportement des deux modèles pré-entraînés. dans un second temps, nous nous intéressons à l'effet de l'adaptation à la classification de textes.