Les représentations distribuées sont-elles vraiment distribuées ? Observations sur la localisation de l’information syntaxique dans les tâches d’accord du verbe en français (How Distributed are Distributed Representations ? An Observation on the Locality of Syntactic) (2022)

Abstract: Ce travail aborde la question de la localisation de l’information syntaxique qui est encodée dans les représentations de transformers. En considérant la tâche d’accord objet-participe passé en français, les résultats de nos sondes linguistiques montrent que les informations nécessaires pour accomplir la tâche sont encodées d’une manière locale dans les représentations de mots entre l’antécédent du pronom relatif objet et le participe passé cible. En plus, notre analyse causale montre que le modèle s’appuie essentiellement sur les éléments linguistiquement motivés (i.e. antécédent et pronom relatif) pour prédire le nombre du participe passé.

## introduction les transformers @xcite sont devenus une composante clé dans de nombreux modèles tal, en grande partie en raison de leur capacité à apprendre à construire des représentations distribuées des mots @xcite qui sont contextualisées : grâce au mécanisme d'auto-attention multi-têtes @xcite , la représentation d'un mot peut, virtuellement, dépendre de la représentation de tous les autres mots de la phrase, et les transformers sont capables d'apprendre des paramètres permettant de sélectionner pour chaque mot d'une phrase les mots les plus pertinents pour l'interprétation de celui-ci. de nombreux travaux @xcite ont cherché à analyser les représentations apprises par les transformers pour savoir si elles encodent des informations linguistiques. une des principales méthodes d'analyse est la tâche d'accord à longue distance popularisée par @xcite , qui consiste à évaluer la capacité d'un modèle neuronal à prédire la forme correcte d'un mot (p.ex. un verbe) en fonction des règles d'accord de la langue (p.ex. son sujet). cette méthode a été généralisée à d'autres types d'accord @xcite et à d'autres langues @xcite . les conclusions concordantes de toutes ces expériences montrent que les transformers sont capables d'apprendre une quantité « substantielle » d'informations syntaxiques @xcite . si la méthode @xcite de montrer que l'information syntaxique est encodée dans des représentations neuronales, elle ne donne aucune indication sur sa localisation : il n'est pas clair si l'information syntaxique est distribuée sur l'ensemble de la phrase (comme le permet théoriquement l'auto-attention) ou seulement d'une manière cohérente avec la syntaxe de la langue, c'est-à-dire uniquement dans les mots impliqués dans les règles d'accord. ce travail 1 apporte une première réponse à cette problématique et s'intéresse, plus précisément, à deux questions dans le cadre de la tâche de prédiction de l'accord : où les informations syntaxiques sontelles encodées dans les représentations du modèle et comment utilise-t-il ces informations syntaxiques. nous abordons ces questions selon deux perspectives, en considérant l'accord objet-participe passé en français (section 2). premièrement, dans la section 3.1, à l'aide des sondes linguistiques @xcite , nous essayons d'identifier les mots dans lesquels l'information syntaxique est encodée afin de trouver sa localisation dans la phrase. deuxièmement, dans la section 3.2, nous utilisons une méthode d'analyse contre-factuelle consistant à mesurer l'impact sur la prédiction du modèle d'une modification de l'attention afin de mieux comprendre comment les transformers utilisent les informations syntaxiques encodées dans les représentations contextualisées. ## tâche d'accord objet-participe passé det-sg noun-sg det-pl noun-pl pron pron-1sg aux-sg verb-pl adp det-sg noun-sg verb-pl verb-inf ant obj figure 1 -exemple d'accord objet-participe passé en français dans les relatives objet. le préfixe est surligné en bleu, le contexte en jaune et le suffixe en vert. dans la grammaire française, le participe passé s'accorde en nombre avec son complément d'objet direct placé avant l'auxiliaire (ici que) et donc avec l'antécédent de celui-ci (ici amis). tâche nous considérons l'accord objet-participe passé dans les relatives objet en français pour évaluer la capacité des transformers à capturer l'information syntaxique. cette tâche consiste à comparer les probabilités qu'un modèle de langue attribue aux formes singulière et plurielle d'un participe passé étant donné la séquence de mots qui le précède dans la phrase, c'est-à-dire les mots du préfixe et du contexte (cf. figure 1 ). comme linzen et al., 2016, nous considérons que le modèle a correctement prédit l'accord si la forme correcte a une probabilité plus élevée que la forme incorrecte. contrairement à la tâche classique de l'accord sujet-verbe @xcite , l'accord objetparticipe passé en français implique une dépendance à longue distance (filler-gap dependency) et le participe passé cible doit s'accorder avec un nom qui ne lui est jamais adjacent. dans notre cas, il présente en plus une structure syntaxique qui nous permet de mettre en évidence la façon dont l'information est distribuée dans la phrase( §3.1). la figure 1 donne un exemple des phrases considérées ici. il s'agit de phrases dont le verbe est au passé composé. lorsqu'il est utilisé avec l'auxiliaire avoir, le participe passé doit s'accorder en nombre et en genre 2 avec son objet direct que lorsque ce dernier est placé avant lui dans la phrase. c'est notamment le cas des relatives objet considérées ici, dans lesquelles l'objet direct est le pronom relatif que qui hérite ses caractéristiques de son antécédent. pour accorder correctement le participe passé dans les relatives objet, il est donc nécessaire d'identifier le pronom relatif objet, son antécédent et l'auxiliaire. cadre expérimental nous réutilisons le jeu de données de li et al., 2021 qui a extrait, à l'aide d'heuristiques simples, un ensemble de 68 497 phrases comportant des relatives objet du corpus gutenberg. les expériences foot_0 sont réalisées avec le modèle transformers incrémental décrit dans li et al., 2021. celui-ci a été entraîné sur 90 millions de mots de la wikipédia française, et possède 16 couches et 16 têtes. les plongements de mots sont de taille 768. ce modèle est capable de prédire correctement 93,5% des formes du participe passé du corpus gutenberg, un résultat qui permet à ces auteurs de conclure que les informations syntaxiques sont encodées dans les représentations du modèle. ## discussion et conclusion pour comprendre comment l'information syntaxique est encodée et utilisée dans des modèles de langue fondés sur les transformers, nous avons réalisé deux séries d'expériences en considérant la tâche d'accord objet-participe passé en français. premièrement, nos expériences de sondes ont mis en évidence une distribution locale de l'information du nombre dans la partie contexte de la phrase, même si le mécanisme d'auto-attention permet à cette information de se propager dans toute la phrase. deuxièmement, notre intervention de masquage sur l'attention montre un lien causal entre les mots linguistiquement motivés et la décision du modèle, ce qui suggère que les transformers traitent l'accord objet-participe passé en français d'une manière linguistiquement motivée. notre travail est un premier pas vers une meilleure compréhension des représentations internes des modèles neuronaux. la conception de nouvelles sondes croisée avec des analyses causales et ses applications à un plus large nombre de langues, pourraient améliorer notre compréhension de ces modèles. en particulier, notre observation sur la distribution de l'information syntaxique linguistiquement motivée dans les représentations des transformers pourrait être étendue à d'autres phénomènes linguistiques et à d'autres langues.