Évaluer la capacité des transformeurs à distinguer les significations compositionnelles et idiomatiques d’une même expression (2025)

Abstract: Cet article explore comment les modèles de langue fondés sur les transformeurs encodent les significations compositionnelles et non-compositionnelles de séquences en anglais comme big fish, qui, selon le contexte, peuvent signifier soit « grand poisson », soit « personne importante ». Nous avons mené des expériences pour évaluer : (1) la distinction entre les plongements lexicaux des groupes nominaux compositionnels et non compositionnels à travers les couches du modèle de langue, (2) leur séparabilité linéaire, et (3) l’unité lexicale des séquences non compositionnelle. Nos résultats montrent que le modèle différencie bien les deux significations, et ce dès les premières couches, avec néanmoins une variabilité selon les expressions. De plus, s’appuyant sur des informations contextuelles plus larges, le modèle ne traite pas les expressions idiomatiques comme lexicalement plus unifiées que leurs équivalents compositionnels.

## introduction les transformeurs peuvent-ils distinguer les significations idiomatiques des significations non idiomatiques d'un même groupe de mots ? pour répondre à cette question, nous examinons, dans ce travail, allant de totalement compositionnelles (par exemple « changement climatique ») à hautement non compositionnelles (par exemple « cheville ouvrière »), et (3) elles apparaissent sous leur forme composée moins fréquemment que leurs composants pris individuellement. alors que les humains traitent sans effort les expressions polylexicales non-compositionnelles comme des unités holistiques stockées en mémoire @xcite , les modèles computationnels doivent relever un défi complexe : formaliser une sémantique capturant à la fois les aspects compositionnels et non compositionnels. afin de représenter efficacement un large éventail de structures linguistiques tout en maintenant un vocabulaire réduit, les modèles transformeurs s'appuient sur des mécanismes qui encouragent une interprétation compositionnelle, tant au niveau des mots qu'à celui des sous-mots, en construisant le sens à partir de la combinaison systématique d'unités élémentaires @xcite . cependant, cette architecture entre en conflit avec la nature des expressions polylexicales, en particulier les expressions idiomatiques @xcite , dont la sémantique ne peut être dérivée à partir des sens de leurs composants. dès lors, les modèles pré-entraînés peinent à encoder de manière cohérente ces expressions, car leur conception même privilégie la construction dynamique des représentations sémantiques à partir des unités lexicales, plutôt que l'apprentissage de significations figées et non compositionnelles @xcite . bien que ces modèles puissent, dans une certaine mesure, prédire la représentation d'une expression à partir de ses constituants, leurs performances ne correspondent pas aux jugements humains sur la compositionnalité sémantique @xcite . la diversité des méthodes d'évaluation et des définitions employées dans la littérature a conduit à des conclusions divergentes sur la capacité des modèles à modéliser la compositionnalité, en l'absence d'un consensus sur ce qui caractérise un comportement compositionnel dans ces architectures @xcite . les recherches portant sur le traitement des expressions figées dans les transformeurs ont principalement exploré la distinction entre idiomes et paraphrases. par exemple, @xcite montrent que la similarité inter-couches des représentations d'idiomes et de leurs reformulations évolue au fil des couches, suggérant un encodage dynamique des expressions idiomatiques. toutefois, le recours aux paraphrases introduit un facteur confondant qui limite l'évaluation fine des distinctions sémantiques. dans cette étude, nous proposons une approche complémentaire visant à isoler la capacité des modèles à encoder des divergences de sens à partir du seul contexte, sans appui sur des reformulations : nous examinons comment les transformeurs distinguent les sens littéraux et idiomatiques d'expressions nominales homonymes, dans un cadre entièrement non supervisé. d'autres travaux ont souligné les limites des transformeurs dans la représentation des expressions figées. zeng & bhat (2022) montrent que @xcite peine à apprendre des représentations idiomatiques, même après un entraînement spécifique sur ce type d'expressions. néanmoins, leur approche repose sur un apprentissage supervisé, dans lequel le modèle est explicitement entraîné à reconstruire des expressions masquées. à l'inverse, notre objectif est d'analyser les représentations spontanément produites par un modèle pré-entraîné, tel que bert, afin d'évaluer directement sa sensibilité contextuelle aux différentes lectures d'une même expression polylexicale, sans supervision ni fine-tuning. enfin, la fréquence des usages littéraux des expressions polylexicales est souvent considérée comme un facteur déterminant dans leur traitement par les modèles. @xcite observent que les occurrences littérales des expressions figées sont rares, ce qui soulève la question de leur pertinence dans l'analyse computationnelle de la langue. toutefois, cette conclusion repose principalement sur l'étude des idiomes, où l'interprétation figurée est largement dominante. en revanche, les composés nominaux présentent une plus grande variabilité d'usage : certains, comme big fish ou gold mine 2 , sont fréquemment employés dans leurs sens littéral et idiomatique. leur analyse constitue ainsi un cadre pertinent pour examiner la capacité des modèles à différencier des interprétations contextuelles distinctes. ## représentation des expressions polylexicales dans bert nous présentons ici trois expériences conçues pour déterminer si les représentations des expressions polylexicales (eps) dans les modèles de transformeurs varient selon que leur signification est construite compositionnellement ou non. ## discussion et conclusions cet article examine comment les transformeurs, en particulier bert, encodent les syntagmes nominaux non-compositionnels (nc) et leurs équivalents compositionnels (c), en se concentrant sur les expressions idiomatiques qui posent un défi aux modèles de langue. en effet, ces derniers reposent sur des mécanismes de construction du sens qui privilégient l'interprétation des expressions à partir de la combinaison de leurs constituants, ce qui complique la modélisation des usages idiomatiques, dont le sens ne peut être déduit compositionnellement. nous avons mené trois expériences visant à déterminer si (1) bert encode différemment les significations c et nc, (2) ces encodages sont linéairement séparables et (3) les expressions nc forment des unités lexicales plus cohésives. nos résultats montrent que bert différencie systématiquement les significations c et nc. dans la première expérience, les représentations nc affichent une similarité systématiquement plus faible avec leurs équivalents c, en particulier dans les couches profondes, ce qui souligne la capacité de bert à distinguer les significations idiomatiques des significations littérales. certaines expressions (p.ex. best man 11 ) conservent une forte similarité entre c et nc à travers les couches, tandis que d'autres (p.ex. gold mine 12 ) montrent une divergence marquée, illustrant la variabilité du modèle dans son traitement de la compositionnalité. ces résultats suggèrent que, bien que bert soit intrinsèquement orienté vers la compositionnalité, il capture efficacement des significations non compositionnelles sans supervision explicite. la deuxième expérience renforce cette distinction en montrant que les représentations c et nc sont souvent linéairement séparables, avec une séparation détectable dès la couche 1 pour un tiers des expressions et qui se maintient dans les couches plus profondes. toutefois, cette séparabilité varie selon les expressions : par exemple, big fish 13 présente une séparation plus instable, alors que cutting edge 14 est parfaitement séparé dès la première couche. ces résultats confirment que la compositionalité n'est pas une opposition binaire, mais un continuum, et que le traitement des expressions idiomatiques par bert est à la fois flexible et contextuel. en revanche, la troisième expérience ne met en évidence aucune augmentation significative de la cohésion lexicale des syntagmes nc par rapport aux syntagmes c. cela suggère que bert ne « compresse » pas les significations idiomatiques en une représentation unique et indivisible, mais qu'il distingue les usages idiomatiques des usages littéraux en s'appuyant sur des représentations contextuelles plus larges. dans l'ensemble, bert démontre sa capacité à différencier les significations idiomatiques et littérales en traitant les expressions idiomatiques comme des séquences polysémiques. son approche, à la fois contextuelle et dynamique, oscille entre un traitement compositionnel et un traitement plus global. la comparaison avec d'autres architectures transformeur -en particulier bert-large, multibert, roberta-base et roberta-large -permet d'évaluer dans quelle mesure les observations faites avec bert-base sont spécifiques à ce modèle. alors que bert-large et multibert montrent des tendances proches de bert-base, les deux variantes de roberta présentent des profils sensiblement différents, en particulier dans les premières couches. ces résultats montrent que, malgré certaines variations entre modèles, plusieurs tendances observées avec bert-base -en particulier la capacité à distinguer les usages idiomatiques et compositionnels dans les couches intermédiaires à profondes -se retrouvent également dans bert-large et multibert, et dans une certaine mesure dans roberta. cela suggère l'existence de dynamiques de représentation relativement robustes à travers différentes architectures et conditions d'entraînement, ouvrant la voie à des généralisations prudentes mais fondées. ces résultats ouvrent des perspectives pour les recherches futures. celles-ci pourraient explorer les mécanismes d'attention qui sous-tendent les différences d'encodage entre expressions compositionnelles et non compositionnelles, afin de mieux comprendre comment les modèles capturent les variations de sens induites par le contexte. étendre l'analyse à d'autres langues et modèles permettrait également d'évaluer la robustesse et la généralisation des effets observés. enfin, la conception ou 11. littéralement « meilleur homme », pouvant aussi signifier « le témoin du marié ». 12. littéralement « mine d'or », pouvant aussi signifier « source extrêmement riche en ressources, en opportunités ou en informations précieuses ». la figure 4 montre que les performances de bert-large sont globalement similaires à celles de bert-base. dans les deux cas, la similarité entre les représentations compositionnelles et idiomatiques des eps est relativement élevée dans les couches inférieures, ce qui suggère une représentation encore peu influencée par le contexte. la figure 4 révèle que les couches les plus profondes de bert-large -en particulier autour des couches 13 à 20 -sont celles où la similarité entre les représentations compositionnelles et idiomatiques est la plus faible, ce qui indique une distinction sémantique plus importante du modèle en fonction du contexte. toutefois, ces scores restent très proches de ceux observés dans les couches profondes (8 à 12) de bert-base. cela suggère que l'augmentation de la profondeur n'apporte pas de gain substantiel en termes de désambiguïsation sémantique dans ce cadre précis. la figure 5 montre les résultats obtenus avec multibert : on observe une certaine stabilité des scores de similarité à travers les différentes initialisations, et des tendances similaires à celles de bert, bien que la désambiguïsation sémantique ne soit pas aussi marquée (@xmath0.47). cette robustesse suggère que l'encodage des eps par bert n'est pas fortement dépendant de la graine d'entraînement, ce qui conforte la fiabilité des résultats obtenus dans notre expérience principale. la figure 6 présente les résultats pour roberta-base. contrairement à bert, les scores de similarité sont majoritairement faibles, parfois même négatifs, et ce dès les premières couches. ce contraste marqué pourrait s'expliquer par l'absence de la tâche de next sentence prediction dans l'entraînement de roberta, un facteur potentiellement important pour les expressions sensibles au contexte. la version roberta-large suit des tendances similaires, malgré une légère amélioration des scores dans les couches profondes.