ALF : Un jeu de données d’analogies françaises à grain fin pour l’évaluation de la connaissance lexicale des grands modèles de langue (2025)

Abstract: La révolution apportée par les grands modèles de langue (LLM) provient de l’étonnante fluidité des textes qu’ils génèrent. Cette fluidité soulève une question scientifique essentielle : quelle quantité de connaissance lexicale les LLM capturent-ils réellement afin de produire un langage aussi fluide? Pour y répondre, nous présentons ALF, un jeu de données analogiqes librement accessible et doté de riches informations lexicographiques fondées sur la théorie Sens-Texte. Il comprend 2600 analogies lexicales à grain fin avec lesquelles nous évaluons la capacité lexicale de quatre LLM standards : ChatGPT-4o mini ,Llama3.0-8B ,Llama3.1-8B etQwen2.5-14B . En moyenne, ChatGPT et la série Llama obtiennent une précision aux environs de 55%, tandis que Qwen est juste en dessous du seuil des 60%, ce qui montre qu’ALF pose un défi considérable. Nous identifions en outre certains types d’analogies et de méthodes d’invite qui révèlent des disparités de performance.

## introduction la résolution automatique d'équations analogiques telles que charpentier : bois :: maçon : x (dont la solution est pierre) va au-delà des analogies formelles que l'on trouve couramment dans les manuels de linguistique, comme cet exemple en swahili 1 atanipenda (il m'aimera) : utanipenda (tu m'aimeras) :: atanipiga (il me battra) : x, avec la solution @xmath0. cette tâche va également au-delà des simples oppositions binaires, telles que chaise : fauteuil :: tabouret : x, où x est siège curule. dans ces cas, les mots sont analysés sur la base de caractéristiques binaires, telles que la présence ou l'absence d'un dossier ou d'accoudoirs. des résultats convaincants dans la résolution automatique des analogies de sens des mots, avec une précision proche de la performance humaine moyenne, ont d'abord été obtenus par turney dans une série d'articles @xcite @xcite utilisant des questions du scholastic assessment test (sat). @xcite ont par la suite considérablement renouvelé l'intérêt pour la résolution analogique en développant le jeu de test d'analogies de google. sur la base d'observations empiriques @xcite et de réflexions théoriques @xcite , les analogies de mots ont été considérées comme une référence raisonnable pour évaluer la qualité des modèles de plongement lexical statique. le jeu de test d'analogies google comprend à la fois des relations sémantiques (ou encyclopédiques) spécifiques (e.g. capital-world) et des relations morphologiques (par exemple, gram-plural). cependant, @xcite suggère que ces analogies pourraient être trop spécifiques voire trop faciles pour les modèles entraînés sur des corpus encyclopédiques. pour y remédier, des jeux d'analogies plus difficiles ont été développés, comme le bigger analogy test set (bats) @xcite et les jeux de données u2 et u4 @xcite , ou encore analogykb @xcite , dérivé des graphes de connaissances. un autre travail pertinent est le réseau lexical jeuxdemots @xcite , qui regroupe des relations sémantiques variées entre lexies. toutefois, ces analogies ne ciblent pas directement les distinctions lexicales fines que nous cherchons à évaluer. la facilité de construction de modèles de plongement lexical dans différentes langues a conduit à la traduction de jeux de données, e.g., en islandais @xcite , en japonais @xcite ou en bangla @xcite , ainsi qu'à la création de jeux de tests pour des langues spécifiques, comme pour le portugais @xcite . afin de minimiser les biais centrés sur l'anglais @xcite , des jeux de tests multilingues ont également été construits, soit par des méthodes semi-automatiques @xcite , soit de manière presque entièrement automatique @xcite , y compris l'extraction à partir d'arbres syntaxiques @xcite , une approche explorée avant même l'essor des modèles de plongement lexical @xcite . bien que ces jeux de données analogiques soient utiles, ils regroupent des ensembles de relations plutôt arbitraires. de plus, aujourd'hui, un plus grand intérêt est porté à l'évaluation des llm qu'à celle des modèles de plongement lexical @xcite . dans ce travail, nous tirons parti de la richesse linguistique d'une ressource lexicale appelée réseau lexical du français (rl-fr) @xcite pour construire alf (analogies lexicales du français), un jeu de données analogiques qui rassemble un ensemble de relations correspondant aux fonctions lexicales définies dans la théorie linguistique sens-texte @xcite . cela fait d'alf un jeu de données analogiques unique qui peut être utilisé pour mesurer la capacité des llm à capturer la connaissance lexicale fine. nous décrivons au §2 la ressource linguistique que nous avons utilisée pour construire alf, qui est à son tour présenté au §3. nous décrivons au §4 la méthodologie avec laquelle nous évaluons plusieurs llm et rapportons les résultats au §5. nous analysons ensuite nos résultats au §6 et concluons au §7. rl-fr représente le lexique français sous la forme d'un graphe orienté dont les noeuds sont étiquetés par des unités lexicales et les arêtes par des fl. les unités lexicales sont des mots pris dans un sens spécifique ; par exemple, le mot aimer correspond à plusieurs unités lexicales : aimer 1 (avoir une profonde affection pour quelqu'un), aimer 2 (apprécier beaucoup quelque chose), etc. une arête étiquetée f entre deux unités lexicales l (également appelée mot-clé) et l ′ indique que l ′ ∈ f (l), c'est-à-dire que l : l ′ satisfait la relation lexicale sous-jacente à la fl f . le graphe est très dense, avec environ 30 000 noeuds et plus de 65 000 arêtes. comme il est par conséquent difficile à visualiser, nous proposons un exemple construit dans la fig. 1, centré autour de l'unité lexicale dette. il existe deux types principaux de fl. les fl paradigmatiques, comme anti évoquée plus haut ou syn pour les synonymes, relient une unité lexicale à des alternatives qui pourraient être utilisées à sa place (avec ou sans changement de sens). parmi les fl paradigmatiques figurent aussi celles qui modifient la pdd tout en préservant le sens, à savoir s 0 , v 0 , a 0 et adv 0 . celles-ci renvoient, respectivement, l'équivalent nominal, verbal, adjectival et adverbial d'une unité lexicale, e.g., a 0 (lourdement) = lourde 3 dans la fig. 1 . les fl syntagmatiques relient une unité lexicale à des cooccurrents qui se combinent avec elle dans une phrase. en fonction de la fl, la phrase résultante hérite du sens du mot-clé ou lui ajoute une nuance, tirée d'un ensemble relativement restreint de sens communément exprimés par collocation dans les langues. par exemple, l'intensification est généralement exprimée par collocation, et la fl magn relie une unité lexicale à des modificateurs idiomatiques d'intensification, par exemple, magn(dette)={grosse, lourde}, magn(endetté)=lourdement. une classe importante de fl syntagmatiques renvoie des collocations verbales. cette classe comprend, entre autres, des fl représentant formellement différents types de constructions verbales dans lesquelles un verbe sémantiquement faible ou vide est utilisé pour relier un prédicat à ses arguments. les fl oper i sont des exemples de cette classe. considérons à nouveau l'unité dette et prenons-la comme un prédicat ternaire : 'montant x dû par y à z', où x, y et z sont respectivement les 1er, 2e et 3e arguments du prédicat. selon cette convention, oper 2 (dette)=avoir capture formellement la connaissance lexicale selon laquelle on peut spécifier le débiteur (le deuxième argument) en disant y a une dette. les fl établissent une distinction importante entre les verbes de support en fonction de leurs propriétés à l'interface syntaxe/sémantique. les valeurs de oper i doivent toujours prendre le mot-clé comme objet syntaxique le plus direct. les collocats verbaux qui ne possèdent pas cette propriété relèvent par conséquent d'autres fl, comme func i . on peut par exemple spécifier le montant dû (le premier argument) avec la dette s'élève à $20 000, mais dette est ici un sujet et non un objet syntaxique, et donc ce type de construction relève de func 1 et pas d'oper 1 : func 1 (dette)=s'élever. bien que func i ne fasse pas partie des fl exploitées dans le présent travail, c'est le cas d'oper 1 et real 1 . la distinction est donc importante, car elle fait partie des connaissances lexicales testées : les paires analogiques correspondant au modèle func i seront considérées comme des réponses incorrectes pour les requêtes portant sur oper 1 ou real 1 . une dernière distinction importante concerne l'ajout de sens : du point de vue du lexicographe, oper i n'ajoute aucun sens à l, contrairement à real i , qui ajoute une nuance d'« usage typique ou d'accomplissement télique » tout en se comportant de la même manière à l'interface syntaxe/sémantique. dans notre exemple, le débiteur (argument 2) peut payer sa dette (real 2 (dette) = payer), ce qui ajoute une dimension télique à avoir la dette. certaines fl fonctionnent de manière paradigmatique ou syntagmatique selon les cas. par exemple, a 1 dans la les fl représentent formellement des connaissances essentielles à la compétence linguistique. les locuteurs habiles d'une langue sont capables de reformuler leurs pensées de multiples façons. par exemple, dans un scénario où anne doit trop d'argent, on pourrait dire qu'elle croule sous les dettes ou parler de sa dette écrasante. cela se fait en tirant parti du type de connaissances encodées dans rl-fr. ainsi, la mesure de la capacité des llm à résoudre de telles analogies est un moyen d'évaluer leur capacité à capturer des connaissances lexicales fines, au-delà de la prédiction du mot suivant ou des tâches de complétion de phrases. ## alf à partir de la ressource rl-fr existante, nous avons créé alf foot_1 , un jeu de données de 2 600 analogies impliquant 25 fonctions lexicales de 2 catégories (paradigmatique et syntagmatique). nous avons sélectionné des fl comportant suffisamment de paires pour construire 110 analogies, dont 100 ont été utilisées pour tester les modèles, tandis que les 10 restantes ont été réservées aux invites k-shot. nous faisons une exception à cette règle pour deux fl paradigmatiques (qui ont une contrepartie syntagmatique) magn * et real 1 * . en raison de leur faible occurrence dans rl-fr, nous n'avons recueilli que 35 analogies pour chacune d'elles, tout en conservant 10 analogies pour les invites k-shot. pour chaque fl sélectionnée, nous avons rassemblé toutes les instances dans rl-fr, et nous avons échantillonné aléatoirement et sans remplacement 110 (ou 35 pour les deux exceptions ci-dessus) paires d'instances, désormais appelées analogies. alf rassemble principalement des fonctions lexicales paradigmatiques (21), plus 4 fonctions syntagmatiques. certaines analogies, ainsi que les fl associées, sont présentées dans le tableau 1. il convient de noter que, comme les fonctions lexicales renvoient généralement des ensembles de valeurs pour un mot-clé donné, certaines analogies dans alf se retrouvent avec plusieurs solutions. en effet, nous acceptons comme solutions l'union des ensembles des images de la fonction pour tous les mots-clés s'écrivant de la même manière. par exemple, bandit : gang :: guêpe : x admet colonie, essaim, horde, nuage et nuée comme solutions. en moyenne, nous obtenons 2,7 réponses possibles pour les analogies paradigmatiques et 3,8 pour les analogies syntagmatiques. ## expériences nous avons testé quatre llm dans nos expériences : chatgpt-4o mini @xcite , en tant que représentant d'un modèle de langue performant mais privé, deux modèles llama @xcite en tant que modèles populaires dont l'architecture et les poids sont librement accessibles : llama3-8b-instruct et llama3.1-8b-instruct, ainsi que le modèle qwen2.5-14b-instruct, qui a montré un potentiel prometteur @xcite . à titre de vérification, nous avons également testé un modèle de plongement lexical fasttext @xcite suivant l'approche inaugurée par @xcite . nous avons utilisé les plongements fasttext à la fois en anglais et en français. ## analyse un examen plus détaillé des performances et des sorties des llm permet de faire différentes observations sur la difficulté du jeu de données et la façon dont les modèles parviennent, ou échouent, à mobiliser l'information lexicale pour résoudre les différents types d'analogies. la fig. 2 offre un apperçu global des difficultés posées par différentes fonctions lexicales, à travers la performance de la meilleure configuration de chacun des quatre modèles sur les 25 fl représentées dans alf. difficulté des fl les profils de performance des 4 modèles sont remarquablement alignés, dans le sens où les écarts significatifs de performance entre différentes fl sont le plus souvent partagés par tous les modèles (par exemple, tous traitent mieux s 0 que oper 1 ). cet alignement permet d'ordonner partiellement les fonctions lexicales par niveau de difficulté : s 1 pred, adv 0 et v 0 sont les plus faciles à résoudre puisque tous les modèles obtiennent de bonnes performances sur ces fl, chatgpt et qwen dépassant les 80%. s 0 et a 0 sont légérement plus difficiles, induisant des performances resserrées autour de 70% cm. anti, a 1 , real 1 * , s 1 usual (paradigmatiques) et oper 1 (syntagmatique) posent un peu plus de problèmes que les précédentes : sur ces fl, la performance des modèles varie entre 60% et 70%, à quelques exceptions près. chatgpt se démarque positivement par ses performances sur anti et négativement par ses performances sur a 1 , et llama3.0 traite oper 1 moins bien que ses concurrents. enfin, les fl restantes semblent globalement plus difficiles, avec des performances systématiquement inférieures à 60% pour tous les modèles, et particulièrement mauvaises pour les fonctions syntagmatiques bon (à l'exception de llama 3.0) et magn, et des fonction paradigmatiques redun et magn * , pour lesquelles les performances s'étalent entre 20 et 40%, selon les modèles. ces observations sont, dans une large mesure, indépendantes de la métrique considérée (avec bien sûr quelques différences mineures, par exemple, la métrique cm surestime les performances de chatgpt sur a 0 alors que les deux autres métriques sous-estiment largement les capacités de qwen sur adv 0 , en raison de sa verbosité). morphologie les modèles semblent particulièrement bien maîtriser la morphologie dérivationnelle, puisqu'ils obtiennent leurs meilleures performances sur les fl faisant intervenir des motifs morphologiques réguliers. c'est en tout cas ce que suggère les résultats des fl v 0 , adv 0 s 0 et a 0 , pour lesquelles les paires analogiques (e.g. nom-verbe, verbe-adverbe ou adjectif-adverbe) sont le plus souvent liées par suffixation. comme mentionné précédemment, c'est également le cas pour s 1 pred et s 0 pred qui sont elles aussi très bien traitées. cependant, les erreurs commises sur ces fl montrent également des difficultés de la part des modèles à reconnaître les cas particuliers, ou a négliger d'autres caractéristiques des paires analogiques (notamment les liens de sens, la grammaticalité du résultat) au profit de la proximité morphologique. par exemple, qwen et chatgpt proposent tous deux consciencieusement au lieu de consciemment comme solution à l'équation adv 0 lexical : lexicalement :: conscient : x, et ils inventent régulièrement des néologismes en appliquant des schémas morphosyntaxiques de manière inappropriée : chatgpt répond par exemple trébuchage à l'équation s 0 tailler : taillage :: trébucher : x et qwen propose jugulaire comme solution à l'équation orageux : orage :: jugal : x, ainsi que sororité (au lieu de soeur) à l'équation pendulaire : pendule :: sororal : x, ou encore giclure comme solution à bâiller : baîllement :: gicler : x (toutes trois correspondant à la fl s 0 ). les deux modèles répondent respectivement chauvrerie et chauvité (au lieu de calvitie) pour l'entrée vengeur : vengeance :: chauve : x (s 0 pred). distinction événement/participant même si elles font également intervenir des connaissances morphologiques, les fonctions a 0 et s 0 semblent plus difficiles à résoudre que v 0 et adv 0 . une explication possible de ce phénomène est que a 0 et s 0 , contrairement à v 0 et adv 0 , sont en compétition avec a 1 et s 1 /s 1 usual. les modèles peuvent avoir de la difficulté à distinguer entre ces fl, car cela requiert, en plus de dériver un mot de la bonne catégorie, de distinguer les paires dont les éléments expriment un même événement ou état, comme détruire : destruction, des paires qui relient un événement à ses participants, comme détruire : destructeur. de fait, les modèles n'y parviennent pas toujours, et proposent à plusieurs reprises des sorties ne respectant pas les contraintes de sens de la fl cible. on observe par exemple tranche proposée au lieu de tranchage en tant qu'analogue s 0 de trancher, ou situationnel (une a 0 ) proposée au lieu de situé en tant qu'analogue a 1 de situation. types d'erreur à partir d'un examen approfondi des réponses incorrectes de qwen et chatgpt sur les 25 fl représentées dans alf dans lequel nous avons cherché à regrouper les erreurs de nature similaire, nous identifions les cas suivants : a) violation de contraintes syntaxiques ou combinatoires, survenant lorsque les modèles ne parviennent pas à respecter les contraintes imposées sur la pdd de la valeur des fl paradigmatiques, ou lorsque la combinaison mot-clef/valeur proposée pour une fonction syntagmatique n'est pas grammaticale. par exemple, cela se produit lorsque qwen propose vers comme solution de l'équation anti desserer : serrer :: envers : x, ou alors, propose l'adverbe dangeureusement (plutôt qu'un adjectif comme long ou interminable) pour l'équation magn bien : formidablement :: route : x. de même chatgpt propose mnémotechnique (au lieu de mémoire) comme solution à l'équation s 0 empiler : empilage :: mnémonique : x ou encore violemment (un adverbe plutôt qu'un adjectif comme violent ou terrible) pour l'équation magn ressembler : fortement :: tempête : x. on peut d'ailleurs souligner à nouveau l'influence de la proximité morphologique dans certains de ces exemples. b) violation de contraintes sémantiques, survenant quand la réponse d'un modèle ne véhicule pas le sens requis par la fl sous-jacente. régulièrement, les modèles ne parviennent pas à cerner précisément l'ensemble des caractéristiques de la relation analogique à partir des exemples k-shot et de la paire analogique à résoudre (et, pour les configurations avec feedback, des paires précédentes). en conséquence, ils proposent des réponses reliées au mot-clef de manière plus ou moins arbitraires. par exemple, chatgpt répond éveillé, au lieu de e.g. merveilleux comme solution à l'équation bon yaourt : crémeux :: rêve : x. bon est une fonction lexicale qui relie un mot-clef à un modificateur mélioratif typique du mot-clef, et chatgpt semble donc n'avoir pas pu inférer la dimension méliorative de la relation analogique. s'il n'est pas surprenant que cette caractéristique soit difficile à cerner dans une configuration 0-shot, il est important de noter que les exemples discutés ici ont été obtenus dans un contexte 7-shot avec feedback, dans laquelle le modèle a été exposé à au moins 7 analogies (donc 14 paires) comme jambe : joli :: air : frais. dans d'autres cas, ce sont les contraintes de sélections des verbes sont violées, par exemple lorsque chatgpt répond prendre comme solution de autocar : conduire :: relâche : x (real 1 ). c) production de néologismes ou de locution non-attestées. c'est typiquement ce qui se produit lorsque les modèles appliquent à mauvais escient des transformations morphologiques, comme dans les examples donnés plus haut (trébuchage, chauvité, . . .). d) préférence d'expressions inusuelles à des expressions idiomatiques. dans ces cas, les modèles respectent les contraintes sémantiques et syntaxiques de la fl sous-jacente, mais en privilégiant une construction peu fréquente à un équivalent idiomatique. ce type d'erreur est le moins fréquent et concerne surtout les fl syntagmatiques. qwen propose ainsi habilement (plutôt que bien ou comme un rossignol) comme bon de chanter, et chatgpt préfère circuler à rouler comme verbe support real 1 de mobylette. nous avons manuellement annoté 497 exemples de réponses de chatgpt et qwen jugées incorrectes par cm 7 en leur assignant soit l'étiquette faux négatif, soit l'une des catégories de la typologie ci-dessus. sur la base de ces annotations nous estimons que les faux-négatifs représentent environ 8% des erreurs. parmi les vrais négatifs, nous estimons que les erreurs de type a représentent environ 8% des cas, les erreurs de type b environ 69%, les erreurs de type c environ 20% et les erreurs de type d environ 3%. influence de l'anglais dans certains cas, l'influence de l'anglais pourrait expliquer les choix des modèles. par exemple, dans l'exemple de relâche discuté plus haut, prendre n'est pas un oper 1 valide en français, tandis que take est un oper 1 de break en anglais. ## discussion dans cet article, nous avons présenté un ensemble unique de données analogiques pour évaluer la profondeur de la connaissance lexicale dans les llm. allant au-delà des relations morphologiques ou encyclopédiques typiques, nous adoptons le cadre linguistique des fonctions lexicales de la théorie sens-texte, en tirant parti des riches descriptions de la ressource rl-fr. en comparant avec le jeu de données analogiques standard bats, nous trouvons que alf est significativement plus difficile. malgré quelques variations, les llm testés atteignent une précision comparable à travers alf, avec une performance plus élevée (>70%) pour les transformations de pdd, mais une précision plus faible (40-60%) pour des fonctions comme oper 1 ou real 1 , cruciales pour la sélection de verbes. pour les fonctions relatives aux aspects plus idiomatiques du langage, comme bon ou magn, les performances sont moins bonnes. nos expériences confirment que les llms encodent, et peuvent restituer abstraitement, beaucoup de connaissances lexicales fondamentales. dans l'ensemble, les performances des modèles sur alf révèlent une très bonne aptitude à manipuler la morphologie dérivationnelle. les performances, bien que plus faibles, obtenues sur des fl comme anti, oper 1 et real 1 * témoignent également une bonne aptitude à reconnaître des motifs sémantiques, combinatoires ou collocationnels. l'analyse d'erreur révèle qu'identifier les distinctions fines des relations analogiques présente un défi considérable pour les modèles, y compris dans des configurations avec exemples et feedback. par ailleurs, même les fonctions les mieux traitées présentent des motifs d'erreur réguliers (tendance à sur-généraliser les dérivations morphologiques, difficultés à distinguer éventualité et actant) et donc une possible marge de progression. nos résultats ouvrent des pistes pour explorer la connaissance lexicale des llm, en questionnant la manière dont cette connaissance est explicitement représentée. des travaux en cours indiquent que, même sans analogies, les modèles rencontrent encore des difficultés avec des questions aussi simples que « quel est le mot auxiliaire utilisé pour intensifier le mot dette ? » nous soulignons la nécessité de méthodes alternatives pour évaluer la connaissance lexicale, ce qui constitue une direction importante pour les recherches futures. ## limitations bien que nous nous sommes limités à des modèles de taille moyenne en raison des contraintes de coût et de matériel, mesurer les performances de très grands modèles et plus généralement l'impact de la taille des modèles serait sans doute très informatif. dans certaines conditions, notamment dans des configurations 0-shot, sans feedback ou sans historique, les analogies obtenues à partir de certaines fl (comme bon, ou a 1 ) sont probablement difficiles à désambiguiser. par ailleurs, certaines analogies du rl-fr peuvent paraître contre-intuitives à première vue, notamment pour un observateur non-linguiste. par exemple, sur le plan sémantique, il est commun de considérer que des adjectifs, des verbes et des noms peuvent dénoter des prédicats intensifiables. une même opération sémantique comme l'intensification peut donc s'appliquer également aux trois catégories, et il en résulte des analogies pour magn faisant intervenir des analogues de pdd différentes, comme dans la paire félicitation : chaleureux :: malade : complétement. nous avons pris le parti d'adhérer aux prescriptions de la théorie sens-texte en conservant de tels cas, mais évaluer les effets d'une sélection plus fine pour un jeu de données plus 'intuitif' constitue une piste de recherche intéressante. notre ressource évalue les modèles sur leur maîtrise du lexique français, mais nous soulignons que la théorie sous-jacente est en soi indépendante de toute langue et qu'elle vise à capturer des relations lexicales présentes dans diverses langues. de plus, le français est bien représenté dans les données d'entraînement de tous les modèles testés, ce qui en fait un point de départ pertinent pour sonder leurs capacités. néanmoins, disposer d'un tel jeu de données pour plusieurs langues ouvrirait des perspectives considérables, permettant notamment d'explorer les analogies interlinguistiques et d'autres pistes multilingues. pour évaluer la robustesse de nos résultats, nous avons mené une seconde série d'expériences. nous désignons les moyennes obtenues lors du premier et du deuxième essai par essai1 et essai2, respectivement. notre objectif est de comparer les performances entre essai1 et essai2, en posant comme hypothèse nulle l'absence de différence significative entre les deux. pour vérifier la normalité des différences, nous avons réalisé un test de shapiro-wilk @xcite . le test a montré que les différences ne suivent pas une distribution normale (@xmath5,001). en conséquence, nous avons utilisé le test de wilcoxon signed-rank @xcite pour évaluer les différences entre les deux essais. la valeur p obtenue est de 0,20. cette valeur étant supérieure au seuil de 0,05, nous ne rejetons pas l'hypothèse nulle, ce qui suggère que les résultats sont robustes vis-à-vis de la répétition des expériences.