Connaissances factuelles dans les modèles de langue : robustesse et anomalies face à des variations simples du contexte temporel (2025)

Abstract: Ce papier explore la robustesse des modèles de langue (ML) face aux variations du contexte temporel dans les connaissances factuelles. Il examine si les ML peuvent associer correctement un contexte temporel à un fait passé valide sur une période de temps délimitée, en leur demandant de différencier les contextes corrects des contextes incorrects. La capacité de distinction des ML est analysée sur deux dimensions : la distance du contexte incorrect par rapport à la période de validité et la granularité du contexte. Pour cela, un jeu de données, TimeStress, est introduit, permettant de tester 18 ML variés. Les résultats révèlent que le meilleur ML n’atteint une distinction parfaite que pour 11% des faits étudiés, avec des erreurs critiques qu’un humain ne ferait pas. Ces travaux soulignent les limites des ML actuels en matière de représentation temporelle.

## introduction lorsqu'un modèle de langue (ml) complète l'amorce textuelle « la capitale de la france est » par « paris », il démontre qu'il a stocké ce fait quelque part dans ses paramètres. cependant, comme l'ont montré nombre de travaux @xcite @xcite , ce genre de connaissance factuelle n'est pas nécessairement robuste à certaines variations dans l'amorce (emploi de paraphrases, alias, erreurs typographiques, négations. . .). parmi ces facteurs de variabilité, la dimension temporelle des connaissances factuelles a été moins étudiée. ainsi, dans cet article, nous étudions la robustesse des connaissances factuelles des ml face à des variations du contexte temporel. alors que l'état de l'art a démontré certains biais dans les ml liés à la distribution temporelle de leurs données d'entraînement ou leur faiblesse à raisonner avec des concepts temporels, notre travail vise à quantifier à quel point les ml parviennent à correctement associer un contexte temporel (par exemple, une année, une date, telles que « en 2018, . . . », « le 5 novembre 2022, . . . ») à un fait passé, c'est-à-dire un fait ayant une certaine période de validité. plus précisément, les questions de recherche traitées sont : pour cela, comme illustré sur la figure 1, des matchs sont organisés entre des contextes temporels corrects et incorrects pour mesurer les préférences des modèles, dégager des tendances générales et relever des anomalies. comme mentionné dans les questions de recherche, deux angles d'études précis sont adoptés pour faire varier les contextes temporels au sein de ces matchs : le positionnement des contextes sur l'axe du temps et en termes de granularité (de l'année jusqu'à une date précise). les contributions de l'article sont : ## état de l'art cette section présente les travaux connexes au nôtre sous l'angle de l'étude des connaissances factuelles que possèdent des ml, de la prise en compte de l'aspect temporel de celles-ci puis de leur facultés de raisonnement temporel. robustesse des connaissances factuelles dans les ml. il a été démontré que les ml stockent une quantité significative de connaissances factuelles @xcite @xcite . cependant, de nombreuses études indiquent que ces connaissances acquises manquent souvent de cohérence face aux perturbations du texte. par exemple, @xcite a mis en évidence les limites des ml pré-entraînés à s'adapter aux négations dans les questions, ce qui conduit à des réponses contradictoires. la robustesse à la paraphrase et aux fautes de frappe mineures a également été largement étudiée @xcite @xcite @xcite . notamment, @xcite et @xcite ont découvert que les ml produisent des réponses différentes pour des requêtes factuelles sémantiquement équivalentes. de même, @xcite ont découvert que les ml récents peuvent être impactés négativement par des fautes de frappe mineures qui préservent la sémantique d'origine. alignement temporel des connaissances dans les ml. l'état des connaissances factuelles étant en constante évolution, des études ont été menées pour comprendre comment adapter les ml face à cette évolution. comme prévu, les ml se sont révélés incapables de prédire les faits futurs @xcite , ce qui implique la nécessité de les adapter pour maintenir leur alignement avec les connaissances actuelles. pour pallier ce problème, des méthodes d'apprentissage continu @xcite ainsi que des techniques de pré-entraînement spécifiques ont été proposées, telles que la modélisation conjointe du texte et de son horodatage associé, facilitant l'acquisition de nouvelles connaissances temporelles @xcite ; des techniques d'édition de connaissances @xcite @xcite ; ou simplement l'externalisation des connaissances dans une base externe et accessible par le ml à travers la génération augmentée par récupération @xcite . en parallèle, plusieurs jeux de données ont été proposés pour détecter les faits obsolètes dans les ml @xcite @xcite @xcite ainsi que pour les mettre à jour @xcite @xcite . raisonnement temporel dans les ml. plusieurs études ont examiné les capacités de raisonnement temporel des ml @xcite @xcite @xcite @xcite . notamment, les travaux de @xcite et @xcite ont chacun proposé un jeu de données dans lesquels les ml sont invités à répondre à des questions impliquant la compréhension de la temporalité des faits. bien que ces travaux partagent des similitudes avec le nôtre en termes de données (des faits annotés temporellement), leurs objectifs et méthodologies diffèrent. ces études testent la maîtrise de certains opérateurs de logique temporel (calculs de date, comparaison. . .) et évaluent une performance moyenne des ml selon un principe d'un test par fait. pour notre part, nous nous intéressons non pas à la capacité de raisonnement mais à la robustesse des connaissances, c'est-à-dire à la capacité d'un ml de ne jamais commettre d'erreur lorsqu'un même fait lui est présenté avec des contextes temporels différents. ## problématique et jeu de données l'objectif de l'article est de mesurer à quel point un modèle de langue est robuste au contexte temporel associé à un fait. pour cela, le protocole expérimental proposé consiste à analyser les préférences du ml face à des contextes corrects ou incorrects pour un même fait. cette section formalise tout d'abord cette problématique, puis présente le jeu de données timestress qui l'instancie. ## expérimentation cette section détaille nos expériences sur le jeu de données timestress. pour rappel, nos objectifs sont, dans l'ordre, de mesurer la capacité des modèles à distinguer des contextes temporels corrects et incorrects, d'analyser leur robustesse -à la recherche d'anomalies -pour cette tâche lorsque les contextes incorrects sont plus ou moins proche de l'intervalle de validité, puis que la granularité des contextes s'affine. de nombreux modèles de familles et tailles différentes ont été testés : ## discussion et conclusion cette étude a exploré la robustesse des ml face aux variations temporelles dans les connaissances factuelles. en analysant leur capacité à différencier des contextes temporels corrects et incorrects, les performances des ml ont été évaluées selon deux dimensions : la distance des contextes de la période de validité des faits et leur granularité. à cette fin, le jeu de données timestress a été introduit, permettant de tester 18 modèles de taille et familles variés. les résultats montrent que le meilleur ml n'est robuste que pour 11% des faits étudiés, avec des erreurs, certes rares, mais critiques qu'un humain ne commettrait pas. nous notons notamment la vulnérabilité des ml face à des contextes incorrects faciles et des lacunes au niveau de la généralisation des connaissances factuelles entre granularités. ces résultats soulignent les limites des ml actuels dans leur représentation temporelle. il convient de mentionner que, puisque les faits temporels étudiés sont relativement populaires, ces performances majorent probablement les performances des ml sur la population générale des faits, étant donné la forte relation entre la popularité des connaissances et la probabilité qu'elles soient apprises par les ml @xcite . l'annexe e présente une discussion sur les limites de notre travail. le processus de création du jeu de données timestress a été conçu avec soin pour répondre aux propriétés décrites précédemment, soutenant ainsi efficacement les affirmations de cet article. ce processus comprend trois étapes principales. premièrement, une collecte initiale de 2098 faits temporels est réalisée à partir de wikidata pour inclusion dans timestress. deuxièmement, des questions sont générées à partir de ces quintuplets en utilisant gpt-4o, accompagnées d'une évaluation de la qualité pour garantir des questions de haute qualité. enfin, pour chaque fait, les dates correctes et incorrectes sont identifiées et intégrées aux questions pour produire des énoncés.