W iki F act D iff: Un Grand jeu de données Réaliste et Temporellement Adaptable pour la Mise à Jour Atomique des Connaissances Factuelles dans les Modèles de Langue Causaux (2024)

Abstract: La factualité des modèles de langue se dégrade avec le temps puisque les événements postérieurs à leur entraînement leur sont inconnus. Une façon de maintenir ces modèles à jour pourrait être la mise à jour factuelle à l’échelle de faits atomiques. Pour étudier cette tâche, nous présentons WikiFactDiff, un jeu de données qui représente les changements survenus entre deux dates sous la forme d’un ensemble de faits simples, sous format RDF, divisés en trois catégories : les faits à apprendre, les faits à conserver et les faits obsolètes. Ces faits sont verbalisés afin de permettre l’exécution des algorithmes de mise à jour et leur évaluation, qui est présentée dans ce document. Contrairement aux jeux de données existants, WikiFactDiff représente un cadre de mise à jour réaliste qui implique divers scénarios, notamment les remplacements de faits, leur archivage et l’insertion de nouvelles entités.

## introduction les grands modèles de langue (gml) n'apprennent que les faits datant d'avant la date de collecte de leurs données d'entraînement @xcite . avec le temps, ces modèles peuvent ainsi propager des informations obsolètes, ce qui peut avoir des implications concrètes dans des domaines tel que la santé ou la politique. par conséquent, savoir mettre à jour les faits connus par ces modèles est crucial pour garantir leur utilité et leur pertinence, ainsi que la fiabilité globale de toutes les applications d'ia qui en découlent. si la notion de connaissance est large (incluant les connaissances sur les faits, la linguistique, les procédures, etc.), la mise à jour des connaissances factuelles constitue actuellement un domaine de recherche particulièrement actif. en effet, contrairement aux approches traditionnelles de mise à jour globale via un affinage, une approche récente propose de réaliser des mises à jour atomiques, c'est-à-dire en considérant des faits uniques pour la mise à jour. ces faits sont représentés dans la littérature comme des triplets @xcite , tel que (inde, chef de l'état, ram nath kovind). dans ce cadre, de nombreux scénarios de mise à jour peuvent se produire (p. ex., l'archivage de faits obsolètes, l'insertion de nouvelles entités). cependant, à notre connaissance, les algorithmes et les jeux de données de mise à jour actuels se limitent au seul scénario de remplacement (p. ex., mettre à jour le président des usa) @xcite . de plus, les mises à jour dans ces travaux sont irréalistes (p. ex., changer le domaine d'expertise d'albert einstein de la physique à la biologie), ce qui introduit des défis dans le maintien de la cohérence globale des connaissances. cette situation ne reflète pas l'utilisation souhaitée pour des applications réelles. pour remédier à ces limites, nous introduisons wikifactdiff, un vaste jeu de données pour la mise à jour des connaissances factuelles des gml avec un large éventail de scénarios pour un large éventail d'entités de popularité variable. il se présente sous la forme d'un ensemble de 223k mises à jour reflétant l'évolution des connaissances entre deux instances de wikidata à deux dates, t anc et t nouv . comme illustré dans la en pratique, wikifactdiff couvre l'évolution des connaissances factuelles entre t @xmath0. le choix de t anc est tel que les nouveaux faits du jeu de données sont postérieurs à ceux du corpus pile @xcite , largement utilisé pour entraîner des gmls @xcite @xcite . une autre force de wikifactdiff est que le processus de création s'adapte à la période [t anc , t nouv ] de notre choix. par conséquent, de nouvelles versions de wikifactdiff peuvent être publiées pour s'aligner sur les dates de collecte de jeux de données autres que pile. pour illustrer l'utilisabilité du corpus, une évaluation des algorithmes de mise à jour existants est présentée. cela fournit une base de référence à la communauté. l'article est organisé comme suit : la section 2 présente le domaine et les travaux associés ; la section 3 donne un aperçu global de wikifactdiff ; la section 4 décrie son processus de création ; et la section 5 présente les performances des algorithmes de mise à jour sur wikifactdiff. 2 état de l'art la famille d'algorithmes présentée ici permet la mise à jour du modèle en utilisant une phrase en langage naturel, dite d'injection, exprimant un fait (p. ex., "the president of usa is joe biden"). de même, l'évaluation de ces algorithmes repose également sur des faits verbalisés, où il est demandé au modèle de compléter des phrases à trou avec les informations correctes. en général, la qualité de la mise à jour est mesurée sur deux aspects : la généralisation du modèle sur des phrases sémantiquement équivalentes à la phrase d'injection (généralisation) et le maintien des performances sur des faits indépendants de celui mis à jour (spécificité). plusieurs algorithmes ont été proposés pour la mise à jour atomique des faits dans les gmls, telles que le prompting (si et al., 2023), l'affinage partiel des paramètres, avec ou sans régularisation, noté ft+l et ft respectivement (zhu et al., 2020). d'un autre côté, de cao et al. (2021) et sinitsin et al. (2020) ont proposé des approches dites "hyper-réseaux", dont la plus avancée, mend (mitchell et al., 2022) propose une solution rapide et qui passe à l'échelle. des progrès ont également été réalisés dans la localisation des connaissances dans les modèles de langue. en particulier, devlin et al. (2019) ont sondé les connaissances de bert et ont montré qu'un ensemble restreint de neurones joue un rôle crucial dans la prédiction correcte de faits dans un gml. plus tard, meng et al. (2022) ont procédé à une analyse causale (vig et al., 2020) sur gpt-2 (radford et al., 2018) qui a conduit à des résultats similaires et ont introduit un algorithme nommé rome qui s'est démarqué comme le plus efficace. enfin, inspiré de rome, meng et al. (2023) ont introduit memit, un algorithme de mise à jour capable d'effectuer des milliers de mises à jour simultanées. en termes de bancs d'essais, counterfact (meng et al., 2022) et zsre (levy et al., 2017) sont les jeux de données de référence pour évaluer les algorithmes de mise à jour. cependant, leurs mises à jour se limitent au scénario de remplacement et ne contiennent pas de litéraux (p. ex., la mise à jour de la population d'un pays). de plus, elles sont irréalistes car les nouvelles valeurs d'un fait sont générées de manière aléatoire, donnant lieu à des mises à jour telles que le remplacement de la spécialité d'albert einstein, qui est la physique, par la biologie, ce qui est totalement irréaliste. il convient de noter que les auteurs de zsre ont sélectionné au hasard les faits utlisés pour évaluer la spécificité. notamment, les recherches de meng et al. (2022) ont révélé que l'évaluation de la spécificité sur ces faits sélectionnés au hasard n'est pas une mesure suffisamment sensible. en revanche, l'évaluation de la spécificité sur des faits voisins s'est avérée plus sensible et met mieux en évidence les limites des algorithmes de mise à jour. 3 présentation de wikifactdiff dans ce travail, les faits sont représentés à l'aide de triplets (sujet, relation, objet) tels que (france, capitale, paris) ou (allemagne, partage une frontière, suisse). nous définissons alors le (s, r)-groupe comme la collection de triplets qui ont s comme sujet et r comme relation. au besoin, nous utilisons parfois plus simplement le terme groupe pour désigner une collection de triplets partageant le même sujet et la même relation. wikifactdiff est collecté pour la période du 4 janvier 2021 au 27 février 2023 et contient 223k mises à jour. chaque mise à jour concerne un (s, r)-groupe unique avec chacun de ses triplets étiquetés comme : nouveau lorsque le fait porté par ce triplet s'est produit après t anc , c'est-à-dire qu'il n'était pas valide avant t anc mais qu'il l'est à l'instant t nouv ; obsolète lorsque le fait était valide jusqu'à t anc mais ne l'est plus à l'instant t nouv ; ou inchangé pour les faits qui sont restés valides entre t anc et t nouv . counterfact wfd remp wikifactdiff triplets 43,838 20,988 349,441 sujets 20,391 9,926 100,986 relations 34 153 667 objets 870 12,283 109,122 objets "entité" 870 5,496 75,417 objets "litéral" 0 6,787 33,705 màj 21,919 10,494 223,140 remplaceobjet 21,919 10,494 32,996 archivage 0 0 2,756 ajoutobjet 0 0 1,494 ajoutrelation 0 0 50,541 ajoutentité 0 0 132,844 autre 0 0 2,509 réaliste ? ✗ ✓ ✓ adap. temp. ? ✗ ✓ ✓ ## processus de création du corpus la figure 1 illustre le processus de création de wikifactdiff. ce processus est fondé sur 2 instances brutes de wikidata aux instants t anc et t nouv , notées w anc et w nouv . un aperçu de haut niveau des étapes de création est présentée dans ce qui suit. une description détaillée se trouve dans l'annexe a. ## expérimentations cette section évalue les algorithmes de mise à jour atomique existants sur le sous-ensemble wfd remp , la version restreinte de wikifactdiff pour le seul scénario de mise à jour de remplacement d'objet (voir la section 3). les algorithmes sont rome, memit, mend, ft et ft+l, tels qu'implémentés par meng 4 . le modèle à mettre à jour est gpt-j configuré en précision bfloat16. ces mises à jour sont effectuées à l'aide d'une rtx3090 (24 go de vram). une mise à jour m de wfd remp consiste en le remplacement d'un fait (s, r, o) par un fait (s, r, o * ) ; par exemple, (japon, population, 125.96m) par (japon, population, 125.44m). la phrase d'injection est alors produite à partir d'un patron de phrase ϕ m ("the population of japan is __") et instanciée sur o * en comblant le trou (par exemple, "the population of japan is 125.44m"). nous désignons par ϕ m + o * la phrase d'injection ainsi construite. une fois la mise à jour effectuée, quatre aspects sont évalués : l'efficacité, la généralisation, la spécificité et la fluidité. l'efficacité est atteinte si le modèle préfère le nouvel objet o * à l'ancien objet o étant donné l'amorce ϕ m . la généralisation est obtenue si le modèle préfère o * à o sur des phrases à trou alternatives à partir d'un ensemble φ (dans notre expérience, φ contient 4 phrases à trou). la spécificité est obtenue en minimisant le débordement, qui est une dégradation de la capacité du modèle à prédire les bons objets des phrases à trou correspondantes à des faits indépendants qui 4. github.com/kmeng01/memit algo. en plus des méthodes de mise à jour mentionnées dans la section 2, nous évaluons l'algorithme prompt, qui consiste à influencer les connaissances du modèle au moment de l'inférence en préfixant chaque phrase à trou avec ϕ m + o * . par exemple, si nous voulons mettre à jour le président des états-unis en joe biden, nous préfixons le modèle avec "the president of usa is joe biden.". c'est une opportunité de comparer deux catégories de méthodes : celles qui modifient les paramètres du modèle (comme évoqué précédemment) et celles qui injectent des connaissances via du prompting. cette dernière approche, largement utilisée dans les méthodes de génération augmentée par récupération (gar) @xcite , évite le défi de la mise à jour des connaissances en insufflant directement les connaissances requises dans le préfixe de génération. il est pertinent de noter que prompt ajoute une surcharge de calcul qui croit quadratiquement avec la taille du préfixe utilisé, qui de plus, est limité par taille du contexte du modèle de langue.