Oui mais... C hat GPT peut-il identifier des entités dans des documents historiques ? (2023)

Abstract: Les modèles de langage de grande taille (LLM) sont exploités depuis plusieurs années maintenant, obtenant des performances de pointe dans la reconnaissance d’entités à partir de documents modernes. Depuis quelques mois, l’agent conversationnel ChatGPT a suscité beaucoup d’intérêt auprès de la communauté scientifique et du grand public en raison de sa capacité à générer des réponses plausibles. Dans cet article, nous explorons cette compétence à travers la tâche de reconnaissance et de classification d’entités nommées (NERC) dans des sources primaires (des journaux historiques et des commentaires classiques) d’une manière zero-shot et en la comparant avec les systèmes de pointe basés sur des modèles de langage. Nos résultats indiquent plusieurs lacunes dans l’identification des entités dans le texte historique, qui concernant la cohérence des guidelines d’annotation des entités, la complexité des entités et du changement de code et la spécificité du prompt. De plus, comme prévu, l’inaccessibilité des archives historiques a également un impact sur les performances de ChatGPT.

## introduction depuis qu'openai a lancé chatgpt lors du trente-sixième colloque sur les systèmes neuronaux de traitement de l'information (neurips) en novembre 2022, sa capacité à fournir des réponses d'apparence humaines et plausibles a rendu le modèle extrêmement populaire au-delà de la communauté des chercheurs, avec plus d'un million d'utilisateurs en moins d'une semaine. chatgpt est un agent conversationnel basé sur gpt-3.5 (transformeur génératif pré-entraîné), un grand modèle de langage avec plus de 175 milliards de paramètres @xcite . étant donné sa grande popularité et son accessibilité, la question de savoir comment ce modèle hautement médiatisé se comporte dans différentes tâches de traitement du langage naturel (tal) s'est déjà posée dans plusieurs domaines @xcite . les modèles de langage de grande taille (llm) sont exploités depuis plusieurs années maintenant, obtenant des performances de pointe dans la majorité des tâches de tal, en étant généralement affinés sur des tâches en aval telles que la reconnaissance et la classification d'entités nommées (nerc) et moins dans des paramètres zero-shot @xcite . ainsi, pour la reconnaissance et la classification d'entités nommées, mais aussi de manière générale, les efforts sont consacrés à la manière de transférer efficacement les connaissances pour l'adaptation au domaine en développant des systèmes robustes inter-domaines et en explorant l'apprentissage zero-shot ou few-shot pour traiter la cohérence et l'inadéquation des domaines et des annotations dans des contextes inter-domaines @xcite . simultanément, dans les documents historiques comme la presse ancienne, la tâche de nerc est confrontée à de nouveaux défis, outre l'hétérogénéité des domaines, tels que le bruit des entrées, la dynamique de la langue et le manque de ressources @xcite @xcite @xcite @xcite . dans ce court travail préliminaire, nous menons une étude exploratoire pour étudier le potentiel de chatgpt, qui a été entraîné sur une quantité massive de données internet (e.g., common crawl, webtext2, wikipedia) @xcite et des ensembles de données d'invites pour l'apprentissage par renforcement à partir des préférences humaines (rlhf) @xcite . nous menons cette étude sur la tâche de nerc dans une configuration zero-shot et en comparant les performances de chatgpt avec celles des systèmes de pointe. ## méthodologie nous avons suivi une approche de type zero-shot pour récupérer les entités nommées extraites par chatgpt via son interface web officielle foot_0 entre le 11 janvier et le 7 février 2023. une mise à jour a été publiée le 30 janvier pour améliorer la factualité et les capacités mathématiques du modèle foot_1 , cependant, nous n'avons pas perçu de différence en ce qui concerne la capacité du modèle à détecter les entités. ## résultats le tableau 3 présente les performances de chatgpt par rapport au nerc avec une granularité grossière (types d'entités de haut niveau) en termes de précision (p), de rappel (r) et de f-mesure (f1) à micro-niveau strict et fuzzy, évaluées avec clef-hipe-2020-scorer 8 . nous présentons également les performances de deux systèmes nerc de l'état de l'art basés sur modèles de langage qui ont été entraînés avec l'ensemble d'entraînement des jeux de données figurant à la section 2. newseye hipe-2020 ajmc p r f1 p r f1 p r f1 strict stacked nerc 75,0 70,6 72,7 ------temporal nerc ---76,5 76,5 76,5 84,8 83,9 84,4 chatgpt 70,9 72,3 71,6 32,5 50,0 39,4 21,8 26,1 23,8 fuzzy stacked nerc 85,4 80,5 82,9 ------temporal nerc ---86,7 86, 7 86,7 90,2 89,2 89,7 chatgpt 77,8 79,4 78,6 49,0 75,4 59,4 25,5 30,6 27,8 alternance codique l'alternance codique (code-switching) est un phénomène qui consiste à alterner entre deux ou plusieurs langues dans une même phrase, une même expression ou un même mot. le biais monolingue dans le multilinguisme est un type de biais qui peut se produire dans les modèles de langage @xcite . ajmc présente de l'alternance codique entre le français et le grec ancien. gpt-3.5 a été entraîné dans plus de 100 langues, l'anglais étant surreprésenté avec 93% du nombre de mots, 1,82% pour le français et 0,032% pour le grec moderne, tandis que le grec ancien n'est pas représenté @xcite . chatgpt a été entraîné à l'aide d'autres ensembles de données pour un réglage fin, un retour humain et des messages-guides @xcite , mais on peut s'attendre à une distribution similaire des langues. ainsi, pour un exemple tel que « à la marge d'un exemplaire de sophocle, on lit la traduction suivante de ces deux vers, due à notre aeracine : " o mon fils, sois un jour plas beareux que ton pèren ; da reste avec honneur tu peux lui ressembler". », chatgpt répond « je suis désolé, mais je ne suis pas en mesure de comprendre le texte que vous avez fourni. le texte semble être un mélange de grec ancien et de français, avec quelques références à la littérature ancienne et des annotations, ce qui rend difficile l'extraction d'informations significatives. de plus, le texte n'est pas un texte historique, mais plutôt un texte littéraire, ce qui rend également difficile l'extraction d'entités historiques. ». ## conclusions et perspectives chatgpt rencontre plusieurs difficultés dans la reconnaissance des entités dans les documents historiques, qui relèvent de la cohérence des directives d'annotation des entités, de la complexité des entités, du multilinguisme, de l'alternance codique et de la spécificité de l'invite. de plus, alors qu'une quantité sans précédent de documents historiques est disponible en format numérique, peu de choses sont disponibles gratuitement avec de nombreuses archives historiques qui restent inaccessibles au public. par exemple, les sources primaires telles que les journaux et les articles de magazines (comme dans le cas de la majorité des ensembles de données de cette étude) sont disponibles à la fois en ligne et en bibliothèque, mais néanmoins, elles sont généralement filigranées ou derrière un mur payant. par conséquent, chatgpt est « ignorant » (pour l'instant) de ces connaissances, ce qui contribue au degré de confusion du modèle en ce qui concerne les documents historiques. même si ces ressources deviennent accessibles et que les systèmes basés sur les llm améliorent leurs capacités de « compréhension » des documents historiques, leur mise en oeuvre dans les bibliothèques numériques devra être prise avec précaution pour éviter les réponses biaisées et hors domaine.