Évaluation automatique du retour à la source dans un contexte historique long et bruité. Application aux débats parlementaires de la Troisième République française (2025)

Abstract: Dans le contexte de l’utilisation croissante des LLM, le besoin d’un retour efficace et automatique aux sources devient essentiel, en particulier pour les documents historiques. La capacité des LLM à identifier les sources pertinentes ne constitue plus seulement un maillon dans une chaîne où l’objectif final est la génération de réponses ; elle représente un enjeu fondamental de l’analyse, justifiant une évaluation à part entière. Quelles stratégies, quels modèles et quels paramètres offrent aux historiens les meilleures capacités d’exploration d’un corpus vaste et bruité ? Cet article propose une première tentative d’évaluation du retriever dans un cadre de RAG appliqué aux débats parlementaires de la Troisième République.

## introduction 1.le corpus des débats parlementaires la fin des années 2000 a vu le début de la numérisation des transcriptions des débats parlementaires de la troisième république @xcite foot_0 . hormis quelques rares éclipses au dix-neuvième siècle, ces transcriptions ont continué à rendre publiques les discussions entre députés et, à partir des années 1840, se sont attachées à retranscrire les débats dans le détail, tout en essayant de rendre le naturel des discussions @xcite . cette nouvelle abondance de données pour l'histoire parlementaire @xcite ) permet d'étudier les débats dans la longue durée, et ainsi d'observer l'évolution des questions politiques et sociales abordées par les assemblées (comme dans @xcite ). bien que ces données soient aujourd'hui facilement accessibles, ce corpus reste encore sous-exploité. cette nouvelle abondance de sources peut avoir un effet paralysant pour les historiens, vu l'énormité du corpus à analyser. comme l'explique hannu salmi, "if the nature, quality, and extent of the source material available for research have changed, it is natural that the research toolbox must change in tandem" @xcite . l'accès à de grandes quantités de sources oblige ainsi à adapter les méthodes de travail utilisées par les historiens à l'exploration de ces données, et à développer de nouvelles méthodes en informatique pour répondre aux demandes des utilisateurs finaux, et aux défis posés par ce type de documents.