Approche méthodologique pour la génération de question-réponse portant sur plusieurs documents (2025)

Abstract: Les systèmes de questions-réponses (QA) actuels ont du mal à synthétiser les preuves dispersées dans les documents. Alors que les jeux de données QA scientifiques existants se concentrent sur le raisonnement portant sur un document seul, la tâche de recherche peut exiger l’intégration de contenus provenant de plusieurs articles. Pour répondre à cette limitation, nous proposons un cadre pour créer un jeu de données QA multi-documents qui s’appuie sur l’analyse de graphes de citations afin de regrouper des articles connexes et utilise un grand modèle de langage (LLM) pour générer des questions complexes. Des expériences préliminaires réalisées sur 23 882 articles démontrent la faisabilité de ce cadre, produisant 238 paires QA qui nécessitent une synthèse sur plusieurs articles. D’autres expériences indiquent que la recherche d’information dense actuelle obtient un rappel limité pour ces questions multi-documents, soulignant le besoin de mécanismes de recherche d’information et de raisonnement plus avancés. Il s’agit d’un projet en cours d’élaboration. Nous visons à terme à fournir un jeu de données QA robuste qui capture la complexité et la nature interconnectée des publications scientifiques, ouvrant la voie à des évaluations plus réalistes des systèmes de QA.

## introduction les systèmes de questions-réponses (qa pour question answering) ont pris de plus en plus d'importance pour aider les chercheurs et les étudiants à accéder rapidement à des informations complexes et à les comprendre @xcite . cependant, à mesure que la littérature scientifique se développe, extraire efficacement et précisément les contenus clés d'une vaste bibliothèque et fournir des réponses pertinentes, est devenu un défi important @xcite . en effet, de nombreuses questions de recherche du monde réel nécessitent la réalisation d'une synthèse d'éléments (preuves) provenant de plusieurs sources. se baser sur une unique source (un document) ne suffit pas. la plupart des jeux de données qa traditionnels se concentrent sur des documents uniques ou effectuent un raisonnement multi-hop @xcite @xcite . bien que les tâches qa multi-hop précédentes nécessitent plusieurs documents, elles se basent sur un raisonnement qui suit des chaînes logiques ou déductives. in fine, la réponse finale à la question se trouve dans un seul document @xcite . or, il arrive souvent que la réponse soit dispersée à travers des articles car elle concerne des méthodologies partagées ou contrastées, ou même des concepts qui se chevauchent mais ne sont pas identiques. les jeux de données qa existants pour la littérature scientifique capturent rarement ces relations inter-documents ou ne proposent pas des questions-réponses nécessitant la consultation de plusieurs documents @xcite . par conséquent, nous pensons qu'il existe une opportunité de créer des nouvelles qa plus complexes qui concernent plusieurs documents. pour combler cette lacune dans la littérature, nous proposons un cadre pour construire un jeu de données qa spécialisé nécessitant la référence à plusieurs documents. l'idée clé est de générer des paires qa à travers de petits groupes d'articles qui sont sémantiquement liés (par ex. via des liens de citation), tout en garantissant que chaque élément qa implique plusieurs sources. plus précisément, nous proposons d'exploiter la détection de communautés sur les graphes de citations pour identifier des groupes d'articles, puis d'utiliser un grand modèle de langage (llm) pour générer des paires questions-réponses nécessitant des informations provenant de plusieurs articles. nous utilisons un jeu de données en libre accès spiqa @xcite , que nous enrichissons avec des informations de structure (ici, les liens de citation), pour générer des paires qa et nous menons des expériences préliminaires sur ces qa. bien que le travail soit en cours, les expériences préliminaires démontrent qu'un tel cadre peut produire des paires qa multi-document difficiles, allant au-delà du périmètre des tâches typiques nécessitant un seul document, même dans un cadre multi-hop. dans ce papier, nos contributions se présentent comme suit : ## expériences préliminaires dans cette section, nous utilisons le cadre décrit précédemment pour construire un petit jeu de données de questions-réponses multi-documents et réaliser des expériences préliminaires. ces expériences nous aident à vérifier la faisabilité et les limitations de la méthode proposée dans un environnement de littérature scientifique réel, fournissant une référence pour la construction de jeux de données de plus grande échelle et l'optimisation des algorithmes à venir. ## conclusion ce travail présente un effort continu pour construire des paires question-réponse qui nécessitent véritablement des preuves provenant de plusieurs publications scientifiques. nous nous concentrons sur un cadre flexible qui regroupe des articles connexes, génère automatiquement des questions multidocuments et applique un filtrage de qualité pour éliminer les éléments triviaux nécessitant un seul document. notre jeu de données préliminaire montre la viabilité de cette approche et les limites de la méthode de récupération basée uniquement sur la sémantique. à l'avenir, nous prévoyons d'élargir la génération de données pour encourager le développement de systèmes qa multi-documents reflétant mieux la complexité de la littérature scientifique.