Générer pour mieux tester : vers des datasets diversifiés pour une évaluation fiable des systèmes de Question Answering (2025)

Abstract: L’évaluation des modèles d’IA générative repose sur des datasets contenant des valeurs de référence attendues pour une entrée donnée. Cependant, la constitution de ces jeux de données est un processus complexe et coûteux. Cet article explore la génération automatique de datasets de questions diversifiées pour tester notamment les systèmes de RAG (Retrieval Augmented Generation). Nous proposons un cadre méthodologique combinant modèles de langage à grande échelle (LLMs) et techniques traditionnelles de traitement du langage naturel (NLP) et de data science, incluant les graphes de connaissances, la similarité sémantique voire le topic modeling. L’approche proposée repose sur un système modulaire exploitant diverses sources documentaires et intégrant des mécanismes avancés de filtrage afin de garantir la qualité et la diversité des questions produites.

## diversifier la façon de poser les questions la diversité des questions est un enjeu central pour la qualité des jeux de données en qa, mais elle est souvent sous-estimée. assurer une réelle diversité ne se limite pas à une simple génération aléatoire de questions ; elle nécessite une approche théorique rigoureuse et une implémentation réfléchie à chaque étape du processus, depuis la sélection des sources documentaires à la génération des questions, en passant par le filtrage des sorties produites. ## construire un générateur de dataset la génération de questions à partir d'une base documentaire est la tâche complémentaire à celle de question answering. il est donc naturel que les techniques utilisées pour les deux tâches évoluent conjointement @xcite . on doit concevoir la génération de datasets comme un véritable problème d'ingénierie logicielle, et non uniquement comme une tâche relevant de l'ia ou du tal. en l'envisageant comme un pipeline modulaire, composé d'étapes claires (extraction, transformation, génération, filtrage, validation), on peut mieux en contrôler la robustesse, l'évolutivité et la traçabilité, tout en assurant la reproductibilité et la diversité des questions produites. ## proposition de pipeline de génération de question la génération de dataset de questions ne saurait donc se réduire à une simple tâche de prompt engineering mais nécessite le développement d'un pipeline complet prenant en compte la sélection d'information, des mécanismes complexes de génération de la question et une phase de tri du produit final. nous avons conçu un système permettant de produire un nombre défini de questions à partir d'une base documentaire. nous assurons la diversité en variant les méthodes de génération selon la structure des documents, et l'architecture, indépendante du type de base de données, repose sur des connecteurs.