SEBRAG : Vers l’Utilisation des LLM pour une Tâche de Questions-Réponses Extractive (2025)

Abstract: L’émergence des grands modèles de langage (LLM) a révolutionné le domaine des questions-réponses (QR). Cependant, leur tendance à halluciner représente un défi majeur en recherche d’information (RI), notamment en domaines critiques comme la maintenance aéronautique. Pour répondre à cette problématique, cet article explore la capacité des LLM pour des tâches de QR extractives, à l’instar des modèles encodeurs. Ainsi, nous proposons une approche de génération augmentée par recherche d’information (RAG) utilisant un outil d’extraction de chaînes de caractères, permettant au LLM d’extraire une réponse plutôt que de la générer. Les expériences réalisées sur un jeu de données de maintenance aéronautique révèlent que cette approche permet de mieux contrôler l’hallucination par rapport aux méthodes RAG traditionnelles, tout en gardant une précision comparable aux modèles encodeurs extractifs. Cette approche montre son potentiel pour des applications hautement techniques où la précision et la fiabilité sont primordiales.

## introduction dans cet article, nous traitons une problématique de la mise en place d'un système de questionsréponses (qr) pour rendre plus efficace l'exécution des tâches de maintenance aéronautique. dans ce domaine, la précision des systèmes de qr est cruciale. en effet, les opérateurs de maintenance s'appuient sur de nombreux manuels certifiés afin de garantir la sécurité et l'efficacité des opérations réalisées. par conséquent, les systèmes de qr utilisés pour accéder à ce type de collections doivent éviter toute génération d'informations inexactes et privilégier l'extraction d'information provenant de documentations ayant été certifiées. l'émergence des grands modèles de langage (llm) a révolutionné les systèmes de qr, dans lesquels ces modèles sont devenus des composants clés des technologies actuelles. ainsi, dans l'objectif de construire un système de qr appliqué à la maintenance aéronautique, nous avons choisi d'adapter une approche basée sur les llm. cependant, une limitation majeure de ces modèles est leur tendance à générer du contenu apparemment crédible, mais sans fondement @xcite , un phénomène connu sous le nom d'hallucination @xcite . ce comportement peut avoir de graves conséquences dans des domaines critiques 1 tels que la maintenance aéronautique. dans ce dernier, chaque document est certifié pour garantir la sécurité des opérations et se conformer aux réglementations des autorités compétentes, rendant ainsi l'hallucination des modèles intolérable. afin d'atténuer ce problème, des approches ont été proposées, notamment la génération augmentée par recherche d'information (rag, pour retrieval augmented generation) @xcite qui s'est avérée prometteuse pour réduire les risques d'hallucination @xcite . néanmoins, ces méthodes rag ne pallient que partiellement ce phénomène, en particulier en raison des limites intrinsèques des capacités de génération des llm qui ne permettent pas d'éliminer les risques d'hallucination. ce risque résiduel est considéré comme inacceptable dans les domaines critiques soumis à de nombreuses normes. notamment, la sécurité des opérations aéronautiques repose sur la certification des manuels de maintenance aéronautique (amm, pour aircraft maintenance manual), documents de référence utilisés dans le système qr en cours de développement. par conséquent, pour garantir l'absence d'erreurs potentiellement fatales, il est impératif que toute réponse fournie par le système soit extraite directement et exclusivement de ces amm. pour pallier les limites des méthodes rag traditionnelles, nous proposons sebrag (substring extraction-based rag), une nouvelle approche combinant un llm avec un outil d'extraction de chaînes de caractères dans un pipeline rag. cette méthode est inspirée par les approches proposant des llm outillés telles que toolformer @xcite . cependant, sebrag diffère par son objectif et son implémentation. alors que toolformer vise à améliorer les capacités des llm en entraînant les modèles à faire appel à diverses api, sebrag utilise un unique outil d'extraction de chaînes de caractères, avec pour objectif principal de forcer l'extraction de segments de texte plutôt que de générer des réponses susceptibles de contenir des inexactitudes. de plus, sebrag n'implique pas de réentraînement pour apprendre à utiliser l'outil. l'outil d'extraction, dans notre cas, est une fonction prédéfinie dont l'utilisation par le llm est induite par le prompt. cette approche vise ainsi à minimiser les hallucinations en s'appuyant exclusivement sur les informations présentes dans les documents sources. nous avons évalué sebrag à l'aide d'un jeu de données spécifiquement créé pour une tâche de qr 1. un domaine critique est un secteur d'activité où chaque erreur, défaillance ou mauvaise décision peut avoir des conséquences graves, voire irréversibles, sur la sécurité des personnes, l'intégrité des systèmes ou la continuité des opérations. et composé de 100 requêtes techniques basées sur un véritable amm foot_0 . les résultats expérimentaux montrent que sebrag réduit le risque d'hallucination par rapport aux méthodes rag traditionnelles et obtient des performances comparables à celles des modèles encodeurs extractifs. dans cet article, nos contributions sont les suivantes : ## état de l'art les récentes avancées dans les tâches de questions-réponses ont conduit à l'adoption généralisée des approches rag. ces méthodes peuvent être classées en trois catégories : naïves, avancées ou modulaires @xcite . les rag naïfs suivent un pipeline traditionnel qui comprend l'indexation des documents, la recherche de contextes pertinents et la génération de réponses @xcite . cependant, ces méthodes présentent plusieurs inconvénients, en particulier leur tendance à halluciner en générant des informations non présentes dans les contextes extraits @xcite . pour pallier cette limitation, des variantes plus sophistiquées des approches rag ont été développées. ainsi, les rag avancés intègrent des optimisations telles que des techniques de pré-recherche et post-recherche d'information, tandis que les rag modulaires s'appuient sur ces améliorations et introduisent des modules spécialisés pour optimiser le pipeline rag @xcite . en pratique, ces approches rag améliorées intègrent diverses techniques, telles que les graphes de connaissances (gc) @xcite @xcite , la recherche d'information multi-tours @xcite ou encore la compression des entrées des llm et l'amélioration de la traçabilité des informations générées @xcite . bien que ces méthodes offrent une meilleure maîtrise de l'hallucination que les llm classiques grâce à leur recherche d'informations contextuelles @xcite , elles restent susceptibles de générer de l'hallucination. aucune méthode existante ne parvient à supprimer tout risque d'hallucination @xcite , ainsi, la réduction de ce phénomène dans les domaines techniques demeure un défi important, en particulier lorsque les données d'entraînement des modèles de langage ne contiennent pas le vocabulaire spécialisé du secteur d'activité @xcite . toutefois, les approches rag et leurs variantes restent couramment employées pour améliorer le contrôle des risques d'hallucination @xcite . par conséquent, de nombreuses recherches récentes se penchent sur l'optimisation des méthodes rag afin de résoudre cette problématique en domaine spécifique. notamment, sharma et al. (2024) proposent d'affiner les llm et d'augmenter les requêtes, tandis que elaraby et al. (2023) présentent une approche professeur-élève, permettant d'entraîner des modèles plus petits sur des connaissances spécifiques. en outre, une méthode prometteuse pour améliorer l'extraction des réponses, et ainsi réduire les risques d'hallucination, consiste à utiliser des outils externes en combinaison avec les llm. le modèle toolformer (schick et al., 2023) montre comment les llm peuvent décider, de manière autonome, de faire appel à des outils externes afin d'améliorer leur précision. cette utilisation d'outils externes par les llm est un domaine de recherche en pleine expansion, visant à étendre les capacités de ces modèles en améliorant par exemple leur acquisition des connaissances, leur expertise, leur efficacité et leur adaptabilité, tout en renforçant la robustesse des réponses et la transparence du processus de génération (qu et al., 2025). ainsi, shen et al. (2023) proposent hugginggpt, un système utilisant un llm comme orchestrateur dont le rôle est de sélectionner le modèle expert à utiliser pour accomplir des tâches complexes. ces modèles experts sont considérés comme des outils auxquels le llm principal doit faire appel. un défi majeur de l'utilisation de ces outils est de pouvoir en utiliser plusieurs de manière séquentielle, menant à des approches telles que toolchain* (zhuang et al., 2023) qui représente l'espace des actions possibles sous la forme d'un arbre décisionnel et utilise des algorithmes de recherche pour optimiser le processus de décision du llm lors de l'utilisation d'outils. dans ce contexte, notre approche sebrag ne vise pas une utilisation d'un large éventail d'outils, mais se concentre sur l'intégration d'un outil bien précis d'extraction de chaînes de caractères dans un pipeline rag. l'objectif principal est d'adresser la problématique des risques d'hallucination et d'améliorer la factualité des réponses dans les domaines critiques, en contraignant le llm à extraire une réponse plutôt qu'à la générer librement. des études récentes proposent des systèmes basés sur diverses approches pour des tâches de qr dans des domaines liés à l'aéronautique. par exemple, agarwal et al. (2022) démontrent l'efficacité de l'utilisation conjointe d'un graphe de connaissance avec un modèle basé sur bert (devlin, 2018) pour extraire des segments de texte pertinents de documents relatifs à la sécurité aérienne. cette méthode extractive correspond parfaitement aux défis posés par l'utilisation de systèmes de qr pour de la documentation certifiée. ainsi, l'extraction directe des réponses dans les documents plutôt que leur génération contribue à réduire les risques d'hallucination dans ces systèmes. bien que cette approche améliore les performances de leur approche de référence, elle est surpassée par gpt-3 (brown et al., 2020) en termes de rappel et de précision. par ailleurs, li et al. (2022) proposent une méthode basée sur des ontologies. cette dernière s'appuie sur de la reconnaissance d'entités nommées et de l'extraction de relations entre entités, pour améliorer un système de qr destiné à la maintenance des commandes de vol, accélérant ainsi l'exécution des tâches associées. les recherches présentées dans cet article se concentrent sur le domaine de la maintenance aéronautique, un secteur technique dans lequel les systèmes de questions-réponses ont été explorés depuis des décennies @xcite . dans ce contexte, nous présentons une méthode rag avancée et extractive, inspirée de toolformer (schick et al., 2023), permettant aux llm d'utiliser un outil d'extraction de segments de texte pour mieux contrôler l'hallucination dans les systèmes rag. 3 questions-réponses avec un rag basé sur l'extraction de chaînes de caractères notre approche rag basée sur l'extraction de chaînes de caractères (sebrag) s'appuie sur une méthode rag traditionnelle dans laquelle un llm a accès à un outil d'extraction de chaînes de caractères. ainsi, au lieu de générer une réponse directe à la requête de l'utilisateur, l'objectif du modèle de langage est de déterminer et de générer les valeurs des paramètres de l'outil. l'appel à la fonction de l'outil, avec les arguments générés, correspond à la portion de texte que le llm souhaite extraire pour répondre à la requête. nous définissons la fonction d'extraction de chaînes de caractères de l'outil, substring, que le llm devra utiliser, comme suit : substring(id document , pos premier mot , pos dernier mot ) où id document est l'identifiant du document du contexte de la méthode rag, et pos premier mot et pos dernier mot sont les limites de la portion de texte à extraire, correspondant respectivement à la position du premier et du dernier mot de la chaîne de caractères. l'identifiant d'un mot est défini par son index après une tokenisation sur les espaces et la ponctuation, comme illustré ci-dessous. pour implémenter l'appel de fonction de l'outil, nous utilisons la bibliothèque hugging face foot_1 , qui permet de demander au llm d'utiliser une fonction prédéfinie comme sortie, dans le format standardisé suivant : { "name": nom de la fonction, "parameters": dictionnaire des arguments et leur valeur associée } par exemple, pour la requête « what is this aircraft used for ? » et le document du contexte suivant : { "doc1": { "content": "the aircraft wt9 dynamic lsa / club is a single engine, two seat (arranged side by side), cantilever low wing aircraft with a cruciform tail. [...] the aircraft is intended for sporting, recreation and tourist flying and is approved for vfr day operation only.", "numbering": { 1: "the", 2: "aircraft", ..., 149: "sporting,", 150: "recreation", 151: "and", 152: "tourist", 153: "flying", ..., 161: "only." } } } la réponse attendue du llm serait : { "name": "substring", "parameters": { "id document ": "doc1", "pos premier mot ": 149, "pos dernier mot ": 153 } } cette sortie correspond au texte extrait « sporting, recreation and tourist flying » après l'exécution de la fonction d'extraction de chaîne de caractères. pour inciter le llm à générer cet appel de fonction avec les paramètres adéquats, nous fournissons dans le prompt du llm : une description de la tâche, une présentation de l'outil substring et sa signature, des exemples d'utilisation de cette fonction et l'instruction au modèle de formuler sa réponse sous la forme d'un appel à cet outil. la figure 1 illustre un rag classique, qui servira de référence pour l'évaluation, ainsi que l'architecture de nos approches proposées, sebrag et e-sebrag :