Explicabilité par Perturbations pour les Systèmes RAG (2025)

Abstract: Les systèmes de Génération Augmentée par Récupération (RAG) ont pour objectif d’améliorer les Grands Modèles de Langage (LLM) en intégrant des informations provenant de sources externes pour générer des réponses, mais leur manque de transparence en terme d’explicabilité soulève des préoccupations, particulièrement dans des domaines tels que la santé, la finance ou le droit. Les méthodes par perturbations fournissent une explicabilité post-hoc, avec des RAG considérés comme des boîtes noires, en modifiant systématiquement les entrées ou documents récupérés pour évaluer la stabilité des réponses et l’attribution des sources. Ce document présente un aperçu de l’explicabilité des systèmes RAG, en se concentrant sur les approches basées sur des exemples et des perturbations. Nous proposons une taxonomie des techniques de perturbation à différents niveaux de granularité, montrant comment elles offrent des indicateurs interprétables sur le comportement des modèles

## introduction les systèmes de génération augmentée par récupération (rag) @xcite améliorent les grands modèles de langage (llm) en intégrant une récupération de connaissances externe, effectuée par un système de recherche d'information, réduisant ainsi les hallucinations et améliorant la précision des réponses. cependant, la force même des systèmes rag -leur capacité à synthétiser des informations provenant de multiples sources -amène de nouveaux défis en matière de transparence et d'interprétabilité. la complexité de ces systèmes, comme celle de nombreux autres modèles d'ia, rend souvent leurs processus décisionnels opaques, ce qui soulève des inquiétudes quant à leur fiabilité -particulièrement dans des domaines sensibles tels que la santé, la finance ou le droit @xcite . pour répondre à ce problème, les méthodes d'ia explicable (xai) se sont imposées comme des outils pertinents pour auditer les systèmes rag. ces approches visent à produire des explications compréhensibles par les humains, sous forme de langage naturel ou d'autres formats interprétables. elles sont donc étroitement liée à la perspective utilisateur. les humains utilisent des exemples pour comprendre, expliquer et démontrer leurs arguments, et les explications basées sur des exemples sont considérées comme l'une des méthodes d'explication les plus simples à comprendre @xcite . dans ce survol, nous discutons de l'explicabilité des systèmes rag à travers des explications basées sur des exemples, en particulier les perturbations comme outil pour les systèmes rag, qui offre un moyen de vérifier la robustesse et l'interprétabilité des rag en modifiant systématiquement les entrées afin d'observer le comportement du modèle. ## taxonomie des approches explicatives le domaine de l'ia explicable (xai) propose diverses taxonomies pour l'interprétabilité des modèles, comme le décrivent les publications récentes @xcite . on distingue notamment les explications locales des explications globales, les premières clarifiant des prédictions individuelles tandis que les secondes décrivent le comportement global du modèle. une autre classification importante oppose les méthodes post-hoc, appliquées après l'entraînement du modèle, aux approches intrinsèques expliquant soit le processus d'apprentissage soit le modèle appris, ainsi qu'aux méthodes explicables par conception comme les arbres de décision @xcite , intrinsèquement interprétables par construction. les formats d'explication varient également considérablement, allant des attributions de caractéristiques et des justifications en langage naturel (tekkesinoglu & kunze, 2024) aux exemples adversariaux et modèles substitutifs. dans le domaine de la recherche d'information (ri), les techniques d'explicabilité adoptent souvent des stratégies post-hoc @xcite , telles que l'attribution de caractéristiques ou des explications en texte libre, qui mettent en évidence des termes clés ou bien génèrent des justifications succinctes pour les résultats retrouvés. les perturbations, un sous-ensemble des méthodes post-hoc, sont particulièrement utiles pour les systèmes rag. en introduisant des modifications délibérées et minimales aux entrées -comme des substitutions de synonymes ou des erreurs typographiques -ces techniques révèlent les vulnérabilités du modèle et fournissent des explications contrastives. par exemple, les exemples adversariaux démontrent comment de légères modifications des entrées peuvent altérer les prédictions @xcite , exposant ainsi les frontières décisionnelles du modèle et favorisant une compréhension plus approfondie de son comportement. ## explicabilité par perturbations des ri et rag les explications par l'exemple englobent plusieurs formats, notamment : les exemples similaires (factuels), les contrefactuels, les semi-factuels, les instances influentes, les prototypes et les visualisa- cibles méthodes types définitions granularité exemples document sous-ensemble suppression identification d'un sous-ensemble minimal de contenu dont la suppression dégrade le classement au-delà du rang k. universel suppression de phrases : classement (rorseth et al., 2023), qa (sudhi et al., 2024) combinaison analyse de l'influence des combinaisons de sous-ensembles via échantillonnage aléatoire. universel qa ouvert (rorseth et al., 2024) permutation réordonnancement modification de l'ordre des sources pour contrer le biais de position. universel qa ouvert (rorseth et al., 2024) réorganisation modification de l'ordre des mots dans chaque source. mots qa (sudhi et al., 2024) remplacement phrase/passage remplacement ciblé de phrases ou passages. phrases/passages classement (goren et al., 2020) entités remplacement des noms et noms propres par des termes aléatoires. mots qa (sudhi et al., 2024) antonymes substitution par des termes de sens opposé. mots qa (sudhi et al., 2024) synonymes remplacement sémantiquement neutre. mots qa (sudhi et al., 2024), classement (wu et al., 2023) bruit injection insertion de termes aléatoires dans les sources. mots qa (sudhi et al., 2024), classement (raval & verma, 2020) requête modification préfixe insertion de préfixes pour dévier les réponses. universel qa (hu et al., 2024) termes augmentation minimale de la requête. universel classement (rorseth et al., 2023) dans la recherche d'information (ri), les perturbations adversariales ont fait l'objet d'études approfondies pour évaluer la robustesse des modèles. des recherches démontrent que des modifications minimes de tokens (1 à 3 altérations) peuvent générer des documents sémantiquement similaires trompant les algorithmes de classement et altérant les scores de documents @xcite . les techniques de perturbations adversariales exploitent souvent l'optimisation par gradient pour modifier stratégiquement des tokens dans des documents pertinents ou non pertinents, induisant ainsi des fluctuations dans le classement @xcite . au-delà des perturbations au niveau documentaire, les perturbations de prompts (comme les injections de préfixes) ont été explorées pour manipuler les sorties rag. la technique gradient guided prompt perturbation (ggpp), par exemple, optimise de courts préfixes pour orienter les llm vers des réponses incorrectes ciblées, révélant ainsi des vulnérabilités liées à la dépendance aux prompts dans les systèmes rag @xcite . ces perturbations sont systématiquement catégorisées dans le tableau 1, selon : on constate à la vue de l'état de l'art que, de nombreuses études sur les perturbations dans les systèmes rag restent préliminaires. par exemple, la stratégie leave-one-token-out -évaluée sur seulement 100 paires de questions-réponses en anglais et allemand -représente l'une des rares approches validées pour des explications approximatives dans les systèmes rag @xcite . d'autres démonstrations, comme celles présentées dans @xcite , bien qu'illustrant des explications obtenues par différentes méthodes de perturbation, n'ont pas fait l'objet d'évaluation ou de validation rigoureuse, soulignant le besoin de cadres de validation évolutifs. les perturbations peuvent être catégorisées selon deux types : ## défis et perspectives l'utilisation de techniques de perturbation présente certaines limites. ces perturbations artificielles peuvent ne pas refléter fidèlement le bruit présent dans des conditions réelles d'utilisation. de plus, leur application s'avère souvent coûteuse en calcul, nécessitant l'exécution de multiples expérimentations perturbées pour obtenir des résultats significatifs comme dans @xcite . afin d'avancer vers davantage de réalisme dans ces approches à base de perturbations, les directions de recherche ci-dessous sont des directions possibles d'exploration : -des approches hybrides combinant méthodes par perturbation avec des techniques d'explicabilité intrinsèque, comme les architectures auto-explicatives, par exemple self-rag (asai et al., 2024). -le développement de collections de test standardisés pour évaluer de manière cohérente les explications basées sur les perturbations. -développement d'outils légers et extensibles pour l'intégration aux frameworks rag existants, visant à réduire l'empreinte computationnelle des méthodes par perturbations et à en démocratiser l'usage. ces avancées permettraient d'améliorer à la fois la robustesse et l'adoption des méthodes d'explication pour les systèmes rag, tout en réduisant leur coût computationnel. une attention particulière devrait être portée sur le développement de perturbations représentatives des conditions réelles d'utilisation. wu c., zhang r., guo j., de rijke m., fan y. & cheng x. (2023). prada : practical black-box adversarial attacks against neural ranking models. acm trans. inf. syst., 41(4). doi : 10.1145/3576923. zhou y., boussard m. & delaborde a. (2021). towards an xai-assisted third-party evaluation of ai systems : illustration on decision trees. in d. calvaresi, a. najjar, m. winikoff & k. främling, éds., explainable and transparent ai and multi-agent systems, p. 158-172, cham : springer international publishing.