Détection des contaminations de LLM par extraction de données : une revue de littérature pratique (2025)

Abstract: Cet état de l’art examine le problème de la contamination des données d’entraînement dans les grands modèles de langue (LLM). Ce phénomène se produit lorsque les modèles sont évalués sur des données qu’ils ont déjà rencontrées durant leur entraînement, créant une fausse impression de performance. Cette étude propose une synthèse pratique pour la communauté scientifique du traitement automatique des langues (TAL). Nous présentons un cadre d’analyse qui distingue différents niveaux de contamination ainsi que différentes méthodes classées selon l’accès au modèle (White/Gray/BlackBox) et les techniques utilisées (Similarité/Probabilité/Extraction). Nous explorons particulièrement les méthodes d’extraction de données de LLM, les approches techniques, les mesures de performance et leurs limites. Dans une perspective pratique, nous avons synthétisé ces méthodes sous la forme d’un arbre de décision pour sélectionner la méthode de détection de contamination adéquate.

## introduction les grands modèles de langue (llm) ont profondément transformé le traitement automatique des langues en offrant des performances exceptionnelles pour la génération de texte, la traduction, les tâches de question-réponse, etc. @xcite @xcite @xcite . toutefois, leur évaluation est souvent remise en question par un phénomène critique : la contamination des données d'entraînement. ce terme désigne l'inclusion partielle ou totale d'exemples issus des ensembles de test dans les données d'apprentissage, ce qui conduit à une mémorisation de réponses @xcite . une telle mémorisation compromet la fiabilité des résultats d'évaluation, car ils peuvent refléter la capacité d'un modèle à se souvenir, plutôt que sa capacité à généraliser à de nouvelles données inédites. par conséquent, traiter la contamination des données est crucial pour garantir que les évaluations des llm représentent avec précision leurs véritables capacités, une exigence fondamentale pour faire progresser la recherche et le déploiement de l'ia. l'objectif principal de cet article est de proposer une revue de littérature pratique, destinée aux praticiens travaillant avec les llm. il s'agit de fournir un cadre clair permettant de mieux comprendre et d'identifier les méthodes de détection de la contamination des données d'entraînement. cela permettra aux utilisateurs de vérifier si leurs propres données ont été intégrées dans les corpus d'entraînement des llm, condition indispensable pour garantir des évaluations fiables et prévenir les risques liés à la divulgation involontaire d'informations sensibles. afin de faciliter l'adoption des méthodes et techniques présentées, un répertoire git dédié 1 est mis à disposition de la communauté avec des implémentations prêtes à l'emploi. cette revue de littérature est structurée comme suit : dans la section 2, nous présentons une taxonomie des formes de contamination des données qui se fonde sur les travaux @xcite et @xcite . la section 3 explore les approches de détection de la contamination, classées selon le niveau d'accès au modèle (white/gray/black-box) et les techniques utilisées (similarité, probabilités, génération), tout en soulignant leurs hypothèses et limites. la section 4 détaille les méthodes d'extraction de données d'entraînement, en différenciant les attaques par amorçage (prompting) et par inversion, suivies d'une présentation des métriques d'évaluation et des jeux de données associés. la section 5 traite des limites des méthodes d'extraction, notamment le caractère partiel des extractions, l'influence de la taille des modèles dans ces méthodes, et les coûts computationnels. enfin la section 6 propose des recommandations pratiques sous forme d'un arbre de décision pour guider le choix des méthodes de détection en fonction des contraintes d'accès aux données et au modèle. nous utilisons de manière équivalente le terme général extraction de données pour désigner toute technique permettant de générer avec un llm les données d'entraînement ou méta-données d'entraînement. parmi les méthodes d'extraction, nous distinguons clairement la reconstruction (ou génération) qui est l'extraction de verbatim, généralement par amorçage, et l'inversion qui cherche à retrouver l'entrée originale (amorce ou plongement vectoriel) à partir de sorties du modèle. ces deux catégorisations se recoupent : les méthodes de similarité s'appliquent généralement dans un contexte white-box, les méthodes d'analyse de probabilités correspondent aux approches gray-box, tandis que les méthodes de mémorisation peuvent s'utiliser plutôt dans un contexte black-box. cette double classification permet d'orienter le choix de la méthode de détection selon les contraintes d'accès au modèle et les contraintes techniques comme le temps de calcul, le besoin de modèle de référence, etc. les différentes méthodes reposent sur des hypothèses et pré-requis décrits par @xcite et présentés en section 6. la majorités des travaux se concentre sur la détection de la contamination au niveau de l'exemple et définissent une contamination au niveau du jeu de données complet si suffisamment d'exemples individuels contaminent les données d'entraînements. @xcite @xcite @xcite les méthodes de détection au niveau de l'exemple sont aussi appelées attaques d'inférence d'appartenance (membership inference attacks, mia). @xcite soutiennent que les mia souffrent de limitations fondamentales. ces attaques reposent sur le test de l'hypothèse nulle (c'est-à-dire l'hypothèse selon laquelle le modèle n'a pas été entraîné sur les données de test). or, il est souvent pratiquement impossible de tester cette hypothèse de manière rigoureuse : nous ne disposons souvent pas des données d'entraînement et nous ne pouvons souvent pas ré-entraîner les modèles. ainsi, il est impossible d'observer un llm avec et sans les données contaminées, donc d'estimer de manière fiable la probabilité d'appartenance aux données d'entraînement. de plus, les approches d'estimation a posteriori (avec des données créées après l'entraînement du modèle) souffrent de décalage de distribution (distribution shift). cette difficulté d'estimation entraîne un taux de faux positif (tfp) élevé et remet nécessairement en question la validité des conclusions obtenues par ces approches. de plus, les auteurs notent que ces attaques ne fonctionnent bien que dans un cadre contrôlé et non dans les environnements du monde réel où le prétraitement des données, la régularisation du modèle ou la diversité des corpus d'entraînement peuvent masquer les signaux d'appartenance, donc augmenter le tfp, affaiblissant davantage l'efficacité des méthodes mia. ces conclusions sont soutenus par les travaux de duan et al. (2024a); maini et al. (2024a); fu et al. (2024) qui montrent empiriquement que les méthodes mia par analyse des probabilités ne font pas mieux qu'une estimation aléatoire. zhang et al. (2024c) proposent plusieurs alternatives pour détecter la contamination des données, notamment l'injection de leurres aléatoires (random canaries), les attaques par extraction de données (data extraction attacks) et le filigranage des données d'entraînement (watermarking). ## approches par extraction de données d'entraînement dans cette section, nous abordons les méthodes par extraction de données d'entraînement. nous utilisons de façon équivalente les termes méthodes et attaques. nous définissons l'objectif de ces méthodes puis nous détaillons les deux types attaques existantes, attaques par amorçage (prompting) et attaques par inversion. enfin nous présentons les métriques d'évaluation de ces méthodes ainsi que les jeux de données utilisés pour comparer ses méthodes. ## limites des méthodes d'extraction malgré la diversité et la sophistication des approches d'extraction de données, celles-ci se heurtent à d'importantes limitations techniques. nous discutons ici des principaux défis et obstacles qui limitent l'efficacité de ces attaques, en nous focalisant sur les difficultés liées à la recherche d'amorces optimales, la confusion entre généralisation et mémorisation, et enfin le manque de normalisation/standardisation des hyper-paramètres des méthodes qui gêne sur la mise en oeuvre de ces attaques. difficultés liées à la recherche d'amorces optimales l'extraction est dépendante du contexte, c'est à dire que même lorsque le modèle a mémorisé un contenu, encore faut-il que l'attaquant trouve le préfixe adéquat pour déclencher la génération du contenu mémorisé. par exemple, @xcite remarquent qu'en fournissant l'amorce "3.14159" le décodage glouton génère 25 décimales de pi correctes contre 500 pour le décodage beam search. en revanche avec l'amorce (plus descriptive) "pi is 3.14159", le décodage glouton produit les 799 premiers chiffres de π corrects. qui plus est en fournissant le contexte "e commence par 2.7182818, pi commence par 3.14159", gpt-2 complète par décodage glouton les 824 premiers chiffres de π. cet exemple montre l'importance du contexte : avec la bonne amorce, il est possible d'extraire plusieurs ordres de grandeur de données de plus qu'avec une amorce légèrement sous-optimale. confusion entre généralisation et mémorisation les données extraites ont tendance à être des textes mémorisés par le modèle car apparaissant plusieurs fois dans le jeu de données @xcite . pour les tâches de génération, les approches par extraction sont directement interprétables : un exemple généré est un signe de mémorisation. en revanche pour les tâches d'annotations (classification, reconnaissance d'entités, etc.) les méthodes par extraction sont plus difficilement interprétables, si le modèle génère le bon label associé à l'exemple à annoter, on peut conclure à une généralisation de la tâche d'annotation et non une contamination des données d'entraînement. manque de normalisation/standardisation des hyper-paramètres des méthodes comme le remarquent @xcite , certains articles ne mentionnent pas les valeurs d'hyper-paramètres de leurs méthodes, comme les seuils utilisés pour déterminer la présence de contamination. par exemple dans @xcite , les auteurs ne donnent pas de seuil car ils se place dans un cadre où ils possèdent la vérité terrain et donc utilisent l'auc mais dans les scénarii réels, il est impossible de détecter la contamination sans seuil. ## recommandations (arbre de décision selon le cas) pour sélectionner la méthode de détection de contamination dans les llm qui convient à un praticien, plusieurs considérations pratiques doivent être prises en compte. le choix dépend principalement de l'accès aux données d'entraînement et du niveau d'accès au modèle. cette section propose des recommandations concrètes pour guider les praticiens, en s'appuyant sur un arbre de décision illustré dans la figure 1 , qui structure les options selon ces critères. ## conclusion cet article propose une synthèse pratique sur la détection de la contamination des données d'entraînement dans les llm, en explorant la taxonomie des formes de contamination, les approches de détection (classées par niveau d'accès et techniques), et les méthodes d'extraction de données. il met en lumière un problème critique : la contamination fausse les évaluations des llm en privilégiant la mémorisation au détriment de la généralisation, tout en posant des risques pour la confidentialité des données. les méthodes d'extraction, notamment par amorçage et inversion, se révèlent prometteuses par rapport aux attaques traditionnelles d'inférence d'appartenance, bien qu'elles soient limitées par des taux d'extraction partiels, une dépendance au contexte, et des coûts computationnels élevés.