Évaluation de la Robustesse des LLM : Proposition d’un Cadre Méthodologique et Développement d’un Benchmark (2025)

Abstract: L’évaluation fiable des grands modèles de langage (LLM) demeure un défi. Nous présentons un framework systématique, basé sur des tests de robustesse et une évaluation hybride. Il génère des variantes de benchmarks pour tester la stabilité des LLM. Les réponses sont évaluées par une double approche automatique (LLM-as-a-judge et une évaluation quantitative). Comme contexte applicatif pour ce type d’évaluation, nous présentons la création et l’annotation d’un benchmark pour l’extraction d’information à partir d’appels d’offres. Un mécanisme de détection compare ensuite les évaluations automatiques ; les désaccords importants déclenchent une expertise humaine ciblée. En agrégeant les scores automatiques cohérents et les jugements humains, notre approche vise à fournir une mesure de performance et de robustesse plus fiable. Ce processus quantifie également le taux de désaccord entre méthodes automatiques, offrant le potentiel pour une comparaison plus transparente et équitable des LLM.

## introduction les grands modèles de langage (llm) ont connu une progression fulgurante, démontrant des capacités impressionnantes dans une multitude de tâches liées au traitement du langage naturel @xcite . de gpt (openai, 2023) à llama @xcite en passant par claude @xcite et gemini @xcite , ces modèles sont de plus en plus intégrés dans des applications critiques et des processus décisionnels. cependant, cette adoption rapide soulève une question cruciale : comment évaluer de manière fiable et pertinente leurs performances réelles ? les méthodes d'évaluation actuelles reposent souvent sur des benchmarks statiques @xcite qui ne capturent qu'une fraction des défis rencontrés en pratique. elles peinent notamment à évaluer la robustesse des modèles face à de légères variations dans les instructions (prompts) ou à la présence de bruit @xcite , caractéristiques pourtant fréquentes dans les interactions réelles. de plus, l'émergence de l'évaluation par llm (llm-as-a-judge) @xcite offre une alternative prometteuse mais soulève des questions de biais @xcite et de fiabilité @xcite , tandis que les métriques automatiques traditionnelles (bleu @xcite , rouge @xcite , etc.) ne corrèlent pas toujours parfaitement avec le jugement humain @xcite . pour répondre à ces limitations, nous proposons dans cet article un framework d'évaluation systématique des llm, conçu pour intégrer nativement les tests de robustesse et une validation croisée des méthodes d'évaluation. notre approche, illustrée schématiquement en figure 1 , repose sur trois piliers : (1) la génération de multiples variantes d'un benchmark de référence pour simuler des scénarios réalistes et tester la robustesse ; (2) une double évaluation automatique combinant la flexibilité d'un llm-juge et la rigueur de métriques quantitatives adaptées à la tâche ; (3) une boucle d'intervention humaine experte, déclenchée uniquement en cas de conflit entre les évaluateurs automatiques, pour garantir la fiabilité des résultats finaux. en plus de présenter ce framework méthodologique général, nous détaillons la création d'un benchmark spécifique dans le cadre d'une étude de cas industrielle portant sur l'extraction d'informations clés à partir d'appels d'offres (section 4). cette contribution vise à fournir un exemple concret de mise en place d'un benchmark pertinent pour ce type d'évaluation robuste. cet article est structuré comme suit : la section 2 discute des travaux connexes. la section 3 détaille les composants de notre framework d'évaluation. la section 4 présente l'étude de cas et la création du benchmark sur les appels d'offres. défis de l'évaluation et benchmarks standards l'évaluation des llm a progressé depuis les benchmarks focalisés sur des tâches de traitement de langage spécifiques (ex : glue @xcite , superglue @xcite ) vers des évaluations plus massives et multi-tâches (ex : mmlu @xcite ). des efforts considérables ont été déployés pour créer des suites d'évaluation holistiques, comme helm @xcite , qui visent à couvrir un large spectre de scénarios et de métriques pour une évaluation plus complète. cependant, ces benchmarks standards présentent plusieurs limitations. leur nature souvent statique ne reflète pas la dynamique des interactions réelles et rend difficile l'évaluation de la robustesse des modèles aux variations d'entrée @xcite . de plus, le risque de contamination des données d'entraînement des llm par les données des benchmarks d'évaluation est une préoccupation croissante, pouvant biaiser les résultats @xcite . enfin, se concentrer sur un score agrégé unique peut masquer des faiblesses spécifiques ou des comportements indésirables que des évaluations plus ciblées ou comportementales cherchent à révéler @xcite . évaluation de la robustesse en tal la robustesse des modèles de tal face à des entrées bruitées ou légèrement modifiées est essentielle pour leur déploiement fiable en conditions réelles @xcite . plusieurs approches ont été explorées pour évaluer et améliorer cette robustesse. les attaques adverses visent à générer des perturbations minimales (souvent imperceptibles pour un humain) conçues spécifiquement pour tromper le modèle @xcite . bien qu'utiles pour sonder les vulnérabilités, ces perturbations ne sont pas toujours représentatives des variations naturelles rencontrées en pratique. d'autres travaux se concentrent sur des perturbations plus naturelles, simulant des erreurs de frappe @xcite , des reformulations ou paraphrases @xcite , ou l'ajout de bruit lexical. des techniques comme l'augmentation des données (wei & zou, 2019) ou la traduction aller-retour (back-translation) @xcite sont souvent utilisées pour générer ces variations. des librairies comme nlpaug (ma, 2019) facilitent l'application de ces différentes stratégies de bruitage. l'évaluation sur des données traduites @xcite , que nous incluons également, permet d'aborder la dimension cross-lingue de la robustesse. ## cas d'usage industriel : création du benchmark sur appels d'offres la conception de ce benchmark s'est déroulée en plusieurs étapes structurées, visant à assurer sa pertinence métier et sa validité scientifique, en s'inspirant notamment des principes du microbenchmarking (babonnaud, 2024). analyse des cas d'usage. pour ancrer le benchmark dans les besoins réels de l'entreprise, nous avons initié notre démarche par une série d'ateliers participatifs. l'objectif était de recueillir et de prioriser les cas d'usage où les llm pourraient apporter une valeur ajoutée significative dans les tâches quotidiennes des collaborateurs. définissant un cas d'usage comme une tâche professionnelle spécifique, nous avons sollicité des employés de divers départements. via une méthode de brainstorming individuel (post-its virtuels) suivie d'un classement collectif sur une matrice recurrence vs complexité (échelles de 0 à 5), nous avons identifié 230 cas d'usage potentiels. ces cas ont ensuite été classifiés selon leur exploitabilité (doublon, expertise requise, exploitable, hors périmètre, inexploitable), permettant d'isoler 65 cas jugés exploitables. sélection de la tâche et du périmètre. parmi les cas exploitables les plus récurrents et complexes, et tenant compte de la disponibilité des données et des impératifs d'efficacité en contexte industriel, deux tâches principales ont émergé : le résumé d'ao et l'extraction d'informations clés des ao. pour ce travail, nous nous sommes concentrés sur la tâche d'extraction d'information, jugée particulièrement critique pour la qualification rapide des opportunités. l'objectif était de concevoir un benchmark représentatif des défis réels de cette tâche. sélection des données source. bien que notre entreprise traite un flux important d'ao, la nature souvent confidentielle de ces documents nous a conduits à constituer notre benchmark à partir de données publiques pour permettre une potentielle réutilisation et comparaison par la communauté scientifique. nous avons donc collecté un corpus initial d'ao en langue française, disponibles publiquement en ligne, principalement via les plateformes officielles. la sélection finale des documents pour le benchmark a été guidée par deux critères : -longueur : conscients de la sensibilité des llm à la longueur du contexte (liu & ..., 2023) et pour maîtriser les coûts d'annotation, nous avons ciblé des documents d'une longueur comprise entre 10 et 20 pages, considérés comme suffisamment riches mais traitables. -domaine : nous avons privilégié des ao correspondant aux thématiques principales de l'entreprise (énergie, transport, service public, etc). à l'issue de cette sélection, nous avons retenu un corpus de 60 documents : 10 pour la phase pilote (formation des annotateurs, finalisation des guidelines) et 50 pour la constitution effective du benchmark de référence b ref . annotation. le processus d'annotation a consisté à définir un schéma pertinent en collaboration étroite avec des experts métier de l'entreprise partenaire (gestion de projet, réponse aux ao). guidés par les besoins d'analyse rapide et de qualification des appels d'offres, nous avons identifié les informations fondamentales à extraire : organisme émetteur, objectifs du projet, critères de sélection, exigences techniques ou administratives clés, et structuration éventuelle du marché en lots. un outil web dédié a été développé afin de faciliter l'annotation, présentant côte à côte le document source et un formulaire structuré. chaque document a été annoté indépendamment par deux annotateurs, et les divergences relevées ont été arbitrées par un troisième expert référent, garantissant ainsi la fiabilité et la qualité des annotations finales. 5 conclusion et perspectives dans cet article, nous avons proposé un framework systématique pour l'évaluation robuste et fiable des grands modèles de langage (llm). nous avons argumenté qu'en combinant la génération de variantes de benchmarks pour tester la robustesse, une double évaluation automatique (llm-juge et métriques spécifiques à la tâche) et une intervention humaine experte ciblée déclenchée par la détection de conflits. parallèlement, nous avons présenté la création détaillée d'un benchmark industriel pour l'extraction d'information à partir d'appels d'offres, qui constitue un terrain d'application pertinent pour la méthodologie proposée. ce travail constitue une proposition méthodologique et une première étape de mise en oeuvre (via la création du benchmark). le développement de l'outil logiciel intégrant l'ensemble des composants de notre framework d'évaluation (génération de variantes, double évaluation, détection de conflit, interface hitl, agrégation) est actuellement en cours. à plus long terme, au-delà de cette première application, nous envisageons d'étendre l'utilisation de ce framework et de l'outil associé à d'autres tâches identifiées comme prioritaires.