A ll S ummed U p : un framework open-source pour comparer les métriques d’évaluation de résumé (2025)

Abstract: Cet article examine les défis de reproductibilité dans l’évaluation automatique des résumés de textes. À partir d’expériences menées sur six métriques représentatives allant de méthodes classiques comme ROUGE à des approches récentes basées sur les LLM (G-Eval, SEval-Ex), nous mettons en évidence des écarts notables entre les performances rapportées dans la littérature et celles observées dans notre cadre expérimental. Nous proposons un framework unifié et open-source, appliqué au jeu de données SummEval et ouvert à de futurs jeux de données, facilitant une comparaison équitable et transparente des métriques. Nos résultats révèlent un compromis structurel : les métriques les mieux alignées avec les jugements humains sont aussi les plus coûteuses en calculs et les moins stables. Au-delà de cette analyse comparative, notre étude met en garde contre l’utilisation croissante des LLM dans l’évaluation, en soulignant leur nature stochastique, leur dépendance technique et leur faible reproductibilité.

## introduction la reproductibilité des résultats expérimentaux constitue un pilier fondamental de la recherche scientifique, en particulier dans le domaine du traitement automatique du langage naturel (taln). pourtant, un nombre croissant d'études souligne la fragilité de cette reproductibilité, notamment face à l'essor des modèles de langue de grande taille (llm). ces modèles, utilisés pour évaluer ou produire des textes, manifestent une variabilité inquiétante, même dans des conditions que l'on pourrait croire déterministes @xcite . cette instabilité remet en cause la fiabilité des métriques d'évaluation, essentielles en résumé automatique où les jugements humains sont coûteux à mobiliser. en effet, comme le montrent salinas & morstatter ou @xcite , la reformulation du prompt -parfois réduite à l'ajout d'un simple espace -peut affecter significativement les sorties des modèles, révélant leur extrême sensibilité aux prompts. de plus, la forte dépendance à des modèles spécifiques pose également un risque de non-reproductibilité à moyen terme, dans la mesure où certains modèles, comme gpt-3, peuvent être rendus inaccessibles ou supprimés par leurs fournisseurs @xcite , rendant impossible toute reproduction a posteriori si les conditions initiales ne sont pas rigoureusement conservées. dans ce contexte, la reproductibilité ne se limite pas à la réexécution d'un code identique, mais implique aussi la robustesse des résultats face à de légères variations de conditions expérimentales. la distinction conceptuelle entre répétabilité et reproductibilité, bien établies en métrologie @xcite , est rarement prise en compte dans les études sur les métriques d'évaluation. or, de telles différences peuvent engendrer des biais dans l'interprétation des performances, comme le montrent nos résultats empiriques où certaines métriques -pourtant largement utilisées, comme bertscore @xcite ou bartscore @xcite -affichent une corrélation faible et non reproductible avec les jugements humains dans différents contextes d'exécution. notre travail s'inscrit dans cet élan critique en proposant un framework unifié et open-source pour l'évaluation des résumés, incluant six métriques issues de la littérature. ce cadre vise à tester rigoureusement la reproductibilité des résultats sur un jeu de données standardisé, summeval @xcite , et a été développé pour accueillir de futurs jeux de données. en contribuant à la standardisation et à la transparence méthodologique, nous espérons non seulement faciliter la comparaison équitable entre métriques, mais aussi réduire la variabilité technique introduite par l'utilisation de modèles stochastiques, tels que les llm. pour ce faire, cet article est structuré comme suit : la section 2 présente l'état de l'art portant sur la reproductibilité en taln et les différentes métriques d'évaluation de résumés. la section 3 détaille notre approche méthodologique, en décrivant le framework que nous avons développé, les métriques implémentées, les données d'évaluation utilisées, ainsi que le choix de notre mesure de corrélation. les expérimentations menées, leurs résultats en termes de corrélation et de temps d'exécution, ainsi qu'une comparaison des métriques sont ensuite présentés dans la section 4. enfin, la section 5 analyse les implications et les limites de notre étude, avant que la section 6 ne vienne clore cet article en proposant des pistes pour les travaux futurs. ## discussion la création de notre framework et la comparaison avec les articles originaux révèle plusieurs limitations qui doivent être soulignées : reproductibilité partielle des métriques originales. certaines métriques, notamment celles basées sur des embeddings comme bertscore ou des modèles spécifiques, montrent des divergences notables entre les corrélations rapportées dans la littérature et celles obtenues via notre framework. ces écarts peuvent être dus, par exemple, à des différences de version des modèles ou de tokenisation. accès restreint aux modèles propriétaires. certaines métriques récentes, telles que g-eval reposant sur gpt-4, dépendent de modèles ou d'api fermées, ce qui soulève plusieurs enjeux critiques pour la reproductibilité : temps de calcul prohibitif pour certaines métriques. certaines métriques, comme seval-ex, questeval ou g-eval, présentent un temps de traitement très élevé (jusqu'à plusieurs heures par exécution), les rendant peu adaptées aux environnements à contrainte de ressources ou aux évaluations à grande échelle. ## conclusion notre étude met en lumière les défis majeurs que pose la reproductibilité dans l'évaluation automatique des résumés. les écarts parfois significatifs entre les performances rapportées dans la littérature et celles mesurées au sein de notre cadre expérimental soulignent l'urgence d'adopter une approche plus rigoureuse, explicite et systématique dans ce domaine. trois tensions structurantes émergent de nos analyses. premièrement, la performance s'oppose souvent à la frugalité calculatoire : les métriques les plus corrélées aux jugements humains (comme g-eval ou