Seval-ex : Un paradigme basé sur les phrases atomiques pour une évaluation explicable de la qualité des résumés (2025)

Abstract: L’évaluation de la qualité des résumés de texte demeure un défi critique en Traitement Automatique du Langage Naturel. Les approches actuelles font face à un compromis entre performance et interprétabilité. Nous présentons SEval-Ex, un framework qui comble cette lacune en décomposant l’évaluation des résumés en phrases atomiques, permettant à la fois une haute performance et une explicabilité. SEval-Ex emploie un pipeline en deux étapes : extraction des phrases atomiques à partir du texte source et du résumé via un LLM, puis mise en correspondance de ces phrases. Contrairement aux approches existantes qui ne fournissent que des scores globaux, notre méthode génère un parcours détaillé des décisions grâce à un alignement entre les phrases. Les expériences sur SummEval démontrent que SEval-Ex atteint des performances état de l’art avec une corrélation de 0.580 sur la cohérence avec les jugements humains, surpassant GPT-4 (0.521) tout en maintenant l’interprétabilité et la robustesse contre l’hallucination.

## introduction l'évaluation de la génération de texte est devenue un défi critique en traitement automatique du langage naturel (taln), particulièrement avec les grands modèles de langage (llms) qui révolutionnent notre capacité à générer du texte semblable à celui produit par les humains @xcite @xcite . bien que ces avancées aient permis une fluidité sans précédent dans la génération de texte, elles ont également mis en évidence un défi fondamental : comment pouvons-nous évaluer de manière fiable la cohérence factuelle du contenu généré tout en maintenant l'interprétabilité de nos méthodes d'évaluation ? les approches traditionnelles d'extraction d'information, particulièrement la reconnaissance d'entités nommées (ner), ont montré des limitations significatives dans des contextes spécialisés, échouant souvent à atteindre des performances satisfaisantes à travers divers domaines. bien que le ner soit performant dans l'identification des faits explicites, sa structure peine à gérer les nuances d'expression propres au langage naturel. parallèlement, les métriques sémantiques opérant dans l'espace latent, comme bertscore @xcite , offrent des possibilités intéressantes mais font face à une ambiguïté cruciale : mesurent-elles vraiment l'exactitude factuelle, ou capturent-elles principalement la fluidité linguistique ? exploiter les capacités avancées des llms présente une voie interessante pour répondre à ces défis. les llms démontrent un haut niveau de compétence en reformulation de texte et en compréhension @xcite . nous proposons d'utiliser les llms pour l'extraction d'information à travers une approche de reformulation textuelle, contournant ainsi les complexités et les erreurs potentielles associées à la transformation du texte en formats de données structurées. cette méthodologie capitalise sur la compréhension inhérente du langage des llms pour identifier et aligner les unités fondamentales de connaissance, que nous appelons phrases atomiques, au sein du texte. notre approche s'inspire de méthodologies récentes telles que ragas @xcite , mais est spécifiquement adaptée pour relever les défis techniques associés à l'évaluation de textes plus longs nécessitant une analyse détaillée. nous présentons seval-ex, un cadre novateur qui décompose l'évaluation des résumés en phrases atomiques, permettant à la fois une haute performance et une évaluation interprétable de la cohérence factuelle. notre approche apporte trois contributions techniques clés : ## travaux connexes l'évaluation des systèmes de résumé a considérablement évolué, passant des techniques rudimentaires de correspondance lexicale aux modèles neuronaux avancés. dans cette section, nous structurons notre analyse autour de cinq paradigmes clés : les métriques traditionnelles de chevauchement lexical, les approches basées sur les embeddings, les cadres d'évaluation spécifiques à la tâche, les méthodes fondées sur l'inférence en langage naturel (nli) et les évaluateurs basés sur les modèles de grande taille (llm). ## méthodologie nous introduisons seval-ex, un cadre d'évaluation des résumés basé sur des phrases atomiquesunités d'information autonomes -permettant une analyse entièrement interprétable. en mettant l'accent sur la transparence à chaque étape, seval-ex offre aux utilisateurs la possibilité de retracer l'ensemble du processus d'évaluation, depuis l'extraction des phrases atomiques jusqu'à l'attribution du score final. contrairement aux approches de type boîte noire, qui se limitent à fournir un score global au niveau du résumé, notre méthode apporte une granularité d'analyse en s'appuyant sur trois étapes distinctes et explicites : ## expérimentations nous évaluons notre approche sur les benchmarks de référence pour l'évaluation des résumés, notamment : ## discussions et limitations nos résultats expérimentaux démontrent que steval-ex réussit à combler l'écart entre performance et interprétabilité dans l'évaluation des résumés, particulièrement pour l'évaluation de la cohérence. cependant, plusieurs limitations et considérations importantes peuvent être discutées. efficacité computationnelle : bien que notre utilisation de llms légers et quantifiés rende le cadre plus accessible, le processus en deux étapes (extraction de phrases atomiques suivie de vérification) augmente la charge computationnelle par rapport à des métriques plus simples comme rouge. ce compromis entre coût computationnel et qualité d'évaluation doit être pris en compte dans les applications pratiques. sensibilité au prompt : la performance du cadre dépend significativement de la qualité des prompts d'extraction de phrases atomiques et de vérification. bien que nous ayons optimisé ceux-ci à travers des tests approfondis, la sensibilité à la conception des prompts suggère que des améliorations supplémentaires pourraient être possibles grâce à des techniques d'ingénierie de prompts plus sophistiquées. pour assurer la reproductibilité, tous les prompts seront publiés sur le dépôt github associé à l'article. portée de l'évaluation : bien que seval-ex excelle dans l'évaluation de la cohérence factuelle, sa performance sur d'autres dimensions, particulièrement sur la pertinence, suggère que, selon nos expériences, nous devons incorporer de nouveaux types d'information pour évaluer si les phrases sélectionnées sont les phrases les plus pertinentes du texte original. ## conclusion notre travail présente seval-ex, un nouveau cadre pour évaluer la qualité des résumés avec des capacités interprétables tout en fournissant une corrélation état de l'art avec le jugement humain sur l'évaluation de la cohérence. nos contributions clés sont : ces réalisations suggèrent que la décomposition de l'évaluation des résumés en phrases atomiques offre une direction prometteuse pour développer des méthodes d'évaluation plus transparentes et efficaces. à mesure que les systèmes de résumé continuent de progresser, de tels cadres d'évaluation interprétables deviendront de plus en plus cruciaux pour assurer leur fiabilité et faciliter leur amélioration. les travaux futurs pourraient explorer l'extension de cette approche pour mieux capturer les propriétés au niveau du document, comme l'importance des phrases, et investiguer des moyens d'optimiser l'efficacité computationnelle tout en maintenant la performance.