Identification de mesures d’évaluation fiables pour la révision de textes scientifiques (2025)

Abstract: L’évaluation de la révision des textes scientifiques reste un défi, car les métriques traditionnelles telles que ROUGE et BERTScore se concentrent sur la similarité à une référence plutôt que sur les améliorations réalisées. Nous analysons et identifions les limites de ces métriques et explorons des méthodes d’évaluation alternatives qui s’alignent mieux sur le jugement humain. Nous évaluons d’abord manuellement différentes révisions pour estimer leur qualité. Ensuite, nous examinons la possibilité d’utiliser des métriques d’évaluation sans référence provenant de domaines connexes du traitement automatique des langues (TAL) ainsi que des approches GML en tant que juge. Nos résultats montrent que GMLs évaluent efficacement le suivi des instructions mais peinent à évaluer l’acceptabilité, alors que les métriques spécifiques au domaine fournissent des informations complémentaires. Nous recommandons une approche hybride combinant l’évaluation GML en tant que juge et les mesures spécifiques à la tâche offrant l’évaluation la plus fiable de la qualité de la révision.

## introduction la révision est une étape essentielle de la rédaction scientifique, car elle garantit la clarté, la cohérence et le respect des normes académiques. le processus d'écriture se compose généralement de quatre étapes : 1) la pré-écriture, 2) le brouillon, 3) la révision et 4) l'édi-tion @xcite . l'étape de la révision implique des modifications substantielles pour améliorer la lisibilité, le style et la formalité @xcite . cette étape est cruciale, car une rédaction de mauvaise qualité brouille la compréhension des résultats de recherche et augmente le risque de rejet d'un article @xcite . ## protocole expérimental afin d'examiner les limites des métriques de similarité traditionnelles, nous générons d'abord de multiples versions révisées en utilisant différents gmls et nous les évaluons manuellement. jeu de données nous utilisons la partie d'évaluation du jeu de données pararev (jourdan et al., 2025) qui contient 258 paires de paragraphes révisées extraites d'articles scientifiques. chaque paire est annotée avec deux instructions de révisions différentes, ce qui donne un total de 516 révisions à effectuer par modèle. de plus, chaque paragraphe est étiqueté avec son type d'intention de révision, ce qui sera utilisé dans nos analyses (i.e., rewriting+{light, medium, heavy}, concision, content deletion). la taxonomie complète est disponible en annexe a. modèles de révision afin de s'assurer de la diversité en termes de qualité de l'ensemble des révisions, des paragraphes révisés sont générés pour chaque paire de paragraphe original + instruction en utilisant 6 modèles différents. les modèles utilisés sont : coedit-xl, un modèle t5 affiné pour la tâche de révision de phrases @xcite , les gmls semi-ouverts llama 3 8b instruct, llama 3 70b instruct et mistral 7b instruct v0.2 et enfin les gmls fermés gpt 4o mini et gpt 4o. les amorces utilisées sont disponibles en annexe b. tâche d'annotation dans l'objectif d'identifier les métriques qui reflètent au mieux la qualité réelle des révisions, nous les annotons manuellement et comparons ce jugement humain aux scores automatiques. pour cela, nous créons une tâche d'annotation où l'on compare une paire de révisions candidates et on émet une préférence. l'annotation a été menée avec l'aide de 10 annotateurs•rices : 3 professeurs et 7 doctorants•tes, non-natifs•ves de l'anglais mais ayant de l'expérience dans la lecture et l'écriture d'articles scientifiques. chaque instance d'annotation consiste en une paire de suggestions de révision pour un paragraphe donné, accompagnée de l'instruction de révision correspondante. les annotateurs•rices répondent à une série de questions pour estimer la qualité des révisions : -q1a et q1b suivi de l'instruction : did model a/b address the instruction? {yes strictly, yes with additional modifications, no} -if it was your article and your instruction : -q2 acceptabilité : which revisions would you consider acceptable ? {both, a, b, none} -q3 préférence : which revision would you prefer to include in your paper? {both, a, b, none} les questions spécifiques au type de révision et une capture d'écran de l'environnement d'annotation sont disponibles en annexe c. pour garantir une évaluation équitable, nous avons équilibré les comparaisons par paire entre les modèles, en veillant à ce que chaque modèle soit comparé aux autres un nombre similaire de fois. résultats de la phase d'annotation à partir du jeu d'évaluation de pararev, 1 548 paires de paragraphes révisés ont été générées pour l'annotation. parmi elles, 129 paires (8.33%) sont annotées en double pour mesurer l'accord inter-annotateurs•rices. ces scores d'accord (cohen's kappa κ) sont rapportés dans l'annexe 1. dans le cadre de notre analyse, notre objectif étant d'étudier la capacité des métriques à identifier la meilleure révision parmi deux propositions, nous introduisons la notion de préférence étendue. même si none est sélectionné lors de l'annotation pour la question de préférence, une proposition est tout de même considérée préférable si elle est la seule à être acceptable ou à suivre l'instruction. nous considérons les both et none restants comme des ex aequo. la figure 2 présente la distribution des préférences humaines à travers les modèles. sur la base de l'annotation humaine, gpt-4o émerge comme étant le meilleur modèle de révision, étant strictement favorisé dans 58.33% des comparaisons. llama 3 70b obtient aussi de bonnes performances, avec un taux de préférence à 53.68%. lorsque l'on compare ces modèles deux à deux, llama 3 70b ressort comme étant à égalité avec gpt-4o. pour plus de détails, on rapporte la préférence des modèles deux à deux en annexe d. question κ accord suivi de l'instruction 0.54 modéré acceptabilité 0.55 modéré préférence 0.33 moyen concision 0.22 moyen rewriting light 0.41 modéré rewriting medium 0.48 modéré ## limites des métriques basées sur la similarité dans cette section, nous évaluons les révisions générées et étudions les faiblesses des métriques basées sur la similarité. ## exploration d'approches alternatives pour l'évaluation cette section vise à identifier les métriques d'évaluation les plus corrélées avec l'évaluation humaine de la qualité des textes révisés. ## performances par aspects dans cette section, on analyse les performances à une granularité plus fine sur deux aspects afin de voir si elles varient en fonction du type de révision ou de la difficulté à distinguer la meilleure révision. ## discussion et conclusion dans cet article, nous avons identifié les métriques les plus fiables pour évaluer la révision de texte scientifique. l'identification de ces métriques pourra permettre meilleure connaissance des stratégies de révision de textes pour par évaluer les solutions existantes et mettre au point des modèles pour cette tâche. nos résultats suggèrent que les méthodes de gml-juges évaluent efficacement si une révision suit l'instruction mais peinent à départager deux bons candidats et ont besoin d'être complétées par d'autres métriques. les métriques de similarité traditionnelles, bien qu'elles ne soient pas conçues pour évaluer le respect de l'instruction, fournissent, par leur capacité à comparer les révisions à une référence, un mécanisme pour départager lorsque les gmls ne parviennent pas à faire une distinction claire. cependant, les méthodes gml-juges restent coûteuses en termes de calcul. nous recommandons ainsi l'utilisation d'un ensemble complémentaire de métriques qui établit un équilibre entre le coût, l'interprétabilité et l'alignement avec le jugement humain. ce sous-ensemble pourrait inclure un petit gml pour évaluer le suivi des instructions, parapluie pour la préservation du sens, et des mesures basées sur la similarité comme sari et gleu, qui exploitent les informations de la référence pour aider à départager les cas les plus difficiles.