Étude critique du corpus CNN / D aily M ail pour le résumé automatique (2025)

Abstract: De nombreux modèles de génération et d’évaluation sont entraînés sur des corpus sans qu’il ait été démontré qu’ils étaient appropriés pour cette tâche. C’est pourquoi nous proposons l’étude critique des données de l’un des corpus les plus utilisés dans le domaine du résumé automatique : CNN/DailyMail. Nous montrons, par une analyse théorique, puis en comparant les résumés de référence du corpus et à des résumés écrits par des humains, que les résumés de référence de CNN/DailyMail ne correspondent pas à ce que doit être un résumé, et que le corpus n’est donc pas adapté à la tâche de résumé automatique.

## introduction les systèmes de résumé automatique fondés sur l'apprentissage profond nécessitent des données massives pour leur entraînement. ce besoin en quantité est tel qu'aucun corpus de résumé automatique datant d'avant la révolution de l'apprentissage profond n'est utilisable dans ce contexte. des solutions ont vu le jour pour palier ce problème : le scrapping pour les corpus cnn/dailymail @xcite @xcite , ou encore utilisation de données libres semi-structurées @xcite . ces corpus sont utilisés dans la très grande majorité des systèmes de résumé, pour l'apprentissage et pour l'évaluation ; il est donc nécessaire d'en réaliser une analyse critique, ce que nous nous proposons de faire dans ce papier pour le corpus de résumé automatique le plus utilisé aujourd'hui : cnn/dailymail. dans un premier temps, nous décrivons les différents corpus existants et présentons les analyses critiques déjà menées sur ces corpus. dans un second temps, nous présentons une première analyse critique, fondée sur des aspects définitionnels du résumé automatique et sur la construction du corpus cnn/dailymail. nous décrivons ensuite une analyse linguistique de ce même corpus, menée sur un nombre restreint d'exemples, avant de proposer une analyse statistique fondée sur la comparaison de résumés écrits par des humains avec les résumés de référence du corpus. ## état de l'art les corpus de résumé automatique utilisables par des modèles d'apprentissage profond se sont considérablement développés ces dernières années. parmi ceux-ci, on peut citer cnn/dailymail @xcite , xsum @xcite , un corpus de nouvelles dédié au résumé « extrême », gigaword et newsroom @xcite , deux corpus de presse, arxiv @xcite et pubmed @xcite , deux corpus de résumé d'articles scientifiques et reddit-tifu @xcite , un corpus de résumé de posts de réseau social. à noter que les trois derniers corpus cités sont très intéressants, puisqu'ils respectent des directives de création spécifiques ; leurs résumés sont donc rédigés selon des normes tacites bien définies. cette caractéristique en fait des corpus particulièrement précieux, car ils garantissent une certaine cohérence et qualité dans les résumés produits, ce qui est essentiel pour une évaluation fiable et représentative du résumé automatique. selon le site paperwithcode 1 , le corpus cnn/dailymail est le corpus de résumé automatique le plus utilisé dans les articles scientifiques des 5 dernières années, comme en témoigne la figure 1 qui présente les statistiques d'utilisation des corpus. cependant, ce corpus est conçu à l'origine pour une toute autre tâche : la compréhension de la lecture. les résumés de référence, qui accompagnent chaque article de presse, sont composés des puces (bullet points) de l'article. c'est donc tout naturellement qu'ont émergé des critiques au sujet de ce corpus, notamment par gehrmann et al. (2023), qui montrent que les highlights qui composent les résumés de référence ne sont pas destinés à être utilisés comme des résumés, mais à encourager les lecteurs à lire l'article. 1. https://paperswithcode.com/dataset/cnn-daily-mail-1 stiennon et al. (2020), quant à eux, montrent empiriquement, sur un échantillon de cnn/dailymail, que les résumés de référence sont jugés en majorité moins bons que des résumés générés par des humains. fabbri et al. (2021) montrent que les résumés de référence de cnn/dailymail sont jugés par des experts et des non-experts moins cohérents, moins consistents, moins fluides et moins pertinents que des résumés générés par des systèmes de résumé, qu'ils soient abstractifs ou extractifs. nous proposons ici une approche différente de ces trois articles, fondée d'une part, sur la définition de résumé, d'autre part sur une analyse linguistique et sur une analyse comparative des résumés de référence de cnn/dailymail avec des résumés humains afin d'évaluer la qualité du corpus et son utilisabilité sur la tâche de résumé automatique. cette norme, la norme nf z 44-004 (décembre 1984) n'est plus en vigueur, remplacée par la norme internationale sur les analyses (organisation internationale de normalisation (iso), 1976), mais elle reste pertinente pour mieux comprendre ce qu'est un résumé informatif. c'est "une représentation abrégée du document, renseignant sur les informations quantitatives ou qualitatives apportées par l'auteur. ce résumé doit constituer un texte autonome d'une logique rigoureuse. il forme avec le titre du document un ensemble qui, en principe, ne doit pas être redondant. les informations retenues pour le résumé sont généralement présentées selon leur ordre d'apparition dans le document. cet ordre facilite l'exploitation du résumé par le lecteur habitué au plan des articles publiés dans sa spécialité. généralement, les documents scientifiques et techniques exposent séquentiellement le but de l'étude dans l'introduction, le matériel et les méthodes utilisées, les résultats obtenus, une discussion ou une conclusion évaluant la signification et la pertinence de l'apport. cependant, en ne négligeant aucune phase du cheminement, les diverses parties du document pourront figurer de façon inégale dans le résumé en fonction de l'importance ou de la nouveauté de l'information." @xcite . or, comme expliqué en §2, les résumés de référence du corpus cnn/dailymail sont la concaténation des puces de l'article (que nous nommerons ici highlights, initialement conçue pour une tâche de compréhension de la lecture. cela pose d'emblée la question de la réutilisation d'un corpus conçu pour une toute autre tâche sur le résumé automatique, et des biais que cela induit. l'amoncellement de highlights ne peut constituer un « texte autonome d'une logique rigoureuse », puisqu'aucune articulation logique ne peut en être même induite. au mieux, dans le cas contestable où de tels highlights représenteraient de manière stricte les informations essentielles de leur article, un résumé de référence constitué de cette manière pourrait servir à entraîner un système de résumé à sélectionner et dans une moindre mesure à reformuler les informations présentes dans l'article. se pose alors naturellement une autre question : en quoi l'emploi d'algorithmes très lourds d'apprentissage profond ou de grands modèles de langage peut bénéficier à la tâche de résumé automatique sur un corpus qui ne reflète pas, en tout cas dans sa définition, la tâche de résumé automatique ? pour terminer, il n'existe pas, à notre connaissance, de ligne directrice pour la rédaction des highlights. il est donc peu probable qu'un corpus constitué de cette manière soit utilisable de manière performante pour le résumé automatique. nous proposons, dans les sections suivantes, d'évaluer de manière empirique la qualité réelle des résumés de référence du corpus cnn/dailymail, ainsi que des articles d'origine. ## analyse linguistique dans cette section, nous effectuons une analyse approfondie d'un article et de ses highlights. cet article a été tiré au hasard du corpus cnn/dailymail parmi les documents exploitables. ## analyse statistique dans cette section, nous analysons statistiquement le corpus cnn/dailymail. dans un premier temps, nous cherchons à savoir s'il y a une cohérence dans la rédaction des highlights, d'après un critère de surface : leur taille. dans un second temps, nous comparons les résumés de référence du corpus cnn/dailymail -l'aggrégat des highlights -à des résumés réalisés par des humains. ## discussion la comparaison des résumés humains entre eux et des résumés humains contre les résumés de référence montre que sur l'échantillon 2, celui qui est a priori le plus représentatif du corpus, les résumés humains sont bien plus proches entre eux qu'ils ne le sont des résumés de référence, ce qui tend à montrer que les résumés de référence ne sont pas construits comme un résumé écrit par un humain avec des consignes de rédaction précises. en revanche, sur l'échantillon 1, celui sur lequel les écarts de score des résumés automatiques sont les plus importants, il n'y a pas de différence notable entre les résumés humains et les résumés de référence. cela peut être dû à la difficulté de la tâche sur cet échantillon, en raison de la façon dont il a été construit. en effet, les résumeurs humains nous ont fait part de plusieurs problèmes : les différentes analyses menées sur le corpus cnn/dailymail tendent donc à corroborer les études @xcite ; @xcite , à savoir que le corpus cnn/dailymail, bien qu'il soit majoritaire dans les travaux de recherche en résumé automatique, n'est pas un corpus adapté à la tâche. de plus, la lecture de certains articles et de leur résumé de référence montre, comme l'illustre la figure 6 que certains résumés de référence comportent des informations qui sont absentes de l'article et non déductible des informations qu'il contient. si ce problème était trop fréquent, il serait un biais important, que ce soit pour l'apprentissage ou l'évaluation de résumé. ## conclusion dans cet article, nous avons proposé une analyse critique du corpus de résumé automatique le plus utilisé de nos jours, cnn/dailymail. que ce soit l'analyse théorique, fondée sur les définitions article : 'you guys ready to play some golf ?' asked the starter. and, yes he was. that's exactly what tiger woods was ready for. some golf. he smiled, slapped his playing partner rory mcilroy on the back. damn right he was ready. not to win maybe. not yet. by the summer, though, who knows ? there have been enough sightings of the old tiger at augusta this week not to give up on him yet. the problem with new tiger, though, is that as desperate as he appears to march on, obstacles line his path, like tree roots. in some cases, exactly like tree roots. at the ninth, playing out of the augusta pines, woods found such a root at full pelt on his follow through. he dropped his club like a red-hot poker, face creased with pain. woods claimed that a bone popped out in his right arm, right there, but he reset it. there was a degree of scepticism about the extent of that injury, but either way it continued to bother him for several holes and was rotten luck. there is, however, a well-worn method of avoiding such misfortune. hit it on the fairway. woods did not find a solitary preferred landing area until the 13th, when he was rewarded with an eagle. up to that point, he spent so much time in the trees he should have been fitted with a lumberjack shirt. at the tenth he was in so deep they were thinking of sending lassie for help. tiger woods looks over his second shot on the seventh hole as the augusta crowd look on . woods (left) speaks to playing partner rory mcilroy as the pair wait to tee off on the first tee . woods reacts in pain after hitting a shot out of the pine straw on the ninth hole . still, it could have been worse. this was the masters that tiger was advised to miss. there were some sage voices out there, saying his old friend would turn on him, that he might be embarrassed by his favourite homeland course. his game was broken, he was broken, it was argued. this was no country for an old man with faltering short irons. some folk wanted their happy memories preserved. these four days, however, have revealed a healthier reality. woods didn't come back too soon, he just took his leave too late. looking at the tournaments he played in january and february, it was plain he didn't want to be there. he should have called time out then. had he done so, had he started his recovery earlier, who knows where his game would have been by the time he reached augusta ? were it not for the phenomenon of jordan spieth's first 54 holes, he would have been in contention here starting the final day. woods, like mcilroy, began six under par but with spieth ten shots ahead, it was idealistic to even contemplate a charge. woods would have needed a score approaching the course record, and spieth a collapse -and he is not well-placed for miracles yet. another major ? well, you wouldn't bet against that one. woods tees off on the tenth but in the end he did not manage to challenge runaway winner jordan spieth . woods plays out of the bunker by the sixteenth green at augusta national . it could be argued that the enthusiasm for tiger's performance this weekend shows how far he has fallen. after all, two of his four rounds -the first and last -were over par, and in the head to head on sunday mcilroy beat him by seven shots. this was far from tournament winning golf. then again mcilroy is the world no 1, woods 110 places below and has barely played this year. he has reshaped his swing which continues to be a work in progress. he would not say when he will play next after this. 'it won't be for a while,' woods confirmed. 'i like what i'm doing, so i'm going to go back and work on that.' where this will leave him for the majors short-term it is hard to say. he finished in the top 20 here, his best return since 2013 and many rated this as the best of several recent comebacks, one that inspired speculation about his readiness for st andrews in july. he loves the old course almost as much as he loves augusta.[...] résumé de référence : tiger woods finishes tied for seventeenth in the 2015 masters at augusta. woods could only score 73 on sunday, seven shots less than rory mcilroy . there has been enough to suggest that woods is not finished yet. jordan spieth won this year's masters after finishing on 18 under par.