« De nos jours, ce sont les résultats qui comptent » : création et étude diachronique d’un corpus de revendications issues d’articles de TAL (2025)

Abstract: Nous constituons un corpus de phrases issues de pré-tirages et d’articles de TAL, publiés en anglais entre 1952 et 2024, dont nous annotons manuellement un échantillon avec des catégories de revendications reflétant leur fonction rhétorique au sein des articles. Nous affinons un modèle SciBERT (Beltagy et al. , 2019) pour prédire les étiquettes restantes, que nous mettons, avec le corpus annoté, à la disposition de la communauté. Nous illustrons l’intérêt du corpus par des analyses exploratoires sur les caractéristiques des revendications relevées, ainsi qu’une étude diachronique de l’évolution de la structure des résumés; ceci est mis en lien avec une réflexion sur la notion d’exagération scientifique. Nous observons une importance croissante des séquences de contexte précédant l’exposé des contributions, lequel est également de plus en plus suivi de séquences de résultats.

## introduction l'écriture de la recherche n'est ni neutre, ni purement objective. si la relecture par les pairs permet généralement d'en corriger les imprécisions avant publication, la rédaction d'un article demeure un exercice éminemment rhétorique @xcite dans lequel les chercheur•euses adoptent des stratégies pour émettre et défendre des revendications (claims) auprès du lectorat. l'étude de la structure argumentative des articles permet alors une analyse des pratiques d'écriture et de publication d'une communauté donnée (ici alignée avec la démarche de « tal pour le tal » de @xcite ), établissant un lien avec la question transverse de l'exagération scientifique. dans un contexte où l'impératif de « publier ou périr » (publish or perish) a été qualifié de « mode de vie » du milieu académique @xcite , il semble primordial de questionner nos propres recherches ainsi que la manière dont nous en rendons compte à nos pairs. dans cette optique, nous souhaitons dresser un panorama de la recherche écrite en tal depuis plusieurs décennies, en nous intéressant à la nature des revendications rédigées par les auteur•ices. dans un premier temps, nous envisageons l'idée qu'une quantification de la certitude des revendications de même nature peut servir de proxy pour détecter l'exagération, ce qui se révèle difficile en pratique (cf. section 4.2). dans un second temps, nous considérons que la nature des revendications exprimées ainsi que leur enchaînement au sein de structures stéréotypées constituent également des descripteurs intéressants de la manière dont on écrit la recherche en tal (cf. section 4.3). les contributions de ce travail consistent en : (i) la constitution d'un corpus de plus de 15 millions de phrases issues d'articles et pré-tirages de tal en anglais publiés entre 1952 et 2024 ; (ii) l'annotation manuelle d'un échantillon du corpus en catégories de revendications selon une taxonomie créée par nos soins, inspirée des travaux de zonage argumentatif, et l'annotation automatisée de la partie restante par un modèle scibert @xcite affiné ; (iii) des analyses exploratoires sur les caractéristiques des différents types de revendication, leur niveau de certitude, ainsi qu'une étude diachronique de la structure des résumés d'articles ; (iv) l'ouverture d'une réflexion sur les pratiques d'écriture ainsi que l'exagération dans la recherche en tal. structure argumentative des articles et résumés : à un niveau plus superficiel, le zonage argumentatif (argumentative zoning) est « [l']analyse de la structure argumentative et rhétorique d'un article scientifique » par une classification phrase à phrase au sein de catégories mutuellement exclusives. chez @xcite , on retrouve principalement les catégories de but, contexte, contraste, support, revendication et autre (catégories traduites en français). d'autres modèles existent cependant, dont schrader et al. (2023) proposent un alignement (figure 4 ) ayant nourri la réflexion autour de notre taxonomie (cf. section 3.2). le zonage argumentatif se décline également au niveau des résumés d'articles (sequential/abstract sentence classification), avec des approches automatisées utilisant des modèles de réseaux neuronaux hiérarchiques @xcite , des champs aléatoires conditionnels @xcite ou encore des modèles de langue pré-entraînés @xcite . là encore, la granularité de la taxonomie utilisée peut varier. il est important de noter que le champ médical, qui est fréquemment l'objet de ces travaux, se distingue du tal par sa tradition d'employer des résumés structurés, généralement considérés comme plus lisibles et informatifs @xcite . des études qualitatives concernant la structuration rhétorique de résumés d'articles ont également été proposées dans divers domaines @xcite . ## conclusion nous constituons et mettons librement à disposition de la communauté un corpus de plus de 15 millions de phrases issues d'articles et de pré-tirages publiés dans le domaine du tal (en anglais) entre 1952 et 2024, avec une annotation en catégories de revendications. un échantillon de ces annotations est effectué manuellement, le reste est prédit par un modèle scibert affiné, également mis à disposition. nous illustrons l'intérêt de ce corpus en proposant plusieurs analyses exploratoires, dont une étude diachronique de la structure des résumés. nous montrons qu'aux simples exposés de contributions caractéristiques des articles antérieurs à 1995 se sont progressivement greffées des séquences de résultats @xcite @xcite @xcite @xcite @xcite @xcite @xcite @xcite , puis des séquences de contexte en première position (depuis 2010). nous accompagnons ces observations d'une réflexion sur l'évolution des pratiques d'écriture en tal, ainsi que sur le phénomène d'exagération scientifique ayant initialement motivé ce travail. dans la poursuite de cette réflexion, des travaux futurs pourraient par exemple se pencher sur les structures des conclusions, ou approfondir l'examen des différences d'écriture entre articles publiés dans l'anthologie acl et dans la plateforme de pré-tirages arxiv. limites -des imperfections ont pu s'insérer dans les données du corpus, à chaque étape de traitement : documents pdf manquants, difficultés de parsing en xml (en particulier pour les articles les plus anciens), erreurs de segmentation, d'annotation automatique, etc. l'annotation manuelle a également révélé qu'un « plafond d'accord » semblait exister pour la tâche complexe de catégorisation de revendications avec plusieurs étiquettes possibles. enfin, nous n'avons considéré que des articles rédigés en anglais, ce qui ne recouvre pas l'intégralité de la littérature disponible en tal. phase #categ. anno. #phrases #articles α(↑) κ(↑) (min-max) 1 5 a1, a2, a3, a4 987 (a1,2) ; 246 (a3,4) 10 (a1-2) ; 4 (a3,4) 0,58 0,09-0,70 2 5 a1, a2, a5, a6 176 2 0,67 0,62-0,73 3 8 a1, a2 622 4 0,57 0,57 4 8 a1, a2 289 2 0,81 0,81