Impact de la structure logique des documents sur les modèles distributionnels : expérimentations sur le corpus TALN (Impact of document structure on distributional semantics models: a case study on NLP research articles ) (2020)

Abstract: Nous présentons une expérience visant à mesurer en quoi la structure logique d’un document impacte les représentations lexicales dans les modèles de sémantique distributionnelle. En nous basant sur des documents structurés (articles de recherche en TAL) nous comparons des modèles construits sur des corpus obtenus par suppression de certaines parties des textes du corpus : titres de section, résumés, introductions et conclusions. Nous montrons que malgré des différences selon les parties et le lexique pris en compte, ces zones réputées particulièrement informatives du contenu d’un article ont un impact globalement moins significatif que le reste du texte sur la construction du modèle.

## introduction les modèles de sémantique distributionnelle sont généralement construits à partir de très grands corpus rassemblant des textes hétérogènes, afin de tirer bénéfice de la masse des données, dont l'impact sur la qualité du modèle généré a été maintes fois démontré, par exemple par @xcite . or, de nombreuses applications nécessitent de construire des représentations sémantiques propres à un domaine de spécialité dans le cadre d'un travail terminologique qui vise en particulier la construction de vocabulaires contrôlés et d'ontologies. c'est le cas par exemple de bernier-colborne (2014) pour le domaine de l'environnement, ou @xcite dans le domaine bio-médical. dans le cadre de ces travaux à visée applicative où la nature précise des données importe, ces modèles génériques ne sont pas directement utilisables @xcite . or, construire des word embeddings à partir de corpus spécialisés pose des problèmes spécifiques : ces corpus sont généralement de taille plus modeste que les grands corpus qui servent à entraîner les modèles de référence -même s'il faut nuancer cette affirmation pour certains domaines comme la médecine, dans le cas de l'anglais. en outre, les unités de sens sont souvent des termes complexes, qui, du fait de leur spécificité, réduisent encore le volume des contextes exploitables. enfin, les protocoles d'évaluation sont plus difficiles à établir, sauf à disposer de ressources termino-ontologiques. en revanche, ces corpus spécialisés peuvent posséder des caractéristiques potentiellement intéressantes : le lexique est réduit, moins ambigu, et les documents sont généralement très structurés. c'est cette dernière caractéristique dont nous cherchons à tirer parti dans ce travail. l'expérience que nous décrivons dans cet article cherche à évaluer la possibilité de prendre en compte la structure des documents dans la construction de modèles sémantiques distributionnels à partir de corpus spécialisés. ce niveau d'information structurel a été exploité dans différentes tâches, comme le résumé ou l'extraction de connaissances @xcite , en partant du principe que certaines zones textuelles facilitent la détection de contenus plus saillants et donc plus utiles. dans le même ordre d'idées, notre objectif ici est de déterminer si certaines zones de texte ont un impact particulier sur le modèle sémantique et pourraient donc être privilégiées. notre hypothèse est en effet que certaines parties des textes comme le résumé ou l'introduction sont particulièrement denses en information et susceptibles de fournir une information distributionnelle de meilleure qualité. dans cet objectif, nous avons choisi de privilégier un corpus structuré homogène, dont les parties peuvent être identifiées de façon systématique. le corpus sur lequel est fondé notre expérience est constitué d'articles scientifiques dans le domaine du traitement automatique des langues. le caractère standardisé des articles scientifiques a été largement étudié. la spécificité des différentes sections ou étapes qui jalonnent ces textes a permis de dégager des modèles argumentatifs génériques valables à travers la diversité des disciplines @xcite . dans les disciplines expérimentales, le format de type imrad (introduction, method, results and discussion) s'est imposé @xcite . cette codification facilite l'exploitation de la structure des textes, accessible par les titres de section, qui constituent des indices de présentation externe relativement stables. la spécificité argumentative de chaque section se traduit également sur le plan lexical, ce qui permet de faire l'hypothèse de différences de contribution dans la construction de modèles distributionnels. ainsi, @xcite , s'intéressant au vocabulaire verbal lié aux contextes de citation, font état de différences lexicales importantes d'une section à l'autre. plus près des objectifs qui sont les nôtres dans cet article, @xcite ont étudié la capacité de différents fragments spécifiques d'un article à fournir un équivalent informationnel représentatif de l'ensemble. leur étude compare l'apport du résumé et celui d'autres zones du texte présentant le contexte, l'approche, ou les résultats de l'article. ils montrent des différences nettes de représentativité selon les sections considérées, mettant en cause l'utilisation par défaut du résumé comme source privilégiée d'accès au texte. nous examinons le rôle spécifique de certaines zones des documents, à savoir l'introduction, le résumé, les titres de section et les conclusions, qui constituent les sections les plus systématiquement représentées dans les articles du corpus taln, dont le degré de codification est limité. nous mesurons leur impact en utilisant comme critère le score de variation entre des modèles construits en intégrant ou en supprimant les zones concernées. nous présentons tout d'abord le dispositif déployé : le corpus constitué pour l'occasion (section 2), les modèles distributionnels construits et la façon de les comparer (section 3). la section 4 présente les analyses quantitatives (mesures globales de la variation entre les modèles) et quantitatives (étude des éléments du lexique plus ou moins impactés). le corpus taln utilisé dans cette expérience a été construit à partir des archives qui rassemblent les articles des conférences taln et récital 1 des années 1997 à 2019. ce corpus a été constitué en plusieurs étapes : figure 1 -éléments structurels extraits et annotés dans un article taln cette dernière étape a été réalisée en convertissant les fichiers pdf au format xml grâce à des outils de conversion comme la bibliothèque pdfminer de python 3 , puis en récupérant le contenu textuel pertinent et en segmentant chaque partie des articles grâce à l'outil parscit @xcite . un premier travail de restructuration a été effectué sur la sortie de parscit pour conserver la structure interne des articles en la représentant dans un format xml ad hoc. nous avons ensuite procédé à un nettoyage automatique pour corriger certains problèmes liés aux caractères spéciaux, traiter les césures et éliminer des éléments résiduels comme les numéros de page et les noms d'auteur figurant dans les en-têtes et les pieds de page, ainsi que différents symboles et idéogrammes. plusieurs légendes de figures et de tableaux, titres de section et notes de bas de page n'avaient pas été segmentés correctement ou se trouvaient affectés à d'autres éléments du document. la plupart de ces erreurs de segmentation suivant un schéma bien précis, il a été possible de les corriger automatiquement. les erreurs qui subsistaient après cette phase correspondaient à des ambiguïtés d'interprétation de la 1. disponibles sur https://www.atala.org/-conference-taln-recital 2. disponibles sur https://github.com/boudinfl/taln-archives 3. https://pypi.org/project/pdfminer/ forme des documents, parmi lesquelles des titres de section identifiés comme des notes de bas de page ou encore des parties de légende sectionnés qui se confondaient avec le corps d'un paragraphe. nous avons opté pour une approche semi-automatique consistant à développer des règles pour identifier les cas ambigus et à faire ensuite appel à une vérification manuelle des zones correspondantes. le marquage obtenu indique donc les méta-données (auteurs, date, type d'article), les informations de la première page (titre, résumés et mots-clés en français et en anglais), les titres des sections et sous-sections, les paragraphes, les légendes de figures et de tableaux, les notes de bas de page ainsi que la bibliographie (mais cette dernière reste non analysée à ce stade). les sections ont été dotées d'un attribut supplémentaire qui indique leur fonction sur la base de règles ad hoc, pour identifier les introductions et les conclusions. nous n'avons considéré comme introductions que les sections dont le titre est "introduction". pour identifier les conclusions nous avons intégré un ensemble de variantes ("conclusion", "perspectives", "conclusion et perspectives", etc.). notons que certains articles ne disposent pas de telles sections, soit parce que les auteurs ont fait un autre choix dans la structuration ou le titrage, soit parce qu'ils relèvent d'un type de communication spécifique (démonstration de logiciel, prise de position, charte, etc.). le corpus final est constitué de 1602 articles pour un total de 5,8 millions de mots (tokens). parmi eux, 1321 articles contiennent un corps de texte. pour les autres, seuls les métadonnées, résumés et mots-clés ont pu être identifiés. ce cas de figure s'explique par le codage pdf spécifique de certains fichiers empêchant leur conversion en texte, et par la présence d'articles en anglais dont les métadonnées ont été conservées lorsqu'on disposait d'au moins un contenu exploitable en français (résumé, traduction du titre, mots-clés). l'ensemble du corpus (métadonnées et contenu) a été mis sous format xml en respectant la norme tei p5. le corpus taln est utilisable librement pour les besoins de la recherche et à des fins non commerciales grâce à une licence spécifique accordée par l'atala. il est disponible sur la plateforme de diffusion ortolang 4 . ## construction et comparaison des modèles distributionnels nous présentons ici les opérations qui mènent du corpus taln aux modèles sémantiques et à leur comparaison. ## analyse toutes les analyses présentées ici portent sur les mots dont la fréquence est de 50 ou plus dans chacun des quatre sous-corpus considérés, soit 3107 mots représentés par leur catégorie et leur lemme (uniquement les classes ouvertes). ## conclusion et perspectives les études de variation entre un modèle distributionnel de référence et d'autres modèles obtenus en retirant une partie du document des mêmes données d'apprentissage nous permettent de tirer certaines conclusions concernant l'impact de la structure des articles scientifiques sur la représentation distributionnelle d'un corpus spécialisé. de manière globale les résumés et titres de section impactent moins le voisinage des mots que les autres parties de texte. ce résultat, qui semble contre-intuitif, peut s'expliquer en faisant l'hypothèse que ces passages sont redondants par rapport au reste du texte, ou qu'y figurent des mots qui s'y comportent différemment, comme nous le suggère l'analyse qualitative. quant aux introductions et aux conclusions, elles n'ont pas d'influence significative, les enlever a le même effet que retirer une part aléatoire équivalente du corpus. la représentation des mots spécifiques au domaine et au genre n'est pas affectée par le retrait des titres et se trouve même plus stable que les autres lorsque les résumés et introductions sont retirés. nous pouvons en déduire que le coeur du vocabulaire technique n'est pas particulièrement employé à l'intérieur de ces zones. seul le vocabulaire propre à la zone est logiquement touché. ce dispositif nous pousse à penser que ces parties de document scientifique ne jouent pas de rôle prépondérant vis-à-vis de l'analyse distributionnelle. une optimisation/pondération des contextes au regard de la zone dans laquelle ils se trouvent serait donc négligeable voir déconseillée selon l'objectif de modélisation recherché. pour mettre au jour de véritables variations entre les emplois des mots dans les différentes parties d'un document, l'idéal aurait été de comparer directement des espaces sémantiques construits sur des parties différentes du corpus, à la manière des travaux initiés par @xcite pour la diachronie. cependant, notre corpus et les sous-parties visées représentent clairement un trop petit volume pour ce type de méthode. l'approche indirecte que nous avons suivie ici pourrait néanmoins être poursuivie à plus large échelle, mais devrait alors se concentrer sur le discours scientifique général, puisque la restriction à un domaine particulier ne permettrait pas d'atteindre la masse critique nécessaire.