Classification de relation pour la génération de mots-clés absents (2023)

Abstract: Les modèles encodeur-décodeur constituent l’état de l’art en génération de mots-clés. Cependant, malgré de nombreuses adaptations de cette architecture, générer des mots-clés absents du texte du document est toujours une tâche difficile. Cette étude montre qu’entraîner au préalable un modèle sur une tâche de classification de relation entre un document et un mot-clé, permet d’améliorer la génération de mots-clés absents.

## introduction la génération de mots-clés consiste à générer un ensemble de mots ou expressions (le terme "mot-clé" est utilisé dans les deux cas) représentant les points d'intérêt d'un document. ceux-ci sont utilisés pour différentes tâches telles que le résumé automatique @xcite @xcite ou l'indexation @xcite . ces mots-clés peuvent être présents dans le texte source du document ou absents de celui-ci. ils sont alors appelés mots-clés présents (respectivement absents). les mots-clés absents apportent une plus-value en enrichissant l'indexation des documents scientifiques @xcite . contrairement à son équivalent extractif, la génération de mots-clés a la particularité de permettre de générer ces mots-clés absents. la génération de mots-clés a été introduite avec l'utilisation de l'architecture encodeur-décodeur @xcite . cependant, les mots-clés absents résultant d'une abstraction, leur génération est particulièrement difficile, et ce malgré de nombreuses adaptations du modèle encodeur-décodeur @xcite @xcite @xcite . plutôt que d'essayer d'améliorer l'architecture, plusieurs travaux se sont concentrés sur l'utilisation de tâches support pour améliorer la représentation du texte avec des modèles pré-entraînés @xcite @xcite . cependant, aucun de ces travaux n'a travaillé sur la représentation de l'ensemble des mots-clés (présents et absents). nous inspirant de ces travaux, nous introduisons une nouvelle tâche support visant à améliorer l'encodage des mots-clés et notamment des mots-clés absents. les contributions de cette étude sont comme suit : ## méthodologie notre approche repose sur l'utilisation de deux affinages successifs d'un modèle pré-entraîné ; un premier affinage sur une tâche de classification suivi d'un affinage sur la génération de mots-clés. le but de notre méthode est d'apprendre au modèle à mieux représenter la relation entre un document et ses mots-clés. en demandant au modèle de reconnaître les mots-clés auteur d'un document, nous avons pour objectif d'améliorer la représentation entre un mot-clé et son document par l'encodeur. de précédents travaux se sont appuyés sur des tâches support afin d'insister sur certains aspects importants du document tels que certains passages ciblés ou les mots-clés présents @xcite . cependant, aucun n'utilise l'ensemble complet des mots-clés (présents et absents) dans ces différentes tâches. les travaux à l'origine du modèle linkbert @xcite améliorent significativement l'encodeur bert en utilisant un graphe document-hyperlien. ce graphe permet de récupérer des textes issus de documents liés dans le graphe pour enrichir les données d'entraînement. le modèle est ensuite entraîné à déterminer si un passage est modifié avec du contenu provenant du document lui-même, d'un document lié ou d'un document aléatoire. nos travaux s'inscrivent dans cette ligne en utilisant également une tâche de classification de séquence mais où le lien entre les documents est basé sur les mots-clés. nous entraînons ensuite le modèle obtenu sur la génération de mots-clés. dans cet article, la tâche de classification consiste à déterminer si la séquence contient un mot-clé auteur, un mot-clé lié ou un mot-clé aléatoire. les mots-clés auteurs d'un article sont les mot-clés attribués par les auteurs de celui-ci. pour chaque mot-clé y d'un document d 1 , nous déterminons les documents d k qui possèdent aussi ce mot-clé. les mots-clés de d k autres que y sont appelés mots-clés liés. la figure 1 représente un exemple. le mot-clé en bleu et rouge est un mot-clé partagé entre les documents d1 et d2. les mots-clés bleus sont donc les mots-clés liés du document d1. les mots-clés aléatoires (en vert sur la figure 1 ) sont pris aléatoirement dans l'ensemble restant des mots-clés du corpus (i.e sans les mots-clés auteur du document et ses mots-clés liés). pour la tâche de classification, la séquence à classifier est constituée de deux sous-séquences ; un mot-clé, puis la concaténation du titre et du résumé du document. le mot clé est soit un mot-clé auteur du document, soit un mot-clé lié, soit un mot-clé aléatoire. le modèle doit classifier la séquence selon trois étiquettes "auteur, lié, aléatoire". l'hypothèse est qu'à l'instar de linkbert, entraîner le modèle à faire cette distinction améliorera l'encodeur et permettra d'avoir une meilleure représentation entre les mots-clés et leurs documents associés. notre approche s'appuie sur le modèle bart (lewis et al., 2020). ce modèle génératif avec une architecture encodeur-décodeur a déjà été utilisé pour la génération de mots-clés (chowdhury et al., 2022; houbre et al., 2022; meng et al., 2022) et notamment dans des travaux avec des tâches support (kulkarni et al., 2022; wu et al., 2022). ## expériences nous entraînons le modèle sur le dataset kp20k (meng et al., 2017) pour les deux tâches (classification et génération). ce dataset contient 530 000 documents scientifiques en anglais dans le domaine des sciences informatiques issus de la bibliothèque numérique acm digital library foot_2 . chaque document est annoté avec en moyenne 5 mots-clés. en plus de ces mots-clés auteurs, nous ajoutons les mots-clés liés et les mots-clés aléatoires. nous ajoutons au maximum 5 mots-clés liés et 5 mots-clés aléatoires à chaque document. pour la classification, chaque séquence ne comporte qu'un seul mot-clé. l'ensemble d'entraînement est constitué de 8,1 millions de paires document/mot-clé. le modèle est entraîné pendant 4 époques sur 4 cartes graphiques v100 32go. l'entraînement de la tâche support prend 96 heures. le modèle est ensuite entraîné sur la génération de mots-clés. nous utilisons le paradigme one2seq (meng et al., 2021) qui consiste pour un document en entrée, à générer l'ensemble des mots-clés dans une unique séquence. la séquence de mots-clés de référence est composée des motsclés présents dans leur ordre d'apparition dans le texte, suivis des mots-clés absents dans l'ordre donnée par l'auteur puis des mots-clés liés et aléatoires. le modèle est entraîné pendant 10 époques. l'entraînement de la génération de mots-clés prend 9 heures. conformément aux travaux à l'état de l'art, nous distinguons l'évaluation de la génération des mots-clés présents et absents. pour les mots-clés présents, nous utilisons la f1@m et la f1@10. la f1@m (respectivement f1@10) est la f-mesure appliquée sur la première séquence de mots-clés générée par le modèle (respectivement les top 10 mots-clés générés). pour la génération de mots-clés absents, nous utilisons le rappel appliqué au top 10 mots-clés générés (r@10). pour obtenir 10 mots-clés, nous utilisons une recherche par faisceau et générons 20 séquences. nous prenons ensuite les 10 premiers mots-clés en enlevant les répétitions. si nous ne pouvons pas obtenir 10 mots-clés uniques, la séquence est complétée par autant d'unités "<@xmath0. avant d'effectuer la comparaison, les mots-clés de la référence et les mots-clés prédits sont racinisés avec l'algorithme de porter. la significativité statistique des résultats est vérifiée par un test de student avec @xmath1.05. ## résultats et discussion le tableau 1 détaille les résultats des expériences sur l'ensemble de test de kp20k. le symbole †représente une différence statistiquement significative entre les résultats des deux modèles. ## conclusion dans cette étude, nous avons proposé une nouvelle tâche support visant à améliorer la génération de mots-clés. nous entraînons un modèle à distinguer si un mot-clé est associé par l'auteur, extrait