Apprentissage de dépendances entre labels pour la classification multi-labels à l’aide de transformeurs (2023)

Abstract: Dans cet article, nous proposons des approches pour améliorer les architectures basées sur des transformeurs pour la classification de documents multi-labels. Les dépendances entre les labels sont cruciales dans ce contexte. Notre méthode, appelée DepReg, ajoute un terme de régularisation à la fonction de perte pour encourager le modèle à prédire des labels susceptibles de coexister. Nous introduisons également un nouveau jeu de données nommé “arXiv-ACM”, composé de résumés scientifiques de la bibliothèque numérique arXiv, étiquetés avec les mots-clés ACM correspondants.

## introduction la classification multi-labels peut être considérée comme une généralisation de la classification binaire ou multi-classes traditionnelle. le but est d'associer un ou plusieurs labels au texte d'entrée. c'est une tâche importante pour de nombreuses applications telles que la classification d'articles de recherche @xcite ou la réponse aux questions @xcite . plusieurs méthodes ont été proposées pour résoudre la classification multi-labels. elles peuvent être divisées en trois familles : transformation de problème @xcite , adaptation de problème et méthodes d'ensemble @xcite . dans la configuration multi-labels, il est nécessaire de trouver des caractéristiques discriminantes pour identifier chacun d'entre eux dans le texte donné, mais dans de nombreuses applications, des dépendances peuvent exister entre les labels cibles. nous proposons dans cet article une approche d'adaptation de problème qui consiste dans l'exploitation de la corrélation des labels pour la classification de documents multi-labels qui tire parti de leurs cooccurrences de manière simple mais efficace. pour cette approche, nous proposons un terme de régularisation qui est ajouté à la fonction de perte de la tâche de classification, basé sur les labels prédits et la matrice de similarité de labels. une matrice calculée en utilisant la similarité cosinus entre les coocurrences de chaque label par rapport aux autres. nous proposons un nouveau jeu de données multi-labels arxiv-acm, qui diffère de ceux présents dans la littérature de part sa grande cardinalité ainsi qu'une meilleure distribution des échantillons par nombre de labels. il est construit à partir de résumés d'articles scientifiques de la bibliothèque numérique arxiv et appariés avec les mots-clés acm de niveau 2 fournis par les auteurs. ## travaux connexes diverses méthodes ont été proposées pour modéliser la dépendance entre les labels en utilisant des structures hiérarchiques @xcite , des graphes et réseaux conditionnels @xcite , des cooccurrences de labels, ou encore une combinaison de ces approches @xcite . toutefois, ces méthodes tendent à privilégier les relations verticales entre les labels plutôt que les dépendances latérales. magnet @xcite , un réseau de neurones en graphes qui utilise les plongements de mots de bert, met en oeuvre le mécanisme d'attention pour capturer la structure de dépendance entre les labels. lw-pt @xcite introduit une nouvelle tâche de pré-entraînement de classification de documents par labels et entraîne des encodeurs de documents par labels. ces deux méthodes parviennent à avoir de bonnes performances en score f1 pour les ensembles de données aapd et reuters (cf. section 4) tout en utilisant des lstms pour l'extraction des caractéristiques textuelles. dans le domaine de la vision par ordinateur, et plus précisément dans la détection d'objets qui est essentiellement une tâche de classification multi-labels, @xcite utilise un modèle transformeur et une attention au niveau des pixels pour capturer les dépendances spatiales dans une image, ainsi qu'un jeton spécifique à l'objet qui est ajouté à une étape ultérieure dans le modèle. ce jeton est utilisé pour prédire le nombre de labels pour une instance donnée et peut aider le modèle à établir une correspondance plus robuste entre les caractéristiques d'entrée et les labels à prédire. une approche alternative consiste dans l'utilisatiion des fonctions de perte d'équilibrage pour améliorer la performance des labels sous-représentés @xcite . cependant, cela peut réduire l'information apportée par les cooccurrences de labels qui peuvent corriger les biais des modèles et améliorer la performance de la classification pour les labels moins fréquentes. dans @xcite (cnle), les labels sont encodés sous forme de plongements de mots et alimentés avec la séquence de texte dans un réseau de co-attention @xcite . les représentations de texte en fonction des labels et les labels en fonction du texte sont ensuite utilisées pour la classification multi-labels en la considérant comme un problème de génération de séquences. le mécanisme d'attention tient compte de la relation entre les labels, mais son efficacité est limitée dans les cas où les labels ne sont pas des mots complets mais plutôt des abréviations ou des codes, comme "cs.it" dans le jeu de données aapd. dans de tels cas, les labels sont initialisées avec une distribution de probabilité plutôt que des plongements pré-entraînés, ce qui ne fournit pas une représentation optimale pour les labels. dans la section 4, nous montrons que notre approche ne dépend pas de la nature des labels et contribue à une amélioration des performances pour tous les ensembles de données étudiés. ## régularisation par dépendance (depreg) nous présentons ici notre méthode de régularisation par dépendance (depreg), qui ajoute un terme de régularisation à la fonction de coût du modèle transformeur pour incorporer les informations de cooccurrence des labels. nous construisons une matrice de similarité s en utilisant la matrice de cooccurrence c. le terme de régularisation l depreg est calculé comme le produit scalaire entre le vecteur de dissimilarité d sim et le vecteur de prédiction transposé ŷ t . le terme de régularisation est ajouté à la fonction de coût principale lors de l'apprentissage pour encourager le modèle à faire des prédictions cohérentes avec les dépendances des labels présentes dans le jeu de données : aapd -en raison de la nature du vocabulaire utilisé dans les résumés scientifiques, ce jeu de données est complexe. les scores de performance montrent que les modèles ont du mal à associer les sujets à leurs résumés correspondants. l'apprentissage de la dépendance obtient cette fois-ci une augmentation du rappel avec un score micro-f1 de 73,81. ## conclusion la classification multi-label est une tâche pertinente, en particulier pour la gestion des bibliothèques numériques et l'étiquetage automatique de documents. dans cet article, nous avons proposé une méthode simple mais efficace pour utiliser les informations de cooccurrence des labels pour permettre aux modèles à base de transformeurs d'apprendre les dépendances entre les labels. la méthode de régularisation de dépendance (depreg) s'est avérée particulièrement efficace, améliorant les performances du modèle bert de base. cependant, cette approche pénalise les labels moins fréquents en raison de leurs faibles probabilités de cooccurrence. atténuer cet inconvénient peut conduire à un gain de performance plus notable. enfin, nous avons introduit dans cet article un nouveau jeu de données multi-label, l'ensemble de données "arxiv-acm", plus adapté pour tester les nouvelles approches multi-label. notre jeu de données et tout le code de mise en oeuvre seront disponibles au moment de la publication 3 .