Stratégie Multitâche pour la Classification Multiclasse (A Multitask Strategy for Multiclass Classification) (2021)

Abstract: Nous proposons une idée originale pour exploiter les relations entre les classes dans les problèmes multiclasses. Nous définissons deux architectures multitâches de type one-vs-rest qui combinent des ensembles de classifieurs appris dans une configuration multitâche en utilisant des réseaux de neurones. Les expériences menées sur six jeux de données pour la classification des sentiments, des émotions, des thématiques et des relations lexico-sémantiques montrent que nos architectures améliorent constamment les performances par rapport aux stratégies de l’état de l’art de type one-vsrest et concurrencent fortement les autres stratégies multiclasses.

## introduction alors que la classification binaire traite des problèmes à deux classes (par exemple, spam vs. non spam), la classification multiclasse implique l'attribution de plus de deux étiquettes (par exemple, positif, neutre ou négatif). un large éventail de problèmes multiclasses existe dans le monde réel, tels que l'analyse des sentiments @xcite , la classification des genres de nouvelles @xcite , la détection des émotions @xcite , pour n'en citer que quelques-uns. si de nombreux efforts ont été déployés pour (1) affiner des modèles d'apprentissage pour des problèmes spécifiques de classification textuelle @xcite , ou (2) concevoir des architectures (neuronales) spécifiques à la classification de texte @xcite @xcite , moins de travaux se sont attelés à proposer des modèles génériques qui peuvent traiter des problèmes multiclasses indépendamment de la tâche et de l'objet à classer. pour les arbres de décision, les réseaux bayésiens ou les k plus proches voisins, et avec quelques modifications pour les réseaux de neurones @xcite et les machines à vecteurs de support @xcite . deuxièmement, des stratégies ont été développées qui reposent sur une décomposition du problème en un ensemble de sous-problèmes binaires, dont les résultats sont combinés pour déterminer la solution multiclasse finale. dans ce cadre, deux stratégies principales ont été largement utilisées, à savoir la stratégie one-vs-rest et la stratégie one-vs-one. selon @xcite , les deux stratégies offrent souvent des performances similaires, tandis que des résultats contrastés sont observés par @xcite . dans ce même contexte, on peut également mentionner la stratégie de "error-correcting output-coding" @xcite et sa généralisation @xcite . la troisième approche consiste à construire une architecture d'apprentissage hiérarchique en supposant qu'il existe une certaine relation entre les étiquettes de classe. ainsi, deux stratégies principales ont été proposées, à savoir l'approche basée sur les instances @xcite , et la stratégie basée sur les prédictions @xcite . dans cet article, nous proposons de tirer le meilleur parti des stratégies par décomposition et hiérarchique en intégrant les relations entre les étiquettes de classe dans une approche de type one-vs-rest. à cette fin, nous concevons une stratégie multitâche, dans laquelle chaque classifieur one-vs-rest est appris dans une configuration multitâche, ce qui permet de prendre en compte l'interdépendance des étiquettes de classe en une seule étape d'apprentissage, par opposition aux stratégies hiérarchiques qui nécessitent de deux étapes interdépendantes. ainsi, chaque problème (ou tâche) one-vs-rest devrait bénéficier de l'apprentissage simultané des autres tâches comme le suggère @xcite , si celles-ci sont corrélées ou montrent des similarités cognitives. en particulier, nous proposons deux architectures multitâches de type one-vs-rest (tout-partagé et partagé-privé) basées sur des algorithmes multitâches bien connus @xcite . ces deux architectures sont comparées à des solutions par décomposition et hiérarchiques de l'état de l'art en utilisant six jeux de données de référence pour l'analyse des sentiments @xcite , la détection des émotions @xcite , la classification thématique @xcite et la classification de relations lexico-sémantiques @xcite . ## stratégie one-vs-rest multitâche la stratégie par décomposition one-vs-rest transforme un problème à n classes en n problèmes binaires (ici, tâches), où chaque classe doit être discriminée de toutes les autres classes. ainsi, la décision finale est donnée par le classifieur avec la probabilité d'inférence maximale. dans notre approche one-vs-rest multitâche, les n classifieurs binaires sont appris dans un cadre multitâche, ce qui permet d'obtenir une performance accrue pour chacune des tâches si celles-ci sont liées, i.e. s'il existe une relation (de similarité ou cognitive) entre les classes @xcite . nous proposons d'introduire deux modèles multitâches multiclasses : le modèle tout-partagé et le modèle partagéprivé. dans l'architecture tout-partagé (figure 1 ), un réseau de neurones apprend une représentation partagée commune à toutes les tâches, à partir de laquelle toutes les décisions des classifieurs binaires doivent être apprises. dans l'architecture partagé-privé, une couche privée est concaténée à la couche partagée, permettant à chaque classifieur binaire d'apprendre sa fonction de décision à partir d'informations spécifiques à la tâche mais aussi communes à toutes les tâches @xcite . les deux modèles sont formellement définis comme suit pour exactement une couche générique partagée et une couche privée par classifieur binaire. soit x k un vecteur d'entrée 1 , la couche partagée 1. x 1 = x, où x est le vecteur de texte encodé. s(x k ) est calculée comme dans l'équation 1, où w s k est une matrice de poids, b s k est un vecteur de biais foot_0 , et @xmath0, k] où k est le nombre de couches partagées. la couche privée h j (z q ) de chaque classifieur binaire indépendant j, qui résout la tâche t j (@xmath1, n ]) est définie dans l'équation 2, où @xmath2, q] et q est le nombre de couches cachées. notez que pour l'architecture tout-partagé, la classe prédite est donnée par le maximum de toutes les probabilités prédites o 1 , ..., o n , qui sont définies dans l'équation 3. les paramètres sont mis à jour en minimisant l'entropie croisée binaire e(o j , y j ), où y j est l'étiquette de référence. ainsi, les poids de la couche partagée sont mis à jour en minimisant alternativement l'entropie croisée binaire de chaque classifieur, tandis que les couches privées ne sont mises à jour que pour une tâche donnée. 3 jeux de données et configurations expérimentales @xcite ) sont des hyperparamètres optimisés par recherche par grille. les poids sont initialisés avec une distribution uniforme échelonnée @xcite et mis à jour à l'aide de adam @xcite avec un taux d'apprentissage fixé à 0,001 13 . ## résultats chaque architecture est évaluée sur 25 exécutions différentes (partitions d'entraînement et de validation différentes mais avec l'ensemble de test identique) et la signification statistique est calculée pour six métriques différentes afin de refléter au mieux les différences entre les architectures. en particulier, nous calculons la f1 micro, la f1 macro, la f1 pondérée, l'acc macro (précision), l'aunu (surface moyenne sous la courbe) et l'aunp (surface pondérée sous la courbe) @xcite . les résultats sont présentés dans le tableau 2. les résultats montrent clairement que la stratégieone-vs-rest multitâche dépasse l'approche classique one-vs-rest en tenant compte de la relation entre les classes. ceci est particulièrement pertinent pour tweet2016, emocontext et rrw, où les architectures tout-partagé et partagé-privé dépassent statistiquement les résultats de la stratégie onevsrest. en particulier, pour tweet2016, des améliorations maximales de 2,7% f1 micro, 2,4% f1 macro et 2,9% f1 pondérée peuvent être atteintes. les améliorations pour rrw sont du même ordre, alors qu'elles sont moins expressives pour emocontext, mais néanmoins statistiquement pertinentes. pour rotten tomatoes et la classification thématique (c'est-à-dire bbc et bbc sport), la situation diffère légèrement car seule une des architectures multitâches one-vs-rest dépasse statistiquement le onevsrest : onevsrest tout-partagé pour rotten tomatoes et bbc, et onevsrest partagé-privé pour bbc sport. en particulier, pour bbc sport, des améliorations maximales de 0,7% f1 micro, 0,7% f1 macro et 0,7% f1 pondérée peuvent être atteintes. la différence entre les architectures tout-partagé et partagé-privé peut être due à la force de la relation entre les classes comme expliqué dans @xcite . en effet, les architectures tout-partagé semblent être plus performantes que les architectures partagé-privé lorsque les classes sont fortement liées, alors que le contraire se produit lorsque les classes sont moins fortement liées. la comparaison entre la stratégie multitâche de type one-vs-rest et les implémentations multiclass et hierarchical nécessite une analyse plus approfondie. pour tweet2016, emocontext et rrw, la stratégie tout-partagé dépasse statistiquement les deux approches. en particulier, pour tweet2016, des améliorations maximales de 0,8% (resp. 3%) f1 micro, 0,8% (resp. 1,9%) f1 macro et 0,9% (resp. 3,6%) f1 pondérée peuvent être atteintes par rapport à multiclass (resp. hierarchical). ces résultats sont confirmés pour l'architecture partagé-privé dans le contexte de emocontext et de rrw, mais pas pour tweet2016, où les résultats ne peuvent pas être distingués de multiclass. pour bbc sport, l'architecture partagé-privé est statistiquement plus performante que les résultats de multiclass, mais les résultats sont similaires à ceux de hierarchical. il convient de noter que pour ce jeu de données, l'architecture multiclass affiche les pires résultats, ce qui indique clairement la présence d'une relation entre les classes. pour bbc, les résultats des stratégies multitâches one-vs-rest ne sont pas statistiquement supérieurs à ceux des stratégies multiclass et hierarchical, ce qui montre que ce jeu de données est certainement celui qui met en évidence le moins de relations entre les classes. enfin,