Du bon usage d’ingrédients linguistiques spéciaux pour classer des recettes exceptionnelles (Using Special Linguistic Ingredients to Classify Exceptional Recipes ) (2020)

Abstract: Nous présentons un modèle d’apprentissage automatique qui combine modèles neuronaux et linguistiques pour traiter les tâches de classification dans lesquelles la distribution des étiquettes des instances est déséquilibrée. Les performances de ce modèle sont mesurées à l’aide d’expériences menées sur les tâches de classification de recettes de cuisine de la campagne DEFT 2013 (Grouin et al., 2013). Nous montrons que les plongements lexicaux (word embeddings) associés à des méthodes d’apprentissage profond obtiennent de meilleures performances que tous les algorithmes déployés lors de la campagne DEFT. Nous montrons aussi que ces mêmes classifieurs avec plongements lexicaux peuvent gagner en performance lorsqu’un modèle linguistique est ajouté au modèle neuronal. Nous observons que l’ajout d’un modèle linguistique au modèle neuronal améliore les performances de classification sur les classes rares.

## introduction différentes techniques issues du traitement automatique des langues (tal) ont été utilisées au fil des ans pour traiter la tâche de classification de textes. avec l'émergence de corpus de taille plus importante et l'avènement de l'apprentissage profond, les architectures de réseaux neuronaux sont devenues de plus en plus populaires dans l'exécution de différentes tâches de tal @xcite . toutefois, malgré les progrès réalisés par l'apprentissage profond et l'obtention de résultats de pointe dans de nombreuses tâches, peu d'études ont abordé le défi que représentent les tâches de classification sur des ensembles de données déséquilibrés. ces tâches de classification correspondent pourtant à de nombreux scénarios et applications de la vie réelle @xcite , et représentent toujours un défi majeur. dans cet article, nous nous intéressons à deux tâches de classification multi-classes avec une distribution très déséquilibrée des étiquettes sur les données et nous mesurons l'efficacité de différentes méthodes pour relever un tel défi. les tâches considérées sont la classification des recettes de cuisine selon 4 niveaux de difficulté (très facile, facile, assez difficile, difficile -tâche 1) et la classification en fonction du type de repas (entrée, plat principal, dessert -tâche 2). ces tâches et les ensembles de données, tous deux très déséquilibrés, sont issus de la campagne d'évaluation deft (défi fouille de textes) 2013 @xcite . nous expérimentons un modèle neuronal qui utilise des plongements lexicaux pré-entraînés comme caractéristiques d'entrée puis un modèle hybride composé de sous-modèles neuronaux et linguistiques et mesurons leur efficacité pour gérer une distribution de classe déséquilibrée. par cette double expérimentation, nous cherchons à évaluer dans quelle mesure les plongements lexicaux pré-entraînés sont réellement en mesure de supprimer, dans une tâche de classification, tout recours au prétraitement linguistique. nous souhaitons en particulier évaluer si l'influence du pré-traitement linguistique des données textuelles sur le caractère discriminant du classifieur demeure, en particulier lorsque ce classifieur est déjà renforcé par des plongements lexicaux. cet article est organisée comme suit : dans la section 2 nous passons brièvement en revue les travaux antérieurs connexes. la section 3 présente les ensembles de données utilisés et détaille les particularités de la campagne d'évaluation deft 2013. l'architecture globale du modèle, les sous-modèles et les différentes configurations utilisées sont décrits dans la section 5. la section 6 analyse les résultats obtenus et la section 8 conclut ce travail. ## conception des modèles notre but est de conduire deux séries de comparaisons. en premier lieu, nous voulons donc déterminer si un modèle neuronal associé à des plongements lexicaux est capable de performances supérieures à un modèle classique associé à un modèle linguistique. nous désignerons dans nos résultats cette série d'expérience par le qualificatif de modèle neuronal. en second lieu, nous voulons déterminer si ce même modèle neuronal associé à des plongements lexicaux et complété du modèle linguistique améliore ses performances. nous désignerons, dans nos résultats, cette série d'expérience par le qualificatif de modèle combiné. dans cette section, nous présentons tout d'abord l'architecture des modèles neuronaux. en utilisant trois modèles de plongements (bert, flaubert, camembert) que nous exploitons avec une architecture neuronale récurrente ou convolutive, nous obtenons 6 modèles (voir ## discussion il est intéressant d'observer que sur les corpus de tests, aucun des modèles neuronaux dont les plongements sont non personnalisés, n'obtient de meilleurs performances que les modèles classiques associés aux modèles linguistiques déployés lors de la campagne deft 2013. il apparaît également que les modèles neuronaux dont les plongements sont affinés sur les corpus d'entraînement, produisent eux aussi des résultats inférieurs à ceux des modèles classiques associés aux modèles linguistiques. on peut envisager ces résultats comme une indication que les modèles neuronaux à apprentissage profond, y compris lorsqu'ils sont finement entraînés ne produisent pas automatiquement de performances supérieures à celles des modèles classiques quand ces derniers sont finement paramétrés. ceci semble particulièrement vrai sur des corpus textuels dé-balancés : les modèles neuronaux sont incapables, dans toutes les configurations de nos expériences qui ne font pas appel aux modèles linguistiques, de modéliser la classe difficile de la tâche 1 alors que les modèles classiques y parviennent. cette difficulté qu'ont les modèles neuronaux à modéliser les classes sous représentées apparaît dans d'autres expériences @xcite . il conviendrait de mener d'autres études dans d'autres contextes pour confirmer ce point. si l'incapacité des modèles à apprentissage profond à modéliser une classe fortement dé-balancée venait à être confirmée plus largement, elle les disqualifierait pour de nombreuses applications, au profit d'autres classifieurs beaucoup plus performants dans ce contexte, tels que xgboost @xcite . on remarque néanmoins que les modèles neuronaux, avec très peu d'efforts de préparation, atteignent des scores très proches (moins de 1 point d'écart pour camembert) de ceux obtenus par les modèles classiques, lorsque les corpus sont mieux balancés. nous observons pour finir que tous les modèles neuronaux, lorsqu'ils voient leur données d'apprentissage enrichies par les vecteurs de paramètres issus du modèle linguistique, obtiennent les meilleures performances, y compris sur les classes dé-balancés. on peut déduire de cette observation qu'un réseau de neurone à apprentissage profondmême associé à des plongements censés lui fournir des caractères linguistiques discriminants -gagne à voir ses données d'entraînement complétées par des paramètres complémentaires et sélectionnés pour leurs propriétés discriminantes, obtenues via une phase d'ingénierie des paramètres. ## conclusion ces travaux dédiés à la classification de textes présentent un modèle combiné, composé d'un modèle neuronal et d'un modèle linguistique. ce modèle combiné est évalué sur les tâches 1 et 2 de la campagne deft 2013 @xcite , qui consistent à classer les recettes de cuisine en français en fonction du niveau de difficulté ou du type de repas. les résultats de ces expériences montrent que, dans les deux tâches, les modèles combinés sont plus performants que leurs homologues uniquement neuronaux. dans la tâche 1, le modèle combiné a pu obtenir les meilleurs résultats en termes de micro et macro f1 moyens, ce qui montre son efficacité dans les contextes de classes très déséquilibrées. dans notre contexte expérimental, la conception rapide d'un système performant est possible avec les modèles neuronaux combinés avec des plongements, si les classes ne sont pas exagérément débalancées. cependant, le système le plus performant et robuste est obtenu en soumettant aux modèles neuronaux des caractères discriminants patiemment sélectionnés.