Extraction de thèmes d’un corpus de demandes de support pour un logiciel de relation citoyen (Topic extraction from a corpus of support requests for citizen relations software) (2020)

Abstract: Nous nous intéressons dans cet article à l’extraction de thèmes (topics) à partir de commentaires textuels provenant des demandes de support de l’éditeur de logiciel Berger-Levrault. Le corpus de demandes analysé est celui d’un outil de gestion de la relation citoyen. Ce corpus n’est pas formaté et est peu structuré avec plusieurs locuteurs qui interviennent (le citoyen et un ou plusieurs techniciens support). Nous décrivons une étude expérimentale qui repose sur l’utilisation de deux systèmes. Le premier système applique une LDA (Allocation Dirichlet Latente), tandis que le second combine l’application d’une LDA avec l’algorithme k-Moyennes (k-Means). Nous comparons nos résultats avec un échantillon de ce corpus, annoté par un expert du domaine. Nos résultats montrent que nous obtenons une classification de meilleure qualité comparable avec celle effectuée manuellement par un expert en utilisant une combinaison LDA/k-Moyennes.

## introduction la modélisation et l'identification du thème auquel appartiennent les documents d'une collection donnée de textes sont essentielles pour de nombreuses applications. par exemple, la recherche d'information @xcite , les systèmes de recommandation @xcite , la classification de textes @xcite , les sciences cognitives @xcite et l'analyse de sentiments dans les réseaux sociaux @xcite , pour n'en citer que quelques-unes. dans ce contexte, un topic est un groupe de mots clés qui est considéré intuitivement comme représentant un thème sémantique latent présent dans un document. l'extraction des thèmes consiste à effectuer une analyse distributionnelle sur un corpus de données pour en mesurer les probabilités de distribution des thèmes sur les termes du vocabulaire utilisé. la modélisation des thèmes (en anglais topic modeling) est un processus sémantique qui applique un regroupement de niveau supérieur sur les mots clés et repose sur des modèles statistiques qui capturent la probabilité d'apparition des mots sémantiquement liés dans un contexte défini. par exemple, pour capturer l'idée que demande et inscription se rapportent au même thème, tandis que demande et faq (i.e. foire aux questions) se rapportent à un thème différent. plusieurs travaux se sont concentrés sur la modélisation et l'identification du thème auquel appartiennent les documents d'un corpus de données @xcite @xcite . ces approches reposent sur l'analyse de termes (ou parfois d'entités nommées), extraits à partir des textes, sur lesquels un regroupement peut être effectué afin de les lier par thème (par exemple, dans notre cas d'étude, inscription, gestion de doublons et renumérotation). par la suite, un étiquetage du thème @xcite peut être (facultativement) appliqué pour attribuer à ce groupe de termes un identifiant approprié se référant au thème en question (par exemple, doublons d'inscription). nous nous intéressons dans cet article à l'extraction de thèmes à partir de commentaires textuels évoqués par des clients et techniciens support pour le traitement des données du logiciel e.élections appartenant à l'éditeur berger-levrault. il s'agit d'un logiciel de gestion des inscriptions électorales et de la préparation des scrutins. plusieurs tâches sont nécessaires à la gestion des élections, par exemple, la modification des adresses des électeurs, l'optimisation d'édition des cartes électorales, la mise à jour du nom du maire, voire la gestion des transmissions dans un répertoire national induisant la gestion des doublons citée ci-dessus. ce travail présente une étude expérimentale de méthodes d'extraction de thèmes à partir d'un corpus de demandes de support. plus précisément, nous traitons la tâche d'identification des thèmes. pour ce qui concerne l'étiquetage des thèmes, cette tâche n'est pas traitée dans ce travail mais constitue un complément essentiel. après avoir présenté dans la section 2 les travaux état-de-l'art d'extraction de thèmes, nous décrivons dans la section 3 le corpus de travail et d'évaluation de nos méthodes. nous discutons du format de ces corpus et des conséquences sur le processus d'extraction de thèmes. dans la section 4, nous présentons la méthodologie que nous avons suivie pour créer des modèles d'apprentissage permettant l'identification des thèmes. enfin, les résultats d'expérimentation sont discutés dans la section 5 avant de terminer par une conclusion et quelques perspectives (section 6). ## travaux antérieurs d'extraction de thèmes l'identification des thèmes peut être envisagée en appliquant directement les méthodes traditionnelles proposées dans la littérature telles que l'analyse sémantique latente-lsa @xcite , la lsa probabiliste-plsa @xcite ) ou l'allocation dirichlet latente-lda @xcite . cependant, ces approches ont certaines limites. premièrement, elles ne fonctionnent généralement que sur des mots individuels et non sur des expressions polylexicales, bien que des extensions aient été proposées pour tenir compte des termes multi-mots @xcite . deuxièmement, les thèmes sont considérés comme des variables latentes associées à une probabilité de générer des mots, et ne sont donc pas directement « étiquetés », ce qui les rend difficile à externaliser, même si des extensions pour étiqueter les thèmes sont disponibles @xcite . enfin, les mots sont difficiles à interpréter sémantiquement et sont généralement considérés comme des références symboliques sur lesquelles une inférence statistique/probabiliste peut être appliquée. toutefois, il existe une alternative qui permet de surmonter cette dernière limite lorsque le modèle lda est appliqué. il s'agit de l'outil de visualisation pyldavis @xcite . cet outil permet de faciliter l'interprétation des thèmes à l'aide de la représentation graphique proposée. en effet, sélectionner un ou plusieurs termes sur le graphe permet non seulement de mieux expliquer le thème en question mais aussi de tirer des conclusions sur l'importance de certains termes pour certains thèmes. par ailleurs, des approches ont émergé et proposent d'utiliser les informations structurées disponibles dans les bases de connaissances ontologiques pour améliorer l'identification des thèmes dans les textes @xcite . toutefois, ces ressources ne sont pas toujours disponibles principalement lorsque nous sommes confrontés au traitement d'un corpus de spécialité. d'autres travaux se sont concentrés sur l'utilisation des méthodes traditionnelles en conjonction avec les informations extraites à partir de ressources standards, par exemple, la ressource dbpedia @xcite . @xcite ont appliqué une lda pour regrouper les mots en thèmes et ensuite, ils ont associé les mots groupés avec la ressource dbpedia pour étiqueter les thèmes. @xcite , quant à eux, ont proposé un travail en sens inverse, c'est-à-dire, d'abord associer les termes avec la base dbpedia avant d'appliquer un algorithme d'identification de thèmes dans le but d'enrichir les textes avec des annotations en catégories de wikipédia, hyperonymes, entités liées aux entités extraites, etc. @xcite ont proposé un travail qui consiste à indexer les thèmes sur tout le corpus wikipédia par application d'un contrôleur de vocabulaire. ce contrôleur repose sur l'utilisation des noms des articles de wikipédia. pour l'étiquetage des thèmes, des approches à base de graphes de connaissances ont été proposées en utilisant des ressources lexico-sémantiques ou ontologiques @xcite . ce type d'approches a été aussi proposé pour l'amélioration de l'identification des thèmes en utilisant des plongements d'entités (entity embeddings), par exemple @xcite . @xcite ont entraîné les représentations d'entités au moyen d'une utilisation des réseaux sémantiques comme wordnet @xcite et des bases de connaissances en ligne comme freebase @xcite . ## données de travail nous utilisons un corpus français de demandes de support à propos du logiciel e.élections. nous appellerons ce corpus par la suite le corpus support élections. ce dernier a plusieurs particularités (par exemple, mots non structurés, formatage, ponctuation faible, etc.). cela s'explique par le fait que pour une demande donnée, plusieurs échanges ont eu lieu soit par écrit, soit par téléphone. toutefois, le contenu textuel que nous avons récupéré pour chaque demande regroupe la question du citoyen et les différentes réponses ayant été rapportées à sa demande par suite des échanges effectués avec les techniciens support. par ailleurs, le vocabulaire utilisé par les citoyens est très varié et parfois mal structuré. il dépasse la plupart du temps les termes (mots) utiles pour apporter une réponse à une demande donnée. l'utilisation de l'ensemble des mots du vocabulaire du corpus peut facilement engendrer un biais. l'aspect de réduction du vocabulaire est traité dans ce travail et est discuté dans la section qui suit. le corpus de travail ayant servi à l'entraînement de nos modèles d'apprentissage contient 94 478 échanges représentant 31 036 demandes différentes. ce corpus a été collecté durant le dernier trimestre de l'année 2019. une première analyse de ce corpus avec spacy @xcite , chaîne du traitement automatique de la langue, nous a montré la diversité du vocabulaire (1) prétraitement fdgfdgdfg utilisé : 12 412 mots pleins différents, c'est-à-dire, mots portant du sens (noms, adjectifs, adverbes et verbes). le corpus d'évaluation, quant à lui, représente un échantillon de données collecté durant le troisième trimestre de l'année 2019. cet échantillon décrit 535 demandes différentes dont près de 74 % des demandes (394 cas) ont été annotées avec un seul thème par un expert du domaine. ## méthodologie cette section décrit l'architecture de notre approche et les modèles d'apprentissage que nous avons développés. cette approche répond au problème d'identification des thèmes en trois parties différentes, à savoir : (1) quels sont les outils et les ressources nécessaires pour prétraiter les données et réduire le vocabulaire utilisé dans le corpus support élections ? (2) quel est le modèle de représentation vectorielle à utiliser pour décrire les demandes ? et (3) quel est le modèle d'apprentissage non supervisé à utiliser pour apprendre les thèmes discutés dans le corpus ? la figure 1 présente l'architecture de notre approche. ## résultats d'expérimentation nous avons tout d'abord entrainé un modèle lda sur les données du corpus de travail. afin de choisir les meilleures valeurs pour les deux paramètres à fournir pour lda, à savoir : le nombre de composants (thèmes) et la décomposition de l'apprentissage (learning decay, ld), nous avons appliqué la méthode gridsearchcv qui est implémentée dans scikit-learn. le nombre de thèmes a été varié entre 2 et 20 et nous avons pris une valeur pour la variable ld soit de 0,5, 0,7 ou 0,9. les résultats obtenus ont montré que le paramétrage optimal pour notre modèle lda serait de prendre 10 thèmes avec une valeur ld égale à 0,5, cela en utilisant les deux types de représentation des commentaires, à savoir tf (fréquence du terme) et tf-idf. avec cette configuration, nous avons obtenu un rapport de vraisemblance de -1 204 185 et une perplexité de 123 par simple application du tf au type de représentation, ce qui est relativement bien pour une telle valeur de vraisemblance. nous avons comparé les résultats obtenus par l'utilisation des deux types de représentation des demandes de support. cette comparaison nous a montré que le simple tf permet de mieux distinguer au moins quatre thèmes. la figure 2 montre les cartes retournées par pyldavis @xcite sur les deux types de représentation. nous remarquons que l'application de tf-idf (voir la carte 'b)' de la figure 2 ) renvoie une projection très dense de la plupart des thèmes où la distance entre eux est très petite. cela peut s'expliquer par le fait que la pondération tf-idf accapare une très large part de la variance en raison de la présence des deux thèmes 9 et 10. pour ce qui suit, nous présentons nos résultats par application du type de représentation tf. le tableau 1 décrit les mots les plus fréquents pour chaque thème du corpus de travail support élections. thème liste de mots les plus fréquents 1 2 3 4 5 6 7 8 9 10 inscription ; notification ; traiter ; radiation ; pas ; date ; office ; avoir ; client ; compte. logiciel ; mise ; jour ; rappeler ; nom ; synchronisation ; version ; avance ; usage ; pas. demande ;insee ; transmettre ;pas; instruit ;message ; viser ;traiter ; notification ; erreur. liste ; numéro ; avoir ; pas ; renumérotation ; apparaitre ; client ; fois ; carte ; électeur. client ;connexion ; erreur ;pas ; message ;portail ; service ;période ;application ; besoin. adresse ; doublon ; naissance ; changement ; ville ; commune ; gestion ; supprimer. bureau ; vote ; synchronisation ; faire ; lancer ; pas ; base ; exister ; erreur ; sauvegarde. faq ;client ;demande ;site ;lien ;recevoir ; cas ;disponible ;assistance ;réponse ; pouvoir. carte ; retour ; procuration ; commission ; premium ; liste ; européen ; imprimer ;saisir. tableau ; commander ; relatif ; espace ; solliciter ; récupérer ; transmettre ; condition. ## conclusion et perspectives dans cet article, nous avons présenté deux méthodes d'identification des thèmes. la première repose sur l'utilisation de lda, tandis que la seconde est en deux temps : elle applique d'abord une lda sur la distribution des mots pour ensuite appliquer l'algorithme k-moyennes sur la distribution des thèmes retournés par lda. nous avons montré que l'utilisation de la seconde méthode à deux niveaux est plus performante lors du traitement des commentaires ayant au moins deux thèmes proches sémantiquement. par ailleurs, en raison de la variété du vocabulaire exprimé par les locuteurs (principalement les citoyens), une réduction de la liste des mots du corpus était nécessaire en utilisant non seulement un vocabulaire spécialisé (documents faq liés au corpus support élections) mais aussi certaines ressources de familles morphologiques. deux perspectives s'ouvrent à ce travail : (1) une intégration des expressions polylexicales par l'utilisation des n-grammes @xcite est possible afin d'améliorer nos modèles; et (2) un étiquetage des thèmes @xcite est envisageable afin de faciliter leur intégration dans l'amélioration de plusieurs applications du traitement automatique du langage naturel.