Evaluation automatique de la satisfaction client à partir de conversations de type “chat” par réseaux de neurones récurrents avec mécanisme d’attention (Customer satisfaction prediction with attention-based RNN s from a chat contact center corpus) (2018)

Abstract: Cet article présente des méthodes permettant l’évaluation de la satisfaction client à partir de très vastes corpus de conversation de type “chat” entre des clients et des opérateurs. Extraire des connaissances dans ce contexte demeure un défi pour les méthodes de traitement automatique des langues de par la dimension interactive et les propriétés de ce nouveau type de langage à l’intersection du langage écrit et parlé. Nous présentons une étude utilisant des réponses à des sondages utilisateurs comme supervision faible permettant de prédire la satisfaction des usagers d’un service en ligne d’assistance technique et commerciale.

## introduction l'analyse automatique d'enregistrements de conversations, écrites ou orales, représente un défi pour les méthodes de traitement automatique de la langue à cause d'une part de la nature spontanée du langage employé, et d'autre part de la construction interactive du discours au fur et à mesure de l'échange entre les participants. en dehors des tâches d'extraction d'informations telles que la classification de conversations @xcite ou le résumé automatique @xcite , l'une des tâches les plus étudiées dans le cadre des conversations avec but est celle de l'évaluation de la satisfaction des intervenants, en particulier dans le contexte applicatif des centres de contact clientèle des entreprises ou des administrations. en effet les services techniques, commerciaux ou juridiques de la majorité des grands groupes peuvent être contactés par l'intermédiaire de centres d'appels ou grâce à des systèmes de conversation textuels hébergés sur leurs sites web. ce dernier type de conversations, dites conversations médiées, sont faciles à collecter et une étude poussée de leur contenu permet de contrôler et d'améliorer la qualité des services rendus. le champ de l'analytics s'intéresse à ces aspects avec par exemple l'étude manuelle par des experts d'échantillons de conversations, l'extraction de statistiques à partir de l'analyse automatique du contenu. cependant une grande partie des informations sont le plus souvent issues de l'analyse des sondages de satisfaction, sous forme de questionnaires soumis aux usagers suite aux conversations. la réponse aux questions de type "votre problème a-t-il été résolu ?" ou "recommanderiez-vous le service à vos proches ?" sont des indicateurs de performance importants pour les services concernés. une des limites de ce type d'étude est dû au fait que de nombreux usagers ne prennent pas la peine de répondre aux questionnaires de satisfaction. se limiter aux seuls sondages renseignés donne une vue tronquée de la réalité d'un service. nous nous intéressons dans cette étude à la problématique de la prédiction automatique des réponses aux enquêtes de satisfaction à partir des seules transcriptions de conversations. nous décrivons un système de prédiction automatique d'indicateurs de qualité entraîné sur des corpus de questionnaires post-conversations. cette tâche ouvre plusieurs perspectives applicatives comme la prédiction de la satisfaction pour les clients ne répondant pas aux enquêtes. elle constitue également un travail préalable à la mise en oeuvre de monitoring en temps réel de la satisfaction client. ## travaux connexes l'évaluation de la satisfaction client au sein de centres d'appels a donné lieu à de nombreuses études, la plupart sur des conversations orales téléphoniques. les critères utilisés pour mesurer cette satisfaction peuvent être multiples, de critères objectifs tels que la réalisation effective de la tâche ayant motivé l'appel ou le temps d'attente, jusqu'aux critères subjectifs relatifs à la perception de l'efficacité ou la capacité d'écoute du téléconseiller ayant géré l'appel, ou encore la volonté de l'utilisateur de recommander ou pas le service qu'il vient d'utiliser, ce dernier critère étant l'un des plus importants pour les entreprises concernées @xcite . les systèmes qui ont été développés pour prédire automatiquement ces critères peuvent utiliser deux types de supervisions pour entraîner leurs modèles : une supervision directe sous la forme de sondages demandant aux utilisateurs de répondre à une enquête de satisfaction immédiatement après une conversation ; une supervision indirecte en demandant à des experts d'évaluer la satisfaction des appelants perçue à partir des transcriptions. c'est généralement la supervision indirecte qui est utilisée en raison des difficultés à obtenir les enquêtes de satisfaction des clients. par exemple le système qa rt décrit dans (roy et al., 2016) permet de prédire directement la qualité d'une conversation, au fur et à mesure de son déroulement, à l'aide d'indices et de classifieurs entraînés sur des avis d'experts. cette prédiction de satisfaction à base d'avis d'experts a aussi été utilisée pour évaluer le ressenti d'utilisateurs d'interfaces de dialogue homme-machine, comme récemment dans @xcite où des classifieurs à base de support vector machine (svm) sont utilisés, ou encore dans @xcite où des approches à base de réseaux de neurones récurrents (rnn) permettent de prendre en compte la séquentialité des tours de parole dans une conversation. l'utilisation d'une supervision indirecte, sous forme d'avis d'experts, pose problème pour évaluer des critères aussi subjectifs que la perception d'une qualité d'écoute, ou la volonté de recommander un service. ce point est discuté dans @xcite où il est montré qu'il existait une bonne corrélation entre les enquêtes d'opinion et ces avis d'experts. cependant l'une des principales limitations des études précédentes est la faible taille des corpus utilisés. en effet, même pour les avis d'experts, obtenir des annotations sur de grands corpus reste une tâche difficile et coûteuse. l'une des principales originalités de notre étude est d'avoir pu utiliser de très grands corpus de dialogue avec une supervision directe sous la forme de sondages de satisfaction effectués à l'issue des conversations. en effet le format des conversations "chat", ainsi que le volume des conversations disponibles font que nous pouvons disposer d'un très grand ensemble de sondages, sur lesquels des modèles de prédiction sont entraînés. dans @xcite , les auteurs exploitent des enquêtes de satisfaction renseignées par les utilisateurs eux-même afin d'estimer la satisfaction face à un système de dialogue homme-machine. cependant, ces questionnaires étaient dans leur cas directement liés à la qualité perçue du système de dialogue, avec des questions orientées dans ce sens. ici, nous disposons d'un volume important de conversations "chat" avec une annotation directe de satisfaction selon plusieurs dimensions. disposer d'une supervision directe est bien évidemment un atout majeur, cependant cela pose des questions sur la difficulté de la tâche de prédiction : en effet, contrairement à la supervision indirecte effectuée par des experts se basant uniquement sur des transcriptions de conversation, nous ne savons pas dans quelle mesure les notes données par les utilisateurs ont des traces objectives dans la conversation elle-même ou bien proviennent d'un ressenti et d'une expérience utilisateur prenant en compte l'historique des rapports entre le client et le service. cette étude se propose d'essayer de prédire cette supervision directe de la satisfaction des utilisateurs d'un service, en présentant tout d'abord dans le paragraphe suivant le type de données et de sondage auxquels nous avons eu accès. ## conversations et métadonnées les conversations utilisées sont issues des logs de conversations de type "chats" provenant du service client de l'entreprise orange. les différentes conversations portent sur plusieurs sujets, à la fois techniques sur les problèmes rencontrés avec les services proposés, ou encore des questions à propos d'une offre commerciale. ces conversations textuelles étant directement issues des "chat" entre clients et téléconseillers, il est important de noter qu'il y a une présence assez importante de fautes d'orthographe et autres types de bruits. lorsqu'une conversation avec un agent est terminée, le client a la possibilité de remplir un questionnaire contenant les 5 questions suivantes : question alias j'ai été accompagné(e) et j'ai eu les explications pour faire par moi-même accompagnement j'ai été écouté(e) et ma demande a été prise en charge ecoute j'ai été bien conseillé(e) conseil la solution proposée par orange me convient solution suite à votre contact avec le service clients, recommanderiez-vous orange à vos proches ? recommander si certaines questions portent directement sur l'interaction en elle même ("accompagnement", "ecoute", "conseil"), d'autres ne sont qu'indirectement liées. ainsi "solution" peut être liée à l'expérience du client à l'issue de la conversation. enfin, la question "recommander" relève également d'une appréciation générale pour lesquels les clients peuvent exprimer un ressenti plus large que celui qui résulte de la simple conversation. pour cette question "recommander", le client doit répondre sur une échelle allant de 0 à 10. suivant les conventions du domaine de l'analyse de la relation client, nous avons réalisé des regroupements pour définir trois catégories : détracteurs (note de 0 à 6), passifs (7 ou 8) et promoteurs (9 ou 10). pour les autres questions, le client doit répondre sur une échelle à 5 niveaux allant de "pas du tout satisfait(e)" à "très satisfait(e)". les réponses à ces questions sont des indicateurs importants pour juger de la qualité de service. les données ont été collectées sur une période d'un mois et nous avons sélectionné le sous-ensemble de conversations pour lesquelles nous avions une réponse à toutes les questions. les corpus d'entraînement, de développement et de test sont respectivement constitués de 47685, 15899 et 15892 conversations. le corpus d'entraînement est composé de 140000 tokens différents. comme précisé dans le paragraphe précédent, l'originalité de l'étude est que la supervision de l'annotation est faite directement par le client. il y a ainsi autant d'annotateurs que de conversations. la quantité très importante de données d'apprentissage et de test disponibles avec cette supervision directe (près de 80k conversations), est aussi très inhabituelle pour ce type d'étude ou ce sont généralement de petits volumes qui sont considérés. pour évaluer le premier mode en sac de mots (1), nous utilisons un classifieur svm avec un modèle pour chaque tâche, dans l'implémentation des svm à noyau linéaire @xcite . pour la représentation en bloc (2), nous utilisons un réseau de neurones convolutionnels (cnn) basé sur le réseau décrit par kim (2014). nous créons un modèle par tâche ayant des filtres de tailles 3, 4 et 5 avec 100 filtres pour chaque taille. pour le dernier mode prenant en compte l'ordre des mots (3), nous avons implémenté un réseau de neurones récurrent (rnn) de type long short term memory (lstm). etant donné la forte variabilité inhérente à ce mode de représentation où chaque conversation est représentée comme une unique séquence de tokens (environ 500 mots en moyenne par conversation), nous avons ajouté en complément au rnn, un mécanisme d'attention @xcite permettant au système de se focaliser sur les mots importants d'une conversation par rapport à la tâche visée. dans cette configuration, les interventions de l'usager et du téléconseiller sont concaténées en ajoutant un @xmath0. en sortie, le réseau donne, pour chaque conversation, une distribution de probabilité sur l'ensemble des classes de la tâche. la classe sélectionnée est celle qui a la plus haute probabilité. le mécanisme d'attention utilisé est le suivant : soit @xmath1. . . w n une conversation. les distributions de probabilité p sont obtenus avec : dans les équations précédentes, lstm est une couche de long short-term memory units @xcite . le sens de la flèche indique le sens de lecture des séquences par la couche lstm. w d et b d sont les paramètres de la couche de décision. dans le réseau implémenté, les couches cachées des lstms sont de taille 128. les embeddings de mots sont de dimensions 100. l'information indiquant qui est le scripteur du tour de parole (client, téléconseiller, système) est également intégrée sous forme d'embeddings de taille 3 concaténés aux embeddings de mots. nous utilisons la fonction d'entropie croisée pour la fonction de coût. les poids du modèle sont initialisés uniformément dans [-0.1,0.1], et optimisés avec l'algorithme adam. un dropout de 0.5 est appliqué après la couche de lstms. pour des contraintes techniques, les tailles des conversations sont normalisées à une taille de 1200 mots. pour les conversations plus courtes, un symbole de padding est utilisé pour compléter les conversations ; pour celles qui sont plus longues, les 1200 derniers tokens sont pris en compte. dans l'ensemble du corpus, seules 4% des conversations sont partiellement coupées. ## expérimentations la prédiction de la satisfaction est abordée dans cette étude comme un problème de classification, on mesure donc la performance de la prédiction par le taux de labels correctement prédits, appelée accuracy dans la suite de l'étude. dans ce type d'évaluation, il n'est pas plus grave de faire une confusion entre le label "0" et le label "4" qu'entre le label "0" et le label "1". cependant, d'un point de vue applicatif, ces confusions n'ont pas la même valeur. les labels étant des notes sur une échelle de satisfaction graduée, il est plus grave de considérer un client pas du tout satisfait comme très satisfait, plutôt que comme peu satisfait. c'est pourquoi nous évaluons également les classifieurs avec des mesures qui exploitent la gradation des labels, qui sont ici des valeurs numériques ordonnées (que l'on peut qualifier de notes). nous utilisons pour cela le coefficient de corrélation de spearman entre l'ensemble des notes prédites et l'ensemble des notes réelles car il permet d'évaluer si les notes prédites conservent l'ordonnancement des notes réelles. en effet, ce coefficient de corrélation vaut 1 quand il existe une fonction monotone croissante entre labels prédits et labels réels, c'est-à-dire si les ordonnancements des labels prédits sont identiques aux ordonnancements des labels réels. afin d'avoir une mesure d'évaluation plus interprétable, nous utilisons également la mesure ∆ abs , définie comme la moyenne de la valeur absolue de la différence entre le label réel (score de satisfaction de la vérité-terrain) et le label prédit. cette mesure doit être la moins élevée possible, un classifieur parfait rendant une mesure de 0. en regardant de plus près les mots qui obtiennent le plus souvent le plus haut score d'attention, on remarque que les mots en lien avec les remerciements reviennent le plus souvent pour la majorité des tâches. pour la tâche "ecoute", on constate également qu'il y a plusieurs mots portant sur l'agent comme "efficacité" ou "gentillesse". pour la tâche "solution", on observe la présence des mots "aide", "satisfait" et "navrée" faisant probablement référence à la résolution ou non du problème. sur les deux autres mesures, on peut observer que le rnn simple obtient de meilleurs performances que le svm sur toutes les tâches en excluant la tâche "recommander". on observe que le réseau avec attention obtient les meilleures scores de corrélations sur toutes les tâches avec des gains allant de 0,01 à 0,05 points, ainsi que sur la mesure ∆ abs . dans le cas du cnn, on obtient des scores de corrélations inférieurs aux scores obtenus par le rnn avec attention avec des différences allant de 0,01 à 0,02 points. ceci est également le cas sur la mesure ∆ abs sauf pour la tâche "recommander" où le cnn est meilleur de 0,02 points. les tâches obtenant les meilleurs résultats sont "conseil" et "ecoute" ce que l'on pouvait escompter dans la mesure où ce sont les questions les plus directement liées au déroulement de la conversation. "accompagnement" relève d'une appréciation plus subjective et "solution" relève d'une appréciation technique. quant à la question de savoir si le client recommanderait l'entreprise, il peut y avoir des facteurs subjectifs dépassant le cadre de la simple conversation. si l'on s'intéresse à l'ordre relatif des jugements, la prédiction de "solution" présente le meilleur coefficient de spearman, en revanche c'est bien la dimension "ecoute" qui produit les prédictions les plus proches des prédictions réelles en valeur absolue (∆ @xmath2.532). ## conclusion l'évaluation automatique de la satisfaction client à partir d'une conversation n'est pas une tâche facile. les modèles de type svms permettent d'obtenir des résultats raisonnables et les réseaux de neurones convolutionels permettent d'améliorer ces résultats. cependant, un réseau de neurones récurrents avec un mécanisme d'attention parvient à obtenir de meilleurs résultats que ce soit du point de vue de la classification que de la corrélation de spearman. pour la suite, il serait intéressant de réaliser directement une régression avec le réseau de neurones afin de mieux prendre en compte le fait que les réponses sont données sur une échelle graduée. il serait aussi intéressant d'essayer d'utiliser des descripteurs structurels en complément des mots.