Predicting failure of a mediated conversation in the context of asymetric role dialogues (2018)

Abstract: In a human-to-human conversation between a user and his interlocutor in an assistance center, we suppose a context where the conclusion of the dialog can characterize a notion of success or failure, explicitly annotated or deduced. The study involves different approaches expected to have an influence on predictive classification model of failures. On the one hand, we will aim at taking into account the asymmetry of the speakers’ roles in the modelling of the lexical distribution. On the other hand, we will determine whether the part of the lexicon most closely relating to the domain of customer assistance studied here, modifies the quality of the prediction. We will eventually assess the perspectives of generalization to morphologically comparable corpora.

## introduction dans un corpus de dialogues humain-humain à rôles asymétriques (e.g. un utilisateur et un agent au sein d'un service client), on cherche à prédire les issues d'« échec » au regard d'une certaine définition. pour cela on utilisera, de façon nominale, une méthode de classification supervisée utilisant les annotations de sortie disponibles, et dont on répétera les phases d'entraînement et de test en faisant varier différents paramètres. chaque donnée d'observation est un dialogue, représenté sous la forme d'un sac de mots dont on compte le nombre d'occurrences au sein de ce dialogue. l'objectif poursuivi est de pouvoir prédire l'échec de futurs dialogues se déroulant dans le même environnement mais aussi d'examiner si des phénomènes stables permettent d'utiliser le modèle sur des corpus de dialogues différents, selon une approche guidée par corpus @xcite . le corpus étudié, datcha @xcite , rassemble des dialogues écrits (« tchats ») entre clients et téléconseillers du service technique de la société orange. on exploitera en particulier l'asymétrie des rôles du client (c) et du téléconseiller (t) sous l'angle lexical. dans un cas, on considèrera dans sa globalité la distribution des mots employés, quel que soit le locuteur. dans l'autre cas, les distributions propres à c ou à t seront considérées séparément. on parlera alors de données d'observations « différenciées » (par locuteur). en second lieu, la taille du lexique obtenu directement par segmentation des mots est supérieure à 11000 flexions. il s'agira d'en choisir des critères de réduction pertinents -pour, d'une part, garder un lexique significatif et, d'autre part, assurer un bon comportement de l'algorithme d'apprentissage du modèle. or, l'univers dialogique constitue ici un « domaine fermé » (l'assistance client d'un opérateur), en opposition au « domaine ouvert » (lequel met en jeu des dialogues portant sur des sujets d'une diversité arbitraire). on examinera l'influence relative de la part du lexique la plus caractéristique du domaine (ci-après désignée comme part « thématique »), en retranchant optionnellement du lexique un sous-ensemble de 815 mots usuels (articles, mots de liaison syntaxique, et mots appartenant au vocabulaire général). les données d'observation ainsi obtenues seront ci-après qualifiées de « filtrées ». la segmentation du texte en mots est réalisée par un outil de lemmatisation (voir § méthode). celuici permettra, en troisième lieu, de comparer la forme originale et la forme lemmatisée de la distribution lexicale. cette dernière variante a un fondement purement syntaxique, agnostique vis-àvis de l'asymétrie exploitée par les deux précédentes. on notera que le lemmatiseur reconnaît directement certaines expressions locutionnelles, comme par exemple « prendre en charge » (comptant alors pour une entrée dans le lexique). enfin, on ne corrigera pas les déviations linguistiques propres à datcha, telles que discutées dans @xcite . l'action individuelle de ces trois variantes de construction de la distribution lexicale sera comparée à la distribution nominale non différenciée par locuteur, non filtrée, et non lemmatisée. un enjeu de généralisation sera de rechercher les conditions où le contraste sur les résultats est le plus marqué, à savoir dans une fenêtre où l'ensemble du lexique n'est construit ni trop finement (« surabondance » lexicale) ni trop grossièrement (« pénurie » lexicale). la section 2 présente le corpus datcha, ses caractéristiques globales et ses annotations. les sections 3 et 4 décrivent respectivement la méthodologie d'apprentissage du modèle prédictif et les résultats obtenus dans chacune des variantes. la section 5 commente et interprète ces résultats. enfin, la section 6 propose de futures extensions à l'étude menée. ## corpus la problématique d'annotation d'un corpus de dialogue à des fins d'évaluation s'étend sur une longue période, de madcow @xcite à adem @xcite . ici, le corpus est constitué de 2775 dialogues de type tchat, issus d'un centre de contact en assistance technique. les dialogues, lors d'études précédentes sur ce même corpus, ont été annotés manuellement par un expert. celui-ci a annoté chaque dialogue selon le type de résolution du problème client tel qu'il est observé à l'issue de la conversation : le succès ici n'est pas lié à l'obtention au cours du dialogue d'un ensemble d'informations caractéristiques (« slot-filling ») comme abordé par @xcite ou @xcite . le téléconseiller a pour tâche d'établir un diagnostic qui par nature induit une infinité de possibles. aussi, on considère que toute annotation exprimant un progrès dans la résolution de la demande initiale est un succès. ainsi, un dialogue sera considéré comme échec s'il est annoté en « pas de solution » ou « hors-périmètre sans réorientation ». ces situations sont marginales (une dizaine d'occurrences) et la majorité des conversations considérées en échec sont celles qui n'aboutissent pas. les raisons sont diverses : le dialogue s'est interrompu inopinément (78% des cas) ; le client raccroche de son plein gré (12% des cas) ou devient définitivement inactif (8% des cas). la tâche étudiée dans cet article est donc la prédiction de l'échec, avec une répartition des conversations en 76,6% de succès et 23,4% d'échecs. dans ce contexte où la variable à prédire n'a pas été directement annotée, on voit que la tâche définitoire trahit des difficultés intrinsèques propres à la détermination de la « coopération » entre les acteurs @xcite . remarque : c'est l'échec qui est ici pris comme modalité positive. or, les phénomènes qui orientent vers le succès sont aussi légitimes à étudier. en fait, ceux-ci semblent se concentrer sur des aspects cérémoniels (marque de politesse, satisfaction, etc.). par exemple le test du seul mot « merci » produit pour la modalité négative, c'est-à-dire le succès, un triplet (rappel ; précision ; f-mesure) de (82,41% ; 94,88% ; 88,20%). donc dès lors que le succès devient l'objet de la prédiction, un seul mot fait mieux que le modèle trivial attribuant à toutes les observations du corpus la classe majoritaire (100% ; 76,60% ; 86,75%). si a fortiori l'on élargit le lexique (e.g. les lexies présentes sur 40% de dialogues), pas un modèle obtenu n'aboutit à une f-mesure inférieure à 90% (toujours pour le succès). il semble dès lors inutile de convoquer des métriques autres que les (rappel ; précision ; f-mesure) de la modalité d'échec, notés à présent (r ; p ; f). il en irait autrement si la répartition de sortie était davantage balancée. exactitude (« accuracy ») et kappa sont rappelés à titre indicatif, en tant que valeurs symétrisées usuelles de la performance en classification @xcite . ## méthode l'étude envisage la prédiction de l'échec sous un angle lexical, où la démarche est d'« aplatir » chaque dialogue en un vecteur unique d'une dimension égale à la taille du lexique. celui-ci est construit selon le mode opératoire qui suit, appelant une précision définitoire. on appellera taux d'occurrence des entrées lexicales retenues, le pourcentage minimal de dialogues distincts où ces entrées doivent être présentes, qu'elles y apparaissent une ou plusieurs fois. par exemple, l'adjectif « autre » fait partie de la distribution lexicale de datcha pour un taux d'occurrence de 40%, mais pas de 80%. il s'agit donc d'un paramètre servant à ajuster le dimensionnement de la distribution lexicale nominale. les différentes valeurs de taux d'occurrence font l'objet d'un choix d'échelle. pour opérer un compromis entre combinatoire et observation significative, une échelle de 5% à 75% par incrément de 5% est retenue. la valeur minimale (5%) correspond au lexique maximal, soit en l'occurrence 1141 entrées lexicales non lemmatisées. pour chaque entrée, la valeur de la cellule est le nombre d'occurrences dans le dialogue observé. comme les mots-coordonnées entretiennent des relations de cooccurrence dans le champ linguistique, on choisit de ne pas effectuer de normalisation sur ces valeurs. pour un taux d'occurrence fixé, 3 variantes de la distribution nominale sont construites comme décrit ci-après. on précise que, même en conservant les flexions d'origine, l'outil de segmentation et lemmatisation a une empreinte sur la distribution lexicale, e.g. pour les locutions et les transformations sur les contractions (« au »  « à » + « le »). afin d'avoir une base homogène de comparaison, ces transformations sont appliquées aux deux cas. ces effets, quoique marginaux, renvoient au débat de fond de la lemmatisation @xcite . des cas de variantes flexionnelles @xcite pouvant s'avérer en contexte sémantiquement opposées, étayent une invitation à la vigilance quant aux effets du remplacement par le lexème. l'étude est menée selon le mode opératoire séquentiellement disposé comme suit. on y désigne par « campagne » une phase d'entraînement d'une série de modèles de classification employant différentes valeurs de paramétrage. au-delà, l'amplitude de la variabilité des paliers a tendance à augmenter et le modèle peut rester acceptable comme devenir pire qu'un modèle aléatoire (« zone carencée »). en-deçà [5% ; 25%], on reconnaît un symptôme « d'école » en ce que le modèle n'apprend plus que marginalement de la prise en compte d'un lexique plus large (les mots trop peu fréquents n'améliorent pas le modèle). mais surtout, les 4 distributions tendent à voir leurs effets respectifs disparaître (« zone saturée »). le tableau 2 indique que toutes valeurs paramétriques et tous paliers confondus, le meilleur modèle est trouvé pour un taux d'occurrence de 10% dans le mode de génération du lexique sous forme lemmatisée, indifférenciée par locuteur et sans filtrage des mots creux. les (r ; p ; f) en sont (85,82% ; 87,05% ; 86,43%). ancré dans la zone saturée, le modèle ne se situe pas dans un intervalle de confiance permettant de conclure dans cette zone, à une influence du paramétrage. l'exactitude (« accuracy ») et le kappa sont respectivement supérieurs à 93% et 80%, sachant qu'un kappa supérieur à 70% est usuellement considéré excellent : la différentiation de la distribution améliore les résultats du modèle, en zones d'expression. c'est en zone carencée que son effet est le plus prononcé. la f-mesure y est en moyenne de 6,45% supérieure au modèle nominal (sa meilleure observation y est de 82,96% au taux de 55%). son effet reste positif en zone centrale mais chute à 2% en moyenne. il devient indiscernable en zone saturée où l'information purement lexicale se suffit à elle-même. la dynamique à l'oeuvre semble indiquer que plus le lexique est large, moins la connaissance du locuteur apporte à la prédiction. l'effet du filtrage des mots creux engage plusieurs lectures. hors zone saturée, il est en soi naturel que le filtrage de quelque mot que ce soit dégrade les performances prédictives (destruction informationnelle). mais là, le phénomène survient dès la zone centrale (9% de dégradation de fmesure en moyenne) pour s'accentuer en zone carencée (-15%). la zone saturée présente le même symptôme d'annulation d'effet que précédemment. en second lieu, il s'agit de comparer la performance du lexique filtré avec un lexique nominal de taille voisine. c'est ce dernier qui l'emporte dans sa propre zone centrale, même en prenant, par convention, la taille inférieure la plus proche. à taille comparable, la part « thématique » du lexique est ainsi moins indicatrice de l'échec que les mots réputés creux, ce qui peut constituer le socle légitimant une étude des conditions de généralisation du modèle à d'autres corpus. la lemmatisation, enfin, a un caractère oscillatoire de moyenne amplitude qui rend a priori caduque toute perspective d'interprétation. dans la présente structure d'apprentissage de type sacs de mots, elle peut à des paliers adjacents (cf. 75%, 70%, 65%) améliorer sensiblement la performance comme apparaître transparente. en zone centrale, elle peut dégrader la performance, suggérant des ambiguïtés de même nature que @xcite (par exemple, il est plausible qu'un diagnostic de panne occasionnant « des redémarrages » ne soit pas corrélé au succès comme le serait celui occasionnant « un redémarrage » : la confusion flexionnelle serait sur cet exemple génératrice de faux négatifs, si les redémarrages multiples ont une corrélation positive à l'échec). ## perspectives une combinatoire complète des cas étudiés aurait à court terme vocation à examiner les effets cumulés de plusieurs des critères d'apprentissage (e.g. filtrage + différenciation par locuteur). la séquentialité de la dynamique dialogique inspire en fait la mise en oeuvre d'approches dédiées. la plus immédiate consisterait à observer la différence de distribution lexicale des locuteurs, de part et d'autre d'un point d'avancement du dialogue défini par un taux arrondi de nombre de tours de parole sur le nombre total de tours de parole du dialogue considéré. il constituerait un nouveau paramètre variable du processus d'apprentissage. une caractérisation fine des comportements séquentiels passe par un changement de la technique d'apprentissage, e.g. au profit de réseaux de neurones récurrents adaptés au texte (lstm). l'observation unitaire y devient l'entrée lexicale, ou une transformée de type word2vec ou glove @xcite . elle est affublée de traits b, i, o délimitant les dialogues et tours de parole. enfin, dans chaque scénario, une révision de l'état de l'art en reconnaissance d'entités nommées permettrait d'envisager une préparation plus poussée du corpus, réduisant l'inflation lexicale. remerciements : ce travail a été financé partiellement par l'agence nationale de la recherche : anr-15-ce23-0003 (datcha).