Représentation sémantique distributionnelle et alignement de conversations par chat (Distributional semantic representation and alignment of online chat conversations ) (2019)

Abstract: Les mesures de similarité textuelle ont une place importante en TAL, du fait de leurs nombreuses applications, en recherche d’information et en classification notamment. En revanche, le dialogue fait moins l’objet d’attention sur cette question. Nous nous intéressons ici à la production d’une similarité dans le contexte d’un corpus de conversations par chat à l’aide de méthodes non-supervisées, exploitant à différents niveaux la notion de sémantique distributionnelle, sous forme d’embeddings. Dans un même temps, pour enrichir la mesure, et permettre une meilleure interprétation des résultats, nous établissons des alignements explicites des tours de parole dans les conversations, en exploitant la distance de Wasserstein, qui permet de prendre en compte leur dimension structurelle. Enfin, nous évaluons notre approche à l’aide d’une tâche externe sur la petite partie annotée du corpus, et observons qu’elle donne de meilleurs résultats qu’une variante plus naïve à base de moyennes.

## introduction les problèmes de similarité textuelle ont connu un essor rapide en tal, en passant de questions au niveau lexical avec des relations de proximité sémantique puis rapidement au niveau phrastique, avec la question de la paraphrase ou l'inférence @xcite , et même au-delà sur la similarité de passages textuels plus grands @xcite . les productions qui ne sont pas dans un cadre mono-locuteur sont relativement négligées, à l'exception de l'embedding de tours de parole isolés @xcite , voire du cas particulier de la similarité de questions @xcite , mais ces modèles ne prennent pas non plus en compte la structure au-delà de la phrase. nous nous intéressons ici au cas de la similarité de conversation, où l'échange est structuré en tours de parole produits par deux interlocuteurs, dans le cadre de dialogues orientés par une tâche, où chacun des interlocuteurs joue un rôle différent. c'est la similarité globale de conversations entières qui est ciblée. la popularité croissante d'échanges écrits sous la forme de dialogues textuels (chat, forum, micro-blogging) soulève des questions intéressantes de mises en rapport de conversations similaires, avec des applications directes à la fouille de conversation, souvent motivées par des problématiques de gestion de la relation client (customer relationship management), qui nous sert de cas d'étude. dans ce contexte, les applications potentielles d'une définition de similarité de conversation sont nombreuses : par exemple, la possibilité de construire des marches à suivre "types", en regroupant des conversations portant sur un problème technique similaire et/ou dont les étapes de résolution suivies sont similaires ; ou bien encore, la possibilité d'effectuer une recherche rapide d'une conversation similaire pendant qu'une autre se déroule, afin de guider le conseiller, sans passer par des méthodes de recherche classique, telle que la recherche par mots-clés, qui ne renvoient pas toujours un petit nombre de résultats pertinents. pour établir cette mesure de similarité conversationnelle, on ne s'intéresse pas ici qu'à la dimension sémantique des messages envoyés par chacun des participants, mais également à la structure globale de la conversation elle-même. de plus, le corpus utilisé ici ne disposant que d'une très faible proportion de données annotées (<1%), on n'emploie ici que des méthodes non-supervisées. un autre aspect important dans ce cadre d'assistance est l'explicitation des liens entre conversations qui permet de décomposer la similitude des cas rencontrés dans une tâche de support, et de comprendre la pertinence des conversations mises en relation. la contribution du travail porte donc ici sur les aspects suivants : une définition de similarité entre conversations, avec un alignement explicite des parties de conversations qui sous-tendent cette similarité, et une méthode non-supervisée pour calculer les représentations utilisées pour calculer la similarité. pour montrer l'intérêt de l'alignement, nous comparons l'utilisation de cette méthode avec d'autres plus simples pour prédire le résultat d'une tâche de classification annexe par plus proches voisins. figure 1 -schéma du modèle skip-thought utilisé. le modèle encodeur produit une représentation du i-ème message (concaténation des états cachés finaux des deux directions du modèle récurrent) qui est ensuite utilisée pour conditionner deux décodeurs récurrents respectivement sur les (i -1) et (i + 1)-èmes messages, en espérant ainsi forcer cette représentation à capturer des informations sémantiques conversationnelles. et al., @xcite , tout deux entraînés sur les données non-annotées du corpus. due à la nature du corpus, il est nécessaire de prendre en compte un certain nombre de contraintes sur le contenu textuel des conversations : en particulier, on a choisi un modèle fasttext car celui-ci peut obtenir des embeddings pour des mots hors-vocabulaire à l'aide d'embeddings de n-grammes, ce qui nous permet de mieux gérer la présence de fautes de frappe et d'orthographe. le modèle skip-thought vectors produit des encodages de séquences de mots, en prenant en compte leurs contextes immédiats durant l'apprentissage (ici, le tour de parole directement suivant et précédent, voir figure 1 ), ceci permettant en théorie d'enrichir les informations sémantiques extraites par cet encodeur. en sortie, on obtient donc des représentations vectorielles des messages d'une conversation résultants de la concaténation des états cachés finaux du modèle récurrent bidirectionnel, dont les hyper-paramètres utilisés dans nos expériences sont donnés en une fois les messages des conversations encodés, et afin de prendre en compte la dimension structurelle de celles-ci, on a choisi de s'inspirer de la mesure word mover's distance (wmd) présentée dans @xcite , elle-même proche de wan (2007) : cette méthode consiste normalement à employer la distance de wasserstein, qui mesure le "coût" nécessaire pour transformer une distribution de probabilité en une autre, sur des phrases sous la forme de séquences de words embeddings, en résolvant le problème de transport optimal earth mover's distance (emd) associé : on assimile chaque vecteur-mot de la phrase a à un tas de terre et chaque vecteur-mot de la phrase b à un trou, tous de même capacité et définis dans le même espace muni d'une mesure de distance (ou coût) donnée, le but étant de trouver l'ensemble de déplacements de coût total minimum qui permette de remplir tous les trous (ou d'épuiser tous les tas de terre ainsi). cette approche fournit à la fois une mesure de distance, assimilable à une mesure de similarité sémantique ici, et un alignement optimal (au sens du problème emd) entre deux phrases données. on peut adapter cette méthode, à un niveau d'abstraction plus élevé, en travaillant sur des séquences d'embeddings de phrases aux seins de conversations, comme c'est notre cas ici. la résolution d'instances du problème emd peut se faire à l'aide d'un solveur dédié (tel que pot 1 ), et ne nécessite que de calculer la matrice des coûts entre les vecteurs, à l'aide de la similarité cosinus ou d'une autre norme vectorielle par exemple. l'avantage principal de cette approche est qu'en plus d'obtenir une mesure de similarité conversationnelle structurelle, on obtient également un alignement optimal des messages des conversations traitées, qui peut être utilisé comme entrée pour une autre tâche, ou pour permettre une interprétation qualitative des résultats : en effet on pourra alors observer comment se transpose l'enchaînement d'actes de dialogue d'une conversation à une autre qui lui est similaire (d'après cette mesure) et ainsi pouvoir vérifier quelles parties de celles-ci ont été jugées similaires, et de quelle manière elle le sont (dans la forme globale que prennent certaines sections, ou dans la thématique d'un ou plusieurs messages en particulier, par exemple). avec cette approche, une conversation sera donc représentée par la distribution des messages qui la composent dans leur espace d'embedding, ceci s'opposant aux méthodes qui agrège ces vecteurs en une représentation simple, qui ont pour avantage d'être plus économes en mémoire et en temps de calcul (pour effectuer des mesures de similarité), mais ont pour désavantage de détruire au moins en partie l'information structurelle de la conversation. nombre de conversations dans le corpus complet 432 768 nombre de conversations annotées (état résolution) 2775 nombre de tours de paroles dans le corpus complet 15 682 118 taille du vocabulaire pour word embeddings 120 391 dimensions des word embeddings 100 dimensions cachées de l'encodeur skip-thoughts 1024 structure de l'encodeur skip-thoughts bilstm, 1 couche, 0.5% dropout structure des décodeurs skip-thoughts (entraînement) 2 bigru (suivant, précédent), 1 couche paramètres de l'entraînement 10 epochs, taille des @xmath0, optimiseur adam figure 3 -exemples de matrices associées aux dialogues d1 et d2. ## perspectives et conclusion nous avons proposé ici un modèle qui permet de définir une similarité entre dialogues en prenant en compte le contenu sémantique tout en respectant la structure du dialogue en tours de parole. il est évident que l'organisation dialogique peut être modélisé de nombreuses façons plus précises, en prenant en compte le type des actes de dialogue @xcite ou l'organisation des liens entre tours en fonction des besoins de la communication avec des relations dialogiques, comme dans @xcite . sans aller jusqu'à ce dernier niveau complexe à prédire même avec des données annotées, ajouter l'information du type d'acte de dialogue (assertion, question, ...) est une suite naturelle : ce niveau est l'objet de nombreux travaux avec des performances assez élevées, que ce soit sur l'anglais @xcite ou le français @xcite . on pourrait alors observer si l'ajout de cette information à chaque énoncé permet d'avoir de meilleurs alignements et une meilleure correspondance entre des types de dialogue. à l'inverse, il pourrait être intéressant de voir l'apport de l'appariement de dialogues dans l'apprentissage d'une séquence d'actes de dialogues. de plus, si en théorie le modèle skip-thoughts utilisé ici permet de capturer le contexte immédiat des messages, comprenant donc en partie les spécificités liées à la nature des conversations par chat, une amélioration possible à explorer serait l'augmentation de la taille de la fenêtre de contexte à l'entraînement (ici de taille 1 seulement), ou bien, l'utilisation de modèles avec prédictions contextualisées, comme elmo @xcite ou bert @xcite . au-delà du dialogue par chat, d'autres formes de communication impliquent de modéliser des interactions textuelles, y compris dans un contexte orienté-tâche, et il serait intéressant de généraliser l'approche à la modélisation de dialogue sur des forums, où @xcite a montré l'intérêt d'une analyse (supervisée) de la structure.