Analyse faiblement supervisée de conversation en actes de dialogue (Weakly supervised dialog act analysis) (2019)

Abstract: Nous nous intéressons ici à l’analyse de conversation par chat dans un contexte orienté-tâche avec un conseiller technique s’adressant à un client, où l’objectif est d’étiqueter les énoncés en actes de dialogue, pour alimenter des analyses des conversations en aval. Nous proposons une méthode légèrement supervisée à partir d’heuristiques simples, de quelques annotations de développement, et une méthode d’ensemble sur ces règles qui sert à annoter automatiquement un corpus plus large de façon bruitée qui peut servir d’entrainement à un modèle supervisé. Nous comparons cette approche à une approche supervisée classique et montrons qu’elle atteint des résultats très proches, à un coût moindre et tout en étant plus facile à adapter à de nouvelles données.

## introduction l'analyse de conversation est une perspective intéressante dans le cadre de la gestion de la relation client, notamment à cause de l'essor des plate-formes de conseil mettant en relation des clients avec des conseillers pouvant les aider à régler des problèmes techniques ou commerciaux. une part importante de ces échanges a lieu par écrit dans le cadre d'échange par chat. alors que l'analyse de corpus de conversation sous forme orale a une longue histoire, avec des corpus reconnus @xcite , les conversations sous forme écrite permis par les nouvelles formes de media sociaux (chat, forums, microblogging) ont fait l'objet de moins d'attention, même si cela commence à changer, par exemple les travaux sur les forums @xcite , le chat, notamment en anglais @xcite et récemment en français @xcite . l'analyse en actes de dialogue est un premier niveau d'analyse de la conversation qui permet de caractériser la fonction de communication d'un énoncé ou d'un tour de parole, en déterminant si un énoncé est une offre, une réponse, un retour sur un échange, ou si l'énoncé a une fonction sociale ou en rapport avec une tâche à réaliser. ce niveau sert souvent de base à des analyses plus précises des échanges. peu de travaux ont étudié la particularité des conversations par chat pour ce niveau d'analyse, à quelques exceptions près, comme @xcite pour des conversations client-conseillers. dans tous les cas, les approches automatiques de l'annotation en actes de dialogue utilisent une supervision forte, qui nécessite une quantité de données non négligeables, le corpus switchboard étant un exemple typique @xcite . ces modèles sont très dépendants du type d'interaction et des sujets de conversation, et a fortiori rien n'indique qu'ils se généralisent à de l'interaction écrite. nous proposons ici une méthode fondée sur une supervision indirecte, à partir de règles d'annotation superficielles, qui permet d'entraîner un modèle d'ensemble utilisé pour annoter automatiquement un corpus large. ce dernier corpus sert alors à superviser l'entraînement d'un autre modèle, selon une méthodologie popularisée sous le nom de data programming par ses auteurs @xcite . nous évaluons ici l'apport de cette méthode en la comparant à une méthode plus classiquement supervisée, en montrant que quelques dizaines de règles assez simples, essentiellement lexicales, permette d'atteindre une exactitude de 80%, qui n'est atteinte de façon supervisée qu'avec plusieurs milliers de conversations, le meilleur modèle classiquement supervisé atteignant 84-86% sur des données comparables @xcite . dans cette étude et la notre la typologie des actes de dialogue employée correspond à une granularité intermédiaire avec 10 étiquettes différentes, décrites ci-dessous. ## un modèle de "programmation par les données" pour développer un modèle indirectement ou faiblement supervisé, nous suivons la méthode de data programming définie par @xcite , qui consiste en les étapes suivantes : ## expérimentations pour évaluer l'intérêt et les performances de l'approche légèrement supervisée, nous détaillons ici l'expérimentation faite en comparant un modèle "génératif" à partir des règles produites et des dialogues non annotés, ainsi qu'un modèle discriminatif entraîné sur ces données bruitées résultantes en section 4.1, et un modèle classiquement supervisé, section 4.2.