Comparaison d’approches de classification automatique des actes de dialogue dans un corpus de conversations écrites en ligne sur différentes modalités (A comparison of automatic dialog act recognition approaches in a multimodal corpus of online written conversations) (2016)

Abstract: L’analyse des conversations écrites porteuses de demandes d’assistance est un enjeu important pour le développement de nouvelles technologies liées au support client. Dans cet article, nous nous intéressons à l’analyse d’un même type d’échange sur un canal différent : les conversations se déroulant sur les plate-formes d’entraide entre utilisateurs. Nous comparons des approches de classification supervisées sur trois modalités des CMR 1 différentes à même thématique : des courriels, forums et chats issus de la communauté Ubuntu. Le système emploie une taxonomie fine basée sur le schéma DIT++. D’autres expériences sont détaillées, et nous rapportons les résultats obtenus avec différentes approches et différents traits sur les différentes parties de notre corpus multimodal.

## introduction les capacités d'interaction entre internautes se sont spectaculairement accrues au cours des dernières décennies, et avec elles les plate-formes d'échange participatives. ces plate-formes, qui se déclinent en différentes modalités -salons de chat, listes de diffusion, forums de discussions -sont souvent utilisées par les particuliers comme par les professionnels pour demander et offrir de l'aide. ce type d'échanges, les conversations écrites en ligne orientées vers la résolution de problèmes, représentent un champ de recherche encore peu exploré par la communauté scientifique. cette forme de com-1. communications médiées par les réseaux actes de la conférence conjointe jep-taln-recital 2016, volume 2 : taln munication peut néanmoins être exploitée, et est très similaire aux conversations entre agents et utilisateurs des services de grc foot_0 des entreprises qui assurent une présence en ligne. c'est pourquoi les conversations porteuses de demandes d'assistance intéressent déjà les industriels, qui s'efforcent de développer des systèmes adaptés à la gestion de ce type d'échanges. développer un système capable de les analyser automatiquement représente ainsi non seulement un enjeu industriel important, mais permettrait également d'améliorer les plate-formes d'échanges collaboratives qui sont quotidiennement sollicitées par des millions d'utilisateurs. cependant, les techniques d'identification de la structure des conversations n'ont pas été développées autour des conversations écrites en ligne. il serait intéressant de déterminer l'efficacité de ces techniques sur des données extraites de conversations orientées vers la résolution de problèmes en fonction de leur modalité. cette problématique est à placer dans le cadre de la recherche en communication médiée par les réseaux (cmr), et nous confronte à ses problématiques propres : données en français de différents registres et à forte variation orthographique, faibles performances des outils linguistiques, absence d'informations prosodiques, structures de conversations non-linéaires, etc. dans la littérature, les interactions entre humains sont typiquement modélisées en termes d'actes de dialogue. les actes de dialogue sont les héritiers des actes de langage, qui désignent les actes que l'on fait en parlant. dans la théorie d' @xcite , tout énoncé peut être analysé à trois niveaux. d'abord, au niveau locutoire : il s'agit de sa forme de surface, i.e. de la signification de l'énoncé et des mots qui le composent, d'un point de vue phonétique, syntaxique et sémantique. puis au niveau de l'acte illocutoire, porteur de l'intention rhétorique du locuteur. et enfin, au niveau de l'acte perlocutoire, qui s'intéresse aux conséquences directes et pragmatiques de l'énoncé (par exemple, faire accomplir une action à quelqu'un). c'est l'analyse des énoncés en termes d'intention communicative, c'est-à-dire de leur niveau illocutoire, qui a mené à la popularisation de cette théorie, notamment au travers des travaux de @xcite pour qui tout acte est illocutoire. aujourd'hui, les actes de dialogueou « actes de la conversation » @xcite ) -désignent typiquement les types de fonctions remplies par les énoncés dans un discours. ainsi, dans ce travail, nous nous focalisons sur la reconnaissance des actes de dialogue présents dans les énoncés de notre corpus. l'approche la plus commune et efficace pour la tâche de classification d'énoncés en termes d'actes de dialogue est d'employer des techniques supervisées d'apprentissage machine @xcite . c'est également l'approche que nous retenons. les données d'apprentissage ne manquent pas : dans le cas des forums et des listes de diffusion, les conversations sont généralement perpétuellement sauvegardées pour permettre aux utilisateurs de faire des recherches dans les archives. ce n'est pas toujours le cas pour les messages transmis dans les salons de chat, mais ils peuvent eux aussi faire l'objet d'un archivage automatique et de nombreux outils existent à cette fin. cet article a pour objectif de comparer les approches communes pour la classification des actes de dialogue dans un corpus de conversations écrites en ligne orientées vers la résolution de problèmes décliné en différentes modalités. dans un premier temps, nous examinerons l'état de l'art et évoquerons les travaux similaires. ensuite, nous justifierons notre choix de taxonomie pour la modélisation des conversations. nous détaillerons ensuite l'approche que nous adoptons pour notre tâche de reconnaissance automatique, avant d'exposer nos méthodes d'évaluation. enfin, nous présenterons les expériences effectuées et discuterons des résultats obtenus. ## travaux similaires la plupart des travaux existant dans le domaine de la détection des actes de dialogue s'intéressent à l'étude de conversations orales. c'est notamment le cas de nombreux travaux fondateurs en matière d'analyse du dialogue, qui reposent souvent sur le même corpus, trains @xcite @xcite . c'est dû à l'objectif de ces chercheurs, à savoir développer des systèmes de dialogues dans lesquels le système prend la place d'un agent humain pour assister l'opérateur dans sa tâche. le caractère textuel des conversations médiées par les réseaux nous prive ainsi d'importantes informations prosodiques, qui ont été démontrées utiles pour la classification d'actes de dialogue @xcite . les conversations qu'ils étudient et modélisent sont également souvent bi-participants, tandis que nous nous intéressons principalement à des conversations multi-participants, ce qui accroît la complexité de la tâche. enfin, le rôle des utilisateurs est souvent pris en compte par le système pour effectuer ses choix, or cette information n'est souvent pas disponible ou non-applicable à nos conversations (e.g., un système de e-learning bénéficie grandement de savoir si l'énoncé vient d'un élève ou d'un professeur puisque l'un est supposé poser des questions tandis que l'autre est chargé d'y répondre et de donner des instructions). enfin, l'écrasante majorité des travaux portent sur la reconnaissance des actes de dialogue dans des corpus en anglais, mais très rarement en français. plusieurs travaux ont déjà porté sur des tâches de classification d'actes de dialogue dans des corpus de conversations en ligne. c'est l'approche supervisée qui est employée dans l'immense majorité des cas. @xcite étudient les travaux effectués dans le domaine et testent un panorama de techniques de classification employées dans la littérature. le travail soutient l'idée que les actes de dialogue doivent être étiquetés séquentiellement pour une meilleure performance. leur conclusion est que le modèle smv-hmm est plus performant que les autres techniques testées, à savoir l'utilisation de champs conditionnels markoviens (crf) et l'utilisation d'un svm multiclasse. cependant, l'approche séquentielle ne peut pas nécessairement être appliquée aux chats puisque plusieurs conversations peuvent se produire simultanément sur le même canal, produisant des conversations entremêlées dont les messages ne peuvent pas être immédiatement identifiés. ils testent notamment leurs techniques sur des corpus de réunions (mrda) et de conversations téléphoniques (swbd), mais aussi de courriels (bc3) et de forums (cnet). leur travail n'étudie pas le cas des chats. seul le corpus cnet correspond bien à notre tâche, puisqu'il contient des échanges visant à résoudre des problèmes utilisateurs. l'expérience présentée a cependant l'inconvénient de ne pas rapporter des résultats très satisfaisants (58 % micro-précision, 17 % macro-précision). en outre les classes employées, qui sont assez restreintes, sont principalement composées de déclinaisons de « question » et de « réponse ». elles reposent sur une définition assez limitée de ce qu'est un acte de dialogue pour pouvoir être appliquée à leur ensemble varié de corpus. leur travail présente l'intérêt de comparer la classification des actes de dialogue au travers différentes modalités, mais le fait d'utiliser une taxonomie différente pour chacune d'entre elles limite fortement les conclusions que l'on peut tirer des résultats rapportés. cohen et al. (2004) s'intéressent à la classification de courriels en termes d'actes de discours. leur taxonomie est constituée d'actes composés d'un nom et d'un verbe (e.g. request meeting), et n'est pas basée sur la théorie des actes de dialogue. par ailleurs, ils ne cherchent pas à classifier les énoncés mais les messages entiers, ce qui éloigne également leur travail de notre tâche. lampert et al. (2006) en revanche s'intéressent à la classification des énoncés dans les courriels, et basent leur taxonomie sur les vrm (verbal response mode), qui trouvent leur source dans la théorie des actes du langage d'austin. leurs résultats montrent que leur approche basée sur un classifieur svm est crédible. cependant les classes de la taxonomie vrm (disclosure, edification, advisement, confirmation, question, acknowledgement, interpretation et reflection) ne sont pas suffisantes pour permettre une analyse fine des conversations. elles ne permettent par exemple pas de faire la différence entre les fonctions commissives et les fonctions expressives (e.g. « je vais me coucher » et « j'aime l'opéra ») ni de distinguer une demande d'action d'une demande d'information, ni de capturer les énoncés de politesse, etc. en ce qui concerne les forums, @xcite cherchent à classifier les actes de discours dans les messages. ils distinguent le texte contenant ces actes de ce qu'ils nomment « texte expositif », qu'ils définissent comme le discours comportant uniquement de l'information factuelle. leur taxonomie est composée de quatre classes de @xcite : les commissifs, les directifs, les expressifs et les représentatifs. ils ignorent les déclaratifs, trop rares dans leur corpus, et les représentatifs, qu'ils ne semblent pas considérer comme des actes de langage, contrairement à la théorie qui leur attribue un caractère illocutoire (à savoir, l'intention de faire connaître leur contenu sémantique). malgré cette taxonomie assez limitée, leur travail rapporte des résultats encourageants, d'autant plus que les traits utilisés pour leur classifieur -un svm -ne demandent pas d'analyse linguistique et se prêtent bien aux phrases peu grammaticales que l'on peut rencontrer dans les corpus de cmr. les chats sont également fréquemment utilisés pour la résolution collaborative de problèmes, et se distinguent deux autres modalités étudiées par leur caractère synchrone. @xcite s'y intéressent dans le cadre du développement de systèmes de dialogue : ils cherchent à la fois à identifier le type d'acte accompli par l'utilisateur et à choisir le type d'acte que le système doit produire. leur approche utilise un classifieur d'entropie maximale (maxent). leur corpus est constitué de situations de tutorat plus que de situations d'aide à la résolution de problèmes, ce qui est différent même si les deux ont des similarités. cette distinction se ressent dans leur taxonomie, qui inclut des classes particulièrement présentes dans les dialogues de tutorat (e.g. hint, positive feedback). leurs résultats dépassent l'état de l'art pour la tâche de classification, et ils parviennent également à prédire le timing des interventions du tuteur avec une bonne précision. @xcite cherche à classifier les énoncés des messages chats et se base sur une taxonomie dérivée du schéma d'annotation damsl @xcite . il parvient à une précision de 80 % en combinant un classifieur naïf de bayes et un modèle de n-grammes. kim et al. utilisent la même taxonomie qu'ivanovic et l'appliquent à un corpus de conversations biparticipants @xcite et multiparticipants @xcite . un classifieur basé sur les crf obtient des précisions extrêmement élevées (plus de 97 %) pour les deux tâches en combinant des traits lexicaux, structurels et relationnels. ## taxonomie tandis que jusque dans les années 1990 la théorie des actes de langage se préoccupait principalement de l'analyse d'énoncés isolés, elle a plus tard incorporé les notions de contexte et de terrain d'entente @xcite , qui représentent le fait que l'information doit être synchronisée entre les participants pour que la conversation puisse aller de l'avant. un nombre important de schémas d'annotation se sont développés autour de ce concept, tels que damsl @xcite et dit++ @xcite . damsl est un standard de facto en analyse du dialogue, grâce à ses fondements théoriques (les actes sont annotés en tant qu'opérations de mise à jour du contexte informationnel des participants), à sa généricité (des classes de haut niveau permettent l'annotation de conversations de différentes natures) et à sa multi-dimensionnalité (chaque énoncé peut être annoté avec différentes étiquettes). cependant, les dimensions employées sont peu discutées et manquent de signification conceptuelle. le schéma dit++ est construit sur les mêmes bases que damsl mais cherche à combler ses faiblesses, c'est pourquoi nous l'avons choisi comme base pour notre taxonomie. ## méthode nous appréhendons le problème de la modélisation des conversations comme une tâche de classification des énoncés en termes d'actes de dialogue basée sur un apprentissage statistique supervisé. cette section détaille l'implémentation de notre approche, les traits choisis pour caractériser les énoncés, notre méthode d'évaluation, et enfin le corpus utilisé.