Annotation en Actes de Dialogue pour les Conversations d’Assistance en Ligne (Dialog Acts Annotations for Online Chats) (2018)

Abstract: Les conversations techniques en ligne sont un type de productions linguistiques qui par de nombreux aspects se démarquent des objets plus usuellement étudiés en traitement automatique des langues : il s’agit de dialogues écrits entre deux locuteurs qui servent de support à la résolution coopérative des problèmes des usagers. Nous proposons de décrire ici ces conversations par un étiquetage en actes de dialogue spécifiquement conçu pour les conversations en ligne. Différents systèmes de prédictions ont été évalués ainsi qu’une méthode permettant de s’abstraire des spécificités lexicales du corpus d’apprentissage.

## annotation en actes de dialogues le jeu d'étiquettes présenté ici a été conçu pour annoter des interactions langagières entre deux locuteurs distants lors d'une première interaction où l'un des locuteur (le client c) présente un problème à l'interlocuteur (le télé-conseiller tc). une spécificité importante de ces interactions est la collaboration des locuteurs en vue de la résolution d'un enjeu commun (le problème du client). l'annotation décrit chacun des tours de parole (en respectant la segmentation des locuteurs) de la conversation par l'une des dix étiquettes présentées dans le tableau 1. cet ensemble d'étiquettes permet de décrire sommairement les tours, établissant leur fonction illocutoire principale foot_2 au sein du dialogue. l'annotation est volontairement simple et ne décrit pas tous les phénomènes dialogiques pouvant survenir. un guide technique d'annotation @xcite décrit plus en détails ces étiquettes. dans l'exemple 1, un dialogue annoté extrait de notre corpus est présenté. structurellement, le dialogue se construit par une courte séquence d'ouverture suivie de la description du problème à étiquette signification description ope opening tours d'ouverture du dialogue pro problem description description du problème du client inq information question demande d'information de la part d'un des locuteurs clq clarification question demande de clarification sta statement apport de nouvelles informations à l'interlocuteur tmp temporisation mise en pause temporaire du dialogue ppr plan proposal proposition de résolution du problème. ack acknowledgment acquiescement des propos de l'interlocuteur clo closing tour de fermeture du dialogue oth other tour n'étant pas décrit par les autres étiquettes. tableau 1: jeu d'étiquettes utilisé pour l'annotation en actes de dialogue. résoudre (tour 2). après plusieurs questions destinées à préciser divers aspects du problèmes (tours 4 et 7), le téléconseiller donne un début de réponse informel. le tour 10 est une relance du problème de la part du client, finalement résolu au tour 12. la fin du dialogue est une suite d'échanges assez protocolaires visant à évaluer la qualité du service produit puis à clore le dialogue. l'annotation en actes permet de décrire toutes ces informations. ope 1 tc bonjour, je suis _tc1_, que puis-je pour vous ? pro 2 c impossible pendant la lecture d'avancer la lecture sta 3 c _numtel_ clq 4 tc si je comprends bien, le problème concerne la vidéo à la demande ? sta 5 c mais aussi l'enregistreur et la tv à la demande inq 6 c pouvez vous m'appeler sur le portable ? inq 7 tc est ce que vous avez un message d'erreur ? sta 8 c non sta 9 tc si vous avez débuté le visionnage, mais que le téléchargement n'est pas terminé, l'avance et le retour rapides sont indisponibles. vous pouvez uniquement stopper ou reprendre le visionnage au début de votre vidéo. pro 10 c seulement l'enregistreur avait terminé l'enregistrement et au cours de la lecture je n'arrive pas à avancer clq 11 tc donc le téléchargement a terminé mais vous n'y arrivez pas à l'avancer ? sta 12 c après l'avoir débranché puis rebrancher ça refonctionne merci inq 13 tc ca fonctionne maintenant ? sta 14 c oui ack 15 tc parfait. inq 16 tc puis-je faire autre chose pour vous ? sta 17 c non merci clo 18 tc je vous en prie mr _client_. clo 19 tc orange vous remercie de votre confiance. je vous souhaite une bonne journée. exemple 1: dialogue annoté 2 corpus datcha notre corpus de travail provient du projet anr datcha. l'objectif du projet est de réaliser des tâches d'extraction d'information sur une grande base de données de conversations en ligne. le corpus est constitué de conversations instantanées des différents services techniques et commerciaux d'orange. dans cette partie sont présentés d'une part les résultat statistiques de l'annotation manuelle partielle de ce corpus, et, d'autre part, la méthode que nous avons utilisée pour nous abstraire du corpus en retirant des informations relatives au lexique métier. 2.1 annotation manuelle du corpus nous avons réalisé l'annotation manuelle de 2990 conversations dont la longueur moyenne est de 31,5 tours. le tableau 2 montre la répartition des étiquettes dans le corpus. sta est l'étiquette la plus fréquente avec presque 40% des tours, tandis que tmp, clq et oth représentent ensemble moins de 5% du corpus. nous pouvons sommairement comparer la répartition de nos étiquettes avec d'autres travaux sur l'annotation des actes de dialogue, même s'il est difficile d'aligner parfaitement des jeux d'étiquettes différents. notamment, l'étiquette statement existe et est utilisée à une échelle similaire dans ivanovic (2005), moldovan et al. (2011), avec respectivement 36%, 34.5% d'occurrences. salim et al. (2016) a 57.1% de tours avec comme fonction inform ou answer. en regroupant les différents types de questions (inq et clq), notre corpus en contient 21% contre respectivement 19.2% pour ivanovic, 10.6% pour moldovan et 17.2% pour salim pour les équivalents les plus directs dans leurs jeux d'annotation respectifs. les différences importantes s'expliquent par les différences de nature des corpus : les conversations de support clients étudiés par ivanovic sont plus proches de notre corpus que les conversations spontanées de moldovan ou les conversations de support entre clients (et non pas client/conseiller) pour salim. étiquette occurrences pourcentage sta 36825 39.16% inq 18064 19.21% ppr 14276 15.18% ack 6225 6.62% pro 5388 5.73% étiquette occurrences pourcentage clo 5156 5.48% ope 3831 4.07% tmp 2286 2.43% clq 1638 1.74% oth 353 0.38% tableau 2: statistiques par étiquette 3027 tours de parole ont été annotés par deux annotateurs afin d'évaluer la précision du guide d'annotation et évaluer la tâche d'annotation. avec un kappa de cohen de κ = 0.67, l'annotation manuelle peut paraître fortement dépendante de l'annotateur. cependant, une analyse plus fine des divergences a montré qu'environ la moitié des divergences entre annotateurs proviennent d'omissions du guide, imprécis dans certaines situations fréquentes dans notre corpus. toutefois de réelles ambiguïtés existent, notamment entre les deux types de questions (clq pour clarification et inq pour information), ou encore pour distinguer statement d'autres étiquettes, notamment pro, ppr et ack.