Quelles sont les caractéristiques des interactions problématiques entre des utilisateurs et un conseiller virtuel ? (How to characterize problematic interactions between users and a web virtual advisor?) (2016)

Abstract: L’utilisation d’un conseiller virtuel pour la gestion de la relation client sur les sites des entreprises est une solution numérique de plus en plus adoptée. Le défi pour les entreprises est de mieux répondre aux attentes des clients en leur fournissant des interactions fluides entre le client et l’agent. Pour faire face à ce problème, cet article met l’accent sur la détection des problèmes d’interactions dans un corpus de tchat écrit entre un conseiller virtuel et ses utilisateurs. Il fournit une analyse de corpus en décrivant non seulement les spécificités linguistiques et les marqueurs d’opinion contenus dans le corpus du tchat humain-agent, mais aussi les indices linguistiques et dialogiques qui peuvent être pertinents pour caractériser une interaction problématique. Le modèle de règles proposé, utilisant les indices trouvés, est appliqué à un corpus avec des retours client négatifs et positifs pour révéler les tendances.

## introduction les interactions humain -agent sont un sujet de recherche majeur et complexe et l'utilisation d'un agent virtuel sur un site web pour la gestion de la relation client est en plein essor. la fluidité de la conversation entre le client et l'agent virtuel est un défi pour les entreprises et la qualité de l'interaction peut influer sur la capacité d'une entreprise à rester concurrentielle sur le marché. nous abordons la question de la qualité de l'interaction dans cet article en nous concentrant sur la détection des interactions problématiques dans des dialogues écrits entre l'humain et l'agent. auparavant, la détection des problèmes dans des interactions humain-agent a été étudiée dans des dialogues face-à-face par @xcite à l'aide de l'information visuelle et par @xcite en utilisant la prédiction automatique des situations problématiques. certaines études mentionnent des situations susceptibles de nuire à la fluidité de l'interaction humain-agent, telles que les répétitions des énoncés agent @xcite et les erreurs d'interprétation du sujet de discussion par l'agent. la détection de problèmes d'interaction a aussi été étudiée dans le cadre d'interaction humain-robot. ainsi, @xcite a défini trois situations problématiques dans ce type d'interaction : l'absence de la réaction de la part de l'utilisateur suite à deux répliques de suite du robot, la poursuite de la conversation sans une commande particulière pour le robot et la répétition de la demande d'exécution d'une même tâche plus de trois fois. à notre connaissance, notre étude est la première à s'intéresser à la détection de problèmes d'interaction dans une interaction écrite humainagent. notre objectif final est de fournir un système basé sur le traitement automatique des langues naturelles (taln) pour la détection automatique des interactions problématiques. l'usage du taln pour ce type de tâche peut être lié à la détection de phénomènes reliés à l'opinion foot_0 chez l'utilisateur dans une interaction humain-agent @xcite . on considère par exemple le comportement verbal de l'agent comme une cible d'opinion et basé soit sur les règles linguistiques @xcite , soit sur l'apprentissage automatique @xcite , @xcite . cet article propose une première étape dans cette direction, avec l'étude d'un corpus de tchat humain-agent. commençant par une brève présentation du corpus dans la section 2, cette étude tient compte non seulement des spécificités linguistiques (section 3) et des marqueurs d'opinion (section 4), mais aussi des indices linguistiques et dialogiques pertinents pour caractériser une interaction problématique (section 5). ## corpus de tchat avec un agent virtuel dans ce qui suit, nous adopterons les termes "corpus laura" pour désigner l'ensemble des données extraites des conversations entre les internautes et l'agent virtuel laura ; "utilisateur" pour un internaute utilisant l'interface de l'agent virtuel laura et enfin "corpus laura « utilisateur »" pour la totalité des énoncés utilisateurs. le corpus contient l'ensemble des interactions entre les utilisateurs et l'agent virtuel laura de janvier à novembre 2014. la conseillère virtuelle du site de l'entreprise edf répond aux questions des utilisateurs sur la navigation sur le site edf ou les services. un dialogue se compose a minima d'une interaction qui à son tour contient un énoncé utilisateur et un énoncé agent. un énoncé se compose au moins d'une phrase (non-vide); toutefois, il arrive qu'un énoncé soit vide en raison du mode de fonctionnement du système qui enregistrait une ligne vide dès que l'utilisateur changeait de page sur le site-web. le corpus de l'entreprise edf a été anonymisé. l'une des particularités de notre corpus est l'apparition d'énoncés utilisateur semi-automatisés. ils représentent 23 % des énoncés utilisateur non-vides. en effet, l'agent virtuel laura a été configuré pour suggérer à l'utilisateur des listes de réponses adaptées sous forme de liens internet en relation avec les thématiques abordées. ainsi, l'utilisateur peut sélectionner le lien en adéquation avec sa requête. cette sélection sera considérée comme étant son propre énoncé. dans ce cas d'interaction, les spécificités relatives au tchat sont réduites : fautes de frappes, erreurs orthographiques, émotions, etc. sont inexistantes. il est à noter que cette étude, réalisée a postériori, a pour objectif de fournir la base nécessaire pour la création d'un système pour la détection automatique des interactions problématiques en temps réel. la section suivante portera sur les caractéristiques linguistiques du corpus qu'il est important de prendre en compte pour l'analyse automatique des dialogues. ## marqueurs d'opinions et de phénomènes reliés aux opinions les marqueurs d'opinions et de phénomènes reliés aux opinions (opro) peuvent nous permettre de détecter des opinions et de phénomènes reliés aux opinions négatives dont la cible @xcite est l'interaction. par conséquent, nous nous intéressons, dans un premier temps, aux marqueurs spécifiques du web et, dans un second temps, aux marqueurs lexicaux. ## les caractéristiques des interactions problématiques le but de cette section est d'étudier les indices qui peuvent être pertinents pour la détection des interactions problématiques et que nous avons identifiés en observant le corpus lauradev. nous proposons un premier modèle d'indices linguistiques à travers des règles conçues pour leur utilisation dans le module jape @xcite du logiciel gate. nous proposons trois séries de règles : les règles basées sur le contexte conversationnel, sur les signes de répétitions faites par l'utilisateur et les règles basées sur le contexte des phrases. les sous-corpus. trois sous-corpus sont créés pour pouvoir analyser le comportement de ces règles sur les données. le premier contient 103 791dialogues évalués comme négatifs à travers le feedback 5 des utilisateurs. le second comporte 107 796 dialogues évalués en tant que positifs. le troisième compte 62 373 dialogues avec une mention « failed » dans les métadonnées et ne contenant aucun dialogue avec feedback. la métadonnée « failed » est obtenue automatiquement soit dans les cas où l'agent n'a trouvé aucune information correspondant à la question de l'utilisateur, soit lorsque l'utilisateur n'a pas cliqué sur un des liens proposés par l'agent. même si ces annotations ne peuvent pas être considérées comme une référence fiable pour une évaluation des 5 un avis d'un utilisateur règles développées, elles nous permettent d'analyser des tendances dans le comportement des règles et de mieux identifier les caractéristiques pertinentes des interactions problématiques.