Détecter le besoin d’information dans des requêtes d’usagers d’agents virtuels : sélection de données pertinentes (Selecting relevant data for information need detection in virtual agent user queries) (2016)

Abstract: Pour orienter efficacement les messages reçus par différents canaux de communication, dont l’agent virtuel (AV), un système de gestion de la relation client doit prendre en compte le besoin d’information de l’usager. En vue d’une tâche de classification par type de besoin d’information, il est utile de pouvoir en amont sélectionner dans les messages des utilisateurs, souvent de mauvaise qualité, les unités textuelles qui seront pertinentes pour représenter ce besoin d’information. Après avoir décrit les spécificités d’un corpus de requêtes d’AV nous expérimentons deux méthodes de sélection de segments informatifs : par extraction et par filtrage. Les résultats sont encourageants, mais des améliorations et une évaluation extrinsèque restent à faire.

## introduction les plateformes de relation client multicanales proposent aux usagers des modalités variées d'interaction avec les entreprises, dont l'agent virtuel (av) -un outil d'assistance automatisée aux internautes. par souci d'optimisation des ressources humaines (conseillers clientèle), il peut être intéressant que la plateforme qui reçoit de manière centralisée les messages envoyés par des clients par tout canal (e-mail, tchat, av, sms, application mobile, formulaire de contact web, etc.) dispose d'une fonctionnalité permettant de classer ces messages par ordre de priorité, pour les acheminer vers la ressource la plus économique qui soit en mesure d'y apporter une réponse satisfaisante : réponse par un conseiller humain -en direct ou différée -ou réponse automatique -en direct (av) ou différée (e-mail ou autre). les critères de priorité pourront varier selon les besoins, mais ils devront intégrer en tout cas une notion de besoin d'information de l'usager. concept incontournable en recherche d'information (ri), le besoin d'information peut s'entendre comme le sujet sur lequel l'usager souhaite obtenir des informations @xcite . dans le domaine des systèmes de question-réponse cette notion est complétée par celles d'objet et de focus d'une question @xcite . si la définition de ces concepts n'est pas toujours la même pour tous les chercheurs, tous s'accordent généralement à dire que le besoin d'information reste implicite et ne peut être appréhendé que par son expression langagière. saisir ce besoin pour l'intégrer à un système de routage des messages passe donc nécessairement par l'analyse du message. dans ce contexte, nous souhaitons explorer des méthodes de classification supervisée des messages par catégories de besoin d'information. ces techniques devront être souples et portables, pour pouvoir traiter des messages multicanaux et multi-domaines, ayant donc des caractéristiques très variées. dans une première étape, nous avons constitué un corpus de requêtes d'usagers d'av, dont l'une des principales caractéristiques est liée à leur nature fortement dégradée (erreurs, langage abrégé, etc.). avant de pouvoir catégoriser le besoin d'information (la définition des catégories de besoin et l'étiquetage du corpus font en effet l'objet d'un autre volet de nos travaux, non abordé ici), il est nécessaire de pouvoir l'identifier à partir de la requête de l'utilisateur. cet article se veut donc être une étude préliminaire visant à proposer et évaluer des méthodes pour sélectionner dans les messages potentiellement bruités des utilisateurs les unités textuelles les plus pertinentes pour représenter le besoin d'information. concrètement, nous nous plaçons dans une approche vectorielle de la représentation textuelle, où les problèmes liés aux dimensions de l'espace de représentation sont bien connus (amini, @xcite . en partant en effet du constat que des requêtes comme bonjour j'aimerai savoir comment faire pour saoir l'etat de ma comande contiennent beaucoup de bruit autour du noyau informatif (etat de ma comande), nous souhaitons parvenir à réduire les requêtes à ce noyau avant de les inclure dans un modèle de classification. l'intérêt de réduire le nombre de termes représentant un texte est généralement reconnu @xcite @xcite . cependant, certains travaux remettent en cause l'utilité de cette approche @xcite , tandis que d'autres font état de résultats amenant à la nuancer selon la taille du jeu de données @xcite , la méthode de classification utilisée @xcite ou encore la méthode de sélection de variables employée @xcite . notre objectif est précisément de juger de l'utilité de différentes techniques de réduction du texte sur des données complexes, telles que celles issues des nouveaux canaux de communication, et pour la tâche que nous envisageons, dans l'hypothèse que les traitements prévus (y compris la correction) pourraient être plus efficaces s'ils ne sont appliqués qu'aux données porteuses de sens. sur notre corpus de requêtes d'av, nous avons expérimenté deux méthodes de sélection, basées respectivement sur l'extraction et sur le filtrage d'unités textuelles. nous nous proposons, dans un premier temps, d'évaluer empiriquement la qualité des représentations réduites ainsi obtenues. si elles sont satisfaisantes, il s'agira à une étape ultérieure (lorsque nous disposerons du corpus étiqueté) d'évaluer leur apport potentiel pour la classification. pour cette première évaluation, nous définissons une notion opérationnelle de pertinence par rapport à l'expression d'un besoin d'information, en empruntant à la typologie des actes de conversation @xcite : est pertinent dans notre contexte tout segment de la requête qui est porteur d'un « acte de langage fondamental » appartenant aux deux catégories « information » et « demande » ; les autres catégories d'actes fondamentaux, ainsi que les actes argumentatifs, de prise de parole et de synchronisation entre locuteurs (en l'occurrence, l'usager et l'av), ne contribuent pas à l'expression du besoin d'information. le but des méthodes proposées n'est donc pas de classer les requêtes selon une typologie des besoins d'information -cette tâche sera confiée au classifieurmais de fournir à ce dernier des données plus ciblées, où les unités textuelles, même erronées, associées à l'expression du besoin d'information sont mieux cernées. ## caractéristiques des requêtes d'agents virtuels généralités sur le corpus. les données qui font l'objet de notre étude sont issues de dialogues menés par des internautes avec 18 av, collectés sur une période de deux ans et demi. les domaines des av sont divers (mutuelle, agence de voyages, mairie, e-commerce, etc.). la langue des conversations est le français, à l'exception de quelques requêtes envoyées par des internautes étrangers. dans cette étude nous nous intéressons uniquement aux tours de parole des usagers et ignorons les interventions des av, qui sont prédéfinies. notre analyse se situe donc au niveau des messages pris en isolation. il est intéressant de chercher à identifier le besoin d'information dans chaque requête et non pas uniquement au niveau global de la conversation, ce besoin se retrouvant très souvent exprimé à plusieurs reprises au cours du dialogue, inchangé ou ayant évolué. il est courant d'appliquer aux données certains prétraitements élémentaires avant de les soumettre à des traitements plus avancés (amini, @xcite . ces opérations de normalisation réalisent une première sélection de variables : elles consolident des formes ou suppriment des variables considérées comme dépourvues d'intérêt pour une tâche donnée. si l'objectif est toujours de réduire les dimensions de l'espace de représentation du texte, les décisions prises à cette étape sont déterminantes pour la suite des traitements @xcite , dont elles doivent prendre en compte les spécificités et les besoins. les opérations de normalisation que nous avons jugées pertinentes dans notre contexte, choisies ou adaptées pour prendre en compte l'orthographe souvent incohérente ou incorrecte des internautes, sont les suivantes : mise en minuscules ; suppression de la ponctuation ; suppression des traits d'union et des apostrophes (sauf dans aujourd'hui) ; suppression des t épenthétiques (là où les tirets existent) ; reconstruction des formes élidées (notamment les pronoms) ; remplacement par une étiquette respectivement des caractères numériques, adresses web et adresses mail ; suppression des émoticônes (intéressantes pour l'analyse des sentiments, mais ne contribuant pas à exprimer un besoin d'information). une réduction de la variation morphologique flexionnelle ou dérivationnelle est souvent pratiquée aussi. cependant, les outils de lemmatisation ou racinisation, traditionnellement conçus pour analyser du texte propre, ont des difficultés à traiter des données bruitées comme celles issues de la communication en ligne. pour évaluer ces difficultés sur notre corpus, nous l'avons lemmatisé et étiqueté par catégorie grammaticale à l'aide du treetagger @xcite . l'orthographe fautive est elle-même une autre source de dispersion des variables. de nombreux travaux ont cherché à nettoyer les erreurs spécifiques aux nouveaux corpus : contenus en ligne @xcite , tweets @xcite , sms @xcite . à cette étape de nos travaux nous avons souhaité non pas corriger, mais comprendre de manière plus précise la nature du bruit présent dans notre corpus, pour envisager des possibilités de correction à une étape future. description détaillée du corpus. le corpus contient 79.698 requêtes d'usagers. on y compte 645.637 mots et 25.500 formes uniques. plus de la moitié (55,27%) des formes uniques ont une seule occurrence -proportion similaire à celle rapportée par @xcite pour un corpus de commentaires en anglais portant sur des films. en éliminant les mots à fréquence 1 on obtiendrait 11.406 formes uniques. les messages sont plutôt courts (75% ont moins de 10 mots) et le nombre de requêtes par av varie considérablement entre des limites extrêmes (64 et 20.000). le nombre de mots par av (médiane de 9793 mots) augmente de façon quasi-linéaire avec le nombre de requêtes (de 219 à 151.100 mots). pour analyser certaines caractéristiques de notre corpus et pour évaluer l'efficacité des deux méthodes de sélection testées, nous avons constitué un échantillon extrait aléatoirement du corpus et contenant à l'origine 1000 requêtes, dont une, en anglais, a été éliminée. pour cette analyse nous ignorons les 185 mots de l'échantillon constitués exclusivement de caractères numériques, ce qui en réduit la taille à 8051 mots. nous avons annoté sur l'échantillon la complexité de la requête (cf. cidessous) et la présence d'erreurs (type et correction proposée). de nombreuses typologies décrivent les erreurs qui caractérisent les nouvelles formes de communication écrite @xcite . pour faciliter l'annotation, nous avons opté pour une typologie plus sommaire, limitée au niveau lexical : non-mot (mototisé), mot réel (coordonnes pour coordonnées) ; faute de grammaire (souvent donnant un mot réel : quel pour quelle) ; mots fusionnés (pouravoirun) ; mot segmenté (télép honique) ; diacritique (recu). nous indiquons aussi pour chaque mot s'il s'agit d'une abréviation ou d'une entité nommée. outre ces annotations descriptives, nous avons effectué des annotations évaluatives : correction de l'étiquetage morphosyntaxique et de la lemmatisation ; pertinence (au sens défini dans l'introduction) des résultats obtenus par les deux stratégies de sélection de données expérimentées. caractéristiques linguistiques des requêtes. les requêtes se présentent comme des (enchaînements de) mots-clés, des phrases simples, des phrases complexes ou encore des séquences de phrases. leur niveau de complexité structurelle est généralement associé à une complexité liée au besoin d'information, que nous définissons une fois de plus en termes d'actes de conversation @xcite : est complexe une requête qui contient plus d'un acte de langage fondamental d'information ou de demande. selon cette définition, 14% des requêtes de notre échantillon sont complexes. par exemple, bonjour, je voudrais savoir si une hospitalisation pour esthétique mais validée et prise en charge par la ss est-ce que si j'ai l'assurance hospitalisation, j'ai droit aux indeminités de votre part et y a-t-il une prise en charge des dépassements d'honoraires est décomposable en un acte d'information et deux de demande. au contraire, 12,7% de nos requêtes n'expriment pas un vrai besoin d'information. en effet, il n'est pas rare que les internautes abordent l'av avec des intentions ludiques, comme dans veut tu une pizza ? ou parlez-vous chinois? ces requêtes ne présentent pas d'intérêt particulier dans le cadre de nos travaux, elles pourront donc être directement traitées par l'av pour ne pas encombrer inutilement le module de routage. les messages diffèrent également en termes de registre de langue (du courant-soutenu au vulgaire) et sont souvent agrémentés de marques d'expressivité (majuscules, signes de ponctuation redoublés), pourtant supprimées car sans intérêt pour notre tâche. les erreurs d'orthographe affectent 10,38% des mots de notre échantillon. 36% des fautes produisent un mot réel, 22,13% sont des fautes grammaticales et presque la moitié sont liées aux diacritiques. si nous nous intéressons à la présence et aux types d'erreur dans notre corpus, c'est aussi pour apprécier la faisabilité de différents traitements tal sur ces données. le lemmatiseur utilisé sur notre corpus s'avère extrêmement sensible aux fautes d'orthographe, même mineures (accentuation) : seuls 17,58% des mots erronés ont été associés au lemme correct. la performance est meilleure au niveau de l'étiquetage morphosyntaxique : 46,17% des mots erronés ont la bonne étiquette, et si l'on accepte des étiquettes partiellement correctes (e.g. le cas des confusions entre formes verbales), le taux de succès augmente considérablement. ceci laisse penser que des traitements basés sur des motifs (lexico-)syntaxiques plutôt que sur des lemmes pourraient être viables. ## sélection de données pour la détection du besoin de l'usager pour réduire les requêtes à ses éléments pertinents en termes de besoin d'information, nous proposons ici de tester deux méthodes dont l'objectif est soit de cibler les segments du message qui contiennent de l'information utile, soit au contraire de filtrer les éléments non pertinents. ces méthodes sont simples mais présentent l'avantage d'être assez souples et donc assez adaptées au traitement de données erronées. ## conclusions et perspectives la finalité de cette étude était de vérifier la faisabilité de réduire des requêtes d'av à leurs éléments pertinents en termes de besoin d'information, en vue d'une tâche de catégorisation. nous avons proposé deux méthodes qui constituent d'abord, à partir d'un corpus de requêtes passées, une liste ou une description des éléments à rechercher dans des requêtes nouvelles, soit pour les y retenir (ils constitueront alors la représentation de la requête), soit pour les en supprimer (la requête sera alors représentée par les éléments restants). même si les premiers résultats sont encourageants, les méthodes proposées demeurent encore insuffisantes puisqu'elles ne permettent pas de cerner le besoin d'information dans au moins 30% des requêtes de notre échantillon. ces premiers travaux offrent néanmoins des perspectives intéressantes. nous avons déjà mentionné plusieurs pistes pour améliorer nos méthodes de sélection de données pertinentes (ajout de patrons lexicaux et traitement des requêtes complexes pour la méthode de filtrage, optimisation des paramètres pour la méthode d'extraction) et souhaitons également proposer une approche hybride, qui combinerait les deux méthodes selon des pondérations et des règles de priorité. l'objectif sera d'évaluer le gain de performance que cette sélection de variables peut rapporter dans le contexte d'une tâche et d'un modèle de classification précis, par rapport au modèle de base (entraîné sur des requêtes non traitées). dans une étape ultérieure nous envisageons également d'élargir le champ de notre étude pour prendre en compte l'ensemble de la conversation et ainsi relier la notion de besoin d'information à l'historique de l'échange entre l'av et l'usager. ces travaux bénéficient du soutien de la région bretagne à travers un financement ared.