Prédire automatiquement les intentions du locuteur dans des questions issues du discours oral spontané (Automatically predicting the speaker’s intentions in questions from spontaneous oral speech) (2020)

Abstract: Cette étude porte sur la classification automatique des intentions exprimées dans des questions issues d’un corpus d’échanges oraux spontanés. Nous proposons une typologie dans laquelle nous distinguons trois classes d’intentions (AVIS, VOLONTÉ et DOUTE). Après plusieurs prétraitements et ajouts de traits lexicaux aux données (lexiques, nombre de mots et de caractères), nous implémentons un algorithme de classification automatique et nous en présentons et évaluons les résultats qui atteignent une F-mesure de 0,62. Nous proposons ensuite une interprétation de ceux-ci, basée sur une comparaison entre les expériences menées et des mesures liées aux traits linguistiques intégrés avant la tâche de classification.

## introduction l'objectif de ce travail est d'étudier les spécificités linguistiques de l'aspect non-littéral, c'est-à-dire de ce qui n'est pas dit de façon explicite, dans des questions issues de transcriptions d'échanges oraux et spontanés. il s'agit d'une tâche primordiale pour tendre vers des systèmes de dialogue homme-machine plus performants et plus proches de conversations dites « naturelles ». pour rendre compte de sa complexité, nous proposons un bref état de l'art des travaux en lien avec cette étude réalisés dans les domaines de la linguistique et du tal. l'énoncé est porteur d'une valeur illocutoire correspondant à la force ou l'intention qui lui est attribuée @xcite . searle introduit de son côté la notion d'acte de langage indirect qui se compose d'un acte illocutoire primaire (non littéral), et d'un acte illocutoire secondaire (littéral) @xcite . dans @xcite , les auteurs parlent également d'action intentionnelle pour définir l'acte de langage. ces différents travaux introduisent la notion d'intention. du point de vue du tal, les travaux sur les intentions s'inscrivent dans les domaines de l'analyse d'opinion et des actes de dialogue. d'après @xcite , une opinion est une « expression subjective du langage » qui est soit explicite (repérée à l'aide d'indices textuels), soit implicite (s'appuyant sur des connaissances culturelles ou pragmatiques communes). les actes de dialogue ont quant à eux pour objectif d'aider à l'analyse fine de la conversation et de tous les types d'énoncés qui la composent. ils correspondent, selon bunt, à la combinaison entre le contenu sémantique de l'énoncé et sa fonction communicative @xcite . plusieurs taxonomies d'actes de dialogue ont été proposées pour la tâche de classification automatique en actes de langage @xcite tel que le schéma d'annotation dit ++ @xcite qui s'inspire d'autres taxonomies telles que damsl @xcite , swbd-damsl (jurafsky et al., 1997), hcrc map task @xcite ou encore verbmobil @xcite . le dialogue est souvent étudié en tal du point de vue de la sémantique formelle, avec des approches telles que celle de ginzburg @xcite et des théories telles que la sdrt par exemple (segmented discourse representation theory) @xcite , où l'identification de l'incompréhension entre les locuteurs s'appuie sur la recherche d'incohérences logiques dans les combinaisons entre les actes de parole, calculées à partir des algorithmes compositionnels fondés sur une représentation logique et dynamique d'une question et d'une réponse @xcite . selon ces théories, les nouveaux énoncés produits réalisent souvent des actes qui doivent être en lien avec d'autres éléments du contexte et s'inscrivent donc dans une structure complexe et non pas linéaire. elles mettent en évidence l'importance de la prise en compte du contexte pour permettre la cohérence du dialogue. nous considérons, d'après la définition de l'énoncé performatif donnée par austin @xcite qu'en posant une question, le locuteur veut toujours dire quelque chose de plus que ce que la valeur locutoire de la question exprime en réalité. les questions accomplissent toujours, selon nous et tels que les définit searle, un acte illocutoire primaire et un acte illocutoire secondaire. l'association des caractéristiques des opinions et des actes de dialogue nous amène à définir ce que nous appelons dans cette étude l'intention. il s'agit de l'activité illocutoire exprimée par un énoncé (« l'ensemble des actes qui s'accomplissent, immédiatement et spécifiquement, par l'exercice de la parole » (ducrot, 1972)), qui permet de le caractériser selon son but, explicite ou implicite. l'activité illocutoire ne se restreint pas seulement à l'expression des opinions mais à tous les types d'objectifs impliqués par la production d'un énoncé. dans @xcite , les auteurs différencient les intentions explicites des intentions implicites. des exemples illustrent ces deux cas : « i am looking for a brand new car to replace my old ford focus » qui correspond à une intention explicite d'achat et « anyone knows the battery life of iphone ? » qui est une intention implicite d'achat. ce travail s'intéresse particulièrement aux intentions implicites exprimées par les locuteurs lorsqu'ils posent une question et tente d'en effectuer la classification automatique ainsi que d'en dégager des spécificités linguistiques en se concentrant uniquement sur l'écrit. il s'agit de tenir compte du contexte de chaque question à la fois pour l'étape des annotations manuelles et pour celle des annotations automatiques, sans se placer du point de vue de la linguistique formelle. nous utilisons des techniques existantes ayant déjà fait leurs preuves dans la fouille d'opinion, un des domaines se rapprochant le plus de notre tâche. ## corpus, typologie et annotations les données utilisées proviennent des corpus oraux eslo1 et eslo2 (enquêtes sociolinguistiques à orléans) @xcite , comportant respectivement environ 300 et 400 heures d'enregistrement. les transcriptions des enregistrements sont disponibles sur le site web d'eslo 1 et ouvertes au public. nous utiliserons ici toutes les transcriptions d'enregistrements effectués au cours de repas dans eslo1 et eslo2, soit un total de 28 fichiers au format .xml (sept issus du corpus eslo1 et 21 issus d'eslo2). ils forment un tout d'environ 19 heures d'enregistrement. le choix de cette catégorie précise est lié au fait de vouloir utiliser les données les plus spontanées possibles pour répondre à l'objectif principal de ce travail consistant à prédire l'intention du locuteur à travers les questions. après de premières observations pour déterminer des points communs et divergences entre les questions du corpus (ou cibles), nous avons fait plusieurs essais d'annotation, en nous demandant à chaque fois ce que le locuteur cherchait à exprimer à travers sa question. ces essais d'annotation étaient entrecoupés de phases de discussion pour affiner les étiquettes, durant lesquelles se sont posées les questions de leur généricité et de leur applicabilité à l'ensemble du corpus. un des objectifs était de parvenir à dégager des critères distinctifs pour chacune d'elles. ces étapes nous ont permis de construire une typologie des intentions dans les questions se divisant en deux parties : la première s'intéressant au type de réponse attendu pour chacune des questions et donc à leur aspect explicite, et la seconde portant sur l'intention exprimée par le locuteur à travers sa question et donc plutôt sur son aspect implicite. pour l'explicite, nous avons défini deux classes permettant de catégoriser les questions en fonction du type de réponse attendue. une question peut donc être : l'implicite suppose des classes plus complexes à déterminer puisqu'elles nécessitent une interprétation : il s'agit d'un message non littéral. nous avons dégagé trois classes représentant l'intention exprimée par le locuteur produisant la question (avis, volonté et doute), sur lesquelles nous nous concentrerons pour la tâche de classification automatique qui constitue la suite de ce travail : nous avons utilisé les définitions de cette typologie pour annoter les 3647 questions de notre corpus, la prise de décision finale pour chacune d'entre elles s'appuyant également sur son contexte, c'est-à-dire sur les dix tours de parole la précédant et la suivant, celui-ci étant peu compréhensible avec une longueur inférieure. les questions dites « phatiques » ont été considérées comme peu pertinentes pour cette tâche et n'ont donc pour la plupart pas été annotées. pour s'assurer de la fiabilité des définitions de nos classes et de nos annotations, nous avons mis en place un formulaire google forms pour l'annotation de quinze questions issues de notre corpus, associé à des consignes qui prévoyaient la prise en considération de leurs contextes. ce formulaire a récolté vingt-six participations de locuteurs natifs du français, dont douze ayant une formation en linguistique. nous avons ainsi calculé un accord inter-annotateur avec un kappa de cohen entre nos propres annotations et celles de chacun des participants. nous avons obtenu pour 50% des participations un accord inter-annotateur supérieur à 0,73 pour l'explicite et supérieur à 0,6 pour l'implicite, et pour 25% des participants un accord supérieur à 0,86 pour l'explicite et supérieur à 0,8 pour l'implicite @xcite . ces scores sont plutôt satisfaisants compte tenu de la nature de la tâche demandée qui nécessitait de s'appuyer à la fois sur des éléments concrets tels que l'analyse du contexte des questions et la prise en considération des indices lexicaux présents, mais aussi sur sa propre intuition. ## prétraitements et intégration de traits linguistiques pour préparer l'étape de classification automatique, nous avons procédé à la lemmatisation et à l'étiquetage morphosyntaxique des données à l'aide de treetagger @xcite , et plus particulièrement à l'aide des fichiers de paramètres du projet perceo, un projet d'étiqueteur robuste pour l'écrit et pour l'oral @xcite , plus adaptés aux données orales et donc aux transcriptions d'enregistrements. nous avons ensuite vectorisé avec un tf-idf les questions et leurs contextes pour obtenir une représentation du texte utilisable en entrée de l'algorithme de classification. en comparaison d'autres types de vectorisations tels que word2vec avec les modèles cbow et skip-gram ou les vecteurs préentraînés de flair, le td-idf nous a permis d'obtenir des résultats de classification légèrement meilleurs. la mise en place de notre typologie et les phases d'annotation nous ont fait remarquer des informations lexicales permettant de distinguer nos différentes classes. elles constituent donc des indices que nous avons regroupés sous la forme de six lexiques, dont cinq construits spécifiquement pour ce travail : ## classification automatique : expériences et résultats après avoir équilibré les classes pour éviter un biais dans les résultats (286 occurrences par classe soit un total de 858 occurrences), nous avons implémenté l'algorithme random forest et utilisé la méthode de validation croisée k-fold cross-validation ainsi que la fonction gridsearchcv de sklearn pour choisir les valeurs optimales pour des hyperparamètres donnés, dans notre cas n_estimators, criterion et bootstrap. la performance du modèle a ensuite été évaluée avec une moyenne des mesures de précision, rappel et f-mesure obtenues pour chaque groupe.