Classification automatique de questions spontanées vs. préparées dans des transcriptions de l’oral (Automatic Classification of Spontaneous vs) (2022)

Abstract: Ce travail a pour objectif de développer un modèle linguistique pour classifier automatiquement des questions issues de transcriptions d’enregistrements provenant des corpus ESLO2 et ACSYNT en deux catégories “spontané” et “préparé”. Avant de procéder au traitement automatique, nous proposons une liste de critères définitoires et discriminants permettant de distinguer les questions parmi d’autres énoncés. Les expériences basées sur des méthodes d’apprentissage supervisé sont réalisées selon une classification multiclasse comprenant les catégories “spontané”, “préparé” et “non-question” et selon une classification binaire incluant les catégories “spontané” et “préparé” uniquement. Les meilleurs résultats pour les méthodes traditionnelles d’apprentissage automatique sont obtenus avec une régression logistique combinée aux critères linguistiques significatifs uniquement (F-score de 0.75). Pour finir, nous mettons en parallèle ces résultats avec ceux obtenus en utilisant des techniques d’apprentissage profond.

## introduction la communication avec la machine est un objectif de plusieurs tâches et applications en tal telles que le dialogue homme-machine ou les chatbots. leur défi majeur est de rendre les énoncés générés par la machine les plus proches du langage humain. ainsi, l'ajout automatique de disfluences ou de pauses remplies pour imiter la parole spontanée et améliorer par conséquence la qualité et l'expressivité des systèmes de synthèse de la parole a été proposé par exemple dans les systèmes de dialogue homme-machine @xcite . cependant, les disfluences et les pauses ne sont pas suffisantes pour imiter le discours humain spontané. d'autres caractéristiques linguistiques peuvent être exploitées par le tal afin de rendre ces systèmes plus performants. c'est l'un des objectifs de la recherche présentée dans cet article qui s'intéresse au discours spontané vs. préparé et à leur distinction automatique fondée sur les indices linguistiques. la distinction entre discours spontané et discours préparé ou élaboré est souvent associée dans les travaux en linguistique à la distinction entre langage oral et écrit. le discours oral est comparé par @xcite aux brouillons qui précèdent la version finale des écrits car on assiste aux étapes de son élaboration. le discours oral étudié dans les travaux de blanche-benveniste est un discours spontané. or, il existe différents types de langages parlés qui ne se limitent pas seulement aux conversations spontanées, tels que les interviews ou conférences par exemple. c'est la situation ou le contexte de production qui va influencer les aspects de la communication. le discours oral est un continuum qui s'étend de la parole lue à de la parole enregistrée dans des conditions dites "naturelles" (au cours d'un repas, dans un environnement familier par exemple), en passant par la parole utilisée par des professionnels (journalistes par exemple) dans le cadre de l'exercice de leurs fonctions @xcite . nous considérons pour ce travail que l'oral spontané correspond à un discours en construction directe et continue tandis que l'oral preparé s'appuie sur une élaboration en amont du discours @xcite et implique une séparation spatio-temporelle entre l'élaboration du discours et sa production @xcite . plusieurs indices ont été proposés pour caractériser le discours spontané. dans @xcite , les auteurs considèrent que le degré de spontanéité du discours peut en partie être établi d'après des critères prosodiques tels que la durée des voyelles ou l'allongement des syllabes en fin de mots et qu'il existe donc un lien entre prosodie et discours spontané. le discours spontané est également souvent caractérisé par la présence de disfluences, c'est à dire d'interruptions du flux de la parole qui n'apportent pas d'informations supplémentaires à l'interaction, de contenu propositionnel @xcite . cependant, d'autres éléments peuvent indiquer la nature spontanée d'un énoncé. afin d'étudier et de repérer le discours spontané, nous nous sommes concentrés sur les énoncés interrogatifs issus de transcriptions de l'oral 1 . les informations prosodiques ont été laissées de côté. les résultats obtenus peuvent avoir un impact important dans différentes disciplines. par exemple, il est intéressant de pouvoir distinguer une question spontanée d'une question préparée dans le cadre de l'analyse de discours politiques. les traits linguistiques caractéristiques relevés dans ce travail peuvent aussi être exploités dans les systèmes de génération automatique de texte pour améliorer certains aspects du dialogue homme-machine ou encore des chatbots en rendant le discours plus naturel, la spontanéité étant une caractéristique indéniable du langage humain. les données traitées proviennent des corpus eslo2 et acsynt qui comprennent entre autres des 1. ces énoncés ont déjà fait l'objet d'une étude dans @xcite interviews realisées selon une trame de questions prédéfinies qu'on considère dans ce travail comme des questions préparées. les données collectées à partir d'ortolang ( www.ortolang.fr ) sont : ## annotation manuelle la distinction entre une question spontanée et une question préparée ne fait sens qu'une fois qu'il a été établi que la production est bien une question. la didt (dynamic interpretation and dialogue theory) @xcite et le damsl (dialog act markup in several layers) @xcite définissent une question comme un acte de dialogue consistant en une recherche d'information. d'après @xcite , un énoncé interrogatif est composé de propositions qui constituent une question. une question déclarative n'est donc pas syntaxiquement une question, mais sa signification est conforme à une demande d'information. au contraire, une question rhétorique est syntaxiquement une question, mais aucune demande d'information n'est formulée. du point de vue du commitment @xcite , une question est un acte de langage qui engage à la fois le locuteur comme "désireux d'obtenir une information" et l'interlocuteur à accepter cet acte comme un désir d'obtenir une information. le corpus a été réparti entre sept annotateurs et des consignes ont été établies avant la tâche pour déterminer les critères sur lesquels s'appuyer et les étiquettes à utiliser. la première étape de l'annotation consiste à déterminer si l'énoncé à annoter est une question, une non-question ou une question non annotable : spontané anaphores spk1 : je suis contrôleur divisionnaire aux ptt spk4 : et en quoi ça consiste ? demandes de clarification ou d'informations supplémentaires (purver, 2004) spk1 : mais // ce qui serait intéressant c'est que justement // on puisse euh // les enfants puissent apprendre de très bonne heure // euh très jeunes // une ou deux langues étrangères une au moins spk4 : et pourquoi ? thème précédant le rhème foot_0 spk1 : mais alors là vous êtes en france pour combien de temps maintenant ? mot interrogatif en position finale spk3 : oui non mais cette équipe elle est constituée comment ? disfluences spk1 : il m'est supérieur euh comment ça dans le travail ou ? préparé répétition d'entité nommée spk4 : depuis combien de temps habitez-vous orléans ? spk1 : oh ça fait neuf ans depuis dix neuf cent soixante spk4 : vous vous plaisez à orléans ? rupture d'isotopie spk1 : oui oui // et vous comptez rester ? spk2 : oui enfin // tant que je serai célibataire spk1 : ah oui spk2 : après on en sait rien de ça spk1 : alors est-ce qu'on pourrait parler un peu de votre travail ? rhème précédant le thème foot_1 spk4 : qu'est-ce qui vous plaît dans votre travail ? inversion du sujet spk4 : faites-vous un brouillon ? mot interrogatif en position initiale spk4 : et qu'est-ce que vous pensez du latin à l'école ? annonce de la question spk4 : alors maintenant je vais vous poser des questions euh // peut-être un peu // un peu plus pers-personnelle mais enfin, un accord inter-annotateur a été calculé avec un kappa de cohen @xcite sur l'annotation manuelle de 200 questions, produite par deux annotateurs experts qui sont les deux premiers auteurs de ce travail. la valeur de kappa obtenue est de 0.75, ce qui est considéré comme un accord considérable et satisfaisant d'après @xcite . ## expériences de classification automatique les expériences basées sur des méthodes d'apprentissage automatique supervisé ont été réalisées selon une classification multiclasse comprenant les catégories "spontané", "préparé" et "non- ## discussion et conclusion en ayant pour but de classifier automatiquement les questions spontanées et préparées, cette étude a également permis de dégager des traits permettant de distinguer les deux catégories à partir de transcriptions de la parole, sans se baser sur des informations audio comme cela a déjà été fait dans @xcite . les meilleurs résultats pour les méthodes traditionnelles d'apprentissage automatique sont obtenus avec une régression logistique combinée aux critères linguistiques significatifs uniquement (f-score de 0.75). des développements possibles de ce travail consisteraient à tester des méthodes d'apprentissage profond sur le corpus avec les mêmes caractéristiques linguistiques pertinentes et également à détecter les questions et non-questions. des résultats préliminaires ont été obtenus d'abord en réutilisant les critères définis pour classer les questions spontanées et préparées, puis en utilisant un modèle de langage pré-entraîné, sans critère supplémentaire, pour prédire les questions et les non-questions :