État de l’art sur les marqueurs discursifs en Traitement Automatique des Langues (2025)

Abstract: Les marqueurs discursifs sont des éléments linguistiques qui peuvent être employés pour construire la cohérence d’un discours car ils expriment les relations entre les unités discursives. Ils constituent ainsi des indices utiles pour la résolution de problèmes de traitement de langue en rapport avec la sémantique du texte, le discours ou la compréhension de systèmes. Dans cet article, nous présentons un état de l’art des marqueurs discursifs en traitement automatique des langues (TAL). Nous introduisons les représentations textuelles des marqueurs discursifs puis nous nous intéressons à la détection des marqueurs et l’utilisation de leurs sens pour améliorer ou évaluer des tâches de TAL.

## introduction dans un but communicatif, les locuteurs d'une langue élaborent un discours dont le degré de cohérence va être déterminant pour la compréhension par un interlocuteur. ils vont ainsi user de différents procédés linguistiques tels que l'utilisation de marqueurs discursifs pour structurer leur propos. les marqueurs du discours sont des éléments linguistiques qui ont donné naissance à de nombreuses définitions en pragmatique. en particulier, @xcite est la première à se pencher en profondeur sur le concept de discourse markers et les définit comme des « éléments séquentiellement dépendants qui délimitent des unités de parole ». à sa suite, plusieurs linguistes ont proposé des définitions différentes, ce qui a conduit à une pluralité de termes qui se chevauchent. il est ainsi question de marqueurs discursifs, de connecteurs, de particules, de particules énonciatives, de signaux du discours, etc. @xcite . de plus, les propriétés discursives des marqueurs changent selon la terminologie choisie. ainsi, certains auteurs vont associer les marqueurs discursifs à l'expression d'une relation du discours comme l'illustre l'exemple @xcite avec le marqueur discursif même si qui représente la relation de concession. ce type de marqueur discursif est aussi communément appelé connecteur du discours. d'autres auteurs vont souligner l'usage des marqueurs d'un point de vue conversationnel et qui relève plutôt du sentiment du locuteur. dans ce cas, il est souvent question de particule du discours, comme indiqué en (2) avec la particule eh bien qui rend compte de la surprise du locuteur. @xcite elle est sortie se promener même si la pluie ne s'est pas arrêtée. en traitement automatique des langues, les marqueurs du discours sont globalement associés à la notion de connecteurs du discours et de nombreuses recherches ont ainsi été effectuées pour identifier et exploiter leurs propriétés discursives, à travers des tâches aussi bien manuelles qu'automatiques. c'est ainsi que dans la suite de l'article, par souci d'homogénéité, nous utiliserons le terme « marqueur discursif » pour englober tous les concepts qui lui sont afférents, y compris les connecteurs du discours. à notre connaissance, nous présentons le premier état de l'art portant sur les marqueurs discursifs dans le domaine du tal. d'abord, nous nous intéressons aux ressources textuelles en lien avec les marqueurs discursifs. ensuite, nous nous penchons sur les méthodes d'identification des marqueurs discursifs et leurs usages dans d'autres tâches. enfin, nous étudions l'emploi de la sémantique des marqueurs discursifs pour améliorer des systèmes de tal. par ailleurs, dans ce papier, nous considérons les marqueurs discursifs dans différentes langues. c'est le cas du penn discourse treebank (pdtb) @xcite qui est un projet d'annotation qui s'appuie sur les données du penn treebank, un large corpus anglais syntaxiquement étiqueté. dans sa première version, 10 marqueurs discursifs et leurs arguments ont été sélectionnés et annotés, un argument étant défini comme une expression qui comporte un prédicat. un argument peut aussi être exprimé par une phrase nominale ou un déictique qui exprime « un événement ou un état ». de plus, le concept de marqueurs discursifs implicites est défini dans le pdtb : pour une paire d'arguments liée par une relation du discours qui n'est pas textuellement exprimée, les annotateurs rajoutent un marqueur discursif qui correspondrait le mieux à cette relation. la notion d'argument et de marqueur discursif implicite est indiquée en (3). (3) [the @xmath02.7 billion raised on the capital market in the previous fiscal year] arg . implicit-(in contrast) [in fiscal 1984 before mr. gandhi came to power, only $810 million was raised] arg (miltsakaki et al., 2004) de la première version à la deuxième version, le pdtb 2.0 (prasad et al., 2008) s'enrichit d'une annotation de 100 marqueurs discursifs explicites différents et 102 marqueurs discursifs implicites, pour un total de 18 459 occurrences de marqueurs discursifs explicites et 16 053 marqueurs discursifs implicites annotés 1 . de plus, une définition hiérarchique des relations du discours est proposée. enfin, une troisième version a été publiée par prasad et al. (2018) avec la modification de certaines relations et l'ajout de nouveaux types de relations, portant le nombre d'annotations à 53 631 tokens foot_0 . le pdtb a été adapté à plusieurs langues telles que le chinois (zhou & xue, 2015) ou encore le hindi (oza et al., 2009). par ailleurs, le projet du pdtb pour le français, le french discourse treebank, a été défini par danlos et al. (2012) et l'objectif était d'annoter le french treebank, en s'appuyant sur le lexique de marqueurs discursifs du lexconn de roze et al. (2012) pour identifier les marqueurs discursifs. l'idée du fdtb est alors de reprendre la méthodologie du pdtb tout en modifiant la structure des relations en s'inspirant de la rst @xcite et de la sdrt @xcite . en outre, @xcite proposent une annotation de tous les marqueurs discursifs implicites et de tous les arguments, contrairement au pdtb. le projet est toujours en cours, avec une première étape qui a été publiée par @xcite . en plus du pdtb qui est un corpus annoté pour l'anglais, un autre corpus en anglais appelé discovery a été constitué automatiquement par @xcite . à partir du depcc @xcite , un large corpus issu des données du web et annoté syntaxiquement, un ensemble de paires de phrases lié par un marqueur discursif candidat est extrait. le marqueur discursif candidat, qui peut être un adverbe ou une conjonction est au début de la deuxième phrase de la paire. ensuite, à l'aide d'un classifieur de fasttext foot_1 , ils effectuent une prédiction du marqueur discursif à partir de la paire ou de la deuxième phrase. les exemples comportant les marqueurs discursifs les plus prédits sont exclus du jeu de données. en effet, @xcite considèrent que les marqueurs discursifs candidats qui sont facilement détectables par des modèles lexicaux simples, tels que fasttext, constituent probablement du bruit. ils partent du principe que les marqueurs discursifs ont des propriétés plus complexes, rendant leur détection moins évidente. le corpus discovery comporte 174 marqueurs du discours différents pour 1,74 million de paires de phrases, sous la forme indiquée en (4). il s'agit d'un corpus de grande taille comportant de nombreux exemples d'usage de marqueurs discursifs en anglais. cependant, son annotation reste moins fine que le pdtb qui prend en compte les relations du discours et les marqueurs discursifs implicites. the product is set to launch in about 40 countries on november 1st. | one of those countries will be china, which has never before been a launch region for the ipad. | significantly, @xcite en parallèle de la constitution de grands corpus discursifs monolingues, et en anglais principalement, il existe des initiatives pour constituer des corpus multilingues afin de représenter un plus grand nombre de langues. par exemple, le ted multilingual discourse bank ou ted-mdb @xcite consiste en 36 transcriptions de conférences ted en anglais, allemand, polonais, portugais, russe et turc. ces transcriptions ont été annotées discursivement à l'aide du cadre théorique du pdtb et dans la mesure où le registre des conférences ted est celui de l'oral préparé, les annotations ont cherché à en rendre compte en annotant des phénomènes tels que l'hypophore. il s'agit d'un cas de figure où le locuteur répond à sa propre question, comme l'illustre l'exemple (5). ainsi, plusieurs corpus ont été constitués pour représenter les éléments discursifs des textes. ces corpus, disponibles dans différentes langues, sont largement utilisés dans plusieurs tâches de tal telles que la détection de marqueurs discursifs (3), celle de relations implicites (4.2) ou l'implémentation d'analyseurs discursifs. ils sont en outre utilisés pour la constitution de lexiques de marqueurs discursifs (2.2). le tableau 1 récapitule la taille des corpus présentés et le nombre d'annotations obtenues. ## les méthodes d'identification des marqueurs discursifs dans le domaine du tal, les marqueurs discursifs sont principalement étudiés à travers la tâche de prédiction qui peut prendre deux formes. une possibilité est d'identifier, par une classification multi-classes, le marqueur discursif entre une paire de phrases ; chaque classe à identifier est un marqueur du discours. c'est le cas de @xcite , qui vont effectuer une classification de 20 classes avec 19 marqueurs discursifs et une classe pour représenter l'absence de marqueurs. les données consistent en paires de phrases de wikipédia en anglais qui comportent ou non un marqueur discursif entre les deux phrases. à partir de 400 000 paires de phrases, ils entraînent un modèle de décomposition d'attention dont l'architecture permet d'obtenir des plongements lexicaux qui représentent les relations entre les tokens de la paire de phrases et celles des tokens par rapport à l'autre phrase de la paire. la décomposition d'attention s'appuie sur le calcul de scores d'attention et des vecteurs de comparaison et avec cette méthode, @xcite obtiennent une exactitude de 32,71 pour une f-mesure de 31,80. par ailleurs, afin de positionner leur performance par rapport aux humains, ils ont constitué un jeu de données de 10 000 paires de phrases évaluées par trois annotateurs qui devaient choisir le marqueur discursif adéquat pour chaque paire de phrase. avec une exactitude de 23,12 et une f-mesure de 23,72, ces résultats indiqueraient que les humains ont relativement des difficultés à détecter le marqueur discursif adéquat et que leur identification serait une tâche complexe pour les locuteurs. cependant, ce jeu de données annoté manuellement est possiblement soumis à des biais dans la mesure où les rédacteurs des articles de wikipédia, dans un souci de clarté, auraient tendance à avoir une utilisation supérieure à la normale des marqueurs discursifs. la deuxième manière de prédire les marqueurs discursifs est d'identifier les occurrences de marqueurs dans une séquence de tokens, par exemple à l'aide de l'étiquetage bio. ainsi, le projet disrpt présenté en 2.1 adopte ce format pour les données et la constitution de corpus va de pair avec une compétition dont les trois éditions comportent une tâche de détection de marqueurs discursifs. pour la première édition ( zeldes et al., 2019 ), les architectures utilisées étaient essentiellement des réseaux de neurones récurrents (rnn) ou des arbres de décision. le meilleur modèle s'appuyait sur un rnn avec des plongements contextualisés de bert et obtient une moyenne f-mesure de 79,25 (données avec annotations syntaxiques) et 83,63 (données sans annotations syntaxiques) pour l'anglais, le turc et le chinois. de même, dans les éditions suivantes de zeldes et al. (2021) et braud et al. (2023), les modèles les plus performants utilisent essentiellement les plongements contextualisés de bert. c'est le cas de hits, le modèle le plus performant de 2023 (liu et al., 2023) qui associe les plongements lexicaux de bert à une couche bi-lstm et une couche crf adaptée aux tâches d'étiquetage de tokens. hits atteint une moyenne f-mesure de 80,47 pour les données avec des annotations syntaxiques pour l'anglais, l'italien, le portugais, le thaï, le turc et le chinois. chapados muermans & kosseim (2022) utilisent aussi les données de disrpt pour implémenter un modèle multilingue pour l'anglais, le turc et le chinois. il s'agit d'un affinage de bert avec les données de disrpt, auquel une couche crf est ajoutée. par ailleurs, ils créent des données synthétiques pour évaluer si l'ajout de données augmente les performances de bert. à partir de corpus alignés en anglais-turc et en anglais-chinois où leur modèle de détection de marqueurs discursifs a été appliqué, deux types de jeux de données ont été constitués. d'une part, les données de projection sont constituées des annotations issues du modèle en turc/chinois et des marqueurs discursifs uniquement annotés en anglais qui sont projetés sur les mots correspondants en turc ou chinois. d'autre part, les données d'alignement sont les séquences dont les marqueurs discursifs ont été annotés aussi bien en anglais qu'en turc ou en chinois. le modèle de détection de marqueurs discursifs obtient cependant de meilleures performances, sans ajout des données synthétiques, avec en anglais une f-mesure de 92,49 (±0,77), en turc une f-mesure de 93,97 (± 0,34) et en chinois une f-mesure de 87,47 (±0,95). la chute de performance par rapport à un entraînement avec uniquement les données de disrpt laisse penser que les données rajoutées créent du bruit et que l'affinage de bert ne nécessite pas l'usage d'une grande quantité de données. il faut cependant noter que les données d'évaluation et celles d'entraînement sont issues du même corpus, contrairement aux données d'alignement, ce qui pourrait également expliquer les résultats moins élevés. par ailleurs, dans l'état de l'art, les marqueurs discursifs discontinus, tels que d'une part ... d'autre part en français, sont rarement pris en compte dans la détection de marqueurs car ils soulèvent des problèmes lors de la tokenisation ou de la représentation des données en plongements lexicaux. par exemple, braud et al. (2024) annotent les marqueurs discursifs discontinus en deux marqueurs différents. costa et al. (2023) étudient ce problème en effectuant une tâche de détection de ces marqueurs discursifs en chinois. d'abord, ils ont effectué une annotation manuelle au format bio des marqueurs discontinus dans le cdtb. ensuite, ils ont appliqué d'une part des algorithmes d'apprentissage automatique (arbre de décision, svm, perceptron, forêt aléatoire) et d'autre part l'hypothese testing en s'appuyant sur les collocations. les meilleures performances ont été obtenues avec svm et la forêt aléatoire avec une f-mesure de 75,6. en comparaison aux autres modèles s'appuyant sur bert, costa et al. (2023) obtiennent des performances moindres. il serait donc les résultats de ces différents modèles de détection de marqueurs discursifs démontrent que les modèles basés sur l'architecture transformer obtiennent de meilleures performances que les autres architectures neuronales. en outre, le choix d'une méthode de prédiction est dépendant des données utilisées pour l'entraînement des modèles car la nature de la tâche d'identification dépend du type d'annotation choisie. ## les enjeux associés à l'identification de marqueurs discursifs la tâche de détection de marqueurs discursifs va souvent de pair avec une tâche de tal et dans ces cas de figure, la détection de marqueurs est utilisée pour augmenter les performances d'une tâche principale. elle peut ainsi être employée pour améliorer des plongements lexicaux ou faciliter la détection de relation implicite. en outre, la tâche de prédiction de marqueurs discursifs peut être employée pour évaluer les analyseurs discursifs ou diagnostiquer le fonctionnement d'un modèle. ## l'utilisation de la sémantique des marqueurs du discours au-delà de l'utilisation des marqueurs discursifs pour l'amélioration de la détection de relations implicites, les marqueurs peuvent aussi être employés pour venir en support à d'autres tâches de tal. en particulier, le sens des marqueurs discursifs peut être utilisé de manière subsidiaire. ainsi, braud & denis (2016) ont implémenté un modèle de plongements de mots anglais basé sur une approche distributionnelle, pour une tâche de détection de relations implicites, et ce modèle construit une représentation des mots par rapport aux marqueurs discursifs. en effet, ils considèrent que les mots proches d'un marqueur discursif ont une similarité rhétorique. des méthodes statistiques, le tf-idf, le ppmi-idf et la fréquence, sont employées pour représenter la relation d'un mot aux 100 marqueurs discursifs du pdtb. le corpus bllip foot_3 est ensuite utilisé pour constituer un vocabulaire exhaustif de plongements lexicaux, utilisé pour représenter les données utilisées pour la tâche de détection de relations implicites. ainsi, cette modélisation des mots permet de mettre en avant leurs propriétés discursives en représentant la similarité des mots à partir des marqueurs discursifs. ein-dor et al. (2022) effectuent quant à eux une tâche de classification de sentiments par affinage de bert. afin d'enrichir les données d'entraînement, ils sélectionnent 11 marqueurs du discours qu'ils associent à une polarité positive, négative ou neutre. une extraction de phrases commençant par un des marqueurs (suivi d'une virgule) est effectuée dans un grand corpus de presse : ces phrases sont alors étiquetées avec le sentiment associé au marqueur. cet ensemble de phrases (sans le marqueur) obtenu est considéré comme un jeu de données faiblement étiqueté dans la mesure où les informations obtenues tendent à être bruitées car elles sont constituées sans supervision. néanmoins, cette méthode permet d'obtenir des données annotées de manière automatique et simple. le sens des marqueurs est ainsi exploité pour construire un jeu de données pour une tâche de classification de sentiments. par ailleurs, ces données ont été utilisées pour l'affinage de bert et bert-tiny et les résultats ont indiqué que l'ajout de ce jeu de données améliore les performances des modèles de petite taille. enfin, lei & huang (2024) proposent une tâche de construction d'arbres logiques pour la classification de faux raisonnements par les modèles de langue. ils utilisent alors des marqueurs et des relations du discours du pdtb pour former les arbres. en effet, à partir de marqueurs discursifs exprimant un sens logique, 10 relations du discours sont sélectionnées du pdtb et elles constituent des noeuds non terminaux tandis que les arguments de relation constituent les noeuds terminaux. une requête, indiquant les différents types de raisonnement fallacieux, et un texte fallacieux sont donnés en entrée à un modèle de langue (gpt, roberta, flan, llama) qui va construire un arbre logique et envoyer en sortie un type de raisonnement fallacieux. de même que pour ein-dor et al. (2022), le sens des marqueurs discursifs est exploité pour enrichir la structure d'un modèle. dans le cas de ein-dor et al. (2022), il est utilisé pour obtenir des données supplémentaires pour entraîner un modèle tandis que lei & huang (2024) construisent un arbre logique à l'aide des informations sémantiques associées aux marqueurs discursifs. ## conclusion les marqueurs discursifs font l'objet de plusieurs études en traitement automatique des langues. à travers des lexiques et des corpus annotés, des travaux ont été effectués pour recenser les marqueurs et leurs usages en langue. cela a ainsi donné naissance à des projets d'envergure tels que dimlex et le pdtb. dans un premier temps, l'accent a été mis sur des langues bien dotées telles que l'anglais, l'allemand ou encore le français, puis ces ressources ont été généralisées dans des langues moins voire peu dotées. en particulier, dans les langues peu représentées en tal, les chercheurs ont généralement recours à des corpus parallèles et des méthodes d'alignement pour constituer des ressources lexicales. à partir des ressources qui permettent d'identifier les marqueurs discursifs et leurs usages, plusieurs recherches se sont fixées comme objectif d'améliorer l'identification des marqueurs du discours. les modèles basés sur l'architecture transformer permettent d'obtenir des plongements lexicaux contextualisés et contribuent à de meilleurs résultats dans cette tâche. en outre, la prédiction des marqueurs discursifs est souvent intégrée à des modèles de détection de relations implicites ou de plongements lexicaux afin de les améliorer. la méthode la plus communément employée est l'affinage de modèles de langue pré-entraînés en y intégrant la tâche de prédiction. pour l'évaluation d'analyseurs discursifs ou celle des compétences de modèles de langue, la tâche de détection de marqueurs discursifs est pertinente pour souligner les performances d'un outil ou son fonctionnement interne. enfin, le sens des marqueurs discursifs est utilisé pour apporter des données supplémentaires dans des tâches telles que la classification de sentiments ou celle de raisonnement fallacieux. ainsi, les marqueurs discursifs, en tant que connecteurs, sont des indicateurs de relations utiles pour extraire des données ou évaluer des systèmes de traitement automatique des langues. de plus, ils peuvent être exploités pour enrichir la sémantique de plongements lexicaux. par ailleurs, l'entraînement des modèles à la prédiction de marqueurs est une stratégie pertinente pour améliorer l'identification de relations implicites dont les applications s'étendent aussi bien aux tâches de question-réponse qu'à la génération de résumés ou encore à la traduction automatique. actuellement, ces tâches peuvent également être exécutées par les larges modèles de langues qui parviennent à des résultats très satisfaisants pour plusieurs problèmes de tal mais nécessitent une grande quantité de ressources matérielles. on pourrait alors se demander si la sémantique des marqueurs discursifs pourrait apporter une amélioration à des systèmes aussi performants. une autre analyse possible serait la comparaison des larges modèles de langue à des architectures moins coûteuses affinées avec une tâche d'identification de marqueurs discursifs. une évaluation pourrait ainsi être effectuée en termes de quantité de ressources computationnelles mobilisées par rapport aux performances obtenues sur un problème donné. il est également important de noter que la majorité des études sur les marqueurs discursifs en tal met l'accent sur l'usage des marqueurs dans le contexte de corpus écrits, au détriment des corpus oraux ou de leurs transcriptions. quelques tentatives ont été menées pour étudier les marqueurs en contexte oral, à l'image @xcite qui utilisent des algorithmes d'apprentissage automatique et des attributs acoustiques pour détecter des marqueurs discursifs. silvano et al. (2022) ont présenté un corpus parallèle multilingue basé sur des transcriptions de conférences ted et se sont appuyés sur des éléments de la norme iso 24617 6 pour annoter les marqueurs propres à l'oral. ainsi, il pourrait être intéressant d'explorer plus en profondeur les marqueurs discursifs dans des données orales mais aussi de développer des techniques adaptées pour l'analyse de marqueurs discursifs propres à l'oral.