Supervision faible pour la classification des relations discursives (2025)

Abstract: L’identification des relations discursives est importante pour comprendre les liens sémantiques qui structurent un texte, mais cette tâche souffre d’un manque de données qui limite les performances. D’un autre côté, de nombreux corpus discursifs existent : les divergences entre les projets d’annotation empêchent cependant de combiner directement ces jeux de données à l’entraînement. Nous proposons de résoudre ce problème en exploitant le cadre de la supervision faible, dont l’objectif est de générer des annotations à partir de sources variées, comme des heuristiques ou des modèles pré-entraînés. Ces annotations bruitées et partielles sont ensuite combinées pour entraîner un modèle sur la tâche. En combinant cette méthode avec des stratégies permettant de gérer les différences dans les jeux d’étiquettes, nous démontrons qu’il est possible d’obtenir des performances proches d’un système entièrement supervisé en s’appuyant sur une très petite partie des données d’origine, ouvrant ainsi des perspectives d’amélioration pour des domaines ou des langages à faibles ressources.

## introduction l'annotation de données pour entraîner des modèles supervisés est un problème majeur pour l'apprentissage automatique, d'autant plus pour des tâches complexes comme l'analyse discursive automatique. celle-ci consiste à déterminer comment les unités textuelles sont organisées par des relations sémantiques et pragmatiques, établissant par exemple des liens de cause à effet, de comparaison, de modalité ou des liens temporels. ces informations peuvent être utilisées pour le résumé automatique @xcite , les systèmes questions-réponses @xcite , la traduction automatique @xcite , la détection d'émotions @xcite , ou l'explicabilité de modèles @xcite . malgré les progrès récents des modèles de langue pré-entraînés, ils nécessitent encore des données importantes pour être affinés (fine-tuned), et le manque de données sur des domaines ou des tâches spécialisées comme le discours limite les performances @xcite . pour pallier ce manque, des approches récentes utilisent des techniques de supervision faible qui fournissent des annotations à partir de sources indirectes ou bruitées. parmi ces méthodes, la supervision faible "programmatique" (cf. la présentation du domaine @xcite génère des annotations automatiquement en utilisant des "règles d'annotation" (label functions), qui peuvent être des heuristiques, utiliser des bases de données ou des modèles entraînés sur des données différentes. ces sources sont agrégées pour créer un "modèle d'annotation" (label model) qui produit des données de supervision (bruitée) qui peuvent servir à entraîner un modèle supervisé classique (que l'on appellera "modèle final" / end model). nous proposons une approche dans ce paradigme appliqué à la tâche de classification des relations de discours, en nous focalisant sur des corpus anglais afin de montrer que l'on peut réduire la dépendance à des jeux de données volumineux. le domaine présentant une certaine variabilité dans les cadres et les jeux de relation, nous explorons aussi le transfert entre cadres théoriques différents, notamment rst @xcite , et différent corpus qui peuvent varier dans les domaines et les pratiques d'annotation, même à l'intérieur d'un cadre théorique particulier. a notre connaissance ce travail est le premier à explorer ce paradigme pour cette tâche et avec des approches mêlant différents cadres théoriques. nos contributions peuvent donc être résumées en : ## travaux reliés la classification de relations discursives est l'une des étapes principales dans la création d'un analyseur discursif : elle consiste à trouver la catégorie de relation sémantico-pragmatique qui unit deux unités textuelles. cette tâche est parfois divisée en deux : identifier des relations "explicites", lexicalisées par un connecteur (mais, par conséquence), et des relations "implicites" qui ne le sont pas. l'exemple de document en (a) montre une réalisation implicite de la relation explication, et une explicite de résultat (connecteur "en conséquence"). de nombreux travaux ne considèrent que les implicites, mais la campagne d'évaluation @xcite a montré que les performances sur les explicites chutent aussi pour certains genres ou domaines. dans cette étude, nous considérons toutes les relations, quelque soit leur type, le but étant d'améliorer les performances générales sur la tâche pour construire des analyseurs complets. cette tâche de classification souffre par ailleurs d'un manque de données annotées. il existe cependant de nombreux corpus discursifs, si l'on ne se limite pas à un cadre, un domaine ou une langue spécifique. cependant, la plupart des études se concentre sur un cadre spécifique, rst ou pdtb, sur une langue, l'anglais, voire sur un corpus, le pdtb @xcite pour les relations et le rst dt @xcite pour l'analyse complète. cette situation est due aux divergences entre les projets d'annotation et à la taille limitée de la plupart des autres corpus, mais elle accroît la rareté des données de manière artificielle : nous explorons ici le cadre de la supervision faible comme moyen d'exploiter les corpus de différents cadres. la supervision faible (ws) fait partie d'un ensemble de méthodes dédiées au problème de rareté des données et se fonde sur l'annotation automatique de nouvelles instances. on peut distinguer la ws de l'apprentissage semi-supervisé : au lieu de propager des étiquettes existantes, en ws on utilise des connaissances diverses pour créer de l'annotation. on peut la rapprocher de l'apprentissage par transfert mais les connaissances transférés se font à partir de sources variés, pas uniquement d'un autre domaine ou langue. parmi les méthodes classiques en ws on trouve : la supervision distante où des bases de connaissances ou des heuristiques sont utilisées pour étiqueter des données, e.g. @xcite @xcite , le crowd-sourcing où un ensemble d'annotateurs fournit un étiquetage de qualité variée, ou bien le co-training et le boosting pour combiner les sorties de différents modèles, e.g. @xcite . toutes ces approches permettent de constituer des jeux de données synthétiques (bruités) et nous explorons la possibilité de les combiner pour construire des modèles plus robustes et moins gourmands en données. c'est ce que propose le cadre de la supervision faible programmatique (programmatic weak supervision) @xcite : des sources de décision faibles, ou règles d'annotation (label functions, lf) fournissent une étiquette sur une partie des données, puis une méthode d'aggrégation (label model), -un simple vote par majorité ou des méthodes plus complexes @xcite @xcite ) -, permet de produire un nouvel ensemble d'entraînement pour un modèle final (end model), un modèle classique ou spécifiquement dédié à la gestion du bruit et des conflits entre étiquettes @xcite @xcite . dans cette étude, nous nous reposons sur ce paradigme pour combiner plusieurs approches de supervision faible. la supervision faible pour le niveau discursif est un domaine ancien, mais encore sous-exploré. l'identification des relations implicites est la plus étudiée, notamment en exploitant les similarités avec les explicites. les connecteurs ont été utilisés comme annotation bruitées des relations, depuis @xcite jusqu'à des travaux plus récents, e.g. @xcite , étendus avec du pré-entraînement continu ou de l'apprentissage fondé sur des prompts @xcite @xcite . nous testons, parmi d'autres stratégies, une annotation utilisant les connecteurs. @xcite proposent d'utiliser un modèle génératif pour augmenter les données pour certaines relations, en fournissant tous les exemples d'entraînement : l'amélioration d'1, 4% seulement en micro-f1 confirme les difficultés des modèles génératifs sur cette tâche @xcite . nous testons une règle fondée sur une relation spécifique et des systèmes de génération simples pour comparaison. bourgonje & demberg (2024) ont proposé une méthode fondée sur de la traduction automatique et / ou projection d'annotation, ce qui nécessite également d'utiliser des corpus assez larges, mais démontre le potentiel des annotations bruitées en cross-lingue. le crowd-sourcing d'annotation a permis de produire deux corpus discursifs @xcite : étant donné le coût limité de ces annotations, nous testons leur inclusion comme source de connaissance faible. concernant l'utilisation de données de différents cadres, @xcite ont proposé un apprentissage joint enrichi de méta-données sur le cadre et la langue, dans une approche entièrement supervisée. pour d'autres tâches, des méthodes de supervision faible via des règles expertes ont été testées pour l'attachement (badene et al., 2019), c'est-à-dire la détermination de quelles unités textuelles sont reliées, ou bien la segmentation (gravellier et al., 2021), c'est-à-dire l'identification des unités minimales à relier, et des méthodes de supervision distante ont permis d'améliorer le transfert entre domaines pour l'attachement via des tâches auxiliaires comme l'analyse de sentiment @xcite ) ou l'ordonnancement des unités textuelles @xcite . nous nous intéressons ici uniquement à la tâche de classification des relations, encore sous-explorée dans un cadre de supervision faible. ## corpus de discours afin de faciliter ensuite la description de l'approche, nous présentons d'abord les jeux de données utilisés et leurs différences. nous nous sommes limités à l'anglais et aux deux cadres les plus utilisés : rst et pdtb. ces cadres diffèrent par de nombreux aspects, notamment les annotations en rst produisent une structure (arborescente) complète sur les documents, tandis que la couverture n'est que partielle ou locale dans les corpus pdtb. il en résulte des différences importantes dans la nature des segments textuels formant les instances. de plus, les ensembles de relations sont différents entre les cadres, avec des définitions fondées sur des critères différents, mais aussi parfois pour les corpus d'un même cadre, ce qui empêche toute tentative de transfert direct entre les ensembles de données. les corpus utilisés sont résumés dans la nous testons deux directions dans l'apprentissage : (1) un apprentissage supervisé où l'on dispose à l'entraînement d'une petite quantité de données issues du même corpus que celui utilisé à l'évaluation, et (2) un apprentissage par transfert où le corpus d'évaluation n'a pas de section d'entraînement et où les genres textuels ne sont pas représentés dans les corpus disponibles. le cadre (1) correspond à nos expériences principales, dont nous utilisons les résultats pour (2). notre principal corpus cible pour (1) est le rst dt @xcite , le plus utilisé pour la construction d'analyseurs discursifs pour lesquels l'identification du lien spécifique entre les segments est l'étape la plus difficile. le rst dt est composé d'articles de journaux. l'ensemble initial de relations est très vaste mais a été réduit à 17 classes dans toutes les études ultérieures. deux autres corpus rst sont utilisés pour tester le transfert entre domaines (2). le corpus gum @xcite est composé de documents de nombreux domaines différents (e.g., journaux, interviews, manuels d'instruction, etc.). bien qu'annoté en rst, ce corpus comporte un ensemble de relations qui a été adapté pour les besoins du projet, avec un total de 31 étiquettes à grain fin et 14 classes plus grossières. le corpus gentle (aoyama et al., 2023) a été conçu pour tester le transfert entre domaines et ne dispose que d'un ensemble de test, avec les mêmes étiquettes que gum. pour le cadre pdtb, nous utilisons le pdtb3 @xcite , le corpus le plus grand et le plus largement utilisé pour la tâche de classification des relations. contrairement au rst dt, il comporte une annotation des connecteurs mais, comme il ne fournit pas une couverture complète, il n'est pas associé à des analyseurs de discours. l'ensemble des relations est large mais la plupart des systèmes n'utilisent que les 23 relations de niveau 2. nous utilisons également le corpus discogem2 (yung et al., 2024b) comprenant uniquement des relations implicites avec les étiquettes du pdtb3. l'annotation a été faite par crowd-sourcing et correspond à la distribution des votes. nous utilisons l'étiquette majoritaire. pour les deux corpus pdtb, nous mettons en correspondance les relations annotées avec un label utilisé dans le rst dt (annexe 8). certaines relations du rst dt, 9 sur les 17 annotées, n'ont pas d'équivalent dans le pdtb3 (e.g. attribution) ce qui conduit à un étiquetage synthétique partiel. notons que l'annotation locale fondée sur le lexique du pdtb3 et la stratégie de crowd-sourcing de discogem2 permettent une annotation plus rapide et donc moins coûteuse, par rapport aux corpus rst utilisés. cela motive également notre choix de cibler les corpus rst, en utilisant les corpus pdtb comme ensembles de données auxiliaires. discogem2 a été obtenu auprès des auteurs, les autres via le benchmark disrpt foot_0 . les exemples ci-après illustrent certaines différences entre les corpus pdtb3 et rst dt, qui sont facilement comparables car certains documents sont communs foot_1 . l'exemple (b) montre un exemple commun aux corpus pdtb3 et rst dt, similaire en termes de contenu des arguments, mais annoté avec des étiquettes différentes. l'harmonisation définie en 4 notre approche : supervision faible pour des scénarios à peu de données avant de décrire les scénarios, destinés à explorer les conditions d'utilisation d'une approche faiblement supervisée, nous décrivons la chaîne de traitement, classique en pws @xcite : ## conclusion la taille limitée des données annotées manuellement est un problème omniprésent en tal, surtout pour les architectures neuronales. nous avons réalisé de premières expérimentations dans un cadre de supervision faible pour une tâche sémantique de haut niveau, la classification des relations discursives, qui, en plus de la rareté des données, souffre également d'importantes divergences entre les projets d'annotation. nous avons montré que les méthodes de supervision faible permettent d'obtenir des performances proches de l'état de l'art avec seulement 10% des données, en tirant avantage d'autres corpus. de plus, l'aggrégation de sources de supervision faible peut aider dans un contexte d'adaptation de domaine, même si ici les résultats sont très inférieurs à l'état de l'art. nous prévoyons d'étendre nos expériences à d'autres méthodes de supervision faible programmatique, à d'autres sources d'information, et d'évaluer ces stratégies dans d'autres langues et d'autres domaines. enfin, nous chercherons à construire un analyseur discursif complet en combinant ces méthodes.