Apprentissage faiblement supervisé de la structure discursive (Learning discourse structure using weak supervision ) (2019)

Abstract: L’avènement des techniques d’apprentissage automatique profond a fait naître un besoin énorme de données d’entraînement. De telles données d’entraînement sont extrêmement coûteuses à créer, surtout lorsqu’une expertise dans le domaine est requise. L’une de ces tâches est l’apprentissage de la structure sémantique du discours, tâche très complexe avec des structures récursives avec des données éparses, mais qui est essentielle pour extraire des informations sémantiques profondes du texte. Nous décrivons nos expérimentations sur l’attachement des unités discursives pour former une structure, en utilisant le paradigme du data programming dans lequel peu ou pas d’annotations sont utilisées pour construire un ensemble de données d’entraînement “bruité”. Le corpus de dialogues utilisé illustre des contraintes à la fois linguistiques et non-linguistiques intéressantes qui doivent être apprises. Nous nous concentrons sur la structure des règles utilisées pour construire un modèle génératif et montrons la compétitivité de notre approche par rapport à l’apprentissage supervisé classique.

## introduction l'arrivée des nouvelles méthodes d'apprentissage profond a beaucoup simplifié l'étape d'extraction de caractéristiques de données. cependant, pour que ces techniques basées sur des algorithmes d'apprentissage supervisé puissent apprendre ces attributs, il faut avoir beaucoup de données étiquetées, des données d'apprentissage sur lesquelles ils peuvent être formés. l'étiquetage manuel des données est à la fois coûteux et long, surtout lorsqu'une expertise dans le domaine est requise ou qu'ultérieurement il faut ré-étiqueter d'une nouvelle manière les données. dans cet article, nous montrerons comment snorkel @xcite , un nouveau paradigme de programmation par les données (data programming en anglais) peut construire un ensemble suffisant de données d'entraînement pour résoudre l'attachement, un problème clef dans le processus d'inférence d'une structure pour un discours. la méthode de snorkel ne perd que 4% d'exactitude par rapport à une méthode classique d'entraînement avec des données manuellement annotées. plus important encore, nous montrons que dans le cadre de snorkel on peut construire un "modèle génératif" qui est en effet plus performant que notre modèle classique. les probabilités du modèle génératif peuvent aussi servir d'entrée à un modèle discriminatif. snorkel apporte un cadre pour fournir des informations symboliques de manière efficace à un processus connexionniste ou statistique qui doit généraliser et lisser les résultats fournis par cette partie symbolique, exemplifiant ainsi une ia "hybride" employant des représentations symboliques et des méthodes connexionnistes. ## état de l'art il existe plusieurs théories de la structure du discours pour les textes : rst (rhetorical structure theory) @xcite , ldm (linguistic discourse model) @xcite , pdtb (the penn discourse treebank) @xcite et sdrt (segmented discourse representation theory) @xcite . bien que le travail d'analyse du discours soit largement concentré sur la théorie de la structure rhétorique (rst), comme démontré par @xcite , les structures discursives ont intérêt à être traduites dans des arbres de dépendance @xcite . de plus, nous nous intéressons à l'étude de dialogues multi-locuteurs pour lesquels le seul corpus annoté est stac 1 @xcite . dans ce corpus on trouve une portion significative de structures qui sont naturellement interprétées de façon non arborescente, ce qui exclurait un traitement en termes de dltag, ldm ou rst. nous partons sur la base de cette discussion et travaillons avec des structures de la sdrt simplifiées et nous nous baserons sur les initiatives de @xcite où les structures discursives attendues sont des graphes. 2 dans cet article, nous proposons la création des données d'entraînement pour la tâche de prédiction d'attachement dans le corpus de dialogues stac @xcite . pour cela, nous utilisons la programmation par les données, un paradigme pour la création et la modélisation des données d'entraînement. la programmation par les données fournit un cadre simple et unificateur pour une faible supervision, dans lequel les étiquettes d'entraînement sont bruitées et peuvent provenir de sources multiples et potentiellement contradictoires. dans ce cadre, on peut coder cette faible supervision sous la forme de fonctions d'étiquetage, qui fournissent chacune une étiquette pour un sous-ensemble de données. de nombreuses approches de supervision faibles différentes peuvent être exprimées sous forme de fonctions d'étiquetage, telles que les stratégies qui utilisent des bases de connaissances existantes, comme dans la supervision distante @xcite .