Auto-apprentissage et renforcement pour une analyse jointe sur données disjointes : étiquetage morpho-syntaxique et analyse syntaxique (2023)

Abstract: Cet article se penche sur l’utilisation de données disjointes pour entraîner un système d’analyse jointe du langage naturel. Dans cette étude exploratoire, nous entraînons un système à prédire un étiquetage morpho-syntaxique et une analyse syntaxique en dépendances à partir de phrases annotées soit pour l’une de ces tâches, soit pour l’autre. Deux méthodes sont considérées : l’auto-apprentissage et l’apprentissage par renforcement, pour lequel nous définissons une fonction de récompense encourageant le système à effectuer des prédictions même sans supervision. Nos résultats indiquent de bonnes performances dans le cas où les données disjointes sont issues d’un même domaine, mais sont moins satisfaisants dans le cas contraire. Nous identifions des limitations de notre implémentation actuelle et proposons en conséquence des pistes d’amélioration.

## introduction et travaux connexes nous cherchons dans cet article des solutions au potentiel manque de données nécessaires à l'entraînement de systèmes d'analyse jointe du langage naturel. alors que, dans un système multi-tâche neuronal par simple partage de paramètres @xcite , les sorties prédites pour les différentes tâches sont calculées de manière indépendante après l'encodage de l'entrée, un système d'analyse jointe modélise de manière non triviale l'interaction entre les différentes tâches. contrairement à un système multi-tâche simple, un tel système nécessite donc a priori pour son entraînement des données entièrement annotées, c'est-à-dire pour lesquelles les annotations couvrent, pour chaque texte, toutes les tâches modélisées. le nombre de corpus ainsi annotés sur plusieurs niveaux d'analyse linguistique étant restreint, nous étudions la possibilité d'utiliser des jeux de données disjoints -c'est-à-dire tels que chacun n'est muni d'annotations que sur l'un des niveaux cibles -en comparant plusieurs techniques visant à palier à l'existence d'annotations manquantes. notons que ce problème a été abordé notamment par @xcite dans le cadre d'un système par optimisation linéaire en nombres entiers. notre étude se fonde sur une variante du système de @xcite , capable d'intégrer des tâches d'étiquetages lexicales ainsi que des tâches de création de dépendances bi-lexicales, c'est-à-dire de les traiter ensemble comme une tâche unique. il s'agit d'un système par transition ayant la particularité qu'à chaque étape, jusqu'à une action par token peut être effectuée ; à tout moment, l'action d'un token peut indifféremment se rapporter à n'importe laquelle des tâches traitées, sans contrainte particulière. chaque décision est basée sur toutes les structures précédemment prédites, ce qui permet une interaction complète entre les différentes tâches. ce système a été choisi pour sa flexibilité (il est en particulier possible de l'entraîner sans modification sur des jeux de données disjoints, au prix des performances) et son mode d'entraînement : pré-entraîné de manière supervisée, il a été conçu pour ensuite apprendre à exploiter au mieux les interactions entre niveaux linguistiques lors d'une phase d'apprentissage par renforcement @xcite . contrairement à l'apprentissage supervisé standard qui consiste à entraîner explicitement un modèle à reproduire des annotations connues à l'avance, il s'agit d'entraîner le modèle sans le guider a priori mais en associant une récompense à chacune de ses actions. l'apprentissage par renforcement nécessite donc le calcul de ces récompenses, qui se fait généralement à partir d'annotations. il est cependant possible d'apprendre une fonction de récompense ; c'est ce que fait notamment l'algorithme apprentissage par renforcement inverse @xcite . ici, nous testons la possibilité d'utiliser les prédictions du modèle lui-même pour calculer les récompenses de ses actions pour lesquelles nous ne disposons pas d'annotation de référence. nous travaillons ici avec des données en anglais pour deux tâches classiques du traitement automatique des langues : l'analyse morpho-syntaxique et l'analyse syntaxique en dépendances. bien que les corpus annotés en syntaxe soient généralement aussi annotés en morpho-syntaxe, l'inverse n'est pas le cas. de plus, ces expériences doivent être vues comme une première étape avant d'aborder le cas de tâches plus complexes, et la forte interdépendance entre analyse syntaxique et analyse morpho-syntaxique nous intéresse ici. depuis l'article de @xcite , un certain nombre de travaux se sont penchés sur l'analyse jointe de ces deux tâches, mais toujours à partir de données entièrement annotées (notamment @xcite @xcite @xcite . nous expérimentons deux méthodes. la première se concentre sur la phase d'apprentissage par renforcement et consiste à définir une fonction de récompense visant à encourager de manière pertinente le système à effectuer des prédictions même lorsque les annotations correspondantes ne sont pas disponibles. la seconde s'applique autant à la phase de pré-entraînement qu'à la phase de renforcement et est une forme d'auto-apprentissage (self-learning ou -training ; nigam & ghani 2000 ; à rapprocher, pour les modèles génératifs, de l'algorithme espérance-maximisation, ou em ; @xcite ) consistant, à un temps t, à utiliser le système pour prédire au moins une partie des structures d'annotations manquantes du corpus d'entraînement et ainsi pouvoir poursuivre l'apprentissage au temps t + 1 sur le jeu de données ainsi complété (mais donc aussi bruité). nous montrons l'efficacité de ces deux méthodes dans un scénario utilisant des données disjointes créées à partir d'un même corpus. nous testons ensuite nos méthodes dans un scénario plus réaliste, utilisant des données issues de deux corpus de domaines différents. il s'agit d'un cas de glissement de domaine (domain shift ; ramponi & plank 2020; li 2012). les résultats dans ce cadre-là sont pour l'instant moins probants, mais nous identifions un certain nombre de limitations de notre implémentation actuelle les expliquant et que nous corrigerons par la suite. ## modèle nous décrivons ici brièvement le modèle utilisé. il ne diffère de celui de @xcite que par les tâches traitées (analyse morpho-syntaxique et analyse syntaxique en dépendances, sans analyse sémantique) et le processus d'entraînement (voir sections suivantes). le système fait intervenir quatre types d'actions. pour un token de position i, effectuer (a) tagt consiste à assigner l'étiquette morpho-syntaxique t à i, (b) syn-j-l à ajouter une dépendance syntaxique d'étiquette l de j vers i, (c) root à définir i comme la racine de l'arbre syntaxique, et (d) halt à ne rien faire. à chaque étape de l'analyse d'une phrase, le système encode la phrase elle-même foot_0 ainsi que les prédictions effectuées aux étapes précédentes sous forme d'un vecteur par token. chacun de ces encodages est converti en une distribution de probabilité sur l'ensemble des actions puis, pour chaque token, l'action de probabilité maximale est effectuée (une action par token est donc effectuée à chaque étape). le système s'arrête lorsque pour chaque token est sélectionnée l'action halt ; il n'est pas contraint à produire des structures d'annotations (ex : arbres syntaxiques) complètes. cependant, en pratique, le taux d'analyse pour chaque tâche (le ratio du nombre de dépendances ou d'étiquettes prédites par rapport à celles annotées) dépasse toujours 99% lorsque l'entraînement s'effectue à partir de données entièrement annotées. ## données pour notre première expérience, nous utilisons la portion wsj (wall street journal) du corpus penn treebank (ptb ; @xcite . nous utilisons comme arbres de dépendances de référence des conversions des arbres de constituants du ptb (de @xcite . pour ces données, nous utilisons comme source la tâche 18 de la campagne semeval 2015 @xcite , qui fournit aussi des graphes d'analyse sémantique de références, afin de pouvoir aisément mettre en place de futures expériences impliquant cette tâche plus complexe. nous n'utilisons que les portions d'entraînement (sections 0 à 19 ; 33964 phrases) et de développement (section 20 ; 1692 phrases) : tous les résultats reportés dans ce texte sont calculés sur les données de développement ; nous réservons les données de test (section 21) pour une phase de comparaison ultérieure. pour étudier un scénario plus réaliste, impliquant un glissement de domaine, nous avons également démarré une expérience sur un jeu de données construit à partir de deux corpus de type universal dependencies (ud ; @xcite , contenant eux aussi des phrases associées à des séquences d'étiquettes morpho-syntaxiques et des arbres de dépendances syntaxiques. le premier corpus, georgetown university multilayer (gum ; zeldes, 2017), comprend un douzaine de types de textes très variés, incluant des textes académiques, des billets de blog, des oeuvres de fiction et des textes issus de médias sociaux. le second corpus, english web treebank (ewt ; @xcite , comprend des textes issus de diverses sources en ligne et regroupés en cinq catégories : weblogs, newsgroups, emails, reviews et yahoo ! answers. nous avons créé un jeu d'entraînement en sélectionnant aléatoirement 6911 phrases dans la portion d'entraînement de chacun des deux corpus pour un total de 13822 phrases, et de même avec un total de 2234 phrases pour le jeu de développement. pour ce corpus aussi les résultats reportés sont calculés sur les données de développement. dans les expériences détaillées dans les sections suivantes, la configuration complet correspond à un entraînement sur les données d'entraînement telles que décrites ci-dessus. pour la configuration disjoint, par contre, pour une moitié des phrases d'entraînement les arbres syntaxiques sont ignorés et pour l'autre moitié les séquences d'étiquettes morpho-syntaxiques sont ignorées. dans le cas du corpus ptb, cette division est effectuée au hasard. dans le cas du corpus mixte gum+ewt, nous ignorons les arbres syntaxiques des phrases issues du corpus ewt et inversement pour les séquences d'étiquettes morpho-syntaxiques. ## scénario idéal : corpus homogène rappelons que le modèle utilisé commence son entraînement par une phase de pré-entraînement, durant laquelle le système apprend à reproduire de manière supervisée les annotations de références connues. dans la configuration disjoint, le système apprend donc à produire, pour chaque phrase, soit un arbre syntaxique, soit une séquence d'étiquettes morpho-syntaxiques, mais jamais les deux. pour améliorer cette situation, nous implémentons un processus d'auto-apprentissage : trois fois par époque, le corpus d'entraînement est analysé par le système et les prédictions obtenues sont utilisées pour compléter les annotations et ainsi servir à l'apprentissage du système lui-même. après la phase de pré-entraînement commence la phase d'apprentissage par renforcement. durant cette phase, le système analyse librement les phrases qu'on lui présente et est entraîné avec l'algorithme reinforce (williams, 1992) à maximiser des récompenses associées à chaque action effectuée : positives pour les actions correspondant aux annotations de références, négatives pour celles contraires à celles-ci, nulles sinon (typiquement, lorsqu'il n'y a pas d'annotation correspondante). ce système de récompenses est le système zéro. un de ses effets sur notre corpus mixte gum+ewt est qu'il n'incite pas le modèle à analyser les phrases de gum en morpho-syntaxe ni celles de ewt en syntaxe. afin d'encourager le système à analyser chaque phrase sur les deux niveaux linguistiques, nous implémentons le système de récompenses auto (pour « auto-renforcement » ; l'idée est qu'à l'issu du pré-entraînement, la plupart des prédictions du modèle sont correctes) : pour chaque token issu d'une phrase pour laquelle l'arbre syntaxique de référence n'est pas disponible, la première dépendance entrante prédite est considérée comme correcte et mène donc à une récompense positive, et de même pour les étiquettes morpho-syntaxiques foot_1 . notons que l'auto-apprentissage est aussi possible durant la phase de renforcement. cependant, lorsque l'auto-apprentissage complète entièrement les annotations, la distinction entre les systèmes zéro et auto disparaît. la ## discussion nous avons présenté des travaux en cours sur la possibilité d'entraîner des systèmes d'analyse jointe en utilisant des jeux de données disjoints. l'une des méthodes étudiées consiste en l'utilisation d'apprentissage par renforcement avec un système de récompense encourageant le système à effectuer des prédictions même lorsqu'il n'existe pas d'annotations de référence. l'autre méthode, une de domaine total lorsque évalués sur l'autre sous-corpus), l'utilisation de données de référence complètes lors de l'entraînement est un avantage notable.