Auto-correction et oracle dynamique : certains effets n’apparaissent qu’à taille réduite (2024)

Abstract: Nous étudions l’effet de la capacité d’auto-correction, de l’utilisation d’un oracle dynamique et de la taille du modèle, sur la performance d’un analyseur joint (morpho)syntaxe/sémantique. Nous montrons qu’avec un modèle de taille réduite, la possibilité d’auto-correction est nuisible en sémantique mais bénéfique en syntaxe, tandis que l’utilisation d’un oracle dynamique augmente la performance en sémantique. Nous constatons également que ces effets sont souvent atténués pour des modèles de taille plus importante.

## introduction nous avons tous connu cette situation où, en lisant une phrase, nous avons initialement mal saisi son sens. cependant, nous sommes également capable de nous corriger rapidement lorsque nous réalisons nos erreurs. cette capacité d'auto-correction chez les humains soulève une question intéressante : les performances de systèmes du traitement automatique des langues (tal) pourraient-elles être améliorées par l'adoption de mécanismes d'auto-correction ? @xcite et @xcite ont montré que le raffinement itératif, un mécanisme d'autocorrection, pouvaient augmenter la performance de systèmes de traduction automatique et d'étiquetage des rôles sémantiques (semantic role labeling, srl), respectivement. @xcite a étudié un mécanisme de retour arrière permettant une ré-analyse partielle dans le cadre d'un analyseur incrémental et a montré que ce mécanisme augmentait la performance du système en étiquetage morpho-syntaxique et analyse syntaxique en dépendances, et ce pour différentes langues. en revanche, dans un travail précédent @xcite , nous avons montré que les corrections n'apportaient pas de gain de performance au système de transitions plus exotique de l'analyseur joint de @xcite . nous faisons ici l'hypothèse que la taille du réseau de neurones utilisé (c.-à-d. le nombre de paramètres du modèle) serait liée au fait que la capacité d'auto-correction n'apporte pas toujours de gain en performance ; la capacité d'auto-correction serait un atout pour un modèle de petite taille, atout dont l'impact s'amenuiserait avec la taille du modèle. dans ce contexte, notre étude se penche sur l'effet de différents facteurs sur la performance du système de @xcite . plus précisément, nous étudions non seulement la liberté laissée au système d'effectuer des corrections, mais aussi le type d'oracle utilisé à l'entraînement, en plus de la variation de la taille du réseau. nous montrons que pour un petit modèle, alors qu'un oracle dynamique peut augmenter la performance dans la plupart des cas, la possibilité d'auto-correction est bénéfique ou nuisible selon les tâches. nous constatons également qu'en augmentant la taille des modèles, les effets sont atténués voire disparaissent. nous souhaitons souligner le fait que le sujet étudié nous amène à travailler avec des modèles de taille réduite par rapport à l'état de l'art et ne pouvant donc pas rivaliser en termes de performance. ce genre de modèles est cependant utile lorsque les ressources de calcul sont limitées. ## revue de la littérature on désigne par auto-correction d'un analyseur linguistique toute action modifiant le résultat de ses décisions antérieures. le raffinement itératif @xcite est un mécanisme d'auto-correction : un premier module est utilisé pour produire une prédiction initiale, puis un second module calcule une nouvelle prédiction fondée sur la prédiction initiale. cette nouvelle prédiction peut ensuite être utilisée comme entrée pour une itération ultérieure du processus de raffinement. cette technique a été utilisée notamment en traduction automatique @xcite et en étiquetage des rôles sémantiques @xcite . @xcite introduit un analyseur incrémental par transition. cet analyseur lit le texte brut de gauche à droite, caractère par caractère, effectuant de manière jointe les tâches de segmentation (en mots et en phrase), d'étiquetage morpho-syntaxique, de lemmatisation et d'analyse syntaxique en dépendances. un mécanisme de correction y est implémenté sous forme de retour arrière. concrètement, en lisant le texte, lorsque le modèle reçoit une information qu'il interprète comme incompatible avec l'analyse actuelle, le modèle retourne à une certaine position précédemment traversée et effectue de nouveau l'analyse depuis cette dernière position -mais en gardant en mémoire certaines des informations acquises entre-temps. bernard (2021) introduit mti-tagsynsem, un système d'analyse jointe de la morpho-syntaxe, de la syntaxe (en dépendances) et de la sémantique (en dépendances) intégrant des possibilités d'autocorrection directement dans son système de transition. zhao (2022) montre cependant que ce système foot_0 n'effectue que très peu de corrections lorsqu'il est entraîné avec un oracle statique standard, c.-à-d. lorsque le système est entraîné à reproduire les annotations de référence sur des trajectoires sans erreur (et ne contenant donc aucune correction). zhao s'intéresse alors à la possibilité de substituer l'oracle statique par un oracle dynamique @xcite . concrètement, un oracle dynamique calcule à chaque étape quelles sont les actions admissibles -dans notre cas, les actions qui introduisent des prédictions correctes et/ou corrigent des prédictions incorrectes -et si les actions dont la probabilité est maximisée sont toujours des actions admissibles, les actions définissant la trajectoire explorée à l'entraînement peuvent être autant des actions admissibles (comme il est trivialement le cas avec un oracle statique) que des actions non-admissibles prédites par le modèle (ce qui introduit donc des erreurs dans la trajectoire, ensuite corrigées si le système de transition le permet -ce qui est le cas ici) 2 . zhao (2022) montre que le système entraîné avec l'oracle dynamique apprend effectivement à effectuer des corrections, mais que la performance du système n'est pas significativement plus haute qu'avec un oracle statique. les biais inductifs d'un modèle d'apprentissage sont les hypothèses impliquées durant le processus d'apprentissage @xcite . les biais inductifs ont été longtemps considérés comme nécessaires pour qu'un modèle puisse généraliser au-delà des exemples d'entraînement @xcite . cependant, bachmann et al. (2023) ont montré qu'un manque de biais inductifs pouvait être compensé par une augmentation de la taille du modèle. ils montrent qu'à grandes tailles, les modèles construits autour d'un simple perceptron multicouche (multilayer perceptron ; mlp) peuvent atteindre sur certaines tâches classiques de vision (telles que cifar10 et cifar100 ; @xcite une performance similaire à resnet18 @xcite , un modèle fondé sur une architecture présentant de plus forts biais inductifs adaptés aux tâches de vision. dans le même ordre d'idée, nous avançons l'hypothèse que l'absence de gain de performance observée en tal par zhao (2022) entre un système qui s'auto-corrige et une version sans auto-correction peut être attribuée à la taille du réseau utilisé, suffisamment importante pour atténuer les effets des possibilités d'auto-correction, et qu'un gain de performance pourrait être observé à taille plus faible. ## données nous travaillons avec une partie des données anglaises du jeu de données semeval 2015 task 18 @xcite . ce jeu de données contient des annotations (morpho-)syntaxiques et sémantiques notamment pour les textes du penn treebank (ptb ; @xcite . les annotations en morphosyntaxe sont directement celles du du ptb. pour la syntaxe, nous utilisons les arbres obtenus par conversion en dépendances stanford basic @xcite des arbres de constituants du ptb 3 . les annotations sémantiques, le coeur de ce jeu de données centré sur l'analyse sémantique en dépendances (semantic dependency parsing, sdp), sont des graphes acycliques orientés (directed acyclic graph, dag). les noeuds de ces graphes correspondent aux tokens de la phrase et reçoivent non pas nécessairement un unique arc entrant, mais possiblement zéro ou plusieurs. en outre, chaque phrase peut avoir de zéro à plusieurs noeuds annotés comme prédicat sommet (top predicate) 4 . alors que le jeu de données de semeval 2015 task 18 propose pour chaque phrase jusqu'à trois graphes sémantiques, issus de trois formalismes distincts, nous nous servons uniquement des annotations en delph-in mrs-derived bi-lexical dependencies (dm ; @xcite dans nos expériences. ## modèle nous décrivons ici la variante du système mti-tagsynsem que nous utilisons dans cette étude. contrairement à un système par transition usuel, ce système n'analyse pas son entrée de gauche à droite et ne repose pas sur une pile (stack) ni un tampon (buffer). à chaque étape de calcul (c.-à-d., à chaque transition), pour chaque token de la phrase, une action est choisie depuis un ensemble d'actions intégrant toutes les tâches (étiquetage morpho-syntaxique, analyse syntaxique en dépendances, analyse sémantique en dépendances) ; ces actions sont principalement des actions d'étiquetage ou de sélection de tête @xcite . nous détaillons ici le répertoire d'actions utilisé dans cette étude. afin de faciliter la discussion, nous utilisons les notations j l -→ i pour désigner une dépendance (syntaxique ou sémantique) de relation l depuis j (gouverneur) vers i (dépendant), et j -→ i pour désigner une dépendance de relation quelconque depuis j vers i. pour un token (de position) i dans la phrase, les actions possibles sont : la performance en syntaxe des modèles sans auto-correction, os-corr et od-corr, est similaire pour les deux tailles considérées. en revanche, le modèle avec auto-correction, od+corr, a une meilleure f1 en syntaxe que les modèles sans auto-correction quand les modèles sont petits. cette différence s'atténue elle aussi quand les modèles sont en taille grand. en termes d'étiquetage morpho-syntaxique, nous constatons que tous les modèles ont une performance similaire quelle que soit leur taille, sur toutes les métriques d'évaluation. en résumé, l'utilisation de l'oracle dynamique augmente la performance en sémantique, alors que la capacité d'auto-correction la fait baisser. la capacité d'auto-correction fait par contre augmenter la performance en syntaxe, tandis que l'oracle dynamique seul n'a pas d'effet dans ce cas. dans la plupart des cas, ces effets sont plus visibles lorsque les modèles ont une taille relativement petite et s'atténuent à plus grandes tailles. afin de comprendre comment les corrections auraient entraîné les effets en syntaxe et en sémantique mentionnés ci-dessus, nous nous proposons d'effectuer une analyse de corrections dans la section suivante. ## analyse de corrections nous classons les actions effectuées durant un épisode d'analyse de la manière suivante : nous présentons les performances des premières annotations ainsi que le nombre des différents types d'actions correctives du modèle od+corr dans le tableau 2. globalement, nous constatons plus de succès que d'échecs pour toutes les tâches et tailles de modèle. en sémantique, la performance de od+corr en termes de premières annotations est inférieure à la performance de od-corr, pour toutes les métriques d'évaluation. les actions correctives, bien que plus souvent des succès que des échecs, ne permettent pas à la performance de od+corr de dépasser celle de od-corr (indiquée en tableau 1). nous constatons aussi que le taux d'analyse des premières annotations est proche de 1,0. quand les corrections sont prises en compte, le taux d'analyse ainsi que le rappel baisse, mais la précision augmente. en syntaxe, nous constatons que la performance de od+corr en termes de premières annotations est déjà au même niveau que la performance de od-corr. compte tenu du fait qu'il y a plus d'actions correctives succès que d'échecs, la performance de od+corr dépasse celle de od-corr. avec les corrections, par rapport aux premières annotations, la précision augmente sans que le rappel ne baisse et ce alors même que le taux d'analyse baisse. nous observons donc que les corrections, par rapport aux premières annotations, mènent à une baisse variable du taux d'analyse en syntaxe et en sémantique, et à une augmentation de la précision. cela suggère que l'auto-correction a tendance à favoriser les annotations dont le modèle est plus « sûr » et de supprimer celles dont il est moins « sûr ». cette différence entre syntaxe et sémantique est possiblement liée au fait que l'analyse sémantique est plus complexe, ne serait-ce que parce que le nombre de dépendances sémantiques, au contraire du nombre de dépendances syntaxiques, n'est pas exactement déterminé par le nombre de tokens. les modèles avec auto-correction effectuent beaucoup moins de corrections de l'étiquetage morphosyntaxique que des structures syntaxiques et sémantiques. les nombres de succès et d'échecs étant proches, la capacité d'auto-correction n'a donc quasiment aucun impact sur cette tâche. ## conclusion dans cette étude, nous avons exploré l'effet de différents facteurs -la capacité d'auto-correction, l'utilisation d'un oracle dynamique et la taille du modèle -sur la performance du système mtitagsynsem. nous avons montré que les corrections étaient nuisibles pour la performance en sémantique mais étaient bénéfiques pour la performance en syntaxe. selon notre analyse, l'auto-correction tend à favoriser les annotations les plus fiables d'après le modèle, ce qui se fait au détriment de l'analyse sémantique (qui est plus difficile). d'autre part, nous avons montré que l'utilisation d'un oracle dynamique augmentait la performance en sémantique. nous avons constaté également que ces effets étaient atténués pour des modèles de taille plus importante, ce qui tend à conforter l'idée selon laquelle il y aurait plus à attendre sur le long terme d'une augmentation de la quantité de donnée d'entraînement et de la taille des modèles que de variations fines d'architecture ou d'algorithme @xcite ; une telle augmentation, cependant et lorsqu'elle est possible, n'est pas ni sans coût ni sans problème @xcite .