Prédire l’aspect linguistique en anglais au moyen de transformers (Classifying Linguistic Aspect in E nglish with Transformers ) (2021)

Abstract: L’aspect du verbe décrit la manière dont une action, un événement ou un état exprimé par un verbe est lié au temps ; la télicité est la propriété d’un syntagme verbal qui présente une action ou un événement comme étant mené à son terme ; la durée distingue les verbes qui expriment une action (dynamique) ou un état (statique). Ces caractéristiques essentielles à l’interprétation du langage naturel, sont également difficiles à annoter et à identifier par les méthodes de TAL. Dans ce travail, nous estimons la capacité de différents modèles de type transformers pré-entraînés (BERT, RoBERTa, XLNet, ALBERT) à prédire la télicité et la durée. Nos résultats montrent que BERT est le plus performant sur les deux tâches, tandis que les modèles XLNet et ALBERT sont les plus faibles. Par ailleurs, les performances de la plupart des modèles sont améliorées lorsqu’on leur fournit en plus la position des verbes. Globalement, notre étude établit que les modèles de type transformers captent en grande partie la télicité et la durée.

## introduction l'aspect est une propriété temporelle des actions, des événements et des états décrits par les verbes, au-delà du temps verbal. il englobe différentes propriétés, telles que la télicité et la durée. l'action du verbe est dite télique si elle a un point final. lorsque le verbe désigne un état ou lorsque l'accomplissement de l'action du verbe est impossible, qu'il est indéfini ou non pertinent, l'action est dite atélique. une autre propriété aspectuelle est la durée qui distingue les verbes d'état dits statif des actions dites duratives, indépendamment de l'existence d'un point final perçu ou non. @xcite a établit que la télicité est une propriété de l'ensemble du syntagme verbale et n'est pas une caractéristique du verbe seul. en outre, le contexte est un autre facteur qui détermine la classe aspectuelle d'un syntagme verbal @xcite . la télicité n'est donc pas une propriété facile à estimer, en particulier dans les langues qui ont une morphologie flexionnelle pauvre comme l'anglais. elle n'en demeure pas moins indispensable pour de nombreuses tâches de tal. l'aspect fournit notamment des informations sur les relations temporelles @xcite , sur l'implication textuelle @xcite et l'ordonnancement des événements @xcite . dans cet article, nous montrons que les architectures de type transformers sont capables de déterminer la télicité et la durée lorsqu'on leur applique un fine-tuning. l'entraînement est réalisé au moyen d'un jeu de données fournies par friedrich & @xcite et des versions pré-entraînées de plusieurs modèles transformers mis à disposition sur huggingface @xcite . l'évaluation des modèles est quantitative (jeu de test issu du jeu de données) et qualitative (ensemble de phrases simples et de paires minimales). les résultats obtenus montrent que les modèles bert sont les plus performants dans la classification binaire de la télicité et de la durée ; les scores roberta, xlnet et albert sont à l'inverse les plus faibles. ## expériences nos expérimentations sont basées sur le fine-tuning de modèles transformers pour classer des séquences relativement à leur télicité et leur durée (séparément). l'exactitude des modèles spécialisés (fine-tuned) est testée en prédisant la télicité et la durée de phrases annotées manuellement. le fine-tuning est une méthode qui consiste à adapter un modèle à une tâche spécifique, en ajoutant une couche supplémentaire dédiée à la tâche en question. il est ainsi possible d'exploiter les connaissances existantes du modèle et de le spécialiser sur une tâche spécifique sans disposer d'importantes ressources spécialisées, sans avoir recours à une grande puissance de calcul ni à un entraînement long. les annotations de télicité et de durée que nous utilisons étant basées sur le verbe principal de la phrase, nous affinons chaque modèle de deux manières : (i) en l'entraînant uniquement sur les entrées et les étiquettes de télicité ou de durée ; (ii) en fournissant en plus un vecteur token_type_ids qui indique la position du verbe dans la séquence d'entrée comme illustré en (1). les modèles sont affinés en utilisant les jeux de données gold et silver développés et distribués par @xcite . les annotations gold sont basées sur le jeu de données masc @xcite , tandis que les annotations silver ont été construites en utilisant le corpus parallèle intercorp anglais-tchèque @xcite qui permet de déterminer la télicité et la durée des phrases anglaise en exploitant les marqueurs morphologiques dans les phrases tchèques correspondantes. nous avons extrait 6 354 phrases annotées pour la télicité (3 220 téliques, 3 134 atéliques) et 5 119 phrases pour la durée (1 861 statiques, 3 258 dynamiques) des jeux de données de friedrich & gateva. nous avons par ailleurs augmenté le nombre d'annotations initiales en considérant que les phrases annotées comme statives (pour la durée) sont atéliques, et que les phrases annotées comme duratives sont téliques. les phrases ont été pré-traitées : séparation des tokens, conversion en minuscule, troncation à 128 mots, remplissage (padding), comme cela est recommandé pour le fine-tuning. la troncation n'a pas posé de problèmes car une seule phrase dépasse ce seuil et parce que le verbe cible se trouve toujours dans les 128 premiers mots. afin de mener une évaluation qualitative, nous avons préparé un deuxième ensemble de données de test composé de 40 phrases annotées pour la télicité et 40 phrases annotées pour la durée, réparties de manière égale dans les quatre catégories télique, atélique, statique et durative. nous avons également construit un 3 e jeu de données composé de « paires minimales » de phrases téliques et atéliques qui soit partagent le même verbe soit ne diffèrent que par le verbe (2). ## conclusion nous avons mené dans cette étude plusieurs expériences qui testent la capacité des modèles transformers à capter les catégories aspectuelles comme la télicité et la durée. nous avons testé cette capacité en réalisant un fine-tuning de modèles de classification binaire au moyen notamment du jeu de données annotées pour la télicité et la durée @xcite . le fine-tuning a été réalisé sur des modèles transformers de plusieurs architectures (bert, roberta, xlnet, albert). nous avons ainsi observé que malgré la taille réduite de nos jeux de données, certains modèles sont très efficaces pour la classification aspectuelle et que les performances sont considérablement améliorées lorsque la position du verbe dans la phrase est fournie au classifieur lors de l'entraînement. l'examen des erreurs des classifieurs nous a permis de caractériser les limites des modèles, notamment pour les phrases où l'information temporelle exprimée dans le contexte est à rebours de l'aspect verbal. enfin, nous avons mis en évidence l'importance du contexte dans la prédiction de l'aspect en utilisant des masques d'attention.