Mieux utiliser BERT pour la détection d’évènements à partir de peu d’exemples (Better exploitation of BERT for few-shot event detection) (2022)

Abstract: Les méthodes actuelles pour la détection d’évènements, qui s’appuient essentiellement sur l’apprentissage supervisé profond, s’avèrent très coûteuses en données annotées. Parmi les approches pour l’apprentissage à partir de peu de données, nous exploitons dans cet article le méta-apprentissage et l’utilisation de l’encodeur BERT pour cette tâche. Plus particulièrement, nous explorons plusieurs stratégies pour mieux exploiter les informations présentes dans les différentes couches d’un modèle BERT pré-entraîné et montrons que ces stratégies simples permettent de dépasser les résultats de l’état de l’art pour cette tâche en anglais.

## introduction l'extraction d'évènements consiste à extraire automatiquement des informations structurées concernant des événements à partir de textes. elle peut être assimilée au remplissage d'un formulaire par des entités du texte, les champs de ce formulaire correspondant aux arguments de l'évènement. si les premières méthodes d'extraction d'évènements s'appuyaient sur des règles élaborées manuellement @xcite , elles ont peu à peu laissé la place à des techniques par apprentissage avec l'essor de l'apprentissage statistique et des réseaux neuronaux ces dernières années. ainsi, @xcite proposent un modèle de prédiction structurée fondé sur de nombreux traits lexico-syntaxiques, @xcite utilisent des réseaux convolutifs afin d'exploiter les informations contextuelles, @xcite proposent des modèles fondés sur les réseaux récurrents et @xcite , @xcite et @xcite utilisent des modèles de convolution de graphes pour capturer les dépendances syntaxiques entre les différentes parties d'une phrase. bien que l'objectif de l'extraction d'évènements soit d'identifier tous les arguments, les jeux de données depuis ace 2005 @xcite ont introduit le concept de déclencheur évènementiel (trigger), désignant le groupe de mots indiquant le plus explicitement possible la présence d'un évènement dans une phrase. le but est de créer un ancrage lexical afin d'aider à la recherche des arguments par la suite. nous nous focalisons dans ce travail sur la détection de ces déclencheurs évènementiels (event detection ou trigger detection).