Intérêt des modèles de caractères pour la détection d’événements (The interest of character-level models for event detection) (2021)

Abstract: Cet article aborde la tâche de détection d’événements, visant à identifier et catégoriser les mentions d’événements dans les textes. Une des difficultés de cette tâche est le problème des mentions d’événements correspondant à des mots mal orthographiés, très spécifiques ou hors vocabulaire. Pour analyser l’impact de leur prise en compte par le biais de modèles de caractères, nous proposons d’intégrer des plongements de caractères, qui peuvent capturer des informations morphologiques et de forme sur les mots, à un modèle convolutif pour la détection d’événements. Plus précisément, nous évaluons deux stratégies pour réaliser une telle intégration et montrons qu’une approche de fusion tardive surpasse à la fois une approche de fusion précoce et des modèles intégrant des informations sur les caractères ou les sous-mots tels que ELMo ou BERT.

## introduction dans cet article, nous nous concentrons plus particulièrement sur la détection d'événements, qui implique l'identification d'instances de types d'événements prédéfinis dans un texte. ces instances, appelées mentions d'événements ou déclencheurs d'événements, prennent la forme de mots ou d'expressions polylexicales évoquant un type d'événements de façon plus ou moins spécifique. les approches les plus efficaces pour réaliser cette tâche sont actuellement fondées sur des modèles neuronaux @xcite @xcite mot inconnu : présent dans la partie entraînement mais pas dans la partie test 2016; @xcite et ont permis en particulier de s'affranchir du problème du choix des traits linguistiques utilisés par les modèles d'apprentissage statistiques. ces modèles reposent ainsi sur des plongements de mots qui les rendent en principe moins sensibles au problème des déclencheurs non rencontrés lors de l'entraînement puisque ces plongements intègrent une forme de similarité entre les mots. toutefois, cette capacité peut varier en fonction des raisons pour lesquelles un déclencheur n'a pas été vu lors de l'entraînement du modèle. nous illustrons ces différents cas sur la partie anglaise du jeu de données ace 2005, un corpus standard pour l'évaluation de la détection d'événements dont nous reprenons la subdivision classiquement faite pour cette tâche entre entraînement, validation et test @xcite . le déclencheur inédit peut ainsi être une variante morphologique d'un déclencheur déjà vu dans l'ensemble des données d'entraînement. par exemple, torturing n'est pas présent dans les données d'entraînement ace 2005 mais il s'agit d'une variante de torture, qui est considéré comme un déclencheur pour le même type d'événements, en l'occurrence life.injury. en outre, torturing est susceptible d'être présent au sein d'un modèle de langue général, auquel cas un modèle de détection d'événements neuronal reposant sur ledit modèle de langue est susceptible de détecter avec succès ce déclencheur. la situation est différente lorsqu'un déclencheur est absent des données d'entraînement parce qu'il correspond à une version mal orthographiée d'un déclencheur de référence. en effet, dans un tel cas, le modèle de langue ne contient pas nécessairement la version altérée. par exemple, aquitted fait partie du corpus de test ace 2005 pour référer à un événement justice.sentence alors que seule acquitted, la forme correcte pour ce mot, est présente dans les données d'entraînement. dans ce cas, il est peu probable que le mot inédit fasse partie du modèle de langue général et, par conséquent, il a peu de chances d'être détecté comme déclencheur d'un événement justice.sentence. plus globalement, comme le montre le tableau 1, 30,1 % des déclencheurs du corpus de test ace 2005 ne sont pas présents dans le corpus d'entraînement mais 88 % de ces déclencheurs absents sont proches (mesurés par un ratio de levenshtein inférieur à 0,3) de mots du corpus d'entraînement. le tableau 2 présente des exemples de telles paires de mots. on peut voir qu'en dehors des paires correspondant à des différences de casse (intifada/intifada) ou relevant de la morphologie flexionnelle (opening/open), certaines paires correspondent à des cas plus complexes relevant de la morphologie dérivationnelle (creating/creation) ou même de relations sémantiques complexes (hacked/attacked) qui ne sont souvent pas capturées par les modèles de plongements de mots. différentes stratégies ont été proposées pour traiter le problème de la variabilité lexicale dans les modèles de langue neuronaux. pour les plongements statiques de mots, fasttext (bojanowski et al., 2017) s'appuie ainsi sur une représentation des mots fondée sur des n-grammes de caractères. pour les modèles contextuels, elmo (peters et al., 2018) exploite une représentation fondée sur les caractères type d'événements déclencheur inconnu/connu le plus proche start-org creating/creation, opening/open, forging/forming, formed/form end-org crumbled/crumbling, dismantling/dismantle, dissolved/dissolving transport fleeing/flying, deployment/deployed, evacuating/evacuated attack intifada/intifada, smash/smashed, hacked/attacked, wiped/wipe end-position retirement/retire, steps/step, previously/previous, formerly/former @xcite , une couche non linéaire relu est appliquée. nous employons un abandon (dropout) de probabilité 0,5 après la couche initiale des plongements et de probabilité 0,3 après la concaténation du résultat des convolutions. la dimensionnalité des plongements de positions est de 50, à l'instar de @xcite . enfin, nous avons utilisé les plongements de mots préentraînés construits avec word2vec sur le corpus google news @xcite . pour le cnn caractère, l'entrée est constituée de séquences de 1 024 caractères. nous considérons tous les caractères sauf l'espace. la taille des filtres de convolution va de 2 à 10, avec 300 filtres par taille. la non-linéarité et l'initialisation de la couche convolutive sont les mêmes que pour le cnn mot. les plongements de caractères comportent 300 dimensions et sont initialisés sur la base d'une distribution normale. un abandon de 0,5 est réalisé après les plongements de caractères. lors de l'entraînement conjoint dans le modèle de fusion précoce, les vecteurs de traits obtenus après les convolutions des deux modèles sont concaténés et comme pour le cnn mot, un abandon de 0,3 est appliqué avant la couche softmax. ## conclusion et perspectives dans cet article, nous avons étudié l'intégration de plongements de caractères dans un modèle neuronal de détection d'événements fondé un simple modèle cnn en testant des stratégies de fusion précoce ou tardive. les meilleurs résultats sont obtenus en combinant les représentations fondées sur les mots avec celles fondées sur les caractères dans une stratégie de fusion tardive donnant la priorité au modèle de caractères pour décider du type d'événements. cette méthode est plus performante que des approches plus complexes fondées sur les convolutions de graphe, les réseaux antagonistes ou les modèles bert. ces résultats montrent aussi qu'un modèle de caractères permet de surmonter certains problèmes concernant les mots nouveaux ou mal orthographiés dans les données de test. ce travail ouvre la voie à des études plus larges sur le problème de la robustesse des modèles de détection d'événements vis-à-vis des variations touchant les déclencheurs événementiels. de ce point de vue, il serait intéressant de tester si des modèles de langue de type transformer s'appuyant sur les caractères @xcite , ou même s'affranchissant de la segmentation en mots @xcite , pourraient s'avérer plus robustes qu'un modèle de type bert. remerciements ce travail a été partiellement soutenu par le programme européen horizon 2020 au travers des projet newseyes (770299) et embeddia (825153).