Étude de méthodes d’augmentation de données pour la reconnaissance d’entités nommées en astrophysique (2023)

Abstract: Dans cet article nous étudions l’intérêt de l’augmentation de données pour le repérage d’entités nommées en domaine de spécialité : l’astrophysique. Pour cela, nous comparons trois méthodes d’augmentation en utilisant deux récents corpus annotés du domaine : DEAL et TDAC, tous deux en anglais. Nous avons générés les données artificielles en utilisant des méthodes à base de règles et à base de modèles de langue. Les données ont ensuite été ajoutées de manière itérative pour affiner un système de détection d’entités. Les résultats permettent de constater un effet de seuil : ajouter des données artificielles au-delà d’une certaine quantité ne présente plus d’intérêt et peut dégrader la F-mesure. Sur les deux corpus, le seuil varie selon la méthode employée, et en fonction du modèle de langue utilisé. Cette étude met également en évidence que l’augmentation de données est plus efficace sur de petits corpus, ce qui est cohérent avec d’autres études antérieures. En effet, nos expériences montrent qu’il est possible d’améliorer de 1 point la F-mesure sur le corpus DEAL, et jusqu’à 2 points sur le corpus TDAC.

## introduction tâche de base en traitement automatique des langues (tal), la reconnaissance d'entités nommées (ren) consiste à repérer des mentions d'entités dans un texte afin de les catégoriser dans des classes pré-définies. depuis son introduction en 1996 @xcite , cette tâche s'est avérée utile pour la recherche d'information @xcite ou encore pour la constitution de systèmes de questions-réponses @xcite . cependant, l'entraînement des systèmes de repérage d'entités nommées par apprentissage requièrent une quantité significative de données annotées, qui ne sont pas toujours disponibles pour certaines langues, peu dotées en ressources linguistiques, ou encore en domaine de spécialité. dans cet article, nous étudions l'intérêt de l'augmentation de données pour le repérage d'entités nommées, dans un domaine de spécialité peu étudié en tal et pour lequel il existe peu de ressources annotées : l'astrophysique. pour cela, nous proposons de comparer trois approches d'augmentation de données en utilisant les deux seuls corpus du domaine disponibles, tous deux en anglais : deal @xcite . notre étude a mis en evidénce la présence d'un effet de seuil, au-delà duquel l'ajout de données artificielles peut dégrader les performances des systèmes de détection d'entités nommées. l'évaluation des approches d'augmentation sur les deux corpus du domaine astrophysique montrent que les performances varient en fonction de la méthode employée ainsi que du modèle de langue utilisé pour générer les données artificielles. nous décrivons notre méthode dans la section 3. nous présentons nos résultats expérimentaux dans la section 4, et les analysons en section 5.1. ## conclusion et perspectives dans cet article, nous avons étudié l'intérêt de l'augmentation de données pour entraîner des systèmes de repérage d'entités nommées. les méthodes proposées ont été appliquées à un domaine de spécialité 5. https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.pearsonr.html peu étudié en tal : l'astrophysique, en utilisant deux corpus existants. nous avons exploré l'efficacité de trois méthodes d'augmentation permettant de limiter les erreurs token-étiquette lors de la génération de données. notre étude a permis d'identifier les classes qui bénéficient le plus de l'augmentation et de mettre en évidence que les performances varient selon la méthode d'augmentation employée, en fonction du modèle de langue utilisé. ces résultats ouvrent la voie à plusieurs perspectives de recherche. tout d'abord, il pourrait être bénéfique de cibler spécifiquement les classes à augmenter plutôt que de procéder à une augmentation aléatoire. en effet, cibler les classes à augmenter sur le corpus deal pourrait éviter une diminution des performances sur deux classes importantes du domaine astrophysique : celestialregion (-5,59), et celestialobject (-0,29). en outre, il serait intéressant de trouver une approche permettant de diversifier la structure des documents et de modifier le contexte local autour des entités. en effet, bien que les méthodes comparées dans cet article permettent d'augmenter le nombre d'entités du corpus et leur diversité (selon le modèle utilisé), elles ne changent pas la structure des documents et ne modifient pas le contexte, ce qui génère des données artificielles proches des données d'origine, pouvant conduire à un risque de sur-apprentissage qui expliquerait pourquoi les performances des systèmes peuvent se dégrader au-delà d'un certain seuil. une solution serait de remplacer les tokens de type « o » (les adjectifs et les adverbes par exemple) autour des entités annotées afin de pouvoir modifier le contexte localement. enfin, il pourrait être utile de tester les méthodes à base d'interpolation @xcite et de combiner plusieurs approches d'augmentation pour améliorer davantage les performances.