Extraction d’entités nommées à partir de descriptions d’espèces (2023)

Abstract: Les descriptions d’espèces contiennent des informations importantes sur les caractéristiques morphologiques des espèces, mais l’extraction de connaissances structurées à partir de ces descriptions est souvent chronophage. Nous proposons un modèle texte-graphe adapté aux descriptions d’espèces en utilisant la reconnaissance d’entités nommées (NER) faiblement supervisée. Après avoir extrait les entités nommées, nous reconstruisons les triplets en utilisant des règles de dépendance pour créer le graphe. Notre méthode permet de comparer différentes espèces sur la base de caractères morphologiques et de relier différentes sources de données. Les résultats de notre étude se concentrent sur notre modèle NER et démontrent qu’il est plus performant que les modèles de référence et qu’il constitue un outil précieux pour la communauté de l’écologie et de la biodiversité.

## introduction les descriptions d'espèces sont une source d'information cruciale pour les études sur la biodiversité et l'identification des espèces. elles fournissent des informations détaillées sur les caractéristiques morpho-anatomiques d'une espèce donnée, qui sont essentielles pour la distinguer des autres espèces. ces descriptions sont généralement rédigées sous forme de texte dans les revues scientifiques, les livres ou les bases de données. pour faciliter l'étude et la comparaison de différentes espèces, les descriptions d'espèces sont souvent représentées sous la forme de graphes de connaissances qui sont utilisés pour identifier les relations entre différentes espèces et modéliser l'évolution des espèces. cependant, l'extraction de ces informations à partir des descriptions d'espèces peut être une tâche longue et laborieuse, généralement réalisée par des experts @xcite . l'automatisation de ce processus est donc un enjeu pour les chercheurs de cette communauté. les modèles d'apprentissage profond ont montré des performances remarquables dans les tâches d'extraction de connaissances @xcite . cependant, ces modèles sont lourds et nécessitent une quantité importante de données annotées dans le domaine visé pour atteindre une grande précision, ce qui est très couteux. nous nous focalisons ainsi sur les approches d'extraction d'entités nommées (ner) en faisant l'hypothèse que le domaine particulier des documents visés nous permettra de créer les étiquettes spécifiques pour les sources -organes-et les cibles -types spécifiques d'attributs-. le fait que les attributs soient identifiés avec leur nature permet la reconstruction du triplet comme dans l'exemple : <@xmath0. calyx aestivation valvate, campanulate, 2-3.6mm long, @xmath1 ## travaux connexes la représentation des connaissances est un enjeu important pour l'étude des espèces en biologie. les systèmes actuels reposent principalement sur des experts @xcite , ce qui est très intéressant pour des études ciblées mais qui ne permet pas le traitement en masse des documents disponibles. l'enjeu consiste à trouver les bons outils dans la littérature pour faire face à ce défi. les modèles d'apprentissage profond ont montré des performances remarquables dans les tâches d'extraction de connaissances mais nécessitent en général un large corpus de données annotés dans le domaine pour l'apprentissage @xcite . en réduisant la tâche d'extraction de connaissances à de la reconnaissance d'entités nommées (ner), comme illustré en introduction, les architectures sont plus simples. les architectures de ner ont beaucoup évoluées ces dernières années : les chaines de markov cachées (hmm) puis les champs aléatoires conditionnels (crf) ont permis des avancées significatives dans la modélisation et l'analyse des séquences de mots au début des années 2000 @xcite . les approches neuronales (convolutionnelles puis récurrentes) ont ensuite largement contribué à l'amélioration des performances @xcite ) mais c'est la combinaison de différentes représentations des mots @xcite à l'entrée de ces architectures neuronales qui a engendré les gains de performances les plus importants @xcite . l'avènement de l'architecture transformer @xcite et des modèles dérivés (devlin et al., 2019) ont entretenu la dynamique d'amélioration des perfromances à la fin des années 2010. malgré cette dynamique remarque, il reste nécessaire d'avoir des données étiquetées du domaine du fait des capacités de transfert limitées des approches ner @xcite . cette limite sur le transfert explique l'émergence d'approches (et de corpus) spécifiques pour différentes langues @xcite ou différents type de données comme les données biomédicales @xcite , légales @xcite ou financières @xcite . cela montre aussi à quel point l'extraction d'entités nommées reste encore aujourd'hui une tâche particulièrement délicate en tal malgré les avancées récentes. le coût d'un corpus annoté en ner est conséquent, ce qui nous a poussé à étudier les possibilités de supervision distante @xcite . a partir d'une liste de termes catégorisés (ie un glossaire réalisé par un expert), nous utilisons des expressions régulières pour annoter un corpus d'apprentissage. la supervision distante est par essence imparfaite : certaines annotations sont manquantes, d'autres ambigues voire erronées. ce type de corpus implique donc des approches robustes qui seront en mesure de moins pénaliser certaines erreurs pour améliorer la généralisation. l'autoapprentissage est actuellement l'approche la plus efficace pour éviter le sur-apprentissage d'une part et forcer le modèle à découvrir de nouveaux termes afin d'améliorer le rappel d'autre part. l'intégration séquentielle d'étiquettes prédites avec une forte confiance dans l'ensemble d'apprentissage pose cependant un grand risque de dérive du modèle qui peut être contenu en recourant à une architecture teacher-student @xcite . il est également pertinent de ré-entrainer le modèle de langue, à découvrir des mots masqués dans le contexte du domaine cible @xcite . nous allons exploiter ces deux stratégies dans le modèle proposé dans la section suivante. ## travaux et méthodes nous décrivons d'abord les données brutes et leur préparation, c'est-à-dire le processus d'annotation distante pour les entités. nous détaillerons ensuite l'architecture envisagée pour la tâche de ner et la mise en oeuvre de l'auto-apprentissage. ## expériences dans cette section, nous présentons la campagne d'expériences concernant l'extraction des entités nommées. l'évaluation des triplets extraits est une tâche très importante pour les experts mais coûteuse en interventions humaines. par conséquent, elle ne sera pas traitée dans cette étude. nous envisageons dans cette section plusieurs variantes de notre modèle pour la reconnaissance d'entités nommées (ner) sur les descriptions d'espèces. baseline : l'architecture de référence pour la reconnaissance des entités nommées utilisée est un modèle bert-base pré-entraîné sur lequel est superposée une couche de classification avec une adaptation complète du modèle. le pas d'apprentissage a été fixé à 10 -6 et le nombre d'itérations nécessaire à la convergence du modèle est de 26. le critère de convergence est calculé sur le score f1 en validation. baseline with pre-trained language model : pour cette variante, nous pré-entraînons le modèle de langue de bert-base sur l'ensemble des données de descriptions d'espèces en utilisant la tâche de prédiction de mots masqués. nous ré-entrainons ensuite le modèle pour l'extraction d'entités nommées. le pas d'apprentissage a été fixé à 10 -6 et le nombre d'itérations nécessaire à la convergence du modèle est de 26 (score f1 maximal en validation). baseline with self training : le modèle initial teacher est initialisé avec les paramètres du modèle baseline. le processus d'auto-apprentissage décrit dans la section 3.3 est ensuite appliqué pour entraîner le modèle. le pas d'apprentissage a été fixé à 10 -6 et le nombre d'itérations nécessaire à la convergence du modèle est de 4, le seuil de confiance γ a été fixé à 0.9 et le modèle student est réinitialisé 2 fois par epoch. baseline with self-training and language model pre-training : le modèle initial teacher est cette fois initialisé avec les paramètres du modèle baseline with pre-trained language model avant d'appliquer le processus d'auto-apprentissage. le pas d'apprentissage a été fixé à 10 -6 et les performances du modèle en validation ont commencé à chuter au bout de 3 itérations, le seuil de confiange γ a été fixé à 0.9 et le modèle student est réinitialisé 2 fois par epoch. afin d'évaluer l'efficacité des méthodes , nous calculons le score f1, la précision et le rappel pour chaque variante. pour une classe de données c, nous calculons classiquement : où n cl représente le nombre total de classes et n occ c représente le nombre d'occurences de la classe c dans le jeu de données de test. classe 0 vs organes et descripteurs. comme c'est toujours le cas en détection d'entités nommées, la classe 0, ultra-majoritaire, est bien entendu exclue du calcul f 1 weighted .