# Étude sur la classification d'entités nommées

Imed Keraghel, S Morbieu, M Nadif

► To cite this version:

Imed Keraghel, S Morbieu, M Nadif. Étude sur la classification d'entités nommées. Les 28èmes rencontres de la Société Francophone de Classification (SFC), Jul 2024, Strasbourg, France. hal-04848145

HAL Id: hal-04848145

https://hal.science/hal-04848145v1

Submitted on 19 Dec 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

Public Domain
# Étude sur la classification d'entités nommées

I. Keraghel¹, ², S. Morbieu², M. Nadif¹

¹ Centre Borelli UMR9010, Université Paris Cité, 75006 Paris

² Kernix, 75014, Paris

## Résumé

La reconnaissance et la classification d'entités nommées au sein de documents est un processus permettant d'extraire des informations pertinentes pour une tâche donnée. Cependant, les méthodes disponibles pour effectuer ce processus varient selon leur nature et leur mode de fonctionnement. Dans cet article, nous nous intéressons principalement aux performances des frameworks de reconnaissance d'entité nommée. Une étude comparative entre les frameworks les plus connus aujourd'hui est proposée afin de sélectionner l'approche qui s'adapte le mieux aux différents jeux de données.

## Mots-clés

Reconnaissance d'entités nommées, classification, apprentissage profond, transformers.

## Abstract

Named entity recognition and classification is a process for extracting relevant information for a given task. However, the methods available to perform this process vary in nature and mode of operation. In this paper, we are mainly interested in the performance of named entity recognition frameworks. A comparative study between the most known frameworks is proposed in order to select the approach that best fits the different datasets.

## Keywords

Named entity recognition, classification, machine learning, deep learning, transformers.

## 1 Introduction

La reconnaissance et la classification d'entités nommées (NERC) est une technique qui consiste à localiser des concepts clés susceptibles de représenter des entités nommées dans des textes, afin de les classer dans un ensemble prédéfini de classes dépendant de la problématique à traiter. Cette technique apparaît aujourd'hui comme une composante principale dans plusieurs domaines de traitement automatique du langage naturel dont la traduction automatique [1], les systèmes de questions-réponses [2] et la recherche d'information [3].

De nombreux systèmes de NERC [4] ont été développés en particulier dans le monde anglo-saxon, puis dans d'autres langues comme le français. Dans [5], les auteurs présentent un système basé sur des règles permettant d'extraire des

noms d'entreprises. Les premiers systèmes de NERC utilisisaient des algorithmes basés sur des règles manuscrites, des lexiques et des caractéristiques orthographiques. Ces systèmes ont été d'abord suivis par des algorithmes basés sur l'apprentissage automatique comme [6], et ensuite par des réseaux de neurones [7] et récemment des transformers [8].

Pour la NERC, cinq familles de méthodes sont souvent évoquées :

- celles basées sur des règles, qui ne nécessitent pas l'acquisition d'un jeu données annoté car les règles sont élaborées par un expert;

- l'apprentissage automatique non supervisé;

- l'apprentissage automatique supervisé, avec une ingénierie pour créer les caractéristiques;

- l'apprentissage profond, qui s'appuit sur l'utilisation des réseaux de neurones comme les LSTM et CNN;

- et enfin celles basées sur les transformers qui s'appuient sur l'utilisation du mécanisme d'attention.

Dans la littérature, il existe un bon nombre d'études dans le domaine des NERC. En particulier, l'étude [6] présente une vue d'ensemble des techniques de NERC, depuis l'appariation des systèmes à base de règles jusqu'aux systèmes basés sur l'apprentissage automatique. Les auteurs dans [9] ont analysé les travaux pertinents de la NERC dans les textes biomédicaux, sur la période de 2007-2009. Marrero et al. [10] ont résumé les travaux sur la NERC d'un point de vue théorique et pratique, et ont démonté que cette tâche est loin d'être résolue en 2013. Des études récentes ont inclus dans leurs analyses les méthodes basées sur des réseaux de neurones et les transformers [11].

Dans cet article, nous nous intéressons principalement aux performances des frameworks de NERC sur différents jeux de données. Une étude comparative est proposée afin de sélectionner l'approche qui s'adapte le mieux sur les données testées. Pour ce faire, nous présentons dans un premier temps les approches et les frameworks de NERC les plus connus que nous avons retenus (Hugging Face, Stanford CoreNLP, NLTK, OpenNLP, spaCy et Flair) afin de dresser notre étude comparative. Ensuite, nous présenterons nos données à tester ainsi que notre méthodologie d'expérimentation que nous évaluerons en se basant les métriques appropriées.
# 2 Méthodes

Plusieurs types de méthodes permettent la reconnaissance et l'extraction des entités nommées. Nous discutons dans cette partie des différentes approches.

## 2.1 Règles et base de connaissances

Les systèmes de reconnaissance d'entités nommées à base de connaissances s'appuient sur des ressources lexicales et des connaissances spécifiques au domaine [12]. Ces approches impliquent de confectionner des règles d'extraktion, à la manière d'une expression rationnelle. Elles se fondent sur l'extraction des entités nommées en utilisant des marqueurs lexicaux [13] et des ressources terminologiques de noms propres [12].

Les marqueurs lexicaux sont des indices qui encadrent l'entité nommée et qui permettent de dévoiler sa présence. Par exemple, le système CasEN [14] est destiné à reconnaître les organisations politiques.

Les ressources terminologiques regroupent généralement une collection d'entités nommées les plus fréquentes dans un domaine d'application. Par exemple, le système ProMiner [15] utilise un dictionnaire de noms des protéines et de gènes.

## 2.2 Apprentissage automatique

Les méthodes classiques d'apprentissage automatique permettent de résoudre les lacunes des méthodes basées sur des règles. Généralement, ces méthodes sont divisées en trois catégories : non supervisées, semi-supervisées et supervisées.

Les méthodes non supervisées exploitent les ressemblances dans les données afin d'inférer le bon modèle. Elles regroupent des syntagmes selon les propriétés communes qu'ils présentent [16].

Les méthodes semi-supervisées apprennent à partir d'un perfect nombre d'exemples annotés, les données non annotées étant annotées en fonction de la similitude entre les échantillons non annotés et ceux annotés. Ceci augmente efficacement le volume de données d'apprentissage [17].

En utilisant les méthodes supervisées, la tâche de NERC a été transformée en deux sous problèmes : la classification et l'étiquetage de séquences. On cherche alors à reproduire un schéma d'annotation appris d'un corpus déjà annoté. Les prédicitions sont faites en utilisant le modèle déjà formé sur les données annotées. Les algorithmes les plus courants dans cette catégorie sont le modèle de Markov caché (HMM) [18, 19], le modèle d'entropie maximale (ME) [20], les machines à vecteurs de support (SVM) [21] et les champs aléatoires conditionnels (CRF) [22].

## 2.3 Apprentissage profond

Ces dernières années, les méthodes d'apprentissage profond ont été largement utilisées pour la NERC dans plusieurs domaines, et ont donné de bons résultats sur la plupart des corpus en dépassant les modèles traditionnels [23]. Cette famille de méthodes résout la tâche de NERC en exploitant (1) la sémantique en s'appuyant sur des word embeddings tels que Word2vec [24], GloVe [25], fastText [26],

(2) les caractéristiques des entités nommées en s'appuyant sur les embeddings de caractères tels que les réseaux neuronaux convolutifs (CNN) [27], (3) l'ordre des mots par le biais des réseaux récurrents (RNN) [28], (4) l'encodage du contexte en vue de la détection des entités nommées en utilisant des RNN ou des CNN, (5) la modélisation probabilliste des étiquettes en utilisant un CRF [28].

## 2.4 Modèles de langage

Depuis 2017, le traitement automatique du langage a fait un grand pas en avant avec l'avènement des transformers [29]. Dans le domaine de NERC, ces modèles peuvent être utilisés afin d'extraire des vecteurs de caractéristiques qui servent d'entrée pour d'autres modèles tels que le CRF ou le LSTM, comme ils peuvent être entraînés directement pour la tâche de classification d'entités nommées. Plusieurs auteurs ont étudié l'influence de ces méthodes dans des tâches de NERC [30], et ont observé que leur utilisation, que ce soit comme modèle de représentation de caractères ou comme classifieur, améliore considérablement les performances de leur modèle.

# 3 Frameworks

Nous listons dans cette partie les principaux frameworks de NERC.

spaCy<fnref n="1" /> : une bibliothèque libre et open source dédiée au traitement automatique du langage naturel en Python. Parmi les fonctionnalités disponibles dans SpaCy, on peut citer : tokenisation, classification, Parts-of-Speech tagging et NER. Il existe plusieurs modèles pré-entraînés dans spaCy que nous pouvons utiliser pour des tâches telles que NER, extraction d'informations, etc.

NLTK<fnref n="2" /> : une suite de modules Python dédiés au traitement naturel du langage [31]. NLTK intègre plus de 50 corpus et ressources lexicales telles que WordNet. Au contraire de spaCy qui regroupe des algorithmes adaptés à différentes problématiques, et qui sont gérés par la bibliothèque, NLTK laisse la liberté aux utilisateurs de choisir parmi une large gamme d'algorithmes.

Stanford CoreNLP<fnref n="3" /> : une bibliothèque qui implémente en Java des modèles de reconnaissance d'entités nommées basés sur des CRF [32]. Malheureusement, les modèles proposés ne sont pas disponibles pour toutes les langues.

Apache OpenNLP<fnref n="4" /> : une bibliothèque Apache [33] qui prend en charge les tâches NLP les plus courantes, comme l'extraction d'entités nommées, la détection de langue, l'étiquetage morpho-syntaxique, le découpage, etc. Au contraire des autres frameworks qui détectent les entités nommées avec le même modèle, OpenNLP propose un modèle spécialisé pour chaque type d'entité nommée.

Flair<fnref n="5" /> : une bibliothèque open source qui permet de mettre en place un pipeline de traitement automatique de langage

<footnote n="1">1. https://spacy.io/</footnote>

<footnote n="2">2. https://www.nltk.org/</footnote>

<footnote n="3">3. https://stanfordnlp.github.io/CoreNLP/</footnote>

<footnote n="4">4. https://opennlp.apache.org/</footnote>

<footnote n="5">5. https://github.com/flairNLP/flair</footnote>
naturel supportant des applications multilingues [34]. Flair permet d'utiliser de nombreux modèles de langage, comme Flair, BERT et CamemBERT. Elle offre aussi la possibilité de les combiner.

**Hugging Face** : une bibliothèque créée en 2015⁶. Elle fournit des technologies de traitement du langage naturel open source. Hugging Face propose deux types de services : des services gratuits et des services payants destinés aux entreprises. Hugging Face doit sa popularité à sa bibliothèque transformers, qui offre une API permettant d'accéder à plusieurs modèles pré-entraînés notamment pour la reconnaissance d'entités nommées comme BERT, CamemBERT, etc. Hugging Face propose également une plateforme de collaboration permettant aux utilisateurs de créer, entraîner et partager leurs modèles de deep learning.

# 4 Évaluation

Nos expériences ont été menées sur deux jeux de données issues de sources diverses, et permettant de rechercher des entités nommées dans des classes telles que les noms de personnes, les noms d'organisations, les noms de lieux.

## 4.1 Jeux de données

**CoNLL-2003** : un jeu de données constitué principalement d'articles de presse provenant de Reuters, et se concentre sur quatre types d'entités nommées : les personnes (PER), les lieux (LOC), les organisations (ORG) et les noms d'entités diverses (MISC). CoNLL-2003 couvre deux langues (anglais et allemand), et est utilisé pour étalonner les modèles sur la tâche de NERC. Dans notre étude, nous n'avons utilisé que l'anglais. Pour chaque langue, nous disposons de trois ensembles de données : apprentissage, test, et validation.

**WikiANN** : un jeu de données composé d'articles Wikipédia annotés avec trois types d'entités nommées : les personnes, les lieux et les organisations. Il a été construit en utilisant les entités liées dans les pages Wikipédia pour 282 langues différentes. Nous avons utilisé la version de [35], qui prend en charge 176 des 282 langues du corpus WikiANN original. Cette version contient 40 000 exemples dans sa base anglaise, mais nous nous sommes limités à 10 000 exemples (6 000 pour l'apprentissage, 2 000 pour la validation et 2 000 pour les tests) afin d'évaluer les algorithmes sur un jeu de données moins fourni.

Les tables 1 et 2 résument les caractéristiques de ces jeux de données.

## 4.2 Mesures

L'évaluation des systèmes de reconnaissance d'entités nommées repose sur la comparaison des prédictions avec une base de référence en utilisant une évaluation exacte ou relâchée. Dans l'évaluation exacte, les contours et la classe de l'entité nommée doivent correspondre à la base de référence. En revanche, l'évaluation relâchée repose sur un système de score où chaque entité avec la bonne classe est

<table><caption>TABLE 1 – Description des jeux de données</caption><thead><tr><th>Données</th><th>Ensemble</th><th>Articles</th><th>Phrases</th><th>Tokens</th></tr></thead><tbody><tr><td rowspan="3">CoNLL</td><td>apprentissage</td><td>946</td><td>14 041</td><td>203 621</td></tr><tr><td>validation</td><td>216</td><td>3 250</td><td>51 362</td></tr><tr><td>test</td><td>231</td><td>3 453</td><td>46 435</td></tr><tr><td rowspan="3">WikiANN</td><td>apprentissage</td><td>-</td><td>20 000</td><td>160 394</td></tr><tr><td>validation</td><td>-</td><td>10 000</td><td>80 536</td></tr><tr><td>test</td><td>-</td><td>10 000</td><td>80 326</td></tr></tbody></table>

<table><caption>TABLE 2 – Nombres d'entités nommées</caption><thead><tr><th rowspan="2">Données</th><th rowspan="2">Ensemble</th><th colspan="4">Catégories d'entités nommées</th></tr><tr><th>PER</th><th>LOC</th><th>ORG</th><th>MISC</th></tr></thead><tbody><tr><td rowspan="3">CoNLL</td><td>apprentissage</td><td>6 600</td><td>7 140</td><td>6 321</td><td>3 438</td></tr><tr><td>validation</td><td>1 842</td><td>1 837</td><td>1 341</td><td>922</td></tr><tr><td>test</td><td>1 617</td><td>1 668</td><td>1 661</td><td>702</td></tr><tr><td rowspan="3">WikiANN</td><td>apprentissage</td><td>9 164</td><td>9 345</td><td>9 422</td><td>-</td></tr><tr><td>validation</td><td>4 635</td><td>4 834</td><td>4 677</td><td>-</td></tr><tr><td>test</td><td>4 556</td><td>4 657</td><td>4 745</td><td>-</td></tr></tbody></table>

créditée, même si les contours ne sont pas exacts. Les entités sont aussi créditées si les contours sont bons, malgré l'inexactitude de la classe.

Les campagnes d'évaluation de MUC [36] et ACE [37] reposent sur des méthodes d'évaluation relachée. Cependant, CoNLL-2003 [38] adopte l'évaluation exacte, qui représente la méthode la plus utilisée aujourd'hui afin d'évaluer les systèmes de reconnaissance d'entités nommées.

Pour l'évaluation des entités nommées, on utilise souvent des métriques classiques comme la précision, le rappel et le F1-score que nous rappelons ci-après.

- La précision donne le nombre d'entités nommées bien reconnues par le modèle rapporté au nombre total d'entités nommées

$$Precision = \frac{VP}{VP + FP} \qquad (1)$$

où VP désigne le nombre de Vrais Positifs et FP de Faux Positifs.

- Le rappel mesure le nombre d'entités nommées pertinentes retrouvées par le modèle au regard du nombre total d'entités nommées pertinentes :

$$Rappel = \frac{VP}{VP + FN} \qquad (2)$$

où FN est le nombre de Faux Négatifs.

- Le f1-score permet d'évaluer la capacité du modèle à détecter efficacement les entités nommées, en faisant un compromis entre la précision et le rappel.

$$F1 = 2 \times \frac{precision \times rappel}{precision + rappel} \qquad (3)$$

# 5 Expériences

Les trois étapes suivantes ont été réalisées :

- **Mise sous un format commun des jeux de données** : Chaque portion de texte est décrite par sa

<footnote n="6">6. https://huggingface.co/</footnote>
<table><caption>TABLE 3 – Comparaison des frameworks de reconnaissance d'entités nommées</caption><thead><tr><th rowspan="2">Frameworks</th><th rowspan="2">Algorithmes</th><th colspan="3">CoNLL-2003</th><th colspan="3">WikiANN</th></tr><tr><th>Precision</th><th>Rappel</th><th>F1</th><th>Precision</th><th>Rappel</th><th>F1</th></tr></thead><tbody><tr><td rowspan="4">Spacy</td><td>en_core_web_sm</td><td>82.72</td><td>81.94</td><td>82.33</td><td>73.44</td><td>72.71</td><td>73.07</td></tr><tr><td>en_core_web_md</td><td>84.96</td><td>84.54</td><td>84.75</td><td>80.12</td><td>79.05</td><td>79.58</td></tr><tr><td>en_core_web_lg</td><td>86.53</td><td>86.63</td><td>86.58</td><td>81.25</td><td>80.16</td><td>80.70</td></tr><tr><td>en_core_web_trf</td><td>89.47</td><td>89.70</td><td>89.58</td><td><strong>85.05</strong></td><td><strong>85.44</strong></td><td><strong>85.24</strong></td></tr><tr><td rowspan="4">Hugging Face</td><td>xlm-roberta-large</td><td><strong>92.10</strong></td><td><strong>93.50</strong></td><td><strong>92.80</strong></td><td>84.27</td><td>84.29</td><td>84.28</td></tr><tr><td>electra-large-discriminator</td><td>92.02</td><td>92.12</td><td>92.07</td><td>83.21</td><td>84.11</td><td>83.66</td></tr><tr><td>bert-large-cased</td><td>91.23</td><td>92.37</td><td>91.80</td><td>84.80</td><td>84.19</td><td>84.49</td></tr><tr><td>bert-base-NER</td><td>90.65</td><td>91.93</td><td>91.29</td><td>83.58</td><td>85.40</td><td>84.48</td></tr><tr><td colspan="2">NLTK</td><td>88.10</td><td>87.00</td><td>87.55</td><td>75.19</td><td>78.02</td><td>76.58</td></tr><tr><td colspan="2">Flair</td><td>91.03</td><td>90.53</td><td>90.72</td><td>81.67</td><td>79.36</td><td>80.29</td></tr><tr><td colspan="2">Stanford CoreNLP</td><td>88.12</td><td>87.20</td><td>87.66</td><td>74.50</td><td>77.81</td><td>76.00</td></tr><tr><td colspan="2">Apache OpenNLP</td><td>91.57</td><td>74.84</td><td>81.64</td><td>83.16</td><td>68.08</td><td>74.85</td></tr></tbody></table>

classe (type d'entité nommée ou classe autre) ainsi que sa position dans le texte. Chaque framework étant accompagné de sa propre représentation de données une conversion de ce format pivot vers chacun des formats spécifiques à chaque framework est effectué.

- **Recherche des valeurs d'hyper-paramètres** : Les valeurs par défaut, celles des modèles pré-entraînés librement disponibles ainsi qu'une grille ont été considérées. Les valeurs des modèles pré-entraînés se sont avérées être les meilleures excepté pour les modèles Hugging Face sur les données WikiANN. Les valeurs retenues sont learning_rate = 2e-5, batch_size = 16, number_of_epochs = 20 et weight decay = 0.01.

- **Évaluation** : Les métriques discutées précédemment ont été utilisées en comparant les labels prédits avec la base de référence. Le protocole exact basé sur l'évaluation CoNLL-2003 a été retenu, c'est-à-dire que les contours et la classe de l'entité nommée doivent correspondre à la base de référence (cf. la section 4.2). Les résultats sont donnés dans Table 3.

Pour le corpus CoNLL-2003, nous constatons que les modèles issus du framework Hugging Face, essentiellement basés sur des transformers, surpassent nettement les autres méthodes. Contrairement à ce qui a été observé dans l'étude [39], nous avons remarqué que OpenNLP surpasse Stanford CoreNLP.

Sur un jeu de données bien équilibré comme wikiANN où les proportions des entités nommées sont égales, nous constatons aussi que les architectures basées sur des transformers donnent toujours les meilleurs résultats, avec une petite différence en faveur du modèle transformer de spaCy, qui donne des résultats légèrement meilleurs que ceux d'Hugging Face. Il convient également de préciser que les hyper-paramètres utilisés pour entraîner un modèle sur un jeu de données spécifique ne donnent pas nécessairement les meilleurs résultats sur un autre jeu de données, même si les deux semblent proches et partagent les mêmes classes. Par exemple pour le modèle lm-roberta-large, nous avons remarqué que l'optimisation de certains hyper-paramètres

a un impact important sur les performances de ce modèle. Cette optimisation nous a permis de gagner environ 4 points en F1-score.

# 6 Conclusion et perspectives

Cet article présente les principales méthodes souvent utilisées pour la reconnaissance d'entités nommées. Nous avons évalué les frameworks les plus populaires permettant de faire de la reconnaissance d'entités nommées sur deux jeux de données. Les résultats de nos expériences ont montré que les méthodes basées sur des transformers sont significativement meilleures que les autres méthodes basées sur les réseaux de neurones ou les méthodes probabilistes. Cependant, les performances dépendent des valeurs des hyper-paramètres. Les valeurs d'hyper-paramètres des modèles pré-entraînés donnent de bons résultats même sur un jeu de données (WikiANN) sur lequel ils n'ont pas été réglés. Une étude plus complète des valeurs des hyper-paramètres et une évaluation sur d'autres jeux de données constituent une piste de futurs travaux.

# Références

[1] Bogdan Babych and Anthony Hartley. Improving machine translation quality with automatic named entity recognition. In *Proceedings of the 7th International EAMT workshop on MT and other language technology tools, Improving MT through other language technology tools, Resource and tools for building MT at EACL 2003*, 2003.

[2] Diego Mollá, Menno Van Zaanen, and Daniel Smith. Named entity recognition for question answering. In *Proceedings of the Australasian language technology workshop 2006*, pages 51–58, 2006.

[3] Jiafeng Guo, Gu Xu, Xueqi Cheng, and Hang Li. Named entity recognition in query. In *Proceedings of the 32nd international ACM SIGIR conference on Research and development in information retrieval*, pages 267–274, 2009.

[4] Ralph Grishman and Beth M Sundheim. Message understanding conference-6 : A brief history. In *CO-*
*LING 1996 Volume 1 : The 16th International Conference on Computational Linguistics*, 1996.

[5] Lisa F Rau. Extracting company names from text. In *Proceedings the Seventh IEEE Conference on Artificial Intelligence Application*, pages 29–30. IEEE Computer Society, 1991.

[6] David Nadeau and Satoshi Sekine. A survey of named entity recognition and classification. *Lingvisticae Investigationes*, 30(1):3–26, 2007.

[7] Ronan Collobert. Deep learning for efficient discriminative parsing. In *Proceedings of the fourteenth international conference on artificial intelligence and statistics*, pages 224–232. JMLR Workshop and Conference Proceedings, 2011.

[8] Kai Labusch, Preußischer Kulturbesitz, Clemens Neudecker, and David Zellhöfer. Bert for named entity recognition in contemporary and historical german. In *Proceedings of the 15th conference on natural language processing, Erlangen, Germany*, pages 8–11, 2019.

[9] Rodrigo Rafael Villarreal Goulart, Vera Lúcia Strube de Lima, and Clarissa Castellá Xavier. A systematic review of named entity recognition in biomedical texts. *Journal of the Brazilian Computer Society*, 17:103–116, 2011.

[10] Mónica Marrero, Julián Urbano, Sonia Sánchez-Cuadrado, Jorge Morato, and Juan Miguel Gómez-Berbís. Named entity recognition : fallacies, challenges and opportunities. *Computer Standards & Interfaces*, 35(5):482–489, 2013.

[11] Xiaole Li, Tianyu Wang, Yadan Pang, Jin Han, and Jin Shi. Review of research on named entity recognition. In *Advances in Artificial Intelligence and Security: 8th International Conference on Artificial Intelligence and Security, ICAIS 2022, Qinghai, China, July 15–20, 2022, Proceedings, Part II*, pages 256–267. Springer, 2022.

[12] Satoshi Sekine and Chikashi Nobata. Definition, dictionaries and tagger for extended named entity hierarchy. In *Proceedings of the Fourth International Conference on Language Resources and Evaluation (LREC’04)*, Lisbon, Portugal, May 2004. European Language Resources Association (ELRA).

[13] Shaodian Zhang and Noémie Elhadad. Unsupervised biomedical named entity recognition : Experiments with clinical and biological texts. *Journal of Biomedical Informatics*, 46(6):1088–1098, 2013. Special Section : Social Media Environments.

[14] Denis Maurel, Nathalie Friburger, Jean-Yves Antoine, Iris Eshkol, and Damien Nouvel. Cascades de transducteurs autour de la reconnaissance des entités nommées. *Revue TAL*, 52(1):69–96, 2011.

[15] Bmc Bioinformatics, Daniel Hanisch, Katrin Fundel, Heinz theodor Mevissen, Ralf Zimmer, and Juliane Fluck. Prominer : rule-based protein and gene entity recognition, 2005.

[16] Yusuke Shinyama and Satoshi Sekine. Named entity discovery using comparable news articles. In *COLING 2004 : Proceedings of the 20th International Conference on Computational Linguistics*, pages 848–853, Geneva, Switzerland, aug 23–aug 27 2004. COLING.

[17] Michael Collins and Yoram Singer. Unsupervised models for named entity classification. In *1999 Joint SIGDAT Conference on Empirical Methods in Natural Language Processing and Very Large Corpora*, 1999.

[18] Sudha Morwal, Nusrat Jahan, and Deepti Chopra. Named entity recognition using hidden markov model (hmm). *International Journal on Natural Language Computing* (IJNLC) Vol. 1, 2012.

[19] Daniel M. Bikel, Richard Schwartz, and Ralph M. Weischedel. An algorithm that learns what's in a name. *Mach. Learn.*, 34(1–3):211–231, feb 1999.

[20] Andrew Eliot Borthwick. *A maximum entropy approach to named entity recognition*. New York University, 1999.

[21] Hideki Isozaki and Hideto Kazawa. Efficient support vector classifiers for named entity recognition. In *COLING 2002 : The 19th International Conference on Computational Linguistics*, 2002.

[22] Burr Settles. Biomedical named entity recognition using conditional random fields and rich feature sets. In *Proceedings of the International Joint Workshop on Natural Language Processing in Biomedicine and its Applications (NLPBA/BioNLP)*, pages 107–110, Geneva, Switzerland, August 28th and 29th 2004. COLING.

[23] Maryam Habibi, Leon Weber, Mariana Neves, David Luis Wiegandt, and Ulf Leser. Deep learning with word embeddings improves biomedical named entity recognition. *Bioinformatics*, 33(14):i37–i48, 2017.

[24] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In *C.J. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K.Q. Weinberger, editors, Advances in Neural Information Processing Systems*, volume 26. Curran Associates, Inc., 2013.

[25] Jeffrey Pennington, Richard Socher, and Christopher D Manning. Glove : Global vectors for word representation. In *EMNLP*, volume 14, pages 1532–1543, 2014.

[26] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with sub-word information. *arXiv preprint arXiv:1607.04606*, 2016.

[27] Xuezhe Ma and Eduard Hovy. End-to-end sequence labeling via bi-directional LSTM-CNNs-CRF. In *Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, pages 1064–1074, Berlin, Germany, August 2016. Association for Computational Linguistics.
[28] Guillaume Lample, Miguel Ballesteros, Sandeep Sumberanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In *Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies*, pages 260–270, San Diego, California, June 2016. Association for Computational Linguistics.

[29] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. *Advances in neural information processing systems*, 30, 2017.

[30] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2018. cite arxiv :1810.04805Comment : 13 pages.

[31] Steven Bird. Nltk : the natural language toolkit. In *Proceedings of the COLING/ACL 2006 Interactive Presentation Sessions*, pages 69–72, 2006.

[32] Christopher D Manning, Mihai Surdeanu, John Bauer, Jenny Rose Finkel, Steven Bethard, and David McLosky. The stanford corenlp natural language processing toolkit. In *Proceedings of 52nd annual meeting of the association for computational linguistics : system demonstrations*, pages 55–60, 2014.

[33] Ted Kwartler. *The OpenNLP Project*, pages 237–269. 05 2017.

[34] Alan Akbik, Tanja Bergmann, Duncan Blythe, Kashif Rasul, Stefan Schweter, and Roland Vollgraf. Flair : An easy-to-use framework for state-of-the-art nlp. In *Proceedings of the 2019 conference of the North American chapter of the association for computational linguistics (demonstrations)*, pages 54–59, 2019.

[35] Afshin Rahimi, Yuan Li, and Trevor Cohn. Massively multilingual transfer for ner. *arXiv preprint arXiv:1902.00193*, 2019.

[36] Ralph Grishman and Beth Sundheim. Message Understanding Conference- 6 : A brief history. In *COLING 1996 Volume 1 : The 16th International Conference on Computational Linguistics*, 1996.

[37] George Doddington, Alexis Mitchell, Mark Przybocki, Lance Ramshaw, Stephanie Strassel, and Ralph Weischedel. The automatic content extraction (ACE) program – tasks, data, and evaluation. In *Proceedings of the Fourth International Conference on Language Resources and Evaluation (LREC’04)*, Lisbon, Portugal, May 2004. European Language Resources Association (ELRA).

[38] Erik F Sang and Fien De Meulder. Introduction to the conll-2003 shared task : Language-independent named entity recognition. *arXiv preprint cs/0306050*, 2003.

[39] Xavier Schmitt, Sylvain Kubler, Jérémy Robert, Mike Papadakis, and Yves LeTraon. A replicable comparison study of ner software : Stanfordnlp, nltk, opennlp, spacy, gate. In *2019 Sixth International Conference on Social Networks Analysis, Management and Security (SNAMS)*, pages 338–343. IEEE, 2019.