datasets-CNRS/ThesoTM huggingface dataset:
DependencyTrees.jl / DependencyTrees.jl
Definition: "a Julia package for working with dependency structures in natural language sentences." (source: https://www.juliapackages.com/p/dependencytrees).
Définition : "un paquet Julia pour travailler avec les structures de dépendance dans les phrases du langage naturel". (source : https://www.juliapackages.com/p/dependencytrees).
Broader concept: Julia library / librairie Julia
Application field: generic / générique
Tasks performed: dependency parsing / analyse en dépendances
Programming language: Julia
Platforms: Linux§§Windows§§macOS
Licence: MIT License / licence MIT
Repository: https://github.com/dellison/DependencyTrees.jl§§https://www.juliapackages.com/p/dependencytrees
Luo / luo
Broader concept: natural language / langage naturel
IETF language tag: luo
ISO 639-2: luo
ISO 639-3: luo
Dinka / dinka
Broader concept: natural language / langage naturel
IETF language tag: din
ISO 639-2: din
ISO 639-3: din§§dip
Dirichlet process mixture model / modèle de mélange de processus Dirichlet
Also known as: Dirichlet process mixture modeling / 
Broader concept: clustering algorithm / algorithme de partitionnement
Implemented by: Datumbox / Datumbox
Ditammari / ditammari
Also known as: Tammari / 
Broader concept: natural language / langage naturel
IETF language tag: tbz
ISO 639-3: tbz
document embedding / plongement de documents
Definition: Vector representations of documents.
Définition : Représentation vectorielle de documents.
Broader concept: entity embeddings / plongement d'entités
DrBERT / DrBERT
Definition: "A robust pre-trained model in French for biomedical and clinical domains" (source: https://github.com/qanastek/DrBERT).
Définition : Modèle de langage en Françaius pour les domaines biomédicaux et cliniques.
Broader concept: large language model / grand modèle de langue
Application field: biology§§medicine / biologie§§médecine
Implements: transformer / transformeur
Input languages: French / français
Programming language: Python
Design country: France / France
Licence: MIT License / licence MIT
Based on: RoBERTa / RoBERTa
Repository: https://github.com/qanastek/DrBERT§§https://huggingface.co/Dr-BERT/DrBERT-4GB§§https://huggingface.co/Dr-BERT/DrBERT-7GB
Reference: Labrak, Y., Bazoge, A., Dufour, R., Rouvier, M., Morin, E., Daille, B., & Gourraud, P.-A. (2023, April 3). DrBERT: A robust pre-trained model in french for biomedical and clinical domains. ArXiv.Org. https://arxiv.org/abs/2304.00958v1
Dutch / néerlandais
Broader concept: natural language / langage naturel
IETF language tag: nl
ISO 639-1: nl
ISO 639-2: dut§§nld
ISO 639-3: nld
Dyula / dioula
Broader concept: natural language / langage naturel
IETF language tag: dyu
ISO 639-2: dyu
ISO 639-3: dyu
Dzongkha / dzongkha
Broader concept: natural language / langage naturel
IETF language tag: dz
ISO 639-1: dz
ISO 639-2: dzo
ISO 639-3: dzo
E5 / E5
Definition: A language model for text embeddings.
Définition : Modèle de langage pour le plongement de textes.
Broader concept: large language model / grand modèle de langue
Tasks performed: text embedding / plongement de textes
Implements: transformer / transformeur
Input languages: English / anglais
Programming language: Python
Design country: United States / États-Unis
Licence: MIT License / licence MIT
Base of: Spark NLP§§Spark NLP Python§§Spark NLP Scala / Spark NLP§§Spark NLP Python§§Spark NLP Scala
Repository: https://github.com/microsoft/unilm/tree/master/e5§§https://huggingface.co/intfloat/e5-base-v2
Reference: Wang, L., Yang, N., Huang, X., Jiao, B., Yang, L., Jiang, D., Majumder, R., & Wei, F. (2022). Text embeddings by weakly-supervised contrastive pre-training (arXiv:2212.03533). arXiv. https://doi.org/10.48550/arXiv.2212.03533§§Wang, L., Yang, N., Huang, X., Yang, L., Majumder, R., & Wei, F. (2023). Improving text embeddings with large language models (arXiv:2401.00368). arXiv. http://arxiv.org/abs/2401.00368
EARL / EARL
Also known as: Entity And RELation mapping / 
Definition: Joint entity and relation linking for knowledge graphs.
Définition : Résolution référentielle conjointe d'entités et de relations pour les graphes de connaissances.
Broader concept: Python library / librairie Python
Tasks performed: entity linking§§relation linking / résolution référentielle d'entité§§résolution référentielle de relations
Input languages: English / anglais
Programming language: Python
Platforms: Linux§§Windows§§macOS
Interface: command-line interface / interface en ligne de commande
Design country: Germany / Allemagne
Licence: GNU GPL v3 / GNU GPL v3
Repository: https://github.com/AskNowQA/EARL
Reference: Dubey, M., Banerjee, D., Chaudhuri, D., & Lehmann, J. (2018). EARL: Joint entity and relation linking for question answering over knowledge graphs. In D. Vrandečić, K. Bontcheva, M. C. Suárez-Figueroa, V. Presutti, I. Celino, M. Sabou, L.-A. Kaffee, & E. Simperl (Eds.), The Semantic Web – ISWC 2018 (pp. 108–126). Springer International Publishing. https://doi.org/10.1007/978-3-030-00671-6_7
ERNIE / ERNIE
Also known as: Enhanced Language RepresentatioN with Informative Entities / 
Definition: A pre-trained language model on large-scale textual corpora and knowledge graphs.
Définition : Modèle de langage pré-entraîné sur des corpus textuels volumineux et sur des graphes de connaissances.
Broader concept: large language model / grand modèle de langue
Application field: generic / générique
Tasks performed: word embedding / plongement lexical
Implements: transformer / transformeur
Input languages: Chinese§§English / chinois§§anglais
Programming language: Python
Design country: China / Chine
Licence: MIT License / licence MIT
Repository: https://github.com/thunlp/ERNIE
Reference: Zhang, Z., Han, X., Liu, Z., Jiang, X., Sun, M., & Liu, Q. (2019). ERNIE : Enhanced language representation with informative entities. arXiv:1905.07129 [cs]. http://arxiv.org/abs/1905.07129
economics / économie
Also known as:  / science économique
Broader concept: scientific knowledge / connaissances scientifiques
Application field of: Galactica / Galactica
edge betweenness algorithm / algorithme de centralité intermédiaire
Broader concept: clustering algorithm / algorithme de partitionnement
Implemented by: bibliometrix / bibliometrix
Edo / édo
Also known as: Bini / addo§§benin§§bini§§ovedio§§ovioba
Broader concept: natural language / langage naturel
IETF language tag: bin
ISO 639-2: bin
ISO 639-3: bin
Efik / efik
Also known as:  / éfik
Broader concept: natural language / langage naturel
IETF language tag: efi
ISO 639-2: efi
ISO 639-3: efi
Egas / Egas
Definition: Egas is a collaborative software for biomedical text annotation.
Définition : Egas est un logiciel collaboratif pour l'annotation de textes biomédicaux.
Broader concept: software application / application logicielle
Application field: biology§§medicine / biologie§§médecine
Tasks performed: concept extraction§§named entity recognition§§relation extraction / extraction de concepts§§reconnaissance d'entités nommées§§extraction de relations
Input languages: English / anglais
Input data: .txt§§XML
Platforms: non-specified UNIX§§Windows§§macOS
Interface: web user interface / interface utilisateur web
Design country: Portugal / Portugal
Licence: free to use license / licence libre d'utilisation
Reference: David Campos, Jóni Lourenço, Sérgio Matos, José Luís Oliveira Egas: a collaborative and interactive document curation platform, (2014) , Database, Volume 2014 https://doi.org/10.1093/database/bau048
ELECTRA / ELECTRA
Also known as: Efficiently Learning an Encoder that Classifies Token Replacements Accurately / 
Definition: Pre-trained language model "by replacing some tokens with plausible alternatives sampled from a small generator network." (Clark et al., 2020).
Définition : Modèle de langage pré-entraîné « en remplaçant certains tokens par des alternatives plausibles échantillonnées à partir d'un petit réseau generateur. » (Clark et al., 2020).
Broader concept: large language model / grand modèle de langue
Application field: generic / générique
Tasks performed: word embedding / plongement lexical
Implements: transformer / transformeur
Input languages: English / anglais
Programming language: Python
Design country: United States / États-Unis
Licence: Apache License Version 2.0 / Apache License Version 2.0
Base of: FARM§§araELECTRA / FARM§§araELECTRA
Repository: https://github.com/google-research/electra
Reference: Clark, K., Luong, M.-T., Le, Q. V., & Manning, C. D. (2020). ELECTRA : Pre-training text encoders as discriminators rather than generators. arXiv:2003.10555 [cs]. http://arxiv.org/abs/2003.10555
electrical engineering / électrotechnique
Broader concept: knowledge area / domaine de connaissance
Application field of: Galactica / Galactica
ELMo / ELMo
Definition: "type of deep contextualized word representation that models both (1) complex characteristics of word use (e.g., syntax and semantics), and (2) how these uses vary across linguistic contexts (i.e., to model polysemy)." (Peters et al., 2018).
Définition : « type de représentation profonde et contextualisée des mots qui modélise à la fois (1) les caractéristiques complexes de l'utilisation des mots (par exemple, la syntaxe et la sémantique), et (2) la façon dont ces utilisations varient selon les contextes linguistiques (c'est-à-dire, pour modéliser la polysémie) » (Peters et al., 2018).
Broader concept: large language model / grand modèle de langue
Application field: generic / générique
Tasks performed: word embedding / plongement lexical
Implements: bidirectional long-short term memory / mémoire court et long terme bidirectionnelle
Input languages: Basque§§English§§German§§Japanese§§Portuguese / basque§§anglais§§allemand§§japonais§§portugais
Programming language: Python
Design country: United States / États-Unis
Licence: Apache License Version 2.0 / Apache License Version 2.0
Base of: BioELMo§§GluonNLP§§Spark NLP§§Spark NLP Python§§Spark NLP Scala / BioELMo§§GluonNLP§§Spark NLP§§Spark NLP Python§§Spark NLP Scala
Implemented by: DeLFT / DeLFT
Repository: https://github.com/allenai/allennlp-models
Reference: Peters, M. E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., & Zettlemoyer, L. (2018). Deep contextualized word representations. ArXiv:1802.05365 [Cs]. http://arxiv.org/abs/1802.05365
Emilian-Romagnol / émilien-romagnol
Also known as: Emiliano-Romagnolo, / 
Broader concept: natural language / langage naturel
IETF language tag: eml
ISO 639-2: roa
ISO 639-3: eml
Enawenê-Nawê / enawenê-nawê
Also known as: Salumã / 
Broader concept: natural language / langage naturel
ISO 639-3: unk
English / anglais
Broader concept: natural language / langage naturel
IETF language tag: en
ISO 639-1: en
ISO 639-2: eng
ISO 639-3: eng
Enju / Enju
Definition: Enju is an accurate natural language parser for English.
Définition : Enju est un analyseur syntaxique précis pour l'anglais.
Broader concept: software application / application logicielle
Application field: generic / générique
Tasks performed: parsing / analyse syntaxique
Input languages: English / anglais
Programming language: Roff§§C++
Interface: command-line interface / interface en ligne de commande
Design country: Japan / Japon
Licence: Apache License Version 2.0 / Apache License Version 2.0
Repository: https://github.com/mynlp/enju
entity embeddings / plongement d'entités
Definition: Vector representations of texts at the level of their constitutive entities.
Définition : Représentations vectorielles de textes au niveau des entités qui le constituent.
Broader concept: feature extraction / extraction de caractéristiques
Implemented by: Entity fishing / entity fishing
entity linking / résolution référentielle d'entité
Definition: The task of linking the surface form of an entity in a text to its unique identifier in an external resource.
Définition : Tâche consistant à relier la forme de surface d’une entité dans un texte à son identifiant unique dans une ressource externe.
Broader concept: information extraction / extraction d'information
Entity fishing / entity fishing
Definition: Entity-fishing is an open source tool dedicated to the automatic identification and disambiguation of Wikidata entities in multilingual text and PDF documents. The tool is based on machine-learning techniques (Gradient Tree Boosting, CRF, embeddings) exploiting Wikipedia as training source.
Définition : Entity-fishing est un outil open source dédié à l'identification automatique et à la désambiguïsation des entités Wikidata dans des textes multilingues et des documents PDF. L'outil est basé sur des techniques d'apprentissage automatique exploitant Wikipedia comme source d'entraînement.
Broader concept: Java library / librairie Java
Application field: generic / générique
Tasks performed: word embedding§§language identification§§named entity recognition§§sentence splitting§§word sense disambiguation / plongement lexical§§identification de la langue§§reconnaissance d'entités nommées§§découpage de phrases§§désambiguïsation du sens des mots
Implements: conditional random field§§decision tree§§entity embeddings / champ aléatoire conditionnel§§arbre de décision§§plongement d'entités
Input languages: Arabic§§English§§French§§German§§Italian§§Japanese§§Mandarin Chinese§§Persian§§Portuguese§§Russian§§Spanish / arabe§§anglais§§français§§allemand§§italien§§japonais§§mandarin§§persan§§portugais§§russe§§espagnol
Input data: pdf
Programming language: Java
Platforms: Linux§§macOS
Interface: REST service§§command-line interface§§application programming interface / service REST§§interface en ligne de commande§§interface de programmation d’application
Design country: France / France
Licence: Apache License Version 2.0 / Apache License Version 2.0
Repository: https://github.com/kermitt2/entity-fishing
Reference: Foppiano L., Romary L., Ishii M. & Tanifuji M. Automatic Identification and Normalisation of Physical Measurements in Scientific Literature, (2019), In Proceedings of the ACM Symposium on Document Engineering 1-4 (ACM, 2019). https://doi.org/10.1145/3342558.3345411
Erzya / erzya
Also known as: Erzian / erza
Broader concept: natural language / langage naturel
IETF language tag: myv
ISO 639-2: myv
ISO 639-3: myv
Esperanto / espéranto
Broader concept: natural language / langage naturel
IETF language tag: eo
ISO 639-1: eo
ISO 639-2: epo
ISO 639-3: epo
Estonian / estonien
Broader concept: natural language / langage naturel
IETF language tag: ekk§§et§§vro
ISO 639-1: et
ISO 639-2: est
ISO 639-3: est
Even / évène
Also known as: Eben§§Ewen§§Ilqan§§Lamut§§Orich / even§§lamoute
Broader concept: natural language / langage naturel
IETF language tag: eve
ISO 639-3: eve
Evenki / evenki
Also known as: Solon§§Tungus / ewenke§§ewenki§§khamnigan§§owenke§§solon§§suolun§§évenk
Broader concept: natural language / langage naturel
IETF language tag: evn
ISO 639-2: evn
ISO 639-3: evn
Ewe / éwé
Also known as:  / eʋe§§évé§§évé-gbe
Broader concept: natural language / langage naturel
IETF language tag: ee
ISO 639-1: ee
ISO 639-2: ewe
ISO 639-3: ewe
expectation–maximization algorithm / algorithme d'espérance-maximisation
Also known as: EM algorithm / 
Definition: expectation–maximization algorithm is an iterative method to find (local) maximum likelihood or maximum a posteriori (MAP) estimates of parameters in statistical models, where the model depends on unobserved latent variables. (Wikipedia, retrieved on 2021/07/02).
Définition : L'algorithme d'espérance-maximisation (EM) est une méthode itérative pour trouver des estimations (locales) de maximum de vraisemblance ou de maximum a posteriori (MAP) de paramètres dans des modèles statistiques, où le modèle dépend de variables latentes non observées. (Wikipédia, consulté le 02/07/2021).
Broader concept: clustering algorithm / algorithme de partitionnement
Implemented by: LPU§§LingPipe§§svs / LPU§§LingPipe§§svs
Reference: Dempster, A. P., Laird, N. M., & Rubin, D. B. (1977). Maximum Likelihood from Incomplete Data via the EM Algorithm. Journal of the Royal Statistical Society. Series B (Methodological), 39(1), 1‑38.
FARM / FARM
Definition: A Python library for transfer learning in NLP.
Définition : Librarie Python d'apprentissage par transfert de tâches en traitement automatique du langage.
Broader concept: Python library / librairie Python
Application field: generic / générique
Tasks performed: word embedding§§information retrieval§§named entity recognition§§Question Answering§§text categorization / plongement lexical§§recherche d'information§§reconnaissance d'entités nommées§§système de questions réponses§§catégorisation de textes
Programming language: Python
Interface: web user interface§§REST service§§command-line interface§§application programming interface / interface utilisateur web§§service REST§§interface en ligne de commande§§interface de programmation d’application
Design country: Germany / Allemagne
Based on: ALBERT§§BERT§§CamemBERT§§ELECTRA§§German BERT§§MiniLM§§RoBERTa§§UmBERTo§§XLNet§§XLM-RoBERTa§§DistilBERT / ALBERT§§BERT§§CamemBERT§§ELECTRA§§German BERT§§MiniLM§§RoBERTa§§UmBERTo§§XLNet§§XLM-RoBERTa§§DistilBERT
Repository: https://github.com/deepset-ai/FARM
Falcon / Falcon
Definition: "Falcon 2.0 is an entity and relation linking tool over Wikidata" (source: https://github.com/SDM-TIB/Falcon2.0).
Définition : « Falcon 2.0 est un outil de résolution référentielle d'entités et de relations sur Wikidata » (source : https://github.com/SDM-TIB/Falcon2.0).
Broader concept: Python library / librairie Python
Application field: generic / générique
Tasks performed: entity linking§§relation linking§§text annotation§§visualization / résolution référentielle d'entité§§résolution référentielle de relations§§annotation textuelle§§visualisation
Input languages: English / anglais
Programming language: Python
Platforms: Linux§§Windows§§macOS
Interface: web user interface§§command-line interface / interface utilisateur web§§interface en ligne de commande
Design country: Germany / 
Licence: MIT License / licence MIT
Repository: https://github.com/SDM-TIB/Falcon2.0
Reference: Sakor, A., Singh, K., Patel, A., & Vidal, M.-E. (2020). Falcon 2.0: An entity and relation linking tool over wikidata. Proceedings of the 29th ACM International Conference on Information & Knowledge Management, 3141–3148. https://doi.org/10.1145/3340531.3412777
Faroese / féroïen
Also known as:  / féringien
Broader concept: natural language / langage naturel
ISO 639-1: fo
ISO 639-2: fao
ISO 639-3: fao
FasTag / FasTag
Definition: "FasTag is a text classification document for the rapid triaging of clinical documents." (source: https://github.com/rivas-lab/FasTag).
Définition : Outil de classification de textes cliniques.
Broader concept: Python library / librairie Python
Tasks performed: text categorization / catégorisation de textes
Implements: GLoVe§§long short-term memory / GLoVe§§mémoire court et long terme
Input languages: English / anglais
Input data: .csv
Programming language: Python
Platforms: Linux§§Windows§§macOS
Design country: United States / États-Unis
Related: medicine / médecine
Repository: https://github.com/rivas-lab/FasTag
Reference: Venkataraman, G. R., Pineda, A. L., Bear Don’t Walk IV, O. J., Zehnder, A. M., Ayyar, S., Page, R. L., Bustamante, C. D., & Rivas, M. A. (2020). FasTag: Automatic text classification of unstructured medical narratives. PLOS ONE, 15(6), e0234647. https://doi.org/10.1371/journal.pone.0234647
fast greedy algorithm / algorithme glouton rapide
Broader concept: clustering algorithm / algorithme de partitionnement
Implemented by: bibliometrix / bibliometrix
Fijian / fidjien
Broader concept: natural language / langage naturel
IETF language tag: fi
ISO 639-1: fj
ISO 639-2: fij
ISO 639-3: fij
Filipino / philippin
Also known as: Wikang Filipino / 
Broader concept: natural language / langage naturel
ISO 639-2: fil
ISO 639-3: fil
finite state automata / automate à états finis
Broader concept: algorithm / algorithme
Implemented by: Unitex / Unitex
Finnish / finnois
Broader concept: natural language / langage naturel
IETF language tag: fi
ISO 639-1: fi
ISO 639-2: fin
ISO 639-3: fin
Finnish BERT / Finnish BERT
Also known as: FinBERT / FinBERT
Definition: A BERT language model for Finnish.
Définition : Modèle de langage BERT pour le finnois.
Broader concept: large language model / grand modèle de langue
Application field: generic / générique
Tasks performed: word embedding / plongement lexical
Implements: transformer / transformeur
Input languages: Finnish / finnois
Programming language: Shell
Design country: Finland / Finlande
Licence: CC BY 4.0 / CC BY 4.0
Based on: BERT / BERT
Repository: https://github.com/TurkuNLP/FinBERT
Reference: Virtanen, A., Kanerva, J., Ilo, R., Luoma, J., Luotolahti, J., Salakoski, T., Ginter, F., & Pyysalo, S. (2019). Multilingual is not enough: BERT for Finnish. ArXiv:1912.07076 [Cs]. http://arxiv.org/abs/1912.07076
Flair / Flair
Definition: "A very simple framework for state-of-the-art Natural Language Processing (NLP) " (source: https://github.com/flairNLP/flair).
Définition : Environnement Python pour le traitement automatique du langage naturel.
Broader concept: Python library / librairie Python
Application field: generic / générique
Tasks performed: document embedding§§word embedding§§named entity recognition§§PoS tagging§§text categorization§§word sense disambiguation / plongement de documents§§plongement lexical§§reconnaissance d'entités nommées§§étiquetage morpho-syntaxique§§catégorisation de textes§§désambiguïsation du sens des mots
Implements: bidirectional long-short term memory§§GLoVe§§transformer / mémoire court et long terme bidirectionnelle§§GLoVe§§transformeur
Input languages: Arabic§§Danish§§Dutch§§English§§French§§German§§Japanese§§Portuguese§§Spanish / arabe§§danois§§néerlandais§§anglais§§français§§allemand§§japonais§§portugais§§espagnol
Input data: Malayalam
Programming language: Python
Platforms: Linux§§Windows§§macOS
Interface: command-line interface / interface en ligne de commande
Design country: Germany / Allemagne
Licence: MIT License / licence MIT
Repository: https://github.com/flairNLP/flair
Reference: Akbik, A., Bergmann, T., Blythe, D., Rasul, K., Schweter, S., & Vollgraf, R. (2019). Flair: An easy-to-use framework for state-of-the-art NLP. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), 54–59. https://doi.org/10.18653/v1/N19-4010
FlauBERT / FlauBERT
Also known as: French Language Understanding via Bidirectional Encoder Representations from Transformers / 
Definition: A BERT pre-trained language model for French.
Définition : Modèle de langage BERT pré-entraîné pour la langue française.
Broader concept: large language model / grand modèle de langue
Application field: generic / générique
Tasks performed: word embedding / plongement lexical
Implements: transformer / transformeur
Input languages: French / français
Programming language: Python
Design country: France / France
Licence: CC BY-NC 4.0 / CC BY-NC 4.0
Based on: BERT / BERT
Repository: https://github.com/getalp/Flaubert
Reference: Le, H., Vial, L., Frej, J., Segonne, V., Coavoux, M., Lecouteux, B., Allauzen, A., Crabbe, B., Besacier, L., & Schwab, D. (2020). FlauBERT : Unsupervised Language Model Pre-training for French. LREC. https://hal.archives-ouvertes.fr/hal-02890258§§Le, H., Vial, L., Frej, J., Segonne, V., Coavoux, M., Lecouteux, B., Allauzen, A., Crabbé, B., Besacier, L., & Schwab, D. (2020). FlauBERT : Des modèles de langue contextualisés pré-entraînés pour le français. In C. Benzitoun, C. Braud, L. Huber, D. Langlois, S. Ouni, S. Pogodalla, & S. Schneider (Éds.), 6e conférence conjointe Journées d’Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition). Volume 2 : Traitement Automatique des Langues Naturelles (p. 268‑278). ATALA. https://hal.archives-ouvertes.fr/hal-02784776
Flemish / flamand
Broader concept: natural language / langage naturel
IETF language tag: nl-BE
ISO 639-1: nl
ISO 639-2: dut§§nld
ISO 639-3: nld
Fon / fon
Also known as:  / fon-gbe
Broader concept: natural language / langage naturel
IETF language tag: fon
ISO 639-2: fon
ISO 639-3: fon