datasets-CNRS/ThesoTM huggingface dataset:
XLM / XLM
Definition: Pre-trained multilingual language model.
Définition : modèle de langage multilingue pré-entraîné.
Broader concept: large language model / grand modèle de langue
Application field: generic / générique
Tasks performed: word embedding / plongement lexical
Implements: denoising autoencoder / autoencodeur débruiteur
Input languages: Afrikaans§§Albanian§§Amharic§§Arabic§§Aragonese§§Armenian§§Asturian§§Azerbaijani§§Basque§§Belarusian§§Bengali§§Breton§§Bulgarian§§Burmese§§Catalan§§Cebuano§§Chinese§§Croatian§§Czech§§Danish§§Dutch§§English§§Esperanto§§Estonian§§Finnish§§French§§Galician§§Georgian§§German§§Greek§§Gujarati§§Hebrew§§Hindi§§Hungarian§§Icelandic§§Indonesian§§Interlingua§§Italian§§Japanese§§Javanese§§Kannada§§Kazakh§§Korean§§Kurdish§§Latin§§Latvian§§Lithuanian§§Low German§§Luxembourgish§§Macedonian§§Malay§§Malayalam§§Marathi§§Mongolian§§Nepali§§Norwegian§§Occitan§§Persian§§Polish§§Portuguese§§Romanian§§Russian§§Scots§§Serbo-Croatian§§Sicilian§§Sinhala§§Slovak§§Slovenian§§Spanish§§Swahili§§Swedish§§Tagalog§§Tamil§§Tatar§§Telugu§§Turkish§§Ukrainian§§Urdu§§Uzbek§§Vietnamese§§Waray§§Welsh§§West Frisian§§Yiddish§§Thai / afrikaans§§albanais§§amharique§§arabe§§aragonais§§arménien§§asturien§§azéri§§basque§§biélorusse§§bengali§§breton§§bulgare§§birman§§catalan§§cebuano§§chinois§§croate§§tchèque§§danois§§néerlandais§§anglais§§espéranto§§estonien§§finnois§§français§§galicien§§géorgien§§allemand§§grec§§gujarati§§hébreu§§hindi§§hongrois§§islandais§§indonésien§§interlingua§§italien§§japonais§§javanais§§kannada§§kazakh§§coréen§§kurde§§latin§§letton§§lithuanien§§bas allemand§§luxembourgeois§§macédonien§§malais§§malayalam§§marathi§§mongol§§népalais§§norvégien§§occitan§§persan§§polonais§§portugais§§roumain§§russe§§scots§§serbo-croate§§sicilien§§singhalais§§slovaque§§slovène§§espagnol§§swahili§§suédois§§tagalog§§tamoul§§tatar§§télougou§§turc§§ukrainien§§ourdou§§ouzbek§§vietnamien§§waray-waray§§gallois§§frison occidental§§yiddish§§thaï
Programming language: Python
Design country: France / France
Licence: CC BY-NC 4.0 / CC BY-NC 4.0
Repository: https://github.com/facebookresearch/XLM
Reference: Liu, Y., Gu, J., Goyal, N., Li, X., Edunov, S., Ghazvininejad, M., Lewis, M., & Zettlemoyer, L. (2020). Multilingual denoising pre-training for neural machine translation. arXiv:2001.08210 [cs]. http://arxiv.org/abs/2001.08210
XLM-T / XLM-T
Definition: A multilingual language model for Twitter.
Définition : Modèle de langage multilingue pour Twitter.
Broader concept: large language model / grand modèle de langue
Application field: social networks / réseaux sociaux
Implements: transformer / transformeur
Input languages: Amharic§§Arabic§§Armenian§§Basque§§Bengali§§Bulgarian§§Burmese§§Catalan§§Chinese§§Czech§§Danish§§Dutch§§English§§Estonian§§Finnish§§French§§Georgian§§German§§Greek§§Gujarati§§Haitian Creole§§Hebrew§§Hindi§§Hungarian§§Icelandic§§Indonesian§§Italian§§Japanese§§Kannada§§Khmer§§Korean§§Kurdish§§Lao§§Latvian§§Lithuanian§§Malayalam§§Maldivian§§Marathi§§Nepali§§Norwegian§§Odia§§Pashto§§Persian§§Polish§§Portuguese§§Punjabi§§Romanian§§Russian§§Serbian§§Sindhi§§Sinhala§§Slovenian§§Spanish§§Swedish§§Tagalog§§Tamil§§Telugu§§Turkish§§Ukrainian§§Urdu§§Uyghur§§Vietnamese§§Welsh§§Thai / amharique§§arabe§§arménien§§basque§§bengali§§bulgare§§birman§§catalan§§chinois§§tchèque§§danois§§néerlandais§§anglais§§estonien§§finnois§§français§§géorgien§§allemand§§grec§§gujarati§§créole haïtien§§hébreu§§hindi§§hongrois§§islandais§§indonésien§§italien§§japonais§§kannada§§khmer§§coréen§§kurde§§lao§§letton§§lithuanien§§malayalam§§maldivien§§marathi§§népalais§§norvégien§§odia§§pachto§§persan§§polonais§§portugais§§pendjabi§§roumain§§russe§§serbe§§sindhi§§singhalais§§slovène§§espagnol§§suédois§§tagalog§§tamoul§§télougou§§turc§§ukrainien§§ourdou§§ouïghour§§vietnamien§§gallois§§thaï
Programming language: Python
Design country: United Kingdom§§United States / Royaume-Uni§§États-Unis
Licence: Apache License Version 2.0 / Apache License Version 2.0
Based on: XLM-RoBERTa / XLM-RoBERTa
Reference: Barbieri, F., Anke, L. E., & Camacho-Collados, J. (2021). XLM-T : A multilingual language model toolkit for Twitter. arXiv:2104.12250 [cs]. http://arxiv.org/abs/2104.12250
XLNet / XLNet
Definition: "a generalized autoregressive method that leverages the best of both AR [autoregressive] language modeling and AE [autoencoding] while avoiding their limitations." (Yang et al., 2020).
Définition : « une méthode autorégressive généralisée qui exploite le meilleur de la modélisation linguistique autorégressive et par autoencodage tout en évitant leurs limites. » (Yang et al., 2020).
Broader concept: large language model / grand modèle de langue
Application field: generic / générique
Tasks performed: word embedding / plongement lexical
Implements: transformer / transformeur
Input languages: English / anglais
Programming language: Python
Design country: United States / États-Unis
Licence: Apache License Version 2.0 / Apache License Version 2.0
Base of: ClincalXLNet§§FARM§§Spark NLP§§Spark NLP Python§§Spark NLP Scala / ClincalXLNet§§FARM§§Spark NLP§§Spark NLP Python§§Spark NLP Scala
Repository: https://github.com/zihangdai/xlnet
Reference: Yang, Z., Dai, Z., Yang, Y., Carbonell, J., Salakhutdinov, R., & Le, Q. V. (2020). XLNet : Generalized autoregressive pretraining for language understanding. arXiv:1906.08237 [cs]. http://arxiv.org/abs/1906.08237
Xhosa / xhosa
Also known as: isiXhosa / isiXhosa
Broader concept: Bantu / langue bantoue
IETF language tag: xh
ISO 639-1: xh
ISO 639-2: xho
ISO 639-3: xho
XLM-RoBERTa / XLM-RoBERTa
Also known as: XLM-R / XLM-R
Definition: Multilingual language models based on RoBERTa.
Définition : Modèles de langage multilingues basés sur RoBERTa.
Broader concept: large language model / grand modèle de langue
Application field: generic / générique
Implements: transformer / transformeur
Input languages: Afrikaans§§Amharic§§Arabic§§Armenian§§Assamese§§Azerbaijani§§Basque§§Belarusian§§Bengali§§Bosnian§§Breton§§Bulgarian§§Catalan§§Croatian§§Czech§§Danish§§English§§Esperanto§§Estonian§§Finnish§§French§§Galician§§German§§Greek§§Gujarati§§Hebrew§§Hindi§§Hungarian§§Icelandic§§Indonesian§§Irish§§Italian§§Japanese§§Javanese§§Kannada§§Kazakh§§Khmer§§Kyrgyz§§Korean§§Kurdish§§Latin§§Persian§§Scottish Gaelic§§Spanish§§Welsh§§West Frisian / afrikaans§§amharique§§arabe§§arménien§§assamais§§azéri§§basque§§biélorusse§§bengali§§bosnien§§breton§§bulgare§§catalan§§croate§§tchèque§§danois§§anglais§§espéranto§§estonien§§finnois§§français§§galicien§§allemand§§grec§§gujarati§§hébreu§§hindi§§hongrois§§islandais§§indonésien§§irlandais§§italien§§japonais§§javanais§§kannada§§kazakh§§khmer§§kirghize§§coréen§§kurde§§latin§§persan§§gaélique écossais§§espagnol§§gallois§§frison occidental
Programming language: Python
Design country: United States / États-Unis
Licence: CC BY 4.0 / CC BY 4.0
Based on: RoBERTa / RoBERTa
Base of: FARM§§Spark NLP§§Spark NLP Python§§Spark NLP Scala§§XLM-T / FARM§§Spark NLP§§Spark NLP Python§§Spark NLP Scala§§XLM-T
Repository: https://github.com/facebookresearch/XLM
Reference: Conneau, A., Khandelwal, K., Goyal, N., Chaudhary, V., Wenzek, G., Guzmán, F., Grave, E., Ott, M., Zettlemoyer, L., & Stoyanov, V. (2020). Unsupervised cross-lingual representation learning at scale. arXiv:1911.02116 [cs]. http://arxiv.org/abs/1911.02116
YAKE / YAKE
Also known as: Yet Another Keyword Extractor / 
Definition: "YAKE! is a light-weight unsupervised automatic keyword extraction method which rests on text statistical features extracted from single documents to select the most important keywords of a text." (source: https://liaad.github.io/yake/).
Définition : « YAKE! est une méthode légère et non supervisée d'extraction automatique de mots-clés qui s'appuie sur des caractéristiques statistiques extraites de documents individuels pour sélectionner les mots-clés les plus importants d'un texte. » (source : https://liaad.github.io/yake/).
Broader concept: Python library§§software application / librairie Python§§application logicielle
Application field: generic / générique
Tasks performed: keyword extraction / extraction de mots-clés
Platforms: Android§§Linux§§Windows§§macOS
Interface: web user interface§§graphical user interface§§command-line interface / interface utilisateur web§§interface utilisateur graphique§§interface en ligne de commande
Design country: Portugal / Portugal
Repository: https://github.com/LIAAD/yake
YaTeA / YaTeA
Definition: Yet Another Term ExtrAtor is a term extractor. It identifies and extracts noun phrases that can be terms, i.e. candidate terms. Each candidate term is syntactically parsed to reveal its structure in the form of heads and modifiers.
Définition : Yet Another Term ExtrAtor est un extracteur de termes. Il identifie et extrait des groupes nominaux pouvant être des termes, i.e. des termes candidats. Chaque terme candidat est analysé syntaxiquement pour faire apparaître sa structure sous la forme de têtes et modifieurs.
Broader concept: software application / application logicielle
Application field: generic / générique
Tasks performed: term extraction / extraction de termes
Input languages: English§§French / anglais§§français
Input data: TreeTagger output format
Programming language: Perl
Platforms: Linux§§Solaris§§Windows§§macOS
Interface: command-line interface / interface en ligne de commande
Design country: France / France
Licence: GNU GPL v2 / GNU GPL v2
Yagua / yagua
Broader concept: natural language / langage naturel
ISO 639-3: yad
Yakut / iakoute
Also known as: Sakha§§Saqa§§Saxa§§Yakutian / yakoute
Broader concept: natural language / langage naturel
IETF language tag: sah
ISO 639-2: sah
ISO 639-3: sah
Yanesha / yanesha
Also known as: Amoesha§§Amuesha / 
Broader concept: natural language / langage naturel
IETF language tag: ame
ISO 639-3: ame
Yanomamö / yanomamö
Broader concept: natural language / langage naturel
ISO 639-3: guu
Yao / Chiyao
Also known as:  / yao
Broader concept: Bantu / langue bantoue
IETF language tag: yao
ISO 639-2: yao
ISO 639-3: yao
Yapese / yap
Broader concept: natural language / langage naturel
IETF language tag: yap
ISO 639-2: yap
ISO 639-3: yap
Yiddish / yiddish
Broader concept: natural language / langage naturel
IETF language tag: yi
ISO 639-1: yi
ISO 639-2: yid
ISO 639-3: yid
Yoruba / yoruba
Also known as:  / yorouba
Broader concept: natural language / langage naturel
IETF language tag: yo
ISO 639-1: yo
ISO 639-2: yor
ISO 639-3: yor
YouTokenToMe / YouTokenToMe
Definition: Unsupervised text tokenizer.
Définition : Tokenisation de textes non supervisée.
Broader concept: Python library / librairie Python
Application field: generic / générique
Tasks performed: tokenization / tokenisation
Programming language: C++§§Python
Platforms: Linux§§Windows§§macOS
Interface: command-line interface / interface en ligne de commande
Design country: Russia / Russie
Licence: MIT License / licence MIT
Repository: https://github.com/VKCOM/YouTokenToMe
Yucatec Maya / maya yucatèque
Also known as: Maya / maya§§maya péninsulaire
Broader concept: natural language / langage naturel
IETF language tag: yua
ISO 639-3: yua
Yukaghir / youkaguir
Also known as:  / youkaghir§§youkaghire
Broader concept: natural language / langage naturel
IETF language tag: ykg§§yux
ISO 639-3: ykg§§yux
Zande / zandé
Also known as:  / pazande
Broader concept: natural language / langage naturel
IETF language tag: zne
ISO 639-3: zne
Zazaki / zazaki
Also known as: Dimli§§Kirdki§§Kirmanjki§§Zaza / dimilki§§dimli§§kirdki§§kirmancki§§kirmanjki
Broader concept: natural language / langage naturel
IETF language tag: zza
ISO 639-2: zza
ISO 639-3: zza
Zeelandic / zélandais
Broader concept: natural language / langage naturel
ISO 639-3: zea
Zulu / zoulou
Broader concept: Bantu / langue bantoue
IETF language tag: zu
ISO 639-1: zu
ISO 639-2: zul
ISO 639-3: zul
araELECTRA / araELECTRA
Definition: A language model based on ELECTRA for Arabic.
Définition : Modèle de langage pour la langue arabe basé sur ELECTRA.
Broader concept: large language model / grand modèle de langue
Application field: generic / générique
Tasks performed: word embedding / plongement lexical
Implements: transformer / transformeur
Input languages: Arabic / arabe
Programming language: Python
Design country: Lebanon / Liban
Based on: ELECTRA / ELECTRA
Repository: https://github.com/aub-mind/arabert
Reference: Antoun, W., Baly, F., & Hajj, H. (2021). AraELECTRA : Pre-training text discriminators for arabic language understanding. arXiv:2012.15516 [cs]. http://arxiv.org/abs/2012.15516
bibliometrix / bibliometrix
Definition: "Tool for quantitative research in scientometrics and bibliometrics." (source: https://cran.r-project.org/web/packages/bibliometrix/index.html).
Définition : Paquet R pour la recherche quantitative en scientométrie et bibliométrie.
Broader concept: R package / paquet R
Application field: generic / générique
Tasks performed: co-occurrence analysis§§text clustering / analyse des cooccurrences§§partitionnement de textes
Implements: correspondence analysis§§edge betweenness algorithm§§fast greedy algorithm§§InfoMap algorithm§§leading eigenvalues§§Leiden algorithm§§Louvain clustering§§multidimensional scaling§§principal component analysis§§spinglass algorithm§§walktrap algorithm§§hierarchical clustering / analyse factorielle des correspondances§§algorithme de centralité intermédiaire§§algorithme glouton rapide§§algorithme InfoMap§§valeurs propres principales§§algortihme de Leiden§§partitionnement de Louvain§§échelonnement multidimensionnel§§analyse en composantes principales§§algorithme spinglass§§algorithme walktrap§§partitionnement hiérarchique
Input languages: English / anglais
Platforms: Linux§§Windows§§macOS
Interface: web user interface§§command-line interface / interface utilisateur web§§interface en ligne de commande
Design country: Italy / Italie
Licence: GNU GPL v3 / GNU GPL v3
Uses software: R / R
Repository: https://cran.r-project.org/package=bibliometrix§§https://github.com/massimoaria/bibliometrix
Reference: Aria, M., & Cuccurullo, C. (2017). bibliometrix: An R-tool for comprehensive science mapping analysis. Journal of Informetrics, 11(4), 959–975. https://doi.org/10.1016/j.joi.2017.08.007
byT5 / byT5
Definition: "pre-trained byte-level Transformer models based on the T5 architecture" (source: Xue et al., 2022).
Définition : « modèles de transformateur au niveau de l'octet pré-entraînés basés sur l'architecture T5 » (source : Xue et al., 2022).
Broader concept: large language model / grand modèle de langue
Application field: generic / générique
Tasks performed: word embedding / plongement lexical
Implements: transformer / transformeur
Input languages: Arabic§§Bengali§§Bulgarian§§Chinese§§English§§Finnish§§French§§German§§Greek§§Hindi§§Indonesian§§Korean§§Russian§§Spanish§§Swahili§§Telugu§§Turkish§§Urdu§§Vietnamese§§Thai / arabe§§bengali§§bulgare§§chinois§§anglais§§finnois§§français§§allemand§§grec§§hindi§§indonésien§§coréen§§russe§§espagnol§§swahili§§télougou§§turc§§ourdou§§vietnamien§§thaï
Programming language: Python
Design country: United States / États-Unis
Licence: Apache License Version 2.0 / Apache License Version 2.0
Based on: T5 / T5
Repository: https://github.com/google-research/byt5
Reference: Xue, L., Barua, A., Constant, N., Al-Rfou, R., Narang, S., Kale, M., Roberts, A., & Raffel, C. (2022). ByT5 : Towards a token-free future with pre-trained byte-to-byte models. arXiv:2105.13626 [cs]. http://arxiv.org/abs/2105.13626
cld3 / cld3
Also known as: Compact Language Detector 3 / 
Definition: An R package for language detection.
Définition : Paquet R pour la détection du langage.
Broader concept: R package / paquet R
Application field: generic / générique
Tasks performed: language identification / identification de la langue
Implements: Neural networks models / modèles de réseaux de neurones
Input languages: Afrikaans§§Albanian§§Amharic§§Arabic§§Armenian§§Basque§§Bengali§§Bosnian§§Bulgarian§§Burmese§§Catalan§§Cebuano§§Chichewa§§Chinese§§Corsican§§Croatian§§Czech§§Danish§§Dutch§§English§§Esperanto§§Estonian§§Filipino§§Finnish§§French§§Galician§§Georgian§§German§§Greek§§Gujarati§§Haitian Creole§§Hausa§§Hawaiian§§Hebrew§§Hindi§§Hmong§§Hungarian§§Icelandic§§Igbo§§Indonesian§§Irish§§Italian§§Japanese§§Javanese§§Kannada§§Kazakh§§Khmer§§Kyrgyz§§Korean§§Kurdish§§Lao§§Latin§§Latvian§§Lithuanian§§Luxembourgish§§Macedonian§§Malagasy§§Malay§§Malayalam§§Maltese§§Marathi§§Mongolian§§Nepali§§Norwegian§§Pashto§§Persian§§Polish§§Portuguese§§Punjabi§§Romanian§§Russian§§Samoan§§Scottish Gaelic§§Serbian§§Shona§§Sindhi§§Sinhala§§Slovak§§Slovenian§§Somali§§Sotho§§Spanish§§Sundanese§§Swahili§§Swedish§§Tajik§§Tamil§§Telugu§§Turkish§§Ukrainian§§Urdu§§Uzbek§§Vietnamese§§Welsh§§West Frisian§§Xhosa§§Yiddish§§Yoruba§§Zulu§§Thai / afrikaans§§albanais§§amharique§§arabe§§arménien§§basque§§bengali§§bosnien§§bulgare§§birman§§catalan§§cebuano§§chewa§§chinois§§corse§§croate§§tchèque§§danois§§néerlandais§§anglais§§espéranto§§estonien§§philippin§§finnois§§français§§galicien§§géorgien§§allemand§§grec§§gujarati§§créole haïtien§§haoussa§§hawaïen§§hébreu§§hindi§§hmong§§hongrois§§islandais§§igbo§§indonésien§§irlandais§§italien§§japonais§§javanais§§kannada§§kazakh§§khmer§§kirghize§§coréen§§kurde§§lao§§latin§§letton§§lithuanien§§luxembourgeois§§macédonien§§malgache§§malais§§malayalam§§maltais§§marathi§§mongol§§népalais§§norvégien§§pachto§§persan§§polonais§§portugais§§pendjabi§§roumain§§russe§§samoan§§gaélique écossais§§serbe§§shona§§sindhi§§singhalais§§slovaque§§slovène§§somali§§sotho du Sud§§espagnol§§soundanais§§swahili§§suédois§§tadjik§§tamoul§§télougou§§turc§§ukrainien§§ourdou§§ouzbek§§vietnamien§§gallois§§frison occidental§§xhosa§§yiddish§§yoruba§§zoulou§§thaï
Programming language: C++
Platforms: Linux§§Windows§§macOS
Interface: command-line interface / interface en ligne de commande
Licence: Apache License Version 2.0 / Apache License Version 2.0
Uses software: R / R
Repository: https://cran.r-project.org/web/packages/cld3/index.html§§https://github.com/google/cld3
Cobweb / Cobweb
Broader concept: stream clustering / clustering de flux
Implemented by: RWeka§§Massive Online Analysis / RWeka§§Massive Online Analysis
collocation / collocation
Definition: Collocations are defined as conventional, arbitrary and recurrent word associations, arbitrary and recurrent, whose elements are not necessarily contiguous and whose meaning is largely transparent. (Le problème des collocations en TAL, Luka Nerima, Violeta Seretan, Eric Wehrli, Nouveaux cahiers de linguistique française 27(2006), 95-115).
Définition : Les collocations sont définies comme des associations convention- nelles de mots, arbitraires et récurrentes, dont les éléments ne sont pas nécessairement contigus et dont la signification est largement transpa- rente.(Le problème des collocations en TAL, Luka Nerima, Violeta Seretan, Eric Wehrli, Nouveaux cahiers de linguistique française 27(2006), 95-115)
Broader concept: text annotation / annotation textuelle
convBERT / convBERT
Definition: A language model based on BERT with a type of convolution to learn local dependencies between tokens.
Définition : Modèle de langage basé sur BERT intégrant un type de convolution pour apprendre les dépendances locales entre tokens.
Broader concept: large language model / grand modèle de langue
Application field: generic / générique
Tasks performed: word embedding / plongement lexical
Implements: convolutional neural network§§transformer / réseau de neurones convolutif§§transformeur
Input languages: English / anglais
Programming language: Python
Design country: Singapore / Singapour
Licence: Modified BSD / BSD modifiée
Based on: BERT / BERT
Base of: convBERTurk / conBERTurk
Repository: https://github.com/yitu-opensource/ConvBert
Reference: Jiang, Z., Yu, W., Zhou, D., Chen, Y., Feng, J., & Yan, S. (2020). ConvBERT: Improving BERT with span-based dynamic convolution. https://arxiv.org/abs/2008.02496v3
convBERTurk / conBERTurk
Definition: A convBERT-based language model for Turkish.
Définition : Modèle de langage basé sur convBERT pour le turc.
Broader concept: large language model / grand modèle de langue
Application field: generic / générique
Tasks performed: word embedding / plongement lexical
Implements: convolutional neural network§§transformer / réseau de neurones convolutif§§transformeur
Input languages: Turkish / turc
Programming language: Python
Based on: convBERT / convBERT
Repository: https://github.com/stefan-it/turkish-bert
corpus analysis / analyse de corpus
Also known as: textometrix / textométrie
Broader concept: information extraction / extraction d'information
corpustools / corpustools
Definition: Set of tools for the analysis of tokenized texts.
Définition : Ensemble d'outils pour l'analyse de textes tokenisés.
Broader concept: R package / paquet R
Application field: generic / générique
Tasks performed: tokenization / tokenisation
Platforms: Windows§§macOS
Interface: command-line interface / interface en ligne de commande
Design country: Netherlands / Pays-Bas
Licence: GNU GPL v3 / GNU GPL v3
Uses software: R / R
Repository: https://cran.r-project.org/web/packages/corpustools/index.html§§https://github.com/kasperwelbers/corpustools
crfsuite / crfsuite
Definition: Conditional random fieds for labelling sequential data in natural language processing.
Définition : Champs aléatoires conditionnels pour l'étiquetage séquentiel de données en traitement automatique du langage.
Broader concept: R package / paquet R
Application field: generic / générique
Tasks performed: named entity recognition§§PoS tagging§§support operation§§text categorization / reconnaissance d'entités nommées§§étiquetage morpho-syntaxique§§opération support§§catégorisation de textes
Platforms: Linux§§Windows§§macOS
Interface: command-line interface / interface en ligne de commande
Design country: Belgium / Belgique
Licence: Modified BSD / BSD modifiée
Uses software: R / R
Repository: https://cran.r-project.org/package=crfsuite§§https://github.com/bnosac/crfsuite
DistilBERT / DistilBERT
Also known as: Distilled BERT / 
Definition: "a general-purpose pre-trained version of BERT, 40% smaller, 60% faster, that retains 97% of the language understanding capabilities." (Sahn et al., 2020 ).
Définition : « une version pré-entraînée polyvalente de BERT, 40% plus petite, 60% plus rapide, qui conserve 97% des capacités de compréhension du langage. » (Sahn et al., 2020).
Broader concept: large language model / grand modèle de langue
Application field: generic / générique
Tasks performed: word embedding / plongement lexical
Implements: transformer / transformeur
Input languages: English / anglais
Programming language: Python
Design country: United States / États-Unis
Based on: BERT / BERT
Base of: FARM§§Spark NLP§§Spark NLP Python§§Spark NLP Scala / FARM§§Spark NLP§§Spark NLP Python§§Spark NLP Scala
Repository: https://github.com/huggingface/transformers/tree/master/examples/research_projects/distillation
Reference: Sanh, V., Debut, L., Chaumond, J., & Wolf, T. (2020). DistilBERT, a distilled version of BERT: Smaller, faster, cheaper and lighter. https://arxiv.org/abs/1910.01108v4
doc2vec / doc2vec
Definition: An algorithm to convert documents to vectors.
Définition : Algorithme pour convertir des documents en vecteurs.
Broader concept: Neural networks models / modèles de réseaux de neurones
Implemented by: Spark NLP§§Spark NLP Python§§Spark NLP Scala§§TextTinyR§§Top2Vec§§doc2vec R / Spark NLP§§Spark NLP Python§§Spark NLP Scala§§TextTinyR§§Top2Vec§§doc2vec R
Reference: Le, Q. V., & Mikolov, T. (2014). Distributed representations of sentences and documents. https://doi.org/10.48550/arXiv.1405.4053