datasets-CNRS/ThesoTM huggingface dataset:
Unitex / Unitex
Definition: Unitex is an open source corpus processing suite.
Définition : Unitex est une suite logicielle multilingue pour l'analyse de corpus.
Broader concept: software application / application logicielle
Application field: generic / générique
Tasks performed: corpus analysis§§named entity recognition§§word sense disambiguation / analyse de corpus§§reconnaissance d'entités nommées§§désambiguïsation du sens des mots
Implements: finite state automata§§local grammar / automate à états finis§§grammaire locale
Input languages: Arabic§§English§§Finnish§§French§§Georgian§§German§§Greek§§Italian§§Korean§§Latin§§Malagasy§§Norwegian§§Polish§§Russian§§Serbian§§Spanish§§Thai / arabe§§anglais§§finnois§§français§§géorgien§§allemand§§grec§§italien§§coréen§§latin§§malgache§§norvégien§§polonais§§russe§§serbe§§espagnol§§thaï
Input data: .txt
Programming language: Java§§C++
Platforms: Linux§§Windows§§macOS
Interface: desktop graphical user interface / interface utilisateur graphique desktop
Design country: France / France
Licence: GNU LGPL v3 / GNU LGPL v3
Reference: Kyriacopoulou, T., Martineau, C. & Vartampetian, M. Extraction and Annotation of Location Names, (2019), Infotheca 19, 7-25 https://doi.org/10.18485/infotheca.2019.19.2.1§§Maurel D., Morale E., Thouvenin N., Ringot P. & Turri A. Istex: A Database of Twenty Million Scientific Papers with a Mining Tool Which Uses Named Entities, (2019), Information 10, 178 https://doi.org/10.3390/info10050178
universal sentence encoder / encodeur universel de phrases
Also known as: USE / 
Broader concept: Neural networks models / modèles de réseaux de neurones
Tasks performed: sentence embedding / plongement de phrases
Base of: Spark NLP§§Spark NLP Python§§Spark NLP Scala / Spark NLP§§Spark NLP Python§§Spark NLP Scala
Implemented by: Top2Vec / Top2Vec
Reference: Cer, D., Yang, Y., Kong, S., Hua, N., Limtiaco, N., John, R. S., Constant, N., Guajardo-Cespedes, M., Yuan, S., Tar, C., Sung, Y.-H., Strope, B., & Kurzweil, R. (2018). Universal sentence encoder. https://doi.org/10.48550/arXiv.1803.11175
Upper Guinea Creole / créole de Haute-Guinée
Broader concept: natural language / langage naturel
Upper Sorbian / haut sorabe
Broader concept: natural language / langage naturel
IETF language tag: hsb
ISO 639-2: hsb
ISO 639-3: hsb
Urarina / urarina
Also known as: Itucali§§Shimacu§§Simacu / 
Broader concept: natural language / langage naturel
IETF language tag: ura
ISO 639-3: ura
Urdu / ourdou
Also known as: Lashkari§§Modern Standard Urdu / urdu
Broader concept: natural language / langage naturel
IETF language tag: ur
ISO 639-1: ur
ISO 639-2: urd
ISO 639-3: urd
Uyghur / ouïghour
Also known as: Uighur / ouïgour
Broader concept: natural language / langage naturel
IETF language tag: ug
ISO 639-1: ug
ISO 639-2: uig
ISO 639-3: uig
Uzbek / ouzbek
Broader concept: natural language / langage naturel
IETF language tag: uz
ISO 639-1: uz
ISO 639-2: uzb
ISO 639-3: uzb
VADER / VADER
Also known as: Valence Aware Dictionary and sEntiment Reasoner / 
Definition: "VADER (Valence Aware Dictionary and sEntiment Reasoner) is a lexicon and rule-based sentiment analysis tool that is specifically attuned to sentiments expressed in social media, and works well on texts from other domains." (source: https://github.com/cjhutto/vaderSentiment)
Définition : Outil d'analyse de sentiments à partir d'un lexique et de règles.
Broader concept: Python library / librairie Python
Application field: generic / générique
Tasks performed: sentiment analysis / analyse de sentiments
Input languages: English / anglais
Programming language: Python
Platforms: Linux§§Windows§§macOS
Interface: command-line interface / interface en ligne de commande
Design country: United States / États-Unis
Licence: MIT License / licence MIT
Base of: vader R package / paquet R vader
Repository: https://github.com/cjhutto/vaderSentiment
Reference: Hutto, C. J., & Gilbert, E. (2015, January 1). VADER: A parsimonious rule-based model for sentiment analysis of social media text. Proceedings of the 8th International Conference on Weblogs and Social Media, ICWSM 2014.
vader R package / paquet R vader
Definition: An R implementation of VADER for sentiment analysis.
Définition : Portage de VADER pour R, outil d'analyse de sentiments à partir d'un lexique et de règles.
Broader concept: R package / paquet R
Application field: generic / générique
Tasks performed: sentiment analysis / analyse de sentiments
Input languages: English / anglais
Platforms: Linux§§Windows§§macOS
Interface: command-line interface / interface en ligne de commande
Licence: MIT License / licence MIT
Based on: VADER / VADER
Uses software: R / R
Repository: https://cran.r-project.org/web/packages/vader/index.html
Vai / vaï
Also known as: Gallinas§§Vy / 
Broader concept: natural language / langage naturel
IETF language tag: vai
ISO 639-2: vai
ISO 639-3: vai
Venda / venda
Also known as: Tshivenda / tshivenḓa
Broader concept: Bantu / langue bantoue
IETF language tag: ve
ISO 639-1: ve
ISO 639-2: ven
ISO 639-3: ven
Venetian / vénitien
Also known as: Venetan / 
Broader concept: natural language / langage naturel
IETF language tag: vec
ISO 639-3: vec
Veps / vepse
Also known as: Vepsian / 
Broader concept: natural language / langage naturel
IETF language tag: vep
ISO 639-3: vep
Vietnamese / vietnamien
Also known as:  / annamite
Broader concept: natural language / langage naturel
IETF language tag: vi
ISO 639-1: vi
ISO 639-2: vie
ISO 639-3: vi
VisualText / VisualText
Definition: Visualtext is an integrated development environment for building information extraction systems, natural language processing systems, and text analyzers.
Définition : VisualText est un environnement de développement intégré pour la construction de systèmes d'extraction d'information, de systèmes de traitement du langage naturel et d'analyseurs de texte.
Broader concept: software application / application logicielle
Application field: generic / générique
Tasks performed: chunking§§information extraction§§information retrieval§§named entity recognition§§summarization / chunking§§extraction d'information§§recherche d'information§§reconnaissance d'entités nommées§§résumé automatique
Input languages: English / anglais
Input data: .txt
Programming language: C++
Platforms: Linux§§Windows
Interface: desktop graphical user interface / interface utilisateur graphique desktop
Design country: United States / États-Unis
Licence: free to use license / licence libre d'utilisation
Vlax Romani / romani vlax
Broader concept: natural language / langage naturel
IETF language tag: rmy
ISO 639-3: rmy
VosViewer / VosViewer
Definition: VosViewer is a software tool for constructing and visualizing bibliometric networks. These networks may for instance include journals, researchers, or individual publications, and they can be constructed based on citation, bibliographic coupling, co-citation, or co-authorship relations. VOSviewer also offers text mining functionality that can be used to construct and visualize co-occurrence networks of important terms extracted from a body of scientific literature.
Définition : VOSviewer est un outil logiciel permettant de construire et de visualiser des réseaux bibliométriques. Ces réseaux peuvent par exemple inclure des revues, des chercheurs ou des publications individuelles, et ils peuvent être construits sur la base de relations de citations, de couplage bibliographique, de co-citations ou de co-auteurs. VOSviewer offre également une fonctionnalité d'exploration de texte qui peut être utilisée pour construire et visualiser des réseaux de cooccurrence de termes importants extraits d'un corpus de littérature scientifique.
Broader concept: software application / application logicielle
Application field: academic information / information académique
Tasks performed: co-occurrence analysis§§PoS tagging / analyse des cooccurrences§§étiquetage morpho-syntaxique
Input languages: English / anglais
Input data: json§§.txt§§.csv
Programming language: Java
Platforms: Linux§§Windows§§macOS
Interface: desktop graphical user interface / interface utilisateur graphique desktop
Design country: Netherlands / Pays-Bas
Reference: Wang W. et al. A Bibliometric Analysis of the First Twenty-Five Years of the International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems, (2018), Int. J. Unc. Fuzz. Knowl. Based Syst. 26, 169-193 https://doi.org/10.1142/S0218488518500095
Voyant / Voyant
Definition: Online environment for reading and analyzing digital texts.
Définition : Environnement en ligne pour la lecture et l'analyse de textes numériques.
Broader concept: software application / application logicielle
Application field: generic / générique
Tasks performed: co-occurrence analysis§§concordance analysis§§collocation§§corpus analysis§§topic detection§§visualization / analyse des cooccurrences§§analyse de concordance§§collocation§§analyse de corpus§§identification de topics§§visualisation
Implements: latent Dirichlet allocation / allocation de Dirichlet latente
Input languages: Arabic§§Bosnian§§Croatian§§Czech§§English§§French§§Hebrew§§Italian§§Japanese§§Portuguese§§Serbian§§Spanish / arabe§§bosnien§§croate§§tchèque§§anglais§§français§§hébreu§§italien§§japonais§§portugais§§serbe§§espagnol
Input data: .txt§§XML§§pdf
Programming language: JavaScript
Interface: web user interface / interface utilisateur web
Design country: Canada / Canada
Licence: free to use license / licence libre d'utilisation
Waama / waama
Also known as: Yoabou§§Yoabu / 
Broader concept: natural language / langage naturel
IETF language tag: wwa
ISO 639-3: wwa
walktrap algorithm / algorithme walktrap
Also known as: walktrap clustering / 
Broader concept: clustering algorithm / algorithme de partitionnement
Implemented by: bibliometrix / bibliometrix
Wallisian / wallisien
Also known as: East Uvean§§ʻUvean / 
Broader concept: natural language / langage naturel
IETF language tag: wls
ISO 639-3: wls
Walloon / wallon
Broader concept: natural language / langage naturel
IETF language tag: wa
ISO 639-1: wa
ISO 639-2: wln
ISO 639-3: wln
WangchanBERTa / WangchanBERTa
Definition: A RoBERTa-based language model for Thai.
Définition : Modèle de langage basé sur RoBERTa pour le thaï.
Broader concept: large language model / grand modèle de langue
Application field: generic / générique
Tasks performed: word embedding / plongement lexical
Implements: transformer / transformeur
Input languages: Thai / thaï
Programming language: Python
Design country: Thailand / Thaïlande
Licence: Apache License Version 2.0 / Apache License Version 2.0
Based on: RoBERTa / RoBERTa
Repository: https://github.com/vistec-AI/thai2transformers
Reference: Lowphansirikul, L., Polpanumas, C., Jantrakulchai, N., & Nutanong, S. (2021). WangchanBERTa : Pretraining transformer-based Thai language models. arXiv:2101.09635 [cs]. http://arxiv.org/abs/2101.09635
Waray / waray-waray
Also known as:  / winaray
Broader concept: natural language / langage naturel
IETF language tag: war
ISO 639-2: war
ISO 639-3: war
WarpLDA / WarpLDA
Definition: WarpLDA is a cache efficient implementation for Latent Dirichlet Allocation.
Définition : WarpLDA est un outil pour la mise en œuvre efficace de cache pour l'allocation de Dirichlet latente.
Broader concept: C++ library / librairie C++
Application field: generic / générique
Tasks performed: topic detection / identification de topics
Implements: latent Dirichlet allocation / allocation de Dirichlet latente
Input languages: English / anglais
Input data: .txt
Programming language: C++
Platforms: Linux
Interface: command-line interface / interface en ligne de commande
Design country: China / Chine
Licence: MIT License / licence MIT
Repository: https://github.com/thu-ml/warplda
Wayuu / wayuu
Also known as: Guajiro / guajiro
Broader concept: natural language / langage naturel
IETF language tag: guc
ISO 639-3: guc
WebAnno / WebAnno
Definition: WebAnno is a general purpose web-based annotation tool for a wide range of linguistic annotations including various layers of morphological, syntactical, and semantic annotations.Additionaly, custom annotation layers can be defined, allowing WebAnno to be used also for non-linguistic annotation tasks.
Définition : WebAnno est un outil général d'annotation basé sur le web pour une large gamme d'annotations linguistiques, y compris diverses couches d'annotations morphologiques, syntaxiques et sémantiques. De plus, des couches d'annotation personnalisées peuvent être définies, permettant à WebAnno d'être utilisé également pour des tâches d'annotation non linguistiques.
Broader concept: software application / application logicielle
Application field: generic / générique
Tasks performed: chunking§§coreference resolution§§dependency parsing§§lemmatization§§named entity recognition§§PoS tagging§§relation extraction§§word sense disambiguation / chunking§§résolution de coréférence§§analyse en dépendances§§lemmatisation§§reconnaissance d'entités nommées§§étiquetage morpho-syntaxique§§extraction de relations§§désambiguïsation du sens des mots
Input languages: English§§German / anglais§§allemand
Input data: json§§.txt
Programming language: Java
Platforms: Linux§§Windows§§macOS
Interface: web user interface§§desktop graphical user interface / interface utilisateur web§§interface utilisateur graphique desktop
Design country: Germany / Allemagne
Licence: Apache License Version 2.0 / Apache License Version 2.0
Weblicht / Weblicht
Definition: WebLicht is an execution environment for automatic annotation of text corpora. Linguistic tools such as tokenizers, part of speech taggers, and parsers are encapsulated as web services, which can be combined by the user into custom processing chains. The resulting annotations can then be visualized in an appropriate way, such as in a table or tree format.
Définition : WebLicht est un environnement d'exécution pour l'annotation automatique de corpus de textes. Les outils linguistiques tels que les tokenizers, les taggers de parties du discours et les parsers sont encapsulés comme des services Web, qui peuvent être combinés par l'utilisateur dans des chaînes de traitement personnalisées. Les annotations résultantes peuvent ensuite être visualisées de manière appropriée, par exemple, sous forme de tableau ou d'arbre.
Broader concept: software application / application logicielle
Application field: generic / générique
Tasks performed: anaphora resolution§§term alignment§§chunking§§coreference resolution§§constituency parsing§§dependency parsing§§lemmatization§§morphological analysis§§named entity recognition§§PoS tagging§§sentence splitting§§stemming§§tokenization§§word sense disambiguation / résolution d'anaphore§§alignement terminologique§§chunking§§résolution de coréférence§§analyse en constituants§§analyse en dépendances§§lemmatisation§§analyse morphologique§§reconnaissance d'entités nommées§§étiquetage morpho-syntaxique§§découpage de phrases§§racinisation§§tokenisation§§désambiguïsation du sens des mots
Input languages: English§§French§§German§§Italian / anglais§§français§§allemand§§italien
Input data: .txt
Programming language: HTML§§Java§§JavaScript§§PHP§§Shell
Interface: desktop graphical user interface§§command-line interface / interface utilisateur graphique desktop§§interface en ligne de commande
Design country: Germany / Allemagne
Licence: MIT License / licence MIT
Repository: https://github.com/weblicht
Welsh / gallois
Broader concept: natural language / langage naturel
IETF language tag: cy
ISO 639-1: cy
ISO 639-2: cym§§wel
ISO 639-3: cym
West Frisian / frison occidental
Also known as: Western Frisian / 
Broader concept: Frisian / langue frisonne
IETF language tag: fy
ISO 639-2: fry
ISO 639-3: fry
Western Persian / persan occidental
Also known as: Iranian Persian / persan iranien
Broader concept: Persian / persan
ISO 639-3: pes
Western Pwo / pwo de l’Ouest
Also known as: Delta Pwo / pwo du delta§§pwo occidental
Broader concept: natural language / langage naturel
IETF language tag: pwo
ISO 639-3: pwo
Wolaitta / Wolaitta
Also known as: Wolayttatto Doonaa / 
Broader concept: natural language / langage naturel
ISO 639-2: wol
ISO 639-3: wol
Wolof / wolof
Broader concept: natural language / langage naturel
IETF language tag: wo
ISO 639-1: wo
ISO 639-2: wol
ISO 639-3: wof§§wol
Word2Vec / Word2Vec
Definition: Algorithm for word embeddings consisting in vectorizing the words in texts from their context using a two-layer neural network.
Définition : Algorithme pour le plongement lexical consistant à vectoriser les mots de textes e à partir de leur contexte à l’aide d’un réseau de neurones à deux couches.
Broader concept: Neural networks models / modèles de réseaux de neurones
Implemented by: AdaGram.jl§§AdaGram Python§§Cortext Manager§§Gensim§§Kashgari§§Polyglot§§PsychWordVec§§Spark NLP§§Spark NLP Python§§Spark NLP Scala§§Word2Vec Python library§§Word2vec.jl§§Word2vec Scala§§lda2vec§§textfeatures§§topicmodels.etm§§word2vec R§§wordVectors / AdaGram.jl§§AdaGram Python§§Cortext Manager§§Gensim§§Kashgari§§Polyglot§§PsychWordVec§§Spark NLP§§Spark NLP Python§§Spark NLP Scala§§librairie Python Word2Vec§§Word2vec.jl§§Word2vec Scala§§lda2vec§§textfeatures§§topicmodels.etm§§paquet R word2vec§§wordVectors
Reference: Mikolov, T., Chen, K., Corrado, G., & Dean, J. (2013). Efficient estimation of word representations in vector space. ArXiv:1301.3781 [Cs]. http://arxiv.org/abs/1301.3781
Word2Vec Python library / librairie Python Word2Vec
Definition: Python interface for Word2Vec.
Définition : Interface Python pour Word2Vec.
Broader concept: Python library / librairie Python
Application field: generic / générique
Tasks performed: word embedding / plongement lexical
Implements: Word2Vec / Word2Vec
Programming language: C§§Python
Platforms: Linux§§Windows§§macOS
Interface: command-line interface / interface en ligne de commande
Design country: United States / États-Unis
Licence: Apache License Version 2.0 / Apache License Version 2.0
Repository: https://github.com/danielfrg/word2vec
Word2vec.jl / Word2vec.jl
Definition: Word2vec in Julia.
Définition : Word2vec en Julia.
Broader concept: Julia library / librairie Julia
Application field: generic / générique
Tasks performed: word embedding / plongement lexical
Implements: Word2Vec / Word2Vec
Input languages: English / anglais
Input data: .txt
Platforms: Linux§§macOS
Interface: command-line interface / interface en ligne de commande
Licence: Apache License Version 2.0 / Apache License Version 2.0
Repository: https://github.com/JuliaText/Word2Vec.jl/§§https://www.juliapackages.com/p/word2vec
Word2vec Scala / Word2vec Scala
Definition: Word2vec in Scala programming language.
Définition : Portage de Word2vec en Scala.
Broader concept: Scala library / librairie Scala
Application field: generic / générique
Tasks performed: word embedding / plongement lexical
Implements: Word2Vec / Word2Vec
Input languages: English / anglais
Programming language: Scala
Platforms: Linux§§Windows§§macOS
Interface: command-line interface / interface en ligne de commande
Design country: United States / États-Unis
Licence: Apache License Version 2.0 / Apache License Version 2.0
Repository: https://github.com/Refefer/word2vec-scala
word embedding / plongement lexical
Also known as: word embeddings / plongement de mot§§plongement de mots
Definition: Learned representations of the ability of words to predict their surrounding lexical context. Method based on deep learning method. Each word is represented by a vector of real numbers. Words appearing in similar contexts are represented by relatively close close vectors.
Définition : Représentations apprises de l’aptitude des mots à prédire leur contexte lexical environnant. Méthode basée sur l’apprentissage profond. Chaque mot est représenté par un vecteur de nombres réels. Les mots apparaissant dans des contextes similaires sont représentés par des vecteurs relativement proches.
Broader concept: entity embeddings / plongement d'entités
WordFreak / WordFreak
Definition: WordFreak is a java-based linguistic annotation tool designed to support human, and automatic annotation of linguistic data as well as employ active-learning for human correction of automatically annotated data.
Définition : WordFreak est un outil d'annotation linguistique basé sur Java, conçu pour prendre en charge l'annotation humaine et automatique des données linguistiques, ainsi que pour utiliser l'apprentissage actif pour la correction humaine des données annotées automatiquement.
Broader concept: software application / application logicielle
Application field: generic / générique
Tasks performed: annotation / annotation
Input languages: English / anglais
Input data: .txt
Programming language: Java
Platforms: Linux§§Windows§§macOS
Interface: web user interface / interface utilisateur web
Design country: United States / États-Unis
Licence: MPL v1.1 / MPL v1.1
Repository: http://wordfreak.sourceforge.net/
WordTokenizers.jl / WordTokenizers.jl
Definition: Tokenizers in Julia.
Définition : Tokenisation en Julia.
Broader concept: Julia library / librairie Julia
Application field: generic / générique
Tasks performed: tokenization / tokenisation
Programming language: Julia
Platforms: Linux§§Windows§§macOS
Interface: command-line interface / interface en ligne de commande
Licence: Apache License Version 2.0 / Apache License Version 2.0
Repository: https://github.com/JuliaText/WordTokenizers.jl
Wordfish / Wordfish
Definition: "Wordfish is a Poisson scaling model of one-dimensional document positions (Slapin and Proksch 2008). Wordfish also allows for scaling documents, but compared to Wordscores reference scores/texts are not required. Wordfish is an unsupervised one-dimensional text scaling method, meaning that it estimates the positions of documents solely based on the observed word frequencies." (source: https://tutorials.quanteda.io/machine-learning/wordfish/)
Définition : Algorithme de mise à l'échelle unidimensionnelle de textes à partir des fréquences de mots générés selon une loi de Poisson.
Broader concept: naive Bayes classifier / classifieur bayésien naïf
Implemented by: quanteda / quanteda
Reference: Slapin, J. B., & Proksch, S.-O. (2008). A scaling model for estimating time-series party positions from texts. American Journal of Political Science, 52(3), 705–722. https://doi.org/10.1111/j.1540-5907.2008.00338.x
X-Means / X-moyennes
Broader concept: k-means / k-moyennes
Implemented by: RWeka / RWeka