datasets-CNRS/ThesoTM huggingface dataset:
JVnSegmenter / JVnSegmenter
Definition: "JVnSegmenter is a Java-based and open-source Vietnamese word segmentation tool. " (source:https://jvnsegmenter.sourceforge.net/).
Définition : Librairie Java pour la segmentation des mots en Vietnamien..
Broader concept: Java library / librairie Java
Tasks performed: word segmentation / segmentation de mots
Implements: conditional random field§§support vector machine / champ aléatoire conditionnel§§machine à vecteurs de support
Input languages: Vietnamese§§command-line interface / vietnamien§§interface en ligne de commande
Programming language: Java
Design country: Japan§§Vietnam / Japon§§Vietnam
Licence: free / libre
Reference: Nguyen, C.-T., Nguyen, T.-K., Phan, X.-H., Nguyen, L.-M., & Ha, Q.-T. (2006). Vietnamese Word Segmentation with CRFs and SVMs: An Investigation. https://jvnsegmenter.sourceforge.net/vwseg.pdf
Japanese / japonais
Broader concept: natural language / langage naturel
IETF language tag: ja
ISO 639-1: ja
ISO 639-2: jpn
ISO 639-3: jpn
Java library / librairie Java
Broader concept: software library / bibliothèque logicielle
Java Automatic Term Extraction / Java Automatic Term Extraction
Definition: Java Automatic Term Extraction toolkit is a library of state-of-the-art term extraction algorithms and framework for developing term extraction algorithms.
Définition : Java Automatic Term Extraction toolkit est une bibliothèque d'algorithmes d'extraction de termes et un framword pour le développement de tels algorithmes.
Broader concept: Java library / librairie Java
Application field: generic / générique
Tasks performed: term extraction / extraction de termes
Input languages: English / anglais
Programming language: Java
Interface: command-line interface / interface en ligne de commande
Design country: United Kingdom / Royaume-Uni
Licence: GNU LGPL v3 / GNU LGPL v3
Javanese / javanais
Broader concept: natural language / langage naturel
IETF language tag: jv
ISO 639-1: jv
ISO 639-2: jav
ISO 639-3: jav
Javascript library / librairie Javascript
Broader concept: software library / bibliothèque logicielle
Jola-Fonyi / diola-fogny
Also known as: Jola§§Kujamataak / diola
Broader concept: natural language / langage naturel
IETF language tag: dyo
ISO 639-3: dyo
Julia / Julia
Broader concept: programming language / langage de programmation
Related: AdaGram.jl§§AdaGram Python§§DependencyTrees.jl§§GloVe jl§§Glowe.jl§§TextAnalysis.jl§§TopicModels.jl§§WordTokenizers.jl / AdaGram.jl§§AdaGram Python§§DependencyTrees.jl§§GloVe.jl§§Glowe.jl§§TextAnalysis.jl§§TopicModels.jl§§WordTokenizers.jl
Julia library / librairie Julia
Also known as: Julia package / Paquet Julia
Broader concept: software library / bibliothèque logicielle
KAF annotator / KAF annotator
Definition: Stand-alone application for annotating KAF files with any set of tags to any level. This annotator is used to create gold-standard data for evaluating the Kybot output.
Définition : Application autonome pour annoter des fichiers KAF avece tout type de marqueurs et à tous niveaux. Cet annotateur est utilisé pour créer des données de référence pour évaluer la sortie Kybot.
Broader concept: Java library / librairie Java
Application field: generic / générique
Tasks performed: text annotation / annotation textuelle
Programming language: Java
Interface: command-line interface / interface en ligne de commande
Design country: Europe§§Japan / Europe§§Japon
Repository: https://github.com/cltl/KafAnnotator
KB-BERT / KB-BERT
Definition: A BERT model for Swedish.
Définition : Modèle BERT pour le suédois.
Broader concept: large language model / grand modèle de langue
Application field: generic / générique
Tasks performed: word embedding / plongement lexical
Implements: transformer / transformeur
Input languages: Swedish / suédois
Programming language: Python
Design country: Sweden / Suède
Based on: BERT / BERT
Repository: https://github.com/Kungbib/swedish-bert-models
Reference: Malmsten, M., Börjeson, L., & Haffenden, C. (2020). Playing with words at the national library of Sweden—Making a swedish BERT. arXiv:2007.01658 [cs]. http://arxiv.org/abs/2007.01658
KEA  / KEA 
Definition: KEA is an algorithm for extracting keyphrases from text documents. It can be either used for free indexing or for indexing with a controlled vocabulary.
Définition : KEA est un algorithme permettant d'extraire d'expressions-clés de documents textuels. Il peut être utilisé soit pour une indexation libre, soit pour une indexation avec un vocabulaire contrôlé.
Broader concept: Java library / librairie Java
Application field: generic / générique
Tasks performed: keyword extraction / extraction de mots-clés
Input languages: English§§French§§Spanish / anglais§§français§§espagnol
Input data: .txt
Programming language: Java
Platforms: Linux§§Windows§§macOS
Interface: command-line interface / interface en ligne de commande
Design country: New Zealand / Nouvelle-Zélande
Licence: GNU GPL v3 / GNU GPL v3
KH coder / KH coder
Definition: KH Coder is a free software for quantitative content analysis or text mining. It is also utilized for computational linguistics. You can analyze Japanese, English, French, German, Italian, Portuguese and Spanish text with KH Coder. Also, Chinese (simplified), Korean and Russian language data can be analyzed with the latest Alpha release (Version 3).
Définition : KH Coder est un logiciel gratuit d'analyse quantitative de contenu ou de fouille de textes. Il est également utilisé pour la linguistique computationnelle. Vous pouvez analyser des textes en japonais, anglais, français, allemand, italien, portugais et espagnol avec KH Coder. Les données en chinois (simplifié), coréen et russe peuvent également être analysées avec la dernière version Alpha (Version 3).
Broader concept: software application / application logicielle
Application field: generic / générique
Tasks performed: co-occurrence analysis§§concordance analysis§§lemmatization§§PoS tagging§§stemming§§visualization / analyse des cooccurrences§§analyse de concordance§§lemmatisation§§étiquetage morpho-syntaxique§§racinisation§§visualisation
Implements: multidimensional scaling§§naive Bayes classifier§§hierarchical clustering§§bayesian model / échelonnement multidimensionnel§§classifieur bayésien naïf§§partitionnement hiérarchique§§modèle bayésien
Input languages: Catalan§§Chinese§§Dutch§§English§§French§§German§§Italian§§Japanese§§Korean§§Portuguese§§Russian§§Slovenian§§Spanish / catalan§§chinois§§néerlandais§§anglais§§français§§allemand§§italien§§japonais§§coréen§§portugais§§russe§§slovène§§espagnol
Input data: .txt
Programming language: Perl
Platforms: Linux§§Windows§§macOS
Interface: desktop graphical user interface / interface utilisateur graphique desktop
Design country: Japan / Japon
Licence: GNU GPL v3§§GNU GPL v2 / GNU GPL v3§§GNU GPL v2
Repository: https://github.com/ko-ichi-h/khc/releases/tag/3.Beta.01h/
KIWI / KIWI
Definition: KIWI is a software dedicated to the extraction of keywords from a textual document. From an input text, or preferably a normalized text, KIWI outputs a weighted word vector. This ranked keyword vector can then be used as a document description or for indexing purposes.
Définition : KIWI est un logiciel dédié à l'extraction de mots-clés d'un document textuel. A partir d'un texte d'entrée, de préférence un texte normalisé, KIWI produit un vecteur de mots pondérés. Ce vecteur de mots clés classés peut ensuite être utilisé comme description de document ou à des fins d'indexation.
Broader concept: software application / application logicielle
Application field: generic / générique
Tasks performed: keyword extraction / extraction de mots-clés
Platforms: Linux
Design country: France / France
Uses software: TreeTagger / TreeTagger
KLUE-BERT / KLUE-BERT
Definition: A BERT language model for Korean.
Définition : Modèle de langage BERT pour le coréen.
Broader concept: large language model / grand modèle de langue
Application field: generic / générique
Tasks performed: word embedding / plongement lexical
Implements: transformer / transformeur
Input languages: Korean / coréen
Programming language: Python
Design country: South Korea / Corée du Sud
Licence: CC BY-NC-SA 4.0 / CC BY-NC-SA 4.0
Based on: BERT / BERT
Repository: https://github.com/teamgaon/KLUE-1
Reference: Park, S., Moon, J., Kim, S., Cho, W. I., Han, J., Park, J., Song, C., Kim, J., Song, Y., Oh, T., Lee, J., Oh, J., Lyu, S., Jeong, Y., Lee, I., Seo, S., Lee, D., Kim, H., Lee, M., … Cho, K. (2021). KLUE : Korean language understanding evaluation. arXiv:2105.09680 [cs]. http://arxiv.org/abs/2105.09680
KLUE-RoBERTa / KLUE-RoBERTa
Definition: A RoBERTa language model for Korean.
Définition : Modèle de langage basé sur RoBERTa pour le coréen.
Broader concept: large language model / grand modèle de langue
Application field: generic / générique
Tasks performed: word embedding / plongement lexical
Implements: transformer / transformeur
Input languages: Korean / coréen
Programming language: Python
Design country: South Korea / Corée du Sud
Licence: CC BY-NC-SA 4.0 / CC BY-NC-SA 4.0
Based on: RoBERTa / RoBERTa
Repository: https://github.com/audrb96/KLUE-STS-roberta-base
Reference: Park, S., Moon, J., Kim, S., Cho, W. I., Han, J., Park, J., Song, C., Kim, J., Song, Y., Oh, T., Lee, J., Oh, J., Lyu, S., Jeong, Y., Lee, I., Seo, S., Lee, D., Kim, H., Lee, M., … Cho, K. (2021). KLUE : Korean language understanding evaluation. arXiv:2105.09680 [cs]. http://arxiv.org/abs/2105.09680
KM-BERT / KM-BERT
Also known as: Korean-Medical-BERT / 
Definition: A language model pre-trained on a medical corpus for Korean.
Définition : Modèle de langage pré-entrainé sur un corpus médical pour le coréen.
Broader concept: large language model / grand modèle de langue
Application field: medicine§§generic / médecine§§générique
Tasks performed: word embedding / plongement lexical
Implements: transformer / transformeur
Input languages: Korean / coréen
Programming language: Python
Design country: South Korea / Corée du Sud
Based on: BERT / BERT
Repository: https://github.com/KU-RIAS/KM-BERT-Korean-Medical-BERT
Reference: Kim, Y., Kim, J.-H., Lee, J. M., Jang, M. J., Yum, Y. J., Kim, S., Shin, U., Kim, Y.-M., Joo, H. J., & Song, S. (2022). A pre-trained BERT for Korean medical natural language processing. Scientific Reports, 12(1), 13847. https://doi.org/10.1038/s41598-022-17806-8
KR-BERT / KR-BERT
Definition: A BERT language model for Korean utilizing a smaller vocabulary and dataset.
Définition : Un modèle de langage BERT pour le coréen utilisant un vocabulaire et un ensemble de données plus petits.
Broader concept: large language model / grand modèle de langue
Application field: generic / générique
Tasks performed: word embedding / plongement lexical
Implements: transformer / transformeur
Input languages: Korean / coréen
Programming language: Python
Design country: South Korea / Corée du Sud
Based on: BERT / BERT
Repository: https://github.com/snunlp/KR-BERT
Reference: Lee, S., Jang, H., Baik, Y., Park, S., & Shin, H. (2020). KR-BERT : A small-scale Korean-specific language model. arXiv:2008.03979 [cs]. http://arxiv.org/abs/2008.03979
Kabiye / kabiyè
Broader concept: natural language / langage naturel
IETF language tag: kbp
ISO 639-3: kbp
Kabyle / kabyle
Also known as: Kabylian / 
Broader concept: Berber / berbère
IETF language tag: kab
ISO 639-2: kab
ISO 639-3: kab
Kandawo / kandawo
Also known as: Narake / 
Broader concept: natural language / langage naturel
ISO 639-3: gam
Kannada / kannada
Also known as: Kanarese / canarais§§kannara
Broader concept: natural language / langage naturel
IETF language tag: kn
ISO 639-1: kn
ISO 639-2: kan
ISO 639-3: kan
Kannauji / kannauji
Broader concept: natural language / langage naturel
IETF language tag: bjj
ISO 639-3: bjj
Kanuri / kanouri
Broader concept: natural language / langage naturel
IETF language tag: kr
ISO 639-1: kr
ISO 639-2: kau
ISO 639-3: kau
Kaonde / Chikaonde
Also known as: KiiKaonde / 
Broader concept: Bantu / langue bantoue
IETF language tag: kqn
ISO 639-2: bnt
ISO 639-3: kqn
Kapampangan / pampangue
Broader concept: natural language / langage naturel
IETF language tag: pam
ISO 639-2: pam
ISO 639-3: pam
Kaqchikel / cakchiquel
Also known as: Cachiquel§§Cakchique / 
Broader concept: natural language / langage naturel
IETF language tag: cak
ISO 639-3: cak
Kasena / kasséna
Also known as: Kasem / kasim§§kassem
Broader concept: natural language / langage naturel
IETF language tag: xsm
ISO 639-2: nic
ISO 639-3: xsm
Kashgari / Kashgari
Definition: Transfer learning framework for NLP tasks.
Définition : Librairie Python d'apprentissage par transfert pour des tâches de traitement automatique du langage.
Broader concept: Python library / librairie Python
Application field: generic / générique
Tasks performed: word embedding§§named entity recognition§§text annotation§§text categorization / plongement lexical§§reconnaissance d'entités nommées§§annotation textuelle§§catégorisation de textes
Implements: long short-term memory§§recurrent neural network§§Word2Vec / mémoire court et long terme§§réseau de neurones récurrents§§Word2Vec
Programming language: Python
Platforms: Linux§§Windows§§macOS
Interface: command-line interface / interface en ligne de commande
Design country: China / China
Licence: Apache License Version 2.0 / Apache License Version 2.0
Based on: BERT§§GPT-2 / BERT§§GPT-2
Repository: https://github.com/BrikerMan/Kashgari
Kashmiri / cachemiri
Also known as: Koshur / kashmiri
Broader concept: natural language / langage naturel
IETF language tag: ks
ISO 639-1: ks
ISO 639-2: kas
ISO 639-3: kas
Kazakh / kazakh
Broader concept: natural language / langage naturel
IETF language tag: kk
ISO 639-1: kk
ISO 639-2: kaz
ISO 639-3: kaz
KeBioLM / KeBioLM
Definition: "a biomedical pretrained language model that explicitly leverages knowledge from the UMLS knowledge bases [Unified Medical Language System]" (Yuan et al., 2021).
Définition : « modèle de langage biomédical pré-entraîné qui exploite explicitement les connaissances de l’UMLS [Unified Medical Language System]. » (Yuan et al., 2021).
Broader concept: large language model / grand modèle de langue
Application field: biology§§medicine / biologie§§médecine
Tasks performed: word embedding / plongement lexical
Implements: transformer / transformeur
Input languages: English / anglais
Programming language: Python
Design country: China / Chine
Repository: https://github.com/GanjinZero/KeBioLM
Reference: Yuan, Z., Liu, Y., Tan, C., Huang, S., & Huang, F. (2021). Improving biomedical pretrained language models with knowledge. https://doi.org/10.48550/arXiv.2104.10344
Kekchi / kekchi
Also known as: Kekchí§§Kʼekchiʼ§§Qʼeqchiʼ / q'eqchi'
Broader concept: natural language / langage naturel
ISO 639-3: kek
KeyATM / KeyATM
Definition: Keyword-assisted topic modeling.
Définition : Modélisation de topiques à l'aide de mots-clés.
Broader concept: R package / paquet R
Application field: generic / générique
Tasks performed: topic detection / identification de topics
Implements: latent Dirichlet allocation / allocation de Dirichlet latente
Programming language: C++§§R language
Platforms: Linux§§Windows§§macOS
Interface: command-line interface / interface en ligne de commande
Licence: GNU GPL v3 / GNU GPL v3
Uses software: R / R
Repository: https://cran.r-project.org/web/packages/keyATM/index.html§§https://github.com/keyATM/keyATM
Reference: Eshima, S., Imai, K., & Sasaki, T. (2021). Keyword assisted topic models (arXiv:2004.05964). arXiv. https://doi.org/10.48550/arXiv.2004.05964
KeyBERT / KeyBERT
Definition: "KeyBERT is a minimal and easy-to-use keyword extraction technique that leverages BERT embeddings to create keywords and keyphrases that are most similar to a document." (Source: https://github.com/MaartenGr/KeyBERT).
Définition : "KeyBERT est une technique d'extraction de mots-clés minimale et facile à utiliser qui exploite les plongements BERT pour créer des mots-clés et des expressions-clés qui sont les plus similaires à un document." (Source : https://github.com/MaartenGr/KeyBERT).
Broader concept: Python library / librairie Python
Application field: generic / générique
Tasks performed: keyword extraction / extraction de mots-clés
Implements: transformer / transformeur
Input languages: English / anglais
Programming language: Python
Platforms: Linux§§Windows§§macOS
Interface: command-line interface / interface en ligne de commande
Design country: Netherlands / Pays-Bas
Licence: MIT License / licence MIT
Based on: BERT / BERT
Repository: https://github.com/MaartenGr/KeyBERT
Keyterm  / Keyterm 
Definition: Keyterm allows to rank extracted terms and concepts according to a relevance score estimating how well they capture the most important and discriminant subject matter of a document given a background collection of technical and scientific documents.
Définition : Keyterm permet de classer les termes et les concepts extraits en fonction d'un score de pertinence estimant leur capacité à déterminer le sujet le plus important et le plus discriminant d'un document, dans une collection de documents techniques et scientifiques.
Broader concept: software application / application logicielle
Application field: generic / générique
Tasks performed: keyword extraction / extraction de mots-clés
Input data: pdf
Interface: application programming interface / interface de programmation d’application
Design country:  / France
Licence: free to use license / licence libre d'utilisation
Khakas / khakasse
Also known as: Xakas / 
Broader concept: natural language / langage naturel
IETF language tag: kjk
ISO 639-2: tut
ISO 639-3: kjk
Kharia / kharia
Broader concept: natural language / langage naturel
ISO 639-3: khr
Khasi / khasi
Also known as: Ka Ktien Khasi / 
Broader concept: natural language / langage naturel
IETF language tag: kha
ISO 639-2: kha
ISO 639-3: kha
Khmer / khmer
Broader concept: natural language / langage naturel
IETF language tag: km§§kxm
ISO 639-1: km
ISO 639-2: khm§§mkh
ISO 639-3: khm§§kxm
ISO 639-5: mkh
Kikuyu / kikuyu
Also known as: Gikuyu / gikuyu§§kikouyou
Broader concept: Bantu / langue bantoue
IETF language tag: ki
ISO 639-1: ki
ISO 639-2: kik
ISO 639-3: kik
Kimbundu / kimbundu
Also known as:  / kimboundou
Broader concept: Bantu / langue bantoue
IETF language tag: kmd
ISO 639-2: kmd
ISO 639-3: kmd
Kinyarwanda / kinyarwanda
Also known as: Ikinyarwanda§§Rwanda§§Rwandan / ikinyarwanda§§kinyaruanda§§runyarwanda
Broader concept: natural language / langage naturel
IETF language tag: rw
ISO 639-1: rw
ISO 639-2: kin
ISO 639-3: kin
Kyrgyz / kirghize
Also known as:  / kirghiz
Broader concept: natural language / langage naturel
IETF language tag: ky
ISO 639-1: ky
ISO 639-2: kir
ISO 639-3: kir
Kirundi / kirundi
Also known as: rundi / roundi§§rundi
Broader concept: Bantu / langue bantoue
IETF language tag: rn
ISO 639-1: rn
ISO 639-2: run
ISO 639-3: run
knowledge area / domaine de connaissance
Also known as: knowledge field§§scientific discipline / champ de connaissance§§discipline scientifique
Broader concept: information content entity / entité de contenu informationnel
KoBERT / KoBERT
Definition: A BERT model for Korean.
Définition : Modèle BERT pour le coréen.
Broader concept: large language model / grand modèle de langue
Application field: generic / générique
Tasks performed: word embedding / plongement lexical
Implements: transformer / transformeur
Input languages: Korean / coréen
Programming language: Python
Design country: South Korea / Corée du Sud
Licence: Apache License Version 2.0 / Apache License Version 2.0
Based on: BERT / BERT
Repository: https://github.com/SKTBrain/KoBERT
KoGPT2 / KoGPT2
Definition: Korean GPT-2 pretrained cased (source: https://github.com/SKT-AI/KoGPT2)
Définition : Modèle de langage basé sur GPT-2 pour le coréen.
Broader concept: large language model / grand modèle de langue
Application field: generic / générique
Tasks performed: word embedding / plongement lexical
Implements: transformer / transformeur
Input languages: Korean / coréen
Programming language: Python
Design country: South Korea / Corée du Sud
Licence: CC BY-NC-SA 4.0 / CC BY-NC-SA 4.0
Based on: GPT-2 / GPT-2
Repository: https://github.com/SKT-AI/KoGPT2
Kodava / kodagu
Broader concept: natural language / langage naturel
IETF language tag: kfa
ISO 639-3: kfa
Konjo / konjo
Also known as: Konzo§§Olukonzo§§Rukonjo§§lhukonzo / lhukonzo
Broader concept: Bantu / langue bantoue
IETF language tag: koo
ISO 639-3: koo
Konkani / konkani
Broader concept: natural language / langage naturel
IETF language tag: kok
ISO 639-2: kok
ISO 639-3: kok
Kongo / kongo
Also known as: Kikongo / Kikongo
Broader concept: Bantu / langue bantoue
IETF language tag: kg
ISO 639-1: kg
ISO 639-2: kon
ISO 639-3: kon
KoreALBERT / KoreALBERT
Definition: An ALBERT model for Korean.
Définition : Modèle ALBERT pour le coréen.
Broader concept: large language model / grand modèle de langue
Application field: generic / générique
Tasks performed: word embedding / plongement lexical
Implements: transformer / transformeur
Input languages: Korean / coréen
Design country: South Korea / Corée du Sud
Based on: ALBERT / ALBERT
Reference: Lee, H., Yoon, J., Hwang, B., Joe, S., Min, S., & Gwon, Y. (2021). KoreALBERT : Pretraining a lite BERT model for Korean language understanding. arXiv:2101.11363 [cs]. http://arxiv.org/abs/2101.11363
Korean / coréen
Broader concept: natural language / langage naturel
IETF language tag: ko
ISO 639-1: ko
ISO 639-2: kor
ISO 639-3: kor
Kpelle / kpèllé
Also known as:  / guerzé§§kpelle§§kpellé§§kpèlè
Broader concept: Bantu / langue bantoue
IETF language tag: kpe
ISO 639-2: kpe
ISO 639-3: gkp§§kpe
Krio / krio
Broader concept: natural language / langage naturel
IETF language tag: kri
ISO 639-3: kri
Kurdish / kurde
Broader concept: natural language / langage naturel
IETF language tag: ku
ISO 639-1: ku
ISO 639-2: kur
ISO 639-3: kur
Kurmanji / kurmandji
Also known as: Northern Kurdish / kurde du Nord§§kurde septentrional
Broader concept: Kurdish / kurde
IETF language tag: kmr
ISO 639-1: ku
ISO 639-2: ira
ISO 639-3: kmr
Kwangali / Kwangali
Broader concept: Bantu / langue bantoue
ISO 639-3: kwn
Kwanyama / Kuanyama
Also known as: Cuanhama / Oshikwanyama
Broader concept: natural language / langage naturel
IETF language tag: kj
ISO 639-1: kj
ISO 639-2: kua
ISO 639-3: kua
LAPPS Grid / LAPPS Grid
Definition: LAPPS grid is an open, interoperable web service platform for natural language processing (NLP) research and development.
Définition : LAPPS grid est une plate-forme de services web ouverte et interopérable pour la recherche et le développement sur le traitement du langage naturel (NLP).
Broader concept: software application / application logicielle
Application field: generic / générique
Tasks performed: chunking§§coreference resolution§§event detection§§keyword extraction§§named entity recognition§§parsing§§PoS tagging§§relation extraction§§sentence splitting§§tokenization§§visualization / chunking§§résolution de coréférence§§détection d'évènements§§extraction de mots-clés§§reconnaissance d'entités nommées§§analyse syntaxique§§étiquetage morpho-syntaxique§§extraction de relations§§découpage de phrases§§tokenisation§§visualisation
Interface: web user interface§§Web service / interface utilisateur web§§service Web
Design country: United States / États-Unis
Licence: Apache License Version 2.0§§free to use license / Apache License Version 2.0§§licence libre d'utilisation