SpaCy

spaCy është një librari softuerësh me burim të hapur për përpunim të avancuar të gjuhës natyrore, e shkruar në gjuhët e programimit Python dhe Cython . Choi et al. (2015).   Libraria është botuar nën licencën MIT dhe zhvilluesit kryesorë të saj janë Matthew Honnibal dhe Ines Montani, themeluesit e kompanisë së softuerit Explosion.

Ndryshe nga NLTK, e cila përdoret gjerësisht për mësimdhënie dhe kërkime akademike, spaCy fokusohet në ofrimin e softuerit për përdorim në prodhim.   spaCy gjithashtu mbështet rrjedhat e punës të mësimit të thellë që lejojnë lidhjen e modeleve statistikore të trajnuara nga libraritë e njohura të mësimit të makinerive si TensorFlow, PyTorch ose MXNet përmes librarisë së saj të mësimit të makinës, Thinc.   Duke përdorur Thinc për backend-in e tij, spaCy përmban modele të rrjetit nervor të thurur për etiketimin e pjesës së të folurit, shkoqitjen e varësisë, kategorizimin e tekstit dhe njohjen e entitetit të emërtuar (NER) . Modelet e parandërtuara të rrjetave nervore statistikore për të kryer këto detyra janë të gatshme në 23 gjuhë mes të tjerave anglisht, portugalisht, spanjisht, rusisht dhe kinezisht, dhe ekziston gjithashtu një model NER shumë-gjuhësh. Mbështetja shtesë për tokenizimin për më shumë se 65 gjuhë i lejon përdoruesit të trajnojnë modelet e personalizuara edhe në grupet e tyre të të dhënave. 

 Karakteristikat kryesore 

 Tokenizimi jo shkatërrues
 Mbështetje për "Alpha tokenization" në mbi 65 gjuhë 
 Mbështetje e integruar për përbërësit e pipave të trajnueshme si njohja e entitetit me emër, etiketimi i pjesës së të folurit, analizimi i varësisë, klasifikimi i tekstit, Lidhja e entitetit dhe më shumë
 Modele statistikore për 19 gjuhë 
 Mësimi me shumë detyra me transformatorë të paratrajnuar si BERT
 Mbështetje për modelet me porosi në PyTorch, TensorFlow dhe korniza të tjera
 Shpejtësia dhe saktësia e kohës së fundit 
 Sistemi i trajnimit gati për prodhimin
 Vizualizues të integruar për sintaksën dhe entitetet e emërtuara
 Paketim i lehtë i modelit, vendosje dhe menaxhim i rrjedhës së punës

 Zgjatime dhe vizualizues 
alt=Dependency parse tree visualization generated with the displaCy visualizer|parapamje|500x500px| Vizualizimi i pemës së analizës së varësisë i krijuar me vizualizuesin displaCy
spaCy vjen me disa shtesa dhe vizualizime që janë të gatshme si librari falas, me burim të hapur :

 Thinc: Një librari mësimi makinerik e optimizuar për përdorimin e CPU-së dhe mësimin e thellë me input teksti .
 sense2vec: Një librari për të llogaritur ngjashmëritë mes fjalëve bazuar në teknikën Word2vec.Trask et al. (2015). sense2vec - A Fast and Accurate Method for Word Sense Disambiguation In Neural Word Embeddings.
 displaCy: Një vizualizues i pemëve të varësisë open-source i ndërtuar me JavaScript, CSS dhe SVG.
 displaCyENT: Një vizualizues open-source i njohjes së entitetit të emërtuar i ndërtuar me JavaScript dhe CSS.