EstNLTK

**EstNLTK** on teekide kogumik, mis on mõeldud eestikeelsete tekstide töötluseks. EstNLTK on kirjutatud programmeerimiskeeles Python.

EstNLTK on projektipõhiselt koostamisel Tartu Ülikoolis Sven Lauri juhtimisel. Projektide tulemuse eesmärgiks on ühendada juba varem loodud eesti keele töötluse programmid uute loodavate ja parandatud versioonidega ning teha ühiselt kättesaadavaks kõigile soovijatele. Arendamist finantseerib Haridus- ja teadusministeerium, riikliku programmiga Eesti keeletehnoloogia.

## EstNLTK võimalused
Aastal 2016 lõppenud projekti tulemusena on teegi erinevaid versioone võimalik installida Anaconda paketihaldussüsteemist. Versioonis 1.4 on liidestatud olemasolevad tööriistad ühe teegi alla. Keeletehnoloogilised operatsioonid vahetavad andmeid läbi Pythoni klasside. Versioonis 1.6 on suurendatud rakenduste tõrkekindlust ning lisatud on töövoog, mis parandab tüüpvigu. Veel on mugavad Eesti WordNet-i ja Vikipeedia kasutamisvõimalused ning mitmed rakendused andmetüüpide selekteerimiseks ja visualiseerimiseks.

Aastal 2017 lõppenud projekti tulemusena on versioon 1.6 uuendatud ning vastava litsentsi alusel kõigile kättesaadav. Lisaks 1.4 versiooni funktsioonidele on võimalik analüüsida ka kirjakeelest erinevaid tekste, mille jaoks on kasutatud lihtsustus- ja normaliseerimisreegleid, paigutatuna META-SHARE'i keskkonda. Olemas on ka võimalused sõnestuse mitmesuse ja fraaside jaoks. Operatsioone on hakatud liidestama analüüsikeskkonnaga WebLicht.

### EstNLTK tööriistad
EstNLTK teek võimaldab sõnapiiride ja (osa)lausepiiride tuvastamist, sõnade algvormide, sõnaliikide ning morfoloogiliste analüüside ja sünteeside määramist. Veel tuvastab see nimeolemeid ja ajaväljendeid, esitades ka viimaste semantikat. Olemas on liidestus eesti WordNet-iga ning võimalus teha pindsüntaktilist või sõltuvussüntaktilist analüüsi.

*Texts-viewer* on veebitööriist, mille abil saab tekste käsitsi mustrite alusel märgendada ja eraldusmustreid testida.

*Volcanoplot* on käsureatööriist, mille abil saab võrrelda visuaalselt kahte CSV-sagedusloendit. Antud tööriist on HTML-väljundiga.

*Cluster-labelling-plot* on Jupyteri-põhine andmepunktiklastrite klassifitseerimise tööriist, mille abil saab võrrelda ja/või hinnata tulemusi.

*Textclassifier* on tööriist andmete kategoriseerimiseks.

*Ner-tagger* on veebitööriist, mille abil saab eelkõige nimeolemeid märgendada ning teksti annoteerida.

*Gap-tagger* on veebipõhine tööriist, mille abil saab lasta kasutajal lauses täita lünk etteantud valikute põhjal.

*Episode-miner* on tööriist, mille abil on võimalik leida tekstist tihemini esinevad (tähe-/sõna-)ühendid.

*Pattern-examiner* on tööriist, mille abil saab hinnata tekstihulkade sarnasust, neid klasterdada ja filtreerida.

## Edasiarendused
Lisaks olemasolevatele võimalustele arendatakse teekide kogumikku pidevalt edasi. Praegu on arendamisel suunad, et eestikeelsete tekstide töötlust saaksid teha ka mitteprogrammeerijad. Veebiteenuste abil oleks võimalik analüüsida tekste ka graafilises keskkonnas WebLicht.

Samuti arendatakse erinevate tekstitöötluste võimaluste hulka ning parandatakse olemasolevaid võimalusi erandite puhuks.

## Kasutusalad
EstNTLK on loodud kasutamiseks kõigile soovijatele. Hetkel on kõige suuremad kasutusalad teadustöös, peamiselt Tartu Ülikooli keeletehnoloogia ja arvutilingvistika uurimisrühmades.

Tartu Ülikoolis loetakse aineid, mille eesmärk on õpetada antud teeki kasutama, õppematerjalid on internetis avalikult kättesaadavad.

## Vaata ka
* Keeletehnoloogia
* Arvutilingvistika

## Viited

## Välislingid
* Haridus- ja Teadusministeeriumi keeletehnoloogia teadus- ja arendustegevuse programm "Eesti keeletehnoloogia"
* EstNLTK dokumentatsioon