Distributiivne semantika

Distributiivne semantika on teadusharu, mis uurib ja arendab teooriaid ja meetodeid keeleelementide tähenduslike sarnasuste mõõtmiseks ja kategoriseerimiseks nende distributsiooni kaudu. Lähenemise alus on distributiivse semantika hüpotees, mille järgi esinevad sarnase tähendusega sõnad sarnases kontekstis.

 Distributiivse semantika hüpotees 
Distributiivse semantika hüpotees lingvistikas on tuletatud keelekasutuse semantilisest teooriast: sõnu, mida kasutatakse ja mis esinevad sarnastest kontekstides, kalduvad väljendama sarnast tähendust. Hüpoteesi kõige levinum definitsioon on J. R. Firthi levitatud "a word is characterized by the company it keeps" (sõna kirjeldab tema kontekst) . Distributiivse semantika hüpoteesi võib pidada statistilise semantika aluseks. Kuigi hüpotees ise jõudis teadusesse lingvistika (täpsemalt fonoloogia) kaudu, on sellele tähelepanu pööratud ka kognitiivteaduses sõnakasutuse konteksti uurimisel. Sarnasuslik üldistuslik keeleõppeteooria toetub just distributiivse semantika hüpoteesile: idee, mille kohaselt suudavad lapsed harvaesinevaid sõnu kasutada just sarnaste sõnade distributsiooni kaudu.  

 Distributiivse semantika modelleerimine 
Distributiivne semantika võimaldab mudelites rakendatuna mõõta keeleelementide (nt sõnatähenduste, tekstide) sarnasusi. Mudelite üldine tööpõhimõte on järgmine: distributiivne info (lingvistilise elemendi esinemistingimused teiste elementide suhtes) kogutakse kokku vektoritena (ehk leitakse sõnade vektoresitused) ning seejärel esitatakse elementide tähenduslik sarnasus nende vektorite sarnasuse kaudu. Vektorite abil on võimalik uurida erinevaid sarnasusi: temaatilise sarnasuste leidmiseks vaadeldakse seda, millistes tekstiosades (nt pealkirjas, sisuosas, tabelis jne) keeleelement esineb; paradigmaatilised sarnasused põhinevad koosesinemisel ehk milliste teiste elementidega keeleelement koos esineb. Samasugust infot sisaldavaid vektoreid saab kasutada ka süntagmaatiliste sarnasuste leidmisel, kui vaadata süvitsi vektori osi.  

Distributiivse ja tähendusliku sarnasuse seoseid uuritakse mitmesuguseid mudeleid rakendades: distributiivset semantikat modelleeritakse näiteks varjatud semantilise analüüsi, teemamodelleerimise, süntaksi- ja sõltuvuspõhiste mudelitega. Mudelid kasutavaid erinevaid sätteid, nt milline on konteksti aken (ehk kui palju elemente loetakse konteksti), kuidas arvestatakse sageduse osakaalu või millist sarnasusmõõdikut (nt koosinussarnasus, eukleidiline kaugus) rakendatakse vektoritevahelise kauguse mõõtmisel.  

Neid distributiivse semantika mudeleid, mis kasutavad kontekstina keeleelemente nimetatakse vektorruumi ehk semantilise ruumi ehk sõnaruumi mudeliteks, mis tuletavad sõnade tähenduse samas kontekstis koosesinemise põhjal. Sellised mudelid esitavad sõnatähenduste ruumilise esituse, kus tähenduslikku sarnasust esitatakse sõnadevahelise kaugusena selles ruumis. 

 Rakendused 
Distributiivse semantika mudeleid kasutatakse edukalt mitmesuguste ülesannete lahendamisel. Näiteks:
 sarnase tähendusega sõnade ja püsiühendite tuvastamisel;
 sõnade klasteranalüüsil nende tähenduse alusel;
 tesauruste ja mitmekeelsete sõnastike koostamisel;
 sõnade erinevate tähenduste eristamisel;
 teemamodelleerimisel;
 tekstižanrite tuvastamisel, tekstidokumentide klasterdamisel;
 nimetuvastamisel;
 andmekaeves;
 tundmusanalüüsis.

 Tarkvara 
 Gensim
 S-Space
 SemanticVectors
 Word2vec

 Viited 

Kategooria:Semantika