Sõnatähenduse induktsioon

Sõnatähenduse induktsioon (Word-sense induction, WSI) või sõnatähenduse diskriminatsioon on arvutilingvistikas loomuliku keele töötluse lahtine probleem, mis puudutab sõna tähenduse automaatset identifitseerimist. Kuna sõnatähenduse induktsiooni tulemusena saadakse uuritava sõna tähenduste hulk, on see ülesanne rangelt seotud sõnatähenduste ühestamisega (Word-sense disambiguation, WSD), mis toetub eelnevalt defineeritud tähendustekogule ja üritab lahendada sõnade polüseemiat ehk mitmetähenduslikkust kontekstis.

 Käsitlused ja meetodid 

Sõnatähenduse induktsiooni algoritmi tulemuseks on nende kontekstide klasterdamine, milles sihtsõna esineb, või sihtsõnaga seotud sõnade klasterdamine. Kirjanduses on pakutud kolm peamist meetodit:

 kontekstipõhine klasterdamine
 sõnapõhine klasterdamine
 koosesinemisgraafid

 Kontekstipõhine klasterdamine 

See käsitlus baseerub hüpoteesil, et sõnad on semantiliselt sarnased siis, kui nad esinevad sarnastes dokumentides, sarnastes konteksti akendes, või sarnastes süntaktilistes kontekstides. Sihtsõna iga esinemine korpuses esitatakse kontekstivektorina. Need kontekstivektorid võivad olla kas esmased (First order vector), mis esindavad vaadeldavat konteksti otseselt; või teisesed (Second-order vector), mille puhul sihtsõna kontekstid on sarnased, kui nende sõnad esinevad sageli koos. Vektorid klasterdatakse seejärel gruppidesse, kus iga grupp tähistab sihtsõna ühte (erinevat) tähendust.

Üks tuntud kontekstipõhise klasterdamise viise on kontekstigrupi diskriminatsiooni algoritm (Context-group discrimination algorithm), mis baseerub maatriksite arvutamise meetoditel.

 Sõnapõhine klasterdamine 

Sõnapõhine klasterdamine on teistsugune käsitlus sõnatähenduse induktsioonile. Selle puhul klasterdatakse sõnu, mis on semantiliselt sarnased ning võivad seega kanda ka spetsiifilist tähendust. Lini algoritm on prototüüpne sõnade klasterdamise näide, see baseerub korpuses ilmneval süntaktilise sõltuvuse statistikal ning toodab selle põhjal iga tuvastatud sihtsõna erineva tähenduse jaoks sõnade hulga. Komitee põhjal klasterdamine (Clustering by committee, CBC) kasutab samuti süntaktilisi kontekste, kuid kasutab sõnadevaheliste sarnasuste kodeerimiseks sarnasusmaatriksit ning saab huvipakkuva sõna erinevad tähendused komiteede mõistelt.

 Koosesinemisgraafid 

Koosesinemisgraafide peamine hüpotees eeldab, et sõna semantikat saab esitada koosesinemisgraafi abil, mille kaared kujutavad koosesinemisi ning tipud koosesinemise suhteid. Need käsitlused on seotud sõnapõhise klasterdamise meetoditega, kus sõnade koosesinemisi saab leida sõnade grammatilise või kollokatsiooniliste suhete alusel. Üks edukas graafialgoritm on HyperLex, mille aluseks on koosesinemisgraafis pesade (Hub) leidmine, see peab suutma häälestada suurt parameetrite hulka. Selle probleemiga võitlemiseks on pakutud mitmeid graafidel töötavaid algoritme, mille aluseks on lihtsad graafimustrid. Näiteks kumeruspõhine klasterdamine (Curvature clustering); ruudud, kolmnurgad ja rombid (Squares, triangles and diamonds, SquaT++); ja tasakaalustatud maksimaalse ulatusega puu põhine klasterdamine (Balanced Maximum spanning tree clustering, B-MST). Mustrid üritavad tuvastada tähendusi, kasutades koosesinemisgraafi lokaalseid struktuuri omadusi. Üks randomiseeritud algoritm, mis jagab graafi kaari osadeks, edastades iteratiivselt peavoolu sõnumit (ehk sõna tähendust) naabritele (kaartele), on Hiina sosinad (Chinese whispers). Koosesinemisgraafide kasutamine on näidanud standardsetes hindamisülesannetes arengu nüüdistasemele vastavaid tulemusi.
 Rakendused 

 Sõnatähenduse induktsioon on parandanud veebist informatsiooni kättesaamist (Web information retrieval) väga mitmetähenduslike päringute korral.
 Lihtsad sõnatähenduse induktsiooni algoritmid parandavad märgatavalt veebi otsingu tulemuste klasterdamist ja parandavad otsingumootorite (nt Yahoo!) tagastatud otsingutulemuste mitmekesisust.
 Sõnatähenduse induktsiooni on kasutatud leksiliste allikate (nt WordNet) rikastamiseks.

 Tarkvara 

 Senseclusters on vabalt kättesaadav avatud lähtekoodiga tarkvarapakett, mis klasterdab nii kontekstipõhiselt kui ka sõnapõhiselt.

 Vaata ka 

 Polüseemia

 Viited 

Välislingid

 SenseClusters

Kategooria:Arvutilingvistika
Kategooria:Semantika