EstSum

EstSum on eestikeelsete tekstide sisukokkuvõtja, mis on loodud rootsi keele sisukokkuvõtja SWESUM eeskujul. EstSumi autor on Kaili Müürisep. EstSum kasutab kokkuvõtte genereerimiseks väljavalimismeetodit, kuid on orienteeritud veebis avaldatud uudiste ja ajaleheartiklite indikatiivsele sisukokkuvõttele. Selle algset versiooni on võimalik katsetada vanade artiklitega (2007–2008) veebis. EstSum koosneb kolmest moodulist: HTML-konverter, lausestaja ja väljavõtete tegija. HTML-konverter eemaldab sisukokkuvõtte jaoks ebaolulised HTML-märgendid, normaliseerib ristuvad märgendid, eemaldab tabelid ja teisendab sisendi SGML-vormingusse. Uues vormingus märgendatakse tekstis oluline šriftiinformatsioon, autorid, pildiallkirjad ja eri pealkirjad. EstSum genereerib sisukokkuvõtteid, kasutades H. P. Edmundsoni lausetele kaalu arvutamise meetodi omaga sarnast valemit: W ( s ) = α P ( s ) + β F ( s ) + γ K ( s ) {\displaystyle W(s)=\alpha P(s)+\beta F(s)+\gamma K(s)} , kus W ( s ) {\displaystyle W(s)} on lause s {\displaystyle s} kaal, P ( s ) {\displaystyle P(s)} on positsioonipõhine skoorifunktsioon, F ( s ) {\displaystyle F(s)} on vormingupõhine skoorifunktsioon, K ( s ) {\displaystyle K(s)} on sõnasageduste põhine skoorifunktsioon ja α {\displaystyle \alpha } , β {\displaystyle \beta } ja γ {\displaystyle \gamma } on konstandid. Tunnuste kaalud ja konstantide väärtused on määratud väikese testkorpuse (20 ajalehe Postimees artikli käsitsi koostatud sisukokkuvõtet) alusel. Testkorpus näitas, et kõige tähtsam on positsioonipõhine kaal ja kõige ebaolulisem on sõnasagedust arvestav kaal. Samas vormingupõhine kaal oli oluline ainult üksikutes lausetes, sest see arvestas lause kirjatüüpi ja lauses olevaid kirjavahemärke. EstSum kasutab ära asjaolu, et kokkuvõtte jaoks vajalikud laused asuvad enamasti lõigu alguses ning suurendab seeläbi ka lõikude esimeste lausete kaalu. Samuti eelistab see lauseid, mis on kirjutatud kald- või paksus kirjas. Samas jutu-, hüüu- ja küsimärgid alandavad lause kaalu. Lisaks arvestatakse lause kaalu leidmisel ka võtmesõnu, eriti sõnu, mis leiduvad pealkirjades. Samas võtmesõnadest eemaldatakse sõnad, mis on üldiselt sagedased. Selleks kasutatakse sõnaloendit, kus on märgitud kõige sagedasemad sõnad eesti keeles, mis saadi 400 000 ajaleheartikli läbitöötamisel. EstSum kasutab väljavalimismeetodit, mis tähendab, et see valib lauseid lähtetekstist, et genereerida kokkuvõte. Sellise meetodi kasutamise tagajärjel võib aga juhtuda, et genereeritud kokkuvõte ei ole sidus. See tähendab, et lausetes võivad esineda asesõnad, mis kokkuvõtte sisust lähtudes ei viita millelegi. Kui Müürisep hindas oma algoritmi tulemuslikkust, siis leidis ta, et algoritmi valitud laused kattuvad ~60% ulatuses tema valitud lausetega. Samuti on EstSumi tulemuslikkust analüüsinud Keili Sellik enda bakalaureusetöös, kus ta leidis, et EstSumi genereeritud kokkuvõtted kattusid keskmiselt 65,29% ulatuses tema enda tehtud kokkuvõtetega. Lisaks hindas Sellik EstSumi tulemuslikkust ka ROUGE programmiga, mis andis tulemuseks, et lausete kattuvus on keskmiselt 68,96%. EstSumi autori esmane soov on lisada programmile lingvistiline moodul. Selle mooduli lisamine võimaldaks programmil arvestada sõnade algvormidega. See aga võimaldaks teha võtmesõnadest parema statistika ning seeläbi ka tõsta sõnasageduste kaalu mõju. Samuti soovib autor rakendada programmile asesõnade lahutamise algoritme, et suurendad genereeritud kokkuvõtete siduvust. Müürisep, Kaili. Eestikeelsete tekstide sisukokkuvõtjast EstSum. Keel ja arvuti. Tartu Ülikooli üldkeeleteaduse õppetooli toimetised 6.(Toim. M. Koit, R. Pajusalu, H. Õim) lk 115-125 Tartu 2006 Müürisep, Kaili, Mutso, Pilleriin. ESTSUM - Estonian newspaper texts summerizer. Proceedings of The Second Baltic Conference on Human Language Technologies. Tallinn 2005. Kättesaadav: https://web.archive.org/web/20220331125334/https://www.e-varamu.ee/item/HQTHG5K675XVZW36DYGYJ5LLYWSJLPOD Sellik, Keili. Automaatse sisukokkivõtja töö hindamine. Bakalaureusetöö. Tartu 2008. Kättesaadav: http://lepo.it.da.ut.ee/~kaili/juhendamised/Baka_Sellik.pdf Loe SWESUMi kohta. Katseta EstSumi siin.