Teksti normaliseerimine

Teksti normaliseerimine on loomuliku keele töötluses ebastandardsele tekstile standardse vaste leidmine. Loomuliku keele töötluse programmid on loodud töötama standardse tekstiga, aga leidub mitmeid keelekorpuseid, mille tekst on ebastandardne. Sellised on näiteks vanad tekstid, meditsiinitekstid, sotsiaalmeedias või telefonis kirjutatud säutsud, SMSid jne ja tavalise teksti kõneks sünteesimine . Ebastandardsused sõltuvad teksti liigist.
Ajalugu.
Esialgu kasutati teksti normaliseerimiseks peamiselt õigekirja kontrollile sarnaseid mudeleid. Aastal 2000 Brilli ja Moore’i loodud mudel ületas vanemate mudelite tulemusi. Aastal 2002 Toutanova ja Moore eelmise mudeli edasiarendus põhines reeglite õppimisel ja ennustas ühe tähe hääldust sõnas selle kõrval asuvate tähtede abil.
Aastal 2007 tehti juhendatud õppimisega Markovi peitmudel, mis sõnaraamatu abil normaliseeris lühendeid. 2009 loodud juhendamata õppimisega mudel lähenes igale sõnaliigile eraldi.
Eelnevad mudelid ei arvestanud kontekstiga ja eeldasid, et igale märgendile vastab üksainus standardvorm. Aga paljud sõnastikuvälised sõnad on määratlematud ja kontekst aitab neid õigesti määratleda.
Normaliseerimiseks kasutatakse ka masintõlget ehk võetakse ebastandardsuse probleemi nagu ühest keelest teise tõlkimist. Erinevad mudelid tõlgivad nii sõna- kui sümbolitasemel. Masintõlkel põhinevad mudelid on juhendatud õppimisega ja vajavad annoteeritud andmeid. Annoteerimisega tegelevad keele- või valdkonna spetsialistid. Kuna see käib käsitsi, siis võtab see väga palju aega ja on kallis.
On katsetatud sõnastikel põhinevaid mudeleid, mis leiavad normaliseeritavale sõnale sõnastikust kõige sarnasemad variandid. Sellised mudelid valivad ebastandardsele sõnale leksikaalselt ja foneetiliselt sarnanevaid vasteid ja pikimat alamsõne, mis kattub lähtesõnal ja vastel.
Viimase aja trend on katsetada normaliseerimiseks tehisnärvivõrke.
Vanade tekstide normaliseerimine.
Mitmed vanad käsitsi kirjutatud või trükitud tekstid on skannitud ja digiteeritud. Kuna ajalooliselt ei ole alati kehtinud kindlaid keelenorme, leidub vanemates tekstides ühe sõna mitmeid kirjapilte ehk varieerumist. Paljude sõnade ortograafia erineb tänapäeva keelenormingust. Esineb ka kirjavigu, loetamatuid märke ja digiteerimisel tekkinud vigu.
Kuna keeleprogrammid on loodud praeguse standardkeele jaoks, ei saa neid normaliseerimata ajaloolisel tekstil kasutada. Seetõttu on piiratud ka tavakasutajate ligipääs neis tekstides leiduvale infole, sest nad ei ole enamasti kursis sõnade vanemate kirjapiltide ja nende kõigi variantidega. Selle probleemi lahendaks kõigile sõnadele tänapäevase vaste leidmine. Teine võimalus normaliseerimiseks on jätta sõnad algsele kujule, aga valida variantidest üks standardiks ja muuta teised samale kujule.
Teksti saab normaliseerida ka, kui standard või tänapäevane vaste puuduvad. Piisab variatsioonihulkade tuvastamisest. Kõigepealt otsitakse tekstist sõnu, mis võivad olla üksteise variatsioonid ja pannakse ühte hulka. Seejärel vaadatakse hulk läbi ja jäetakse alles ainult sobivaimad kandidaadid. Valik tehakse sõna ja märgi tasemel, et konteksti arvestada.
Variantide leidmiseks kasutatakse tihti Levenshteini kaugust. See algoritm arvutab, kui sarnased kaks sõna üksteisele on, liites kokku mitut tähte peab muutma, et saada ühest sõnast teine. Muutmistehted on ühe tähe kustutamine, juurde lisamine ja asendamine teise tähega.
Meditsiinitekstid.
Terviseandmeid hoitakse tänapäeval digitaalsetes andmebaasides, kuhu meditsiini valdkonna töötajad patsientide visiite, diagnoose jne sisestavad. Tihti on vaja kiiresti kirjutada ja seepärast kasutatakse palju lühendeid ja akronüüme. Leidub küll terminite ja lühendite sõnastikke, aga arstid ja õed lühendavad sõnu kirjutamise käigus standardeid järgimata. Inglise keele jaoks on programme, mis suudavad päris hästi meditsiiniliste lühenditega teksti töödelda, sest on olemas head sõnaraamatud, milles on lühendid koos vastetega.
Rootsikeelsete meditsiinitekstide ja neis esinevate lühenditega toime tulevaid teadaolevaid keeletehnoloogiaid ei olnud, seepärast loodi 2012. aastal uus tööriist SCAN (Swedish Clinical Abbreviation Normalizer), mis oli algselt häälestatud kiirabi töötajate sisestatud andmetele. Programmi arendamiseks lisati radioloogia raportid.
On ka uuritud, milliseid lühendeid neis kahes meditsiinitekstide korpuse alamkorpuses leidub. Meditsiinitekstid erinevad tavatekstidest ja ka alamvaldkondade tekstid on üksteisest erinevad. Selgus, et kiirabitöötajad kasutavad rohkem lühendeid ja radioloogid akronüüme.
Sotsiaalmeedia tekstid.
Internetikeelekorpused on väga suured ja neis on palju huvitavat infot, aga seda on raske kätte saada, sest need on tihti ebastandardses kirjas. Kasutatakse väga palju lühendeid ("2nite – tonight"), slängi, internetiväljendeid ("lol -" "laughing out loud"), emotikone ( :) – naerunägu), metainfot (#põhupunk ja www.facebook.com) ebastandardset süntaksit ning teisele keelele ümber lülitumist (Käisime ujumas, I love summer.), foneetikat (ai lav juu), mitmekordseid tähti (apppppiiiii).
Kõnesüntesaatorid.
Teksti kõneks muutmisel on vaja teisendada tekst kirjalikust vormist suulisesse ehk ühest standardit teise. Kõnesüntesaatorid on tänapäeval väga levinud (Alexa jms). Kõne tekstiks teisendamine ja teksti kõneks teisendamine on loomuliku keele töötluse haru, milles masinõpe ei suuda normaliseerida ning seega kasutatakse tehisnärvivõrke. Teksti kõneks muutmisel on raske lugeda arve, sest nende kuju sõltub kontekstist. Kõnetehnoloogias on normaliseerimine semiootiliste klasside tekstiliste kujutuste verbaliseerimine näiteks 3 m muudetakse kõnevormi kolm meetrit.
Keerulised juhud on kuupäevad, kellaajad, rahasummad, mõõdud. Inglise keeles tuleb tihti ka sõnade järjekorda muuta ($30 loetakse "thirty dollars").
Kahjuks teevad tehisnärvivõrgud vahel vigu, mis võivad jääda kasutajale märkamatuks, aga osutuda väga ohtlikuks. Kui kõnesüntesaator loeb raamatut ja ütleb mõne sõna vales käändes, siis saab inimene ikka lausest õigesti aru. Aga kui GPS loeb 45 km kui kolmkümmend viis kilomeetrit, ei saa kasutaja arugi, et tegu on veaga, enne kui kraavi sõidab. Tehisnärvivõrgud teevad just viimati mainitud vigu, küll harva, aga see muudab ikkagi mudeli kasutuskõlbmatuks.
Kõnesüntesaatorites kasutatakse seepärast industriaalseid teksti normaliseerimise süsteeme, mis põhinevad keerulisel käsitsi kirjutatud grammatikal.