Tehisintellekti abil andmete sorteerimine

**Tehisintellekti abil andmete sorteerimine** on protsess, mille käigus kasutatakse automatiseeritud masinõppe- või tehisintellekti (AI) mudeleid dokumentide, failide ja muude digitaalsete andmete klassifitseerimiseks, rühmitamiseks ja järjestamiseks nende sisu, struktuuri või metaandmete põhjal. Näiteks võib süsteem otsustada, kas fail kuulub lepingute, arvete, personalidokumentide või kliendipöördumiste hulka**.**

Sellised süsteemid rakendavad statistilisi ja sügava õppe algoritme, et tuvastada mustreid ja seoseid suures andmemahus ning otsustada, millisesse kategooriasse konkreetne dokument kuulub. Masinõppemudelid õpivad varasematest klassifitseerimisotsustest: kui inimesed on varem dokumente õigesti liigitanud, kasutab mudel neid näiteid edaspidiste otsuste tegemiseks. Nii paraneb aja jooksul mudeli täpsus ja väheneb vajadus pideva inimjärelevalve järele.

Tüüpiline andmete sorteerimise protsess koosneb mitmest etapist:

# **Andmete kogumine ja eeltöötlus** – failide ja dokumentide sisu puhastatakse, eemaldatakse mittevajalik info (näiteks juhuslikud sümbolid või korduvad read) ja teisendatakse masinloetavasse vormi, enamasti lihttekstiks.
# **Omaduste (''feature'') tuvastamine** – süsteem otsib tekstist, piltidest või metaandmetest tunnuseid, mis aitavad dokumente eristada. Teksti puhul võivad need olla sagedased sõnad, kindlad väljendid, pealkirjad või numbrilised väljad.
# **Mudelipõhine klassifitseerimine** – masinõppemudel analüüsib leitud tunnuseid ja määrab igale dokumendile sobiva kategooria. Vajadusel võib dokument kuuluda mitmesse kategooriasse korraga.
# **Tulemuste valideerimine ja optimeerimine** – tulemusi võrreldakse teadaolevate klassidega, otsitakse vigu ja täiendatakse mudelit uute näidetega. Eesmärk on suurendada täpsust ja vähendada valesid liigitusi.

Selline lähenemine võimaldab organisatsioonidel hallata üha kasvavat infomahu, vähendada korduvat käsitööd ja parandada töövoogude efektiivsust.

Automatiseeritud andmete sorteerimine aitab hoida failisüsteemid korrastatuna, parandab otsingutulemuste asjakohasust ja võimaldab kiiremat juurdepääsu kriitilisele teabele. Lisaks toetab see turvalisust ja vastavust andmekaitsenõuetele, kuna süsteemid suudavad tuvastada ja eraldada tundliku teabe automaatselt.

## Taust ja tehnoloogiad
Traditsiooniliselt on dokumentide või failide sorteerimine toimunud käsitsi, kasutades metaandmeid, failinimesid või kaustastruktuure. See tähendab, et inimene otsustab ise, kuidas kaustu luua ja millise nimega faile salvestada. Suurandmete ajastul, kus dokumente on väga palju ja need tekivad kiiresti, on selline käsitööline lähenemine muutunud ajakulukaks ja ebaefektiivseks. Seetõttu kasutatakse üha enam masinõppe ja tehisintellekti meetodeid, et andmete klassifitseerimist automatiseerida.

Peamised tehnoloogiad dokumentide töötlemisel põhinevad erinevatel lähenemistel, mis täiendavad üksteist. Tekstipõhiste klassifitseerimismeetodite puhul teisendatakse dokumentide sisu kõigepealt arvuliseks kujutuseks, näiteks sõnade esinemissageduse või olulisuse kaudu, ja seejärel rakendatakse algoritme nagu SVM või Naive Bayes, mis õpivad treeningandmetelt ära, millised sõnade kombinatsioonid iseloomustavad konkreetseid dokumendiklasse. Need sobivad eriti hästi olukordadesse, kus dokumendid on valdavalt tekstilised ja nende struktuur on suhteliselt lihtne.

Keerukamate juhtumite korral kasutatakse sügavaid närvivõrke ja transformeerijapõhiseid mudeleid, mis suudavad korraga analüüsida suurt hulka infot ning tuvastada märksa keerulisemaid mustreid. Need mudelid võtavad arvesse mitte ainult sõnade esinemist, vaid ka sõnajärge, lauseehitust ja konteksti ning mõnel juhul isegi dokumendi visuaalset paigutust, näiteks veerge, tabeleid ja vormivälju. Selline lähenemine on eriti kasulik pikemate ja mitmekihilisemate dokumentide puhul.

Sageli ühendatakse erinevaid tehnikaid hübriidmeetoditeks, kus reeglipõhised otsustused, näiteks seadusest tulenevad nõuded, töötavad koos masinõppemudelitega, mis tegelevad ülejäänud sorteerimise või klassifitseerimisega. Nii säilib kontroll kõige olulisemate aspektide üle, samas kui tehisintellekt pakub paindlikkust ja kohanemisvõimet.

Olulisel kohal on ka paigutuse analüüs ja vormituvastus, eriti skannitud dokumentide ja vormide puhul, kus esmalt tuleb mõista, kuidas teave lehel paikneb. Tuvastatakse pealkirjad, lõigud, tabelid, väljad ja allkirjad ning kombineeritakse saadud paigutusandmed tekstilise sisuga, et teha täpsem järeldus dokumendi tüübi kohta, olgu selleks arve, leping või näiteks meditsiiniline väljavõte.Praktikas kasutatakse sageli mitut tehnoloogiat korraga. Näiteks võib süsteem esmalt teisendada skannitud dokumendi tekstiks, seejärel analüüsida paigutust ja lõpuks kasutada tekstiklassifitseerimise mudelit, et dokument õigesse kategooriasse paigutada.

## Ajalugu ja areng
Tehisintellekti kasutamine andmete sorteerimiseks sai alguse 20. sajandi lõpus, kui hakati rakendama esimesi ekspertsüsteeme ja reeglipõhiseid otsingualgoritme dokumentide klassifitseerimiseks. 1990. aastatel võeti kasutusele statistilised tekstiklassifitseerimise meetodid, näiteks Naive Bayes ja *upport Vector Machine (SVM).

2000. aastate alguses tõi interneti ja digitaalsete dokumentide plahvatuslik kasv kaasa vajaduse automaatse dokumendihalduse järele. Sama kümnendil ilmusid esimesed **andmebaaside ja failihaldusprogrammide AI-lisandused, mis võimaldasid failide automaatset kategoriseerimist.

2010. aastatest alates on areng olnud seotud sügava õppe (*deep learning*) ja transformeerijapõhiste mudelitega, mis võimaldavad tuvastada seoseid mitte ainult tekstis, vaid ka dokumentide visuaalses struktuuris. Tänapäeval kasutatakse sageli hübriidsüsteeme, mis ühendavad masinõppe ja käsitsi kontrolli kvaliteedi ja läbipaistvuse tagamiseks.

### Rakendused ja eelised
Tehisintellekti abil dokumentide sorteerimist kasutatakse laialdaselt erinevates valdkondades, kus on vaja suurtes kogustes teavet kiiresti ja täpselt hallata. Äri- ja haldusasutustes aitab see automatiseerida dokumentide arhiveerimist ja failihaldust, muutes info leidmise ja korrastamise märksa tõhusamaks. Õigussüsteemis võimaldab tehisintellekt dokumente automaatselt tuvastada ja liigitada, mis kiirendab menetlusprotsesse ning vähendab käsitsi tehtava töö mahtu. Tervishoius kasutatakse seda patsiendiandmete korrastamiseks, et olulised terviseinfod oleksid kergesti leitavad ja struktureeritud. Teadus- ja arendusasutustes toetab see publikatsioonide ja aruannete grupeerimist, aidates korraldada kiiresti kasvavaid andmehulki ja lihtsustades teadustööks vajaliku materjali leidmist.

Tehisintellekti kasutamine andmete sorteerimisel pakub mitmeid eeliseid võrreldes käsitsi tehtava tööga. Töötlusprotsess muutub oluliselt kiiremaks, sest süsteem suudab lühikese ajaga läbi vaadata väga suure hulga dokumente ning seeläbi vähendada ooteaega ja tõsta töö efektiivsust. Samuti muutub info leidmine lihtsamaks, kuna andmed on eelnevalt korrastatud ja otsingutulemused on täpsemad, mis aitab kasutajatel vajalikku teavet kiiremini üles leida.

Tehisintellekt vähendab ka inimlike vigade hulka, rakendades kõigile dokumentidele ühesuguseid reegleid ja tagades seeläbi ühtlase kvaliteedi. Organisatsioonid saavad paremini toime tulla kasvavate andmemahtudega, sest nende töötlemiseks ei ole vaja töötajate arvu samas tempos suurendada. Lisaks võimaldab tehisintellekt tuvastada ja eraldada tundlikku infot, aidates täita andmekaitse- ja turvanõudeid. Kõik need eelised muudavad tehisintellekti eriti väärtuslikuks olukordades, kus dokumente saabub pidevalt juurde ja nende käsitsi sorteerimine kulutaks ebaproportsionaalselt palju aega ja ressursse.

## Riskid
AI-põhise sorteerimise suurimad riskid on seotud läbipaistvuse ja kvaliteedikontrolli tagamisega. Paljud tehisintellektimudelid, eriti sügavad närvivõrgud, toimivad nn musta kastina, mistõttu on keeruline selgitada, miks süsteem konkreetse otsuse teeb. Selline olukord võib olla probleemne valdkondades, kus otsuste põhjendamine on hädavajalik, näiteks meditsiinis või õigussüsteemis, kus kasutajatel peab olema võimalik veenduda, et otsus oli õiglane ja põhjendatud.

Teine oluline aspekt on treeningandmete kallutatus. Kui mudeli õpetamiseks kasutatud andmetes on eelarvamusi või tasakaalustamatust, näiteks kui mõnda dokumentide tüüpi esineb märksa rohkem kui teisi, võib mudel hakata samas suunas eksima. See võib viia korduvate valeliigitusteni või olukorrani, kus mõni kategooria saab põhjendamatult rohkem tähelepanu kui teised. Seetõttu on tähtis hoolikalt valida ja kontrollida treeningandmeid, et tagada mudeli objektiivsus.

Kuigi tehisintellektipõhised süsteemid suudavad töötada automaatselt, vajavad need siiski järelevalvet, eriti kasutuselevõtu algfaasis. Regulaarne kontroll aitab avastada valesid liigitusi ja ootamatuid mustreid ning vajadusel mudelit korrigeerida või täiendada uute näidetega.

Samuti tuleb arvestada, et dokumentide vormid, kategooriad ja tööprotsessid muutuvad ajas. Kui organisatsioon uuendab oma töökorraldust või võtab kasutusele uusi dokumente, peab ka mudel nende muutustega kohanema. Seetõttu ei saa tehisintellektipõhist lahendust käsitleda ühekordse projektina, vaid seda tuleb perioodiliselt uuesti treenida, testida ja täiendada, et süsteem püsiks täpne ja usaldusväärne.

## Tulevik
Tehisintellekti abil dokumentide sorteerimise valdkonna areng liigub peamiselt suurema läbipaistvuse, täpsuse ja paindlikkuse suunas. Üheks oluliseks arengusuunaks on seletatav tehisintellekt, mille eesmärk on luua mudeleid ja tööriistu, mis ei annaks ainult lõpptulemust, vaid selgitaksid ka arusaadavalt, miks dokument ühte või teise kategooriasse liigitati. Näiteks võib süsteem välja tuua konkreetsed sõnad või lõigud, mis otsust enim mõjutasid, muutes protsessi kasutaja jaoks läbipaistvamaks.

Teiseks suunaks on hübriidsüsteemid, mis ühendavad automatiseerimise ja inimjärelevalve. Sellistes lahendustes teeb tehisintellekt esmase sorteerimise, kuid inimene kinnitab või vajadusel korrigeerib tulemuse. Nii saavutatakse tasakaal masina kiiruse ja skaleeritavuse ning inimese teadmiste ja vastutusvõime vahel.

Olulist tähelepanu pööratakse ka multimodaalsetele mudelitele, mis suudavad korraga analüüsida teksti, pilte, tabeleid ja dokumendi paigutust. See võimaldab luua palju täpsemaid ja kontekstiteadlikumaid süsteeme, mis sobivad hästi keerukate dokumentide, nagu aruannete, vormide või skannitud arvete, liigitamiseks.

Lisaks otsitakse võimalusi, kuidas vähendada treeningandmetes esinevat kallutatust ja parandada mudelite üldistatavust, et need toimiksid usaldusväärselt ka uutes ja erinevates olukordades. Eesmärk on tagada, et tehisintellektipõhised süsteemid oleksid ühtlasi õiglasemad, stabiilsemad ja paremini kohandatavad erinevate organisatsioonide vajadustele.

## Uuringud
Uuringus „Smart Document Classification Using AI-ML“ näidati, et masinõppel põhinev tööriist suudab faile täpselt kategoriseerida ja töötlusaega märkimisväärselt vähendada. Töö käigus arendati välja algoritm, mis suutis õppida failide sisust, pealkirjadest ja metaandmetest, et määrata neile kõige sobivam kategooria. Tulemused näitasid, et selline süsteem vähendas dokumentide käsitsi läbitöötamiseks kuluvat aega märkimisväärselt, saavutades samal ajal kõrge klassifitseerimise täpsuse võrreldes traditsiooniliste, reeglitel põhinevate meetoditega. Lisaks ilmnes, et mudel kohanes hästi erinevate failitüüpidega, sealhulgas tekstidokumentide, aruannete ja aruandevormidega, mis näitab masinõppepotentsiaali laiaulatuslikku kasutamist organisatsioonides. Uurijad rõhutasid ka, et selliste süsteemide efektiivsus suureneb järk-järgult, kui neile antakse pidevalt uusi treeningandmeid, võimaldades neil ajas oma täpsust ja töökindlust parandada. 

Teine märkimisväärne näide on artikkel „Article Content-Based Automated File Organization Using Artificial Intelligence“, milles uuriti tehisintellektil põhineva sisuanalüüsi kasutamist failide ja dokumentide automaatseks korrastamiseks suurtes infosüsteemides.Uuring keskendus algoritmidele, mis analüüsivad dokumentide sisu, näiteks tekstilist konteksti, struktuuri ja semantilisi seoseid, et tuvastada, kuidas erinevad failid on omavahel seotud ning millistesse kategooriatesse need tuleks paigutada.

Tulemused näitasid, et selline AI-põhine süsteem vähendas oluliselt käsitsi klassifitseerimise vajadust, kuna mudel suutis iseseisvalt õppida andmekogude sisulisi mustreid ja luua nende põhjal optimaalseid kategooriaid. Lisaks parandati dokumentide otsitavust ja juurdepääsu, sest failid organiseeriti mitte ainult nime või kuupäeva, vaid ka nende tähenduse ja konteksti alusel.

Autorid rõhutasid, et sisupõhise automatiseerimise eelis seisneb selle skaleeritavuses, et süsteemi saab kohandada erinevatele valdkondadele, nagu ettevõtte dokumendihaldus, teadusandmete arhiveerimine või digiraamatukogude korraldamine, ilma et oleks vaja iga kategooriat käsitsi määratleda.

## Sõnavara
* **[[Tehisintellekt|Tehisintellekt (AI)]]** – tarkvarasüsteemide kogum, mis suudab täita ülesandeid, mis tavaliselt eeldaksid inimintellekti, näiteks mustrite äratundmine, otsustamine ja õppimine andmetest. Tehisintellekti kasutatakse laialdaselt ka andmete sorteerimisel ja otsingusüsteemides.
* **[[Masinõpe]]** (*machine learning*) – tehisintellekti alamvaldkond, mis keskendub algoritmidele, mis õpivad kogutud andmetest ja parandavad oma täpsust ilma, et iga otsuse jaoks tuleks eraldi reegel programmeerida. Masinõpe on paljude dokumendiklassifitseerimise lahenduste aluseks.
* **Klassifitseerimine** – andmeteaduse meetod, mille eesmärk on määrata igale elemendile (näiteks failile või dokumendile) sobiv kategooria või silt, tuginedes selle sisule või tunnustele. Klassifitseerimine aitab andmeid korrastada ja lihtsustab hilisemat otsimist.
* **[[Suurandmed]]** (*big data*) – väga mahukad andmehulgad, mida tavapärased andmehaldusvahendid ei suuda efektiivselt töödelda. Suurandmete analüüsimiseks kasutatakse sageli masinõppe- ja pilvepõhiseid lahendusi, sest andmeid on palju ja need võivad olla väga erineva kujuga.
* **[[Layout analysis|Dokumendi paigutuse analüüs]]** (*layout analysis*) – meetod, millega tuvastatakse dokumendi struktuur, näiteks lõigud, tabelid, päised, jalused ja vormiväljad, ning seotakse see sisuanalüüsiga. See aitab paremini mõista dokumendi ülesehitust ja eristada omavahel erinevaid dokumentide tüüpe.

## Vaata ka
* Masinõpe
* Tehisintellekt
* Suurandmed
* Andmehaldus

## Viited