Ristvalideerimine

Ristvalideerimine (inglise cross-validation) on mudeli statistiline verifitseerimismeetod, mis võimaldab hinnata seda, kuidas statistiline mudel sobib kokku sõltumatu valimiga. Enamasti kasutatakse seda ennustavate mudelite puhul, kui tahetakse vaadata, kui hästi mudel saab hakkama ennustamise probleemiga, kasutades eelnevalt teadmata andmed. Ennustavas ülesandes jagatakse andmestik tavaliselt kolmeks osaks: andmed, millega mudelit õpetatakse (treeningandmed), andmed, mille abil valitakse mudeli kuju ja selle parameetrid (valideerimisandmed), ning tundmatud andmed, mida on kasutatud mudeli testimiseks (testandmed).

Ristvalideerimise puhul jagatakse esimesel sammul andmestik kaheks mittelõikuvaks osaks. Järgmise sammuna teostatakse analüüs andmete esimese osaga ning hinnatakse analüüsi täpsust kasutades andmete teist osa. Selleks, et vähendada variaablust, korratakse neid kaht sammu mitu korda, kasutades andmete erinevat jaotust mudeli treenimiseks ja valideerimiseks. Viimasel sammul valideerimise tulemused keskmistatakse üle kõikide kordamiste, mis võimaldab hinnata ennustava mudeli lõplikku täpsust. 

Ristvalideerimist kasutatakse siis, kui tekib andmepuuduse probleem ehk kui andmeid ei ole piisavalt palju, et neid jagada treening- ja testandmeteks ilma mudeli olulisust vähendamata.

Ristvalideerimise tüübid

Jäta-p-vahele ristvalideerimine

Jäta-p-vahele ristvalideerimisel valitakse  vaatlust valideerimisandmeteks ning ülejäänud vaatluseid kasutatakse treeningandmetena. Seda protsessi korratakse kuni käiakse läbi kõik võimalikud valideerimisandmete kombinatsioonid. Jäta-p-vahele ristvalideerimisel mudel verifitseeritakse  korda, kus  on esialgne andmevalimi maht ning  on vaatluste arv, mida kasutatakse mudeli valideerimisel.

Suure  puhul vajab jäta-p-vahele ristvalideerimise meetod suuri arvutuslikke ressursse, nt kui  ja , siis .

Jäta-üks-vahele ristvalideerimine

Jäta-üks-vahele ristvalideerimine on jäta-p-vahele ristvalideerimise erijuht, kus . Jäta-üks-vahele ristvalideerimisel ei ole sellist probleemi arvutuslikkude ressurssidega nagu jäta-p-vahele ristvalideerimisel, kuna treenimise ja valideerimise protsessi korratakse  korda. Jäta-üks-vahele ristvalideerimine annab peaaegu nihketa hinnangu testveale, sest iga iteratsiooni korral kasutatakse  vaatlust treeningandmete rollis.

K-korda ristvalideerimine

K-korda ristvalideerimisel jagatakse esialgsed andmed juhuslikult k-liikmelisteks võrdseteks osavalimiteks. Üks osavalimitest valitakse valideerimisandmeteks ning ülejäänuid  osavalimit kasutatakse mudeli treenimiseks. Mudel verifitseeritakse siis  korda, kusjuures iga osavalimit kasutatakse valideerimisandmetena parajasti üks kord. Viimasel sammul arvutatakse keskmine mudeli täpsuse näitaja üle  kordamise.

K-korda ristvalideerimisel on mitu olulist eelist jäta-üks-vahele ristvalideerimise ees. Esiteks, iga vaatlus esineb valideerimisandmetes ainult üks kord. Teiseks on teoreetiliselt k-korda ristvalideerimise puhul väiksem hälbimus. See järeldus põhineb sellel asjaolul, et jäta-üks-vahele ristvalideerimise korral treenitakse iga kord mudelit sarnaste andmetega, seega iga iteratsiooni tulemus on tugevalt korreleeritud eelmiste iteratsioonide tulemustega. Lõpuks kasutatakse k-korda ristvalideerimise rakendamisel vähem arvutuslike ressursse, kuna mudel rakendatakse ainult  korda, mille väärtus tavaliselt varieerub 5st kuni 10ni.

Viited