Ristvalideerimine

Ristvalideerimine (inglise cross-validation) on mudeli statistiline verifitseerimismeetod, mis võimaldab hinnata seda, kuidas statistiline mudel sobib kokku sõltumatu valimiga. Enamasti kasutatakse seda ennustavate mudelite puhul, kui tahetakse vaadata, kui hästi mudel saab hakkama ennustamise probleemiga, kasutades eelnevalt teadmata andmed. Ennustavas ülesandes jagatakse andmestik tavaliselt kolmeks osaks: andmed, millega mudelit õpetatakse (treeningandmed), andmed, mille abil valitakse mudeli kuju ja selle parameetrid (valideerimisandmed), ning tundmatud andmed, mida on kasutatud mudeli testimiseks (testandmed). Ristvalideerimise puhul jagatakse esimesel sammul andmestik kaheks mittelõikuvaks osaks. Järgmise sammuna teostatakse analüüs andmete esimese osaga ning hinnatakse analüüsi täpsust kasutades andmete teist osa. Selleks, et vähendada variaablust, korratakse neid kaht sammu mitu korda, kasutades andmete erinevat jaotust mudeli treenimiseks ja valideerimiseks. Viimasel sammul valideerimise tulemused keskmistatakse üle kõikide kordamiste, mis võimaldab hinnata ennustava mudeli lõplikku täpsust. Ristvalideerimist kasutatakse siis, kui tekib andmepuuduse probleem ehk kui andmeid ei ole piisavalt palju, et neid jagada treening- ja testandmeteks ilma mudeli olulisust vähendamata. Jäta-p-vahele ristvalideerimisel valitakse p {\displaystyle p} vaatlust valideerimisandmeteks ning ülejäänud vaatluseid kasutatakse treeningandmetena. Seda protsessi korratakse kuni käiakse läbi kõik võimalikud valideerimisandmete kombinatsioonid. Jäta-p-vahele ristvalideerimisel mudel verifitseeritakse C n p {\textstyle C_{n}^{p}} korda, kus n {\displaystyle n} on esialgne andmevalimi maht ning p {\displaystyle p} on vaatluste arv, mida kasutatakse mudeli valideerimisel. Suure p {\displaystyle p} puhul vajab jäta-p-vahele ristvalideerimise meetod suuri arvutuslikke ressursse, nt kui n = 100 {\textstyle n=100} ja p = 30 {\textstyle p=30} , siis C ≈ 3 × 10 2 5 {\textstyle C\approx 3\times 10^{2}5} . Jäta-üks-vahele ristvalideerimine on jäta-p-vahele ristvalideerimise erijuht, kus p = 1 {\textstyle p=1} . Jäta-üks-vahele ristvalideerimisel ei ole sellist probleemi arvutuslikkude ressurssidega nagu jäta-p-vahele ristvalideerimisel, kuna treenimise ja valideerimise protsessi korratakse C n 1 = n {\textstyle C_{n}^{1}=n} korda. Jäta-üks-vahele ristvalideerimine annab peaaegu nihketa hinnangu testveale, sest iga iteratsiooni korral kasutatakse n − 1 {\displaystyle n-1} vaatlust treeningandmete rollis. K-korda ristvalideerimisel jagatakse esialgsed andmed juhuslikult k-liikmelisteks võrdseteks osavalimiteks. Üks osavalimitest valitakse valideerimisandmeteks ning ülejäänuid k − 1 {\displaystyle k-1} osavalimit kasutatakse mudeli treenimiseks. Mudel verifitseeritakse siis k {\displaystyle k} korda, kusjuures iga osavalimit kasutatakse valideerimisandmetena parajasti üks kord. Viimasel sammul arvutatakse keskmine mudeli täpsuse näitaja üle k {\displaystyle k} kordamise. K-korda ristvalideerimisel on mitu olulist eelist jäta-üks-vahele ristvalideerimise ees. Esiteks, iga vaatlus esineb valideerimisandmetes ainult üks kord. Teiseks on teoreetiliselt k-korda ristvalideerimise puhul väiksem hälbimus. See järeldus põhineb sellel asjaolul, et jäta-üks-vahele ristvalideerimise korral treenitakse iga kord mudelit sarnaste andmetega, seega iga iteratsiooni tulemus on tugevalt korreleeritud eelmiste iteratsioonide tulemustega. Lõpuks kasutatakse k-korda ristvalideerimise rakendamisel vähem arvutuslike ressursse, kuna mudel rakendatakse ainult k {\displaystyle k} korda, mille väärtus tavaliselt varieerub 5st kuni 10ni. G. James, D. Witten, T. Hastie, R. Tibshirani (2013). An Introduction to Statistical Learning. New York: Springer Texts in Statistics. Lk 175–184.{{raamatuviide}}: CS1 hooldus: mitu nime: autorite loend (link) R.Grossman, G. Seni, J. Elder, N. Agarwal, H. Liu (2010). Ensemble Methods in Data Mining: Improving Accuracy Through Combining Predictions. Morgan & Claypool.{{raamatuviide}}: CS1 hooldus: mitu nime: autorite loend (link) S. Arlot, A.Celisse (2010). A survey of cross-validation procedures for model selection. Statistics surveys 4. Lk 40-79.