Vähimruutude meetodi regulariseerimine

Vähimruutude meetodi regulariseerimine on vähimruutude meetodi lahendamine, kasutades regularisatsiooni, mis aitab kindlaid probleeme kitsendada, tehes nende lahendamise lihtsamaks ja täpsemaks. Regularisatsiooni eesmärk on lihtsustada regressioonimudelit, kahandades tunnuste kaale, ning vähendada sellega ülesobitamise riski. Kui vähimruutude valemi järgi on tunnuste kaalude vektor leitav valemiga w ∗ = a r g m i n w ( y − X w ) T ( y − X w ) {\displaystyle w^{*}={\underset {w}{argmin}}(y-\mathrm {X} w)^{T}(y-\mathrm {X} w)} , kus w {\displaystyle w} – kaalude vektor, y {\displaystyle y} – märgendite vektor, X {\displaystyle \mathrm {X} } – tunnuste maatriks, siis regularisatsiooni puhul lisatakse kaaludele mingisugune penalti või karistus, mis aitaks erinevusi ühtlustada ja kaale minimeerida. Kõige enim kasutatud regularisatsioonimeetodid on kant- ja lassoregressioon. Kantregressioon on tuntud ka kui Ridge'i regressioon, Tikhonovi regularisatsioon või L2-regularisatsioon. Selle meetodi eesmärk on kõik kaalud ühtlaselt minimeerida ning nullile lähendada, kuid mitte täielikult nulliks muuta. Seega ei saa kantregressiooni tulemusena tekkiv mudel ennustamiseks kasutada ainult mingit kindlat osa tunnustest, kuna kõigil tunnustel on mingi nullist suurem kaal. Kantregressiooni kasutamise valem on w ∗ = a r g m i n w ( y − X w ) T ( y − X w ) + λ | | w | | 2 {\displaystyle w^{*}={\underset {w}{argmin}}(y-\mathrm {X} w)^{T}(y-\mathrm {X} w)+\lambda ||w||^{2}} , kus λ {\displaystyle \lambda } on regularisatsiooniparameeter ja | | w | | 2 = ∑ i w i 2 {\displaystyle ||w||^{2}=\sum _{i}w_{i}^{2}} on kaalude vektori norm ruudus. Meetodile leidub ka suletud süsteemi lahendus w ^ = ( X T X + λ I ) − 1 X T y {\displaystyle {\hat {w}}=(\mathrm {X} ^{T}\mathrm {X} +\lambda I)^{-1}\mathrm {X} ^{T}y} . Lassoregressioon on tuntud ka kui L1-regularisatsioon. Lassoregressiooni meetod üritab kõikide ebatähtsate tunnuste kaalud nulliks muuta. Juhul, kui tunnuste vahel on tugevad seosed (kollineaarsed tunnused) valib lassoregressioon seotud tunnuste vahelt juhuslikult ühe, mille kaalu ta tõstab, ning muudab ülejäänud nulliks. Lassoregressiooni kasutamise valem on w ∗ = a r g m i n w ( y − X w ) T ( y − X w ) + λ ∑ i | w | {\displaystyle w^{*}={\underset {w}{argmin}}(y-\mathrm {X} w)^{T}(y-\mathrm {X} w)+\lambda \sum _{i}|w|} , kus λ {\displaystyle \lambda } on regularisatsiooniparameeter ja ∑ i | w | {\displaystyle \sum _{i}|w|} on kaalude absoluutväärtuste summa. Lassoregressiooni meetodil puudub suletud süsteemi lahendus. Kõige tähtsam erinevus lasso- ja kantregressiooni meetodi vahel on nullkaalude arv: lassoregressioon sunnib kõigi vähegi ebatähtsate tunnuste kaalud nulliks, kuid kantregressiooni tulemusel saadud kaalud on küll väiksed, kuid mitte nullid. Seega on lassoregressiooni tulemus lihtsam mudel, mis ennustamiseks kasutatakse ainult mingit kogutunnuste hulga osahulka. See aga ei tähenda, et lassoregressioon oleks iga probleemi jaoks parim lahendus. Lassoregressioon töötab enamjaolt paremini ülesannetes, kus ainult väike osa tunnuste reaalsetest kaaludest on suurem kui null ehk märgendit mõjutab ainult mingi väike osa kogutunnustest. Kantregressioon töötab aga paremini ülesannetes, kus on palju tunnuseid, mis kõik mõjutavad ennustust vähemal või suuremal määral. Kui parameetri väärtus on 0, siis kaalude regularisatsiooni ei toimu ja mudel arvutatakse välja tavalise vähimruutude meetodiga. Mida suurem on lambda väärtus, seda rohkem karistatakse suuremaid kaale ning seda väiksemad on kõigi tunnuste kaalud. Kuna erinevate ülesannete lähteandmed on erinevad, ei leidu ühtset regularisatsiooni parameetri väärtust, mis igal juhul annaks parima tulemuse. Parima võimaliku lambda väärtuse saab välja arvutada eri viisil, näiteks ristvalideerimise, erinevuse printsiibi või L-kurvi meetodiga. Lineaarregressioon Masinõpe Peter Flach. Machine Learning: The Art and Science of Algorithms that Make Sense of Data. Lk 204-205. Christopher M. Bishop. Neural Networks for Pattern Recognition. Lk 338. Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani. An Introduction to Statistical Learning with Applications in R. Lk 215.{{raamatuviide}}: CS1 hooldus: mitu nime: autorite loend (link) Arthur E. Hoerl, Robert W. Kennard (1970). Ridge Regression: Biased Estimation for Nonorthogonal Problems. Lk 57. Joseph O Ogutu, Torben Schulz-Streeck, Hans-Peter Piepho. Genomic selection using regularized linear regression models: ridge regression, lasso, elastic net and their extensions.{{raamatuviide}}: CS1 hooldus: mitu nime: autorite loend (link) Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani. An Introduction to Statistical Learning with Applications in R. Lk 223.{{raamatuviide}}: CS1 hooldus: mitu nime: autorite loend (link) H. Ahmadian, J. E. Mottershead, M. I. Friswell (1998). Regularisation Methods for Finite Element Model Updating. Lk 1.{{raamatuviide}}: CS1 hooldus: mitu nime: autorite loend (link)