Lineaarregressioon

Lineaarregressioon on statistiline meetod, mille abil saab lähendada muutujate vahelisi seoseid. Lineaarregressiooni kasutatakse näiteks masinõppes. Selle tarbeks leitakse sobiv lineaarfunktsioon, mis vaadeldud andmete vahelist seost piisaval määral kirjeldab. Ennustada võib nii ühe kui ka mitme tunnuse põhjal. Ühe tunnuse ehk vaba muutuja põhjal ennustamise korral on tegemist lihtsa lineaarregressiooniga ning mitme puhul mitmekordse lineaarregressiooniga.
Otsitav tulemus.
Ühe tunnuse põhjal kõige paremini sobiva sirge võrrandit kujutatakse järgmiselt:
formula_1,
kus formula_2 on ennustatud väärtus, formula_3 on väärtus, mille põhjal ennustatakse, formula_4 on tõus ning formula_5 on nullkoht. Suuremates dimensioonides mitmete vabade muutujate kasutamise puhul nimetatakse selle võrrandi tulemust tasandiks või hüpertasandiks. Kui kasutusel on formula_6 vabat muutujat formula_7, on tarvis leida väärtused formula_8, mida nimetatakse ka kaaludeks või koefitsientideks. Et neid väärtusi saab kujutada vektoritena, on ülaltoodud lihtne võrrand tihtipeale asendatud vektor- ja maatrikstehetega, mis võtavad arvesse mitmete vabade muutujatega regressiooni arvutamist.
Andmetele sobitamine.
Enamasti kasutatakse lineaarregressiooni sirge sobitamiseks vähimruutude meetodit, mida nimetatakse ka tavaliseks vähimruutude meetodiks. Selle meetodi abil arvutatakse välja kõige paremini sobiv sirge, minimeerides iga andmepunkti ja vastava sirge väärtuste vahede ruutude summat piki vertikaaltelge. Vahede suurused võetakse ruutu, et kõik tulemused oleksid positiivsete väärtustega ega nulliks teineteist. Teisisõnu otsitakse väärtusi formula_9 ja formula_10nii, et minimeerida väärtust formula_11, mis väljendub valeminaformula_12kus formula_13 tähistab märgendi tegelikku väärtust ning formula_14 vaadeldava andmehulga suurust.
Võõrväärtus, ebatüüpiline vaatlus ja erind.
Andmestikule leitud regressioonisirgest kaugel asuvaid üksikuid väärtusi nimetatakse võõrväärtusteks. Võõrväärtuste näol on tegemist vaadeldud andmetega, mis kirjeldavad ebatüüpilisi juhtumeid või erindeid ja mis mõjutavad regressioonisirge asendit väga olulisel määral. Mida kaugemal on võõrväärtus teistest mööda horisontaaltelge, seda suuremat mõju avaldab see regressioonisirge tõusule. Selliste võõrväärtuste eemaldamist nimetatakse ka müra vähendamiseks andmestikus.
Kui üksiku vaatluse standardiseeritud jäägi absoluutväärtus
Gradientlaskumine.
Enam kui ühe sisendtunnusega lineaarregressioonimudelit treenides võib optimeerimiseks kasutada gradientlaskumist. Gradientlaskumise kasutamine näeb ette koefitsientide algväärtustamist suvaliste arvudega ning seejärel itereerides nende väärtuste muutmist sedasi, et need minimeeriks vigade suurust.
Regulariseerimine.
Lineaarregressioonimudeli liigse keerukuse vähendamiseks kasutatakse regulariseerimismeetodeid, millest levinumad on Lasso ja Ridge. Nende rakendamise tagajärjel muutub osade koefitsientide väärtus nulliks, st mõnede tunnuste osatähtsus muutub olematuks. Masinõppes peetakse liiga keerukaks mudeleid, mis sisaldavad palju reegleid ning tihtipeale on need ülesobitatud treeninguandmetele.
Ekstrapoleerimine.
Lineaarregressioonimudeli sobitamisel andmestikule on tarvis tähelepanu pöörata andmestikus esinevate väärtuste vahemikule. Regressioonimudeli kasutamine andmetel, mis jäävad selle treeninguvahemikust välja, võib päädida uskumatute tulemustega, sest mudel peab ennustamiseks ekstrapoleerima.