Lineaarregressioon

**Lineaarregressioon** on statistiline meetod, mille abil saab lähendada muutujate vahelisi seoseid. Lineaarregressiooni kasutatakse näiteks masinõppes. Selle tarbeks leitakse sobiv lineaarfunktsioon, mis vaadeldud andmete vahelist seost piisaval määral kirjeldab. Ennustada võib nii ühe kui ka mitme tunnuse põhjal. Ühe tunnuse ehk vaba muutuja põhjal ennustamise korral on tegemist lihtsa lineaarregressiooniga ning mitme puhul mitmekordse lineaarregressiooniga.

## Otsitav tulemus
Ühe tunnuse põhjal kõige paremini sobiva sirge võrrandit kujutatakse järgmiselt:

:\check{y} = b_0 + b_1 \cdot x,

kus \check{y}  on ennustatud väärtus, **<math>x</math>** on väärtus, mille põhjal ennustatakse, b_1 on tõus ning b_0 on nullkoht. Suuremates dimensioonides mitmete vabade muutujate kasutamise puhul nimetatakse selle võrrandi tulemust tasandiks või hüpertasandiks. Kui kasutusel on d vabat muutujat x_1, ..., x_d, on tarvis leida väärtused b_0, b_1, ..., b_d, mida nimetatakse ka kaaludeks või koefitsientideks. Et neid väärtusi saab kujutada vektoritena, on ülaltoodud lihtne võrrand tihtipeale asendatud vektor- ja maatrikstehetega, mis võtavad arvesse mitmete vabade muutujatega regressiooni arvutamist.

## Andmetele sobitamine

Enamasti kasutatakse lineaarregressiooni sirge sobitamiseks vähimruutude meetodit, mida nimetatakse ka tavaliseks vähimruutude meetodiks. Selle meetodi abil arvutatakse välja kõige paremini sobiv sirge, minimeerides iga andmepunkti ja vastava sirge väärtuste vahede ruutude summat piki vertikaaltelge. Vahede suurused võetakse ruutu, et kõik tulemused oleksid positiivsete väärtustega ega nulliks teineteist. Teisisõnu otsitakse väärtusi 
 b_0    ja  b_1   nii, et minimeerida väärtust  Q   , mis väljendub valemina
 Q = \sum_{i=1}^n (y_i-\check{y}_i)^2,  
 kus 
 y_i  
  tähistab märgendi tegelikku väärtust ning 
 n  
  vaadeldava andmehulga suurust.

## Võõrväärtus, ebatüüpiline vaatlus ja erind
Andmestikule leitud regressioonisirgest kaugel asuvaid üksikuid väärtusi nimetatakse võõrväärtusteks. Võõrväärtuste näol on tegemist vaadeldud andmetega, mis kirjeldavad ebatüüpilisi juhtumeid või erindeid ja mis mõjutavad regressioonisirge asendit väga olulisel määral. Mida kaugemal on võõrväärtus teistest mööda horisontaaltelge, seda suuremat mõju avaldab see regressioonisirge tõusule. Selliste võõrväärtuste eemaldamist nimetatakse ka müra vähendamiseks andmestikus.

Kui üksiku vaatluse standardiseeritud jäägi absoluutväärtus

* |u_i^{std}| > 2 on tegemist ebatüübilise väärtusega
* |u_i^{std}| > 3 on tegemist erindiga.

## Gradientlaskumine
Enam kui ühe sisendtunnusega lineaarregressioonimudelit treenides võib optimeerimiseks kasutada gradientlaskumist. Gradientlaskumise kasutamine näeb ette koefitsientide algväärtustamist suvaliste arvudega ning seejärel itereerides nende väärtuste muutmist sedasi, et need minimeeriks vigade suurust.

## Regulariseerimine
Lineaarregressioonimudeli liigse keerukuse vähendamiseks kasutatakse regulariseerimismeetodeid, millest levinumad on Lasso ja Ridge. Nende rakendamise tagajärjel muutub osade koefitsientide väärtus nulliks, st mõnede tunnuste osatähtsus muutub olematuks. Masinõppes peetakse liiga keerukaks mudeleid, mis sisaldavad palju reegleid ning tihtipeale on need ülesobitatud treeninguandmetele.

## Ekstrapoleerimine
Lineaarregressioonimudeli sobitamisel andmestikule on tarvis tähelepanu pöörata andmestikus esinevate väärtuste vahemikule. Regressioonimudeli kasutamine andmetel, mis jäävad selle treeninguvahemikust välja, võib päädida uskumatute tulemustega, sest mudel peab ennustamiseks ekstrapoleerima.

## Viited