Regressioanalyysi

Regressioanalyysi on tilastotieteen menetelmä, jonka avulla tarkastellaan vastemuuttujan riippuvuutta valituista selittävistä muuttujista. 

Regressioanalyysissa käytetään tyypillisesti seuraavaa esitystapaa:
 Tuntemattomat parametrit merkitään skalaarilla tai vektorilla β
 Selittäviä muuttujia eli kovariaatteja merkitään vektorilla tai matriisilla X
 Selitettävää muuttujaa merkitään Y

Yleisessä muodossa regressiomalli esittää muuttujan Y muuttujan X ja parametrien β funktiona: E(Y | X) = f(X, β). Analyysin suorittamiseksi mallin funktiomuoto f pitää määrittää. Yleisimmin käytetään lineaarista mallia. Regressioanalyysissa lasketaan vastemuuttujan Y odotusarvo ehdolla selittävät tekijät X ja valitaan parametrit β siten, että mallin ennusteet vastaavat mahdollisimman hyvin havaittuja vastemuuttujan Y arvoja. Tuloksena saadaan mallin parametrien β arviot eli estimaatit. Ennustettujen ja havaittujen arvojen etäisyyttä minimoidaan eri tavoin riippuen estimointimenetelmästä. Yleisimmin käytetään pienimmän neliösumman menetelmää.

Lineaarinen regressioanalyysi

Kun tehdään tavallinen lineaarinen regressioanalyysi skalaarimuuttujille X ja Y, oletetaan että E(Y|X) = aX + b. Tämän funktion estimaatti on y* = a*X + b*, missä a* ja b* ovat aineistosta oletettavat regressiokertoimet, a* = Cov(X,Y) / Var(X), ja b* = Keskiarvo(Y) - a*Keskiarvo(X).
 
(Integroituva) satunnaismuuttuja/vektori Y voidaan yleisesti kirjoittaa hajotelmana Y = E(Y|X) + u. Tällöin E(Y|X) on regressiofunktio, joka pyritään laskemaan, ja u on satunnaisvaihtelua, jonka määritelmä on yksinkertaisesti u:= Y - E(Y|X). Riippuu E(Y|X):n ja u:n tapauskohtaisista ominaisuuksista (E(Y|X):n funktioluokka, sileys ym.; u:n varianssi, mahdollinen autokorrelaatiorakenne ym.), pystytäänkö regressioanalyysia soveltamaan, ja mikä analyysimenetelmä on suositeltavin.

Muita menetelmiä
Regressioanalyysin menetelmiä ovat muun muassa:
Epälineaarinen malli
Yleistetty lineaarinen malli
Kvantiiliregressio
Ei-parametrinen regressioanalyysi
Yleistetty additiivinen malli

Aiheesta muualla

 Sykes, A.O. "An Introduction to Regression Analysis"  (Inaugural Coase Lecture)

Katso myös
 Regressioepäjatkuvuusasetelma

Seulonnan keskeiset artikkelit