Logistiline regressioon

**Logistiline regressioon** või üldisemalt **logistiline mudel** ehk **''logit''-mudel** on üks üldistatud lineaarsetest mudelitest, mis prognoosib uuritava sündmuse toimumise tõenäosust ja selle muutumist sõltuvalt pideva argumenttunnuse väärtuse muutumisest. Logit-mudeli uuritaval tunnusel võib olla ainult kaks võimalikku väärtust: jah/ei, on/ei ole, esineb/ei esine. See kodeeritakse ümber 1/0 tunnuseks, kus 1 tähistab sündmuse toimumist. Tegemist on Bernoulli Y \sim B(1, \pi) või binoomjaotusega Y \sim B(n, \pi), kus n on katsete arv ning \pi on otsitava sündmuse tõenäosus, mida tavaliselt tähistatakse järgmiselt: \pi = P(Y=1) ning 1-\pi = P(Y=0). Seega logistilise mudeli eesmärgiks on hinnata sündmuse toimumise tõenäosust. Logistilise regressiooni lõi 1958. aastal statistik David Cox.
## Otsitav tulemus
Logistiline regressioon saab olla nii binaarne, järjestatud või multinomiaalne. Binoomse või binaarse logistilise regressiooni puhul uuritakse olukorda, kus uuritaval tunnusel on kaks võimalikku väärtust: 0 ja 1. Multinominaalse regressiooni puhul on tegemist olukorraga, kus väljundiks on 3 või rohkem sõltumatut väärtust ning väärtustel puudub järjestus. Järjestatud logistilise regressiooni korral uuritakse tunnust, millel on mitu sõltuvat taset ning tasemed on järjestatud.

Logit-mudel on kõige enam kasutatud meetod binaarse tunnuse modelleerimiseks. Sellel on ühtlasi ka kerge ja arusaadav interpretatsioon. Sündmuse toimumisel ("ravimi tarvitamine", "võit" jne.) märgitakse tavaliselt "1" ning vastandsündmuse ("platseebo tarvitamine", "kaotus" jne) korral vastavalt "0". Mudeli parameetrite interpreteerimisel kasutatakse šansside suhte muutusi, kust sündmuse šanss on defineeritud kui sündmuse esinemise tõenäosuse ja sündmuse mitteesinemise tõenäosuse suhe.

Logistrilise regressiooni korral kasutatakse samuti pidevaid ja faktoriaalseid kirjeldavaid tunnuseid. Erinevalt klassikalistest mudelitest, kus üheks eelduseks on uuritava tunnuse normaaljaotus, logistilise mudeli korral see eeldus puudub. Samuti ei saa parameetrite hindamisel kasutada vähimruutude meetodit (VRM), nagu tehakse seda klassikaliste meetodite korral. Binaarse tunnuse korral on VRM hinnangutel teistsugused omadused, seetõttu üldistatud lineaarsete mudelite korral hinnatakse parameetreid suurima tõepära meetodil. Suurima tõepära hinnangu korral valitakse parameetrid, mille korral saavutab tõepärafunktsioon maksimumi.

## Mudeli kuju, logistiline funktsioon, šansid, šansside suhe ja ''logit''
Kui tegemist on binaarse tunnusega, siis ei saa kasutada tavalist lineaarset regressiooni, seetõttu tuleb väärtused lõigust [0,1] teisendada (üksüheselt, pidevalt, diferentseeruvalt) reaalarvulisele skaalale.

### ''Logit-''funktsiooni definitsioon
Binaarse uuritava tunnuse korral tuleb kasutada *logit-*seosefunktsiooni, kuna prognoositakse tunnuse tõenäosust, mis on lõigus [0,1]. *Logit-*seosefunktsiooni abil leitakse teisendus kogu reaalteljele.

\eta = logit(\pi) = ln\frac{\pi}{1-\pi}, kus \frac{\pi}{1-\pi} on sündmuse esinemise šanss.

Logistilise mudeliga hinnatakse seega šansi logaritmi

ln\frac{\pi}{1-\pi} = \beta_0 + \beta_1x_1 + ... + \beta_kx_k, kus \pi = \textbf{P}(Y = 1) on sündmuse esinemise tõenäosus ja k on argumentide arv.

*Logit-*seosefunktsioonist avaldub ka prognoosi tõenäosus \pi = \frac{e^\eta}{1 + e^\eta}.

### Šansside definitsioon
Sündmuse šanss on defineeritud kui sündmuse esinemise tõenäosuse ja sündmuse mitteesinemise tõenäosuse suhe

\Pi = \frac{\pi}{1-\pi}.

Šansside suhe on defineeritud kui kahe sündmuse šansside suhe

OR = \frac{\Pi_i}{\Pi_j} = \frac{\frac{\pi_i}{1\pi_i}}{\frac{\pi_j}{1-\pi_j}}. 
### Parameetrite interpreteerimine
Kui parameetri ees olev märk on pluss, siis see näitab samapidist seost argumendi ja sündmuse esinemise tõenäosuse vahel. Miinusmärk näitab vastupidist seost.

## Mudeli headuse näitajad
Lineaarse regressiooni mudelite korral mõõdetakse mudeli headust determinatsioonikordajaga R2. Kuna sellel pole logistilise regressiooniga otsest seost, kasutatakse mudeli headuse määramiseks teisi meetodeid. Järgmisena välja toodud statistikute korral mida väiksem on statistiku väärtus, seda parem on mudel.

### Hälbimus
Hälbimus (ingl *deviance*) näitab häbimust ideaalsest mudelist. See on analoogne lineaarses regressioonis oleva ruutude summa arvutusega. Hälbimus avaldub järgmiselt:

D = 2ln\frac{l(y,y)}{l(y,\mu)},

kus l(y,y) vastab küllastunud mudeli logaritmilistele tõepärafunktsioonidele ja l(y,\mu) vastab uuritava mudeli logaritmilistele tõepärafunktsioonidele.

Hälbimusega samaväärseks loetakse Pearsoni hii-ruut-statistikut. 
 
### Parameetrite olulisus
Pärast mudeli kuju leidmist hinnatakse parameetrite olulisust. Logistilise regressiooni korral tähistavad logistilise regressiooni koefitsiendid muutust logit'is ühe ühiku korda. Mudelite parameetrite olulisuse hindamiseks kasutatakse kõige sagedamini tõepärasuhte statistikut ja Waldi statistikut. Mõlemad statistikud on asümptootiliselt hii-ruut-jaotusega, seega parameetrite \beta_i olulisust hinnatakse \chi^2-statistikuga. \chi^2-statistik näitab kui palju suureneks mudeli hälbimus, kui vastav argument mudelist ära jätta.

## Viited