Logistiline regressioon

Logistiline regressioon või üldisemalt logistiline mudel ehk logit-mudel on üks üldistatud lineaarsetest mudelitest, mis prognoosib uuritava sündmuse toimumise tõenäosust ja selle muutumist sõltuvalt pideva argumenttunnuse väärtuse muutumisest. Logit-mudeli uuritaval tunnusel võib olla ainult kaks võimalikku väärtust: jah/ei, on/ei ole, esineb/ei esine. See kodeeritakse ümber 1/0 tunnuseks, kus 1 tähistab sündmuse toimumist. Tegemist on Bernoulli  või binoomjaotusega , kus n on katsete arv ning  on otsitava sündmuse tõenäosus, mida tavaliselt tähistatakse järgmiselt:  ning . Seega logistilise mudeli eesmärgiks on hinnata sündmuse toimumise tõenäosust. Logistilise regressiooni lõi 1958. aastal statistik David Cox.

Otsitav tulemus

Logistiline regressioon saab olla nii binaarne, järjestatud või multinomiaalne. Binoomse või binaarse logistilise regressiooni puhul uuritakse olukorda, kus uuritaval tunnusel on kaks võimalikku väärtust: 0 ja 1. Multinominaalse regressiooni puhul on tegemist olukorraga, kus väljundiks on 3 või rohkem sõltumatut väärtust ning väärtustel puudub järjestus. Järjestatud logistilise regressiooni korral uuritakse tunnust, millel on mitu sõltuvat taset ning tasemed on järjestatud.
Logit-mudel on kõige enam kasutatud meetod binaarse tunnuse modelleerimiseks. Sellel on ühtlasi ka kerge ja arusaadav interpretatsioon. Sündmuse toimumisel ("ravimi tarvitamine", "võit" jne.) märgitakse tavaliselt "1" ning vastandsündmuse ("platseebo tarvitamine", "kaotus" jne) korral vastavalt "0". Mudeli parameetrite interpreteerimisel kasutatakse šansside suhte muutusi, kust sündmuse šanss on defineeritud kui sündmuse esinemise tõenäosuse ja sündmuse mitteesinemise tõenäosuse suhe.
Logistrilise regressiooni korral kasutatakse samuti pidevaid ja faktoriaalseid kirjeldavaid tunnuseid. Erinevalt klassikalistest mudelitest, kus üheks eelduseks on uuritava tunnuse normaaljaotus, logistilise mudeli korral see eeldus puudub. Samuti ei saa parameetrite hindamisel kasutada vähimruutude meetodit (VRM), nagu tehakse seda klassikaliste meetodite korral. Binaarse tunnuse korral on VRM hinnangutel teistsugused omadused, seetõttu üldistatud lineaarsete mudelite korral hinnatakse parameetreid suurima tõepära meetodil. Suurima tõepära hinnangu korral valitakse parameetrid, mille korral saavutab tõepärafunktsioon maksimumi.

Mudeli kuju, logistiline funktsioon, šansid, šansside suhe ja logit

Kui tegemist on binaarse tunnusega, siis ei saa kasutada tavalist lineaarset regressiooni, seetõttu tuleb väärtused lõigust [0,1] teisendada (üksüheselt, pidevalt, diferentseeruvalt) reaalarvulisele skaalale.

Logit-funktsiooni definitsioon

Binaarse uuritava tunnuse korral tuleb kasutada logit-seosefunktsiooni, kuna prognoositakse tunnuse tõenäosust, mis on lõigus [0,1]. Logit-seosefunktsiooni abil leitakse teisendus kogu reaalteljele.
, kus  on sündmuse esinemise šanss.
Logistilise mudeliga hinnatakse seega šansi logaritmi
, kus  on sündmuse esinemise tõenäosus ja k on argumentide arv.
Logit-seosefunktsioonist avaldub ka prognoosi tõenäosus .

Šansside definitsioon

Sündmuse šanss on defineeritud kui sündmuse esinemise tõenäosuse ja sündmuse mitteesinemise tõenäosuse suhe
.
Šansside suhe on defineeritud kui kahe sündmuse šansside suhe
.

Parameetrite interpreteerimine

Kui parameetri ees olev märk on pluss, siis see näitab samapidist seost argumendi ja sündmuse esinemise tõenäosuse vahel. Miinusmärk näitab vastupidist seost.

Mudeli headuse näitajad

Lineaarse regressiooni mudelite korral mõõdetakse mudeli headust determinatsioonikordajaga R². Kuna sellel pole logistilise regressiooniga otsest seost, kasutatakse mudeli headuse määramiseks teisi meetodeid. Järgmisena välja toodud statistikute korral mida väiksem on statistiku väärtus, seda parem on mudel.

Hälbimus

Hälbimus (ingl deviance) näitab häbimust ideaalsest mudelist. See on analoogne lineaarses regressioonis oleva ruutude summa arvutusega. Hälbimus avaldub järgmiselt:
,
kus  vastab küllastunud mudeli logaritmilistele tõepärafunktsioonidele ja  vastab uuritava mudeli logaritmilistele tõepärafunktsioonidele.
Hälbimusega samaväärseks loetakse Pearsoni hii-ruut-statistikut.

Parameetrite olulisus

Pärast mudeli kuju leidmist hinnatakse parameetrite olulisust. Logistilise regressiooni korral tähistavad logistilise regressiooni koefitsiendid muutust logit'is ühe ühiku korda. Mudelite parameetrite olulisuse hindamiseks kasutatakse kõige sagedamini tõepärasuhte statistikut ja Waldi statistikut. Mõlemad statistikud on asümptootiliselt hii-ruut-jaotusega, seega parameetrite  olulisust hinnatakse -statistikuga. -statistik näitab kui palju suureneks mudeli hälbimus, kui vastav argument mudelist ära jätta.