Logistiline regressioon

Logistiline regressioon või üldisemalt logistiline mudel ehk "logit"-mudel on üks üldistatud lineaarsetest mudelitest, mis prognoosib uuritava sündmuse toimumise tõenäosust ja selle muutumist sõltuvalt pideva argumenttunnuse väärtuse muutumisest. Logit-mudeli uuritaval tunnusel võib olla ainult kaks võimalikku väärtust: jah/ei, on/ei ole, esineb/ei esine. See kodeeritakse ümber 1/0 tunnuseks, kus 1 tähistab sündmuse toimumist. Tegemist on Bernoulli formula_1 või binoomjaotusega formula_2, kus n on katsete arv ning formula_3 on otsitava sündmuse tõenäosus, mida tavaliselt tähistatakse järgmiselt: formula_4 ning formula_5. Seega logistilise mudeli eesmärgiks on hinnata sündmuse toimumise tõenäosust. Logistilise regressiooni lõi 1958. aastal statistik David Cox.
Otsitav tulemus.
Logistiline regressioon saab olla nii binaarne, järjestatud või multinomiaalne. Binoomse või binaarse logistilise regressiooni puhul uuritakse olukorda, kus uuritaval tunnusel on kaks võimalikku väärtust: 0 ja 1. Multinominaalse regressiooni puhul on tegemist olukorraga, kus väljundiks on 3 või rohkem sõltumatut väärtust ning väärtustel puudub järjestus. Järjestatud logistilise regressiooni korral uuritakse tunnust, millel on mitu sõltuvat taset ning tasemed on järjestatud.
Logit-mudel on kõige enam kasutatud meetod binaarse tunnuse modelleerimiseks. Sellel on ühtlasi ka kerge ja arusaadav interpretatsioon. Sündmuse toimumisel ("ravimi tarvitamine", "võit" jne.) märgitakse tavaliselt "1" ning vastandsündmuse ("platseebo tarvitamine", "kaotus" jne) korral vastavalt "0". Mudeli parameetrite interpreteerimisel kasutatakse šansside suhte muutusi, kust sündmuse šanss on defineeritud kui sündmuse esinemise tõenäosuse ja sündmuse mitteesinemise tõenäosuse suhe.
Logistrilise regressiooni korral kasutatakse samuti pidevaid ja faktoriaalseid kirjeldavaid tunnuseid. Erinevalt klassikalistest mudelitest, kus üheks eelduseks on uuritava tunnuse normaaljaotus, logistilise mudeli korral see eeldus puudub. Samuti ei saa parameetrite hindamisel kasutada vähimruutude meetodit (VRM), nagu tehakse seda klassikaliste meetodite korral. Binaarse tunnuse korral on VRM hinnangutel teistsugused omadused, seetõttu üldistatud lineaarsete mudelite korral hinnatakse parameetreid suurima tõepära meetodil. Suurima tõepära hinnangu korral valitakse parameetrid, mille korral saavutab tõepärafunktsioon maksimumi.
Mudeli kuju, logistiline funktsioon, šansid, šansside suhe ja "logit".
Kui tegemist on binaarse tunnusega, siis ei saa kasutada tavalist lineaarset regressiooni, seetõttu tuleb väärtused lõigust [0,1] teisendada (üksüheselt, pidevalt, diferentseeruvalt) reaalarvulisele skaalale.
"Logit-"funktsiooni definitsioon.
Binaarse uuritava tunnuse korral tuleb kasutada "logit-"seosefunktsiooni, kuna prognoositakse tunnuse tõenäosust, mis on lõigus [0,1]. "Logit-"seosefunktsiooni abil leitakse teisendus kogu reaalteljele.
formula_6, kus formula_7 on sündmuse esinemise šanss.
Logistilise mudeliga hinnatakse seega šansi logaritmi
formula_8, kus formula_9 on sündmuse esinemise tõenäosus ja k on argumentide arv.
"Logit-"seosefunktsioonist avaldub ka prognoosi tõenäosus formula_10.
Šansside definitsioon.
Sündmuse šanss on defineeritud kui sündmuse esinemise tõenäosuse ja sündmuse mitteesinemise tõenäosuse suhe
formula_11.
Šansside suhe on defineeritud kui kahe sündmuse šansside suhe
formula_12. 
Parameetrite interpreteerimine.
Kui parameetri ees olev märk on pluss, siis see näitab samapidist seost argumendi ja sündmuse esinemise tõenäosuse vahel. Miinusmärk näitab vastupidist seost.
Mudeli headuse näitajad.
Lineaarse regressiooni mudelite korral mõõdetakse mudeli headust determinatsioonikordajaga R2. Kuna sellel pole logistilise regressiooniga otsest seost, kasutatakse mudeli headuse määramiseks teisi meetodeid. Järgmisena välja toodud statistikute korral mida väiksem on statistiku väärtus, seda parem on mudel.
Hälbimus.
Hälbimus (ingl "deviance") näitab häbimust ideaalsest mudelist. See on analoogne lineaarses regressioonis oleva ruutude summa arvutusega. Hälbimus avaldub järgmiselt:
formula_13,
kus formula_14 vastab küllastunud mudeli logaritmilistele tõepärafunktsioonidele ja formula_15 vastab uuritava mudeli logaritmilistele tõepärafunktsioonidele.
Hälbimusega samaväärseks loetakse Pearsoni hii-ruut-statistikut. 
Parameetrite olulisus.
Pärast mudeli kuju leidmist hinnatakse parameetrite olulisust. Logistilise regressiooni korral tähistavad logistilise regressiooni koefitsiendid muutust logit'is ühe ühiku korda. Mudelite parameetrite olulisuse hindamiseks kasutatakse kõige sagedamini tõepärasuhte statistikut ja Waldi statistikut. Mõlemad statistikud on asümptootiliselt hii-ruut-jaotusega, seega parameetrite formula_16 olulisust hinnatakse formula_17-statistikuga. formula_17-statistik näitab kui palju suureneks mudeli hälbimus, kui vastav argument mudelist ära jätta.