Logistiline regressioon

Logistiline regressioon või üldisemalt logistiline mudel ehk logit-mudel on üks üldistatud lineaarsetest mudelitest, mis prognoosib uuritava sündmuse toimumise tõenäosust ja selle muutumist sõltuvalt pideva argumenttunnuse väärtuse muutumisest. Logit-mudeli uuritaval tunnusel võib olla ainult kaks võimalikku väärtust: jah/ei, on/ei ole, esineb/ei esine. See kodeeritakse ümber 1/0 tunnuseks, kus 1 tähistab sündmuse toimumist. Tegemist on Bernoulli Y ∼ B ( 1 , π ) {\displaystyle Y\sim B(1,\pi )} või binoomjaotusega Y ∼ B ( n , π ) {\displaystyle Y\sim B(n,\pi )} , kus n on katsete arv ning π {\displaystyle \pi } on otsitava sündmuse tõenäosus, mida tavaliselt tähistatakse järgmiselt: π = P ( Y = 1 ) {\displaystyle \pi =P(Y=1)} ning 1 − π = P ( Y = 0 ) {\displaystyle 1-\pi =P(Y=0)} . Seega logistilise mudeli eesmärgiks on hinnata sündmuse toimumise tõenäosust. Logistilise regressiooni lõi 1958. aastal statistik David Cox. Logistiline regressioon saab olla nii binaarne, järjestatud või multinomiaalne. Binoomse või binaarse logistilise regressiooni puhul uuritakse olukorda, kus uuritaval tunnusel on kaks võimalikku väärtust: 0 ja 1. Multinominaalse regressiooni puhul on tegemist olukorraga, kus väljundiks on 3 või rohkem sõltumatut väärtust ning väärtustel puudub järjestus. Järjestatud logistilise regressiooni korral uuritakse tunnust, millel on mitu sõltuvat taset ning tasemed on järjestatud. Logit-mudel on kõige enam kasutatud meetod binaarse tunnuse modelleerimiseks. Sellel on ühtlasi ka kerge ja arusaadav interpretatsioon. Sündmuse toimumisel ("ravimi tarvitamine", "võit" jne.) märgitakse tavaliselt "1" ning vastandsündmuse ("platseebo tarvitamine", "kaotus" jne) korral vastavalt "0". Mudeli parameetrite interpreteerimisel kasutatakse šansside suhte muutusi, kust sündmuse šanss on defineeritud kui sündmuse esinemise tõenäosuse ja sündmuse mitteesinemise tõenäosuse suhe. Logistrilise regressiooni korral kasutatakse samuti pidevaid ja faktoriaalseid kirjeldavaid tunnuseid. Erinevalt klassikalistest mudelitest, kus üheks eelduseks on uuritava tunnuse normaaljaotus, logistilise mudeli korral see eeldus puudub. Samuti ei saa parameetrite hindamisel kasutada vähimruutude meetodit (VRM), nagu tehakse seda klassikaliste meetodite korral. Binaarse tunnuse korral on VRM hinnangutel teistsugused omadused, seetõttu üldistatud lineaarsete mudelite korral hinnatakse parameetreid suurima tõepära meetodil. Suurima tõepära hinnangu korral valitakse parameetrid, mille korral saavutab tõepärafunktsioon maksimumi. Kui tegemist on binaarse tunnusega, siis ei saa kasutada tavalist lineaarset regressiooni, seetõttu tuleb väärtused lõigust [0,1] teisendada (üksüheselt, pidevalt, diferentseeruvalt) reaalarvulisele skaalale. Binaarse uuritava tunnuse korral tuleb kasutada logit-seosefunktsiooni, kuna prognoositakse tunnuse tõenäosust, mis on lõigus [0,1]. Logit-seosefunktsiooni abil leitakse teisendus kogu reaalteljele. η = l o g i t ( π ) = l n π 1 − π {\displaystyle \eta =logit(\pi )=ln{\frac {\pi }{1-\pi }}} , kus π 1 − π {\displaystyle {\frac {\pi }{1-\pi }}} on sündmuse esinemise šanss. Logistilise mudeliga hinnatakse seega šansi logaritmi l n π 1 − π = β 0 + β 1 x 1 + . . . + β k x k {\displaystyle ln{\frac {\pi }{1-\pi }}=\beta _{0}+\beta _{1}x_{1}+...+\beta _{k}x_{k}} , kus π = P ( Y = 1 ) {\displaystyle \pi ={\textbf {P}}(Y=1)} on sündmuse esinemise tõenäosus ja k on argumentide arv. Logit-seosefunktsioonist avaldub ka prognoosi tõenäosus π = e η 1 + e η {\displaystyle \pi ={\frac {e^{\eta }}{1+e^{\eta }}}} . Sündmuse šanss on defineeritud kui sündmuse esinemise tõenäosuse ja sündmuse mitteesinemise tõenäosuse suhe Π = π 1 − π {\displaystyle \Pi ={\frac {\pi }{1-\pi }}} . Šansside suhe on defineeritud kui kahe sündmuse šansside suhe O R = Π i Π j = π i 1 π i π j 1 − π j {\displaystyle OR={\frac {\Pi _{i}}{\Pi _{j}}}={\frac {\frac {\pi _{i}}{1\pi _{i}}}{\frac {\pi _{j}}{1-\pi _{j}}}}} . Kui parameetri ees olev märk on pluss, siis see näitab samapidist seost argumendi ja sündmuse esinemise tõenäosuse vahel. Miinusmärk näitab vastupidist seost. Lineaarse regressiooni mudelite korral mõõdetakse mudeli headust determinatsioonikordajaga R2. Kuna sellel pole logistilise regressiooniga otsest seost, kasutatakse mudeli headuse määramiseks teisi meetodeid. Järgmisena välja toodud statistikute korral mida väiksem on statistiku väärtus, seda parem on mudel. Hälbimus (ingl deviance) näitab häbimust ideaalsest mudelist. See on analoogne lineaarses regressioonis oleva ruutude summa arvutusega. Hälbimus avaldub järgmiselt: D = 2 l n l ( y , y ) l ( y , μ ) {\displaystyle D=2ln{\frac {l(y,y)}{l(y,\mu )}}} , kus l ( y , y ) {\displaystyle l(y,y)} vastab küllastunud mudeli logaritmilistele tõepärafunktsioonidele ja l ( y , μ ) {\displaystyle l(y,\mu )} vastab uuritava mudeli logaritmilistele tõepärafunktsioonidele. Hälbimusega samaväärseks loetakse Pearsoni hii-ruut-statistikut. Pärast mudeli kuju leidmist hinnatakse parameetrite olulisust. Logistilise regressiooni korral tähistavad logistilise regressiooni koefitsiendid muutust logit'is ühe ühiku korda. Mudelite parameetrite olulisuse hindamiseks kasutatakse kõige sagedamini tõepärasuhte statistikut ja Waldi statistikut. Mõlemad statistikud on asümptootiliselt hii-ruut-jaotusega, seega parameetrite β i {\displaystyle \beta _{i}} olulisust hinnatakse χ 2 {\displaystyle \chi ^{2}} -statistikuga. χ 2 {\displaystyle \chi ^{2}} -statistik näitab kui palju suureneks mudeli hälbimus, kui vastav argument mudelist ära jätta. Kaart, Tanel. (2012). Binaarsete tunnuste analüüsimeetodid. Kasutatud 10.03.2018 Käärik, Ene. (2017). Andmeanalüüs II. Loengukonspekt. Walker, S.H., Duncan, D.B. (1967). "Estimation of the probability of an event as a function of several independent variables". Biometrika. 54: 167–178. Cox, D.R. (1958). "The regression analysis of binary sequences (with discussion)". J Roy Stat Soc B. 20: 215–242. Hosmer, D. W., Lemeshow, S. (2000). Applied Logistic Regression (2nd Edition). New York: Wiley. http://dx.doi.org/10.1002/0471722146