Logistinen regressio

Logistinen regressio (engl. logistic regression) on tilastollinen malli, joka on erityistyyppi tavanomaisesta regressiomallista. Logistisessa regressiomallissa selitettävä muuttuja on dikotominen eli kaksiluokkainen muuttuja. Selitettävä muuttuja saa arvon 0 tai 1 siten, että se muuttujan luokka, jota halutaan ennustaa, saa arvon 1. Logistinen regressiomalli on siis yleistetty lineaarinen malli, jonka linkkifunktio on g(\mu_i) =ln(\frac {\mu_i}{1-\mu_i}). Selittävät muuttujat voivat olla suhdeasteikollisia, järjestysasteikollisia tai luokiteltuja. Logistisella regressioanalyysillä mallinnetaan vastemuuttujan ja selittävien muuttujien suhdetta. Toisin kuin tavanomaisessa regressiomallissa, vasteen odotusarvo on riski (eng. odds). Riski on todennäköisyys, että jokin tapahtuma tapahtuu suhteessa siihen, että se ei tapahdu; \frac {P(Y=1|x)}{P(Y=0|x)} Yan, X.: Linear Regression Analysis : Theory and Computing (2009). ==Malli== Oletetaan, että käytössä on \scriptstyle p kappaletta selittäviä muuttujia. Merkitään vasteen odotusarvoa {E(Y|x)= \pi(x)}. Tehdään vasteen odotusarvolle logistinen muunnos {logit (\pi(x))= ln\frac {\pi(x)}{1-\pi(x)}} , missä \frac {\pi(x)}{1-\pi(x)} = \frac {P(Y=1|x)}{P(Y=0|x)} . Silloin logistinen regressiomalli on {logit (\pi(x)) = \beta_{0} + \beta_{1}x_1 +...+ \beta_{p}x_{p} } Hosmer, D. W., Lemeshow, S. Sturdivant, R. X.: Wiley Series in Probability and Statistics : Applied Logistic Regression (3rd Edition) (2013). , josta ratkaisemalla {\pi(x_i)} saadaan ln\frac {\pi(x)}{1-\pi(x)} = \beta_{0} + \beta_{1}x_1 +...+ \beta_{p}x_{p} \Leftrightarrow \frac {\pi(x)}{1-\pi(x)}= e^{\beta_{0} + \beta_{1}x_1 +...+ \beta_{p}x_{p}} \Leftrightarrow {\pi(x)} = \frac {e^{\beta_{0} + \beta_{1}x_1+...+ \beta_{p}x_{p}}}{1+ e^{\beta_{0} + \beta_{1}x_1+...+ \beta_{p}x_{p}}} . ==Mallin sovittaminen== Yleiselle lineaariselle mallille, jolle vastemuuttuja on jatkuva, mallin sovitus voidaan tehdä pienimmän neliösumman menetelmällä (PNS). Koska logistisella regressiomallilla on dikotominen vaste, menetelmällä estimoitavilla parametreillä {\hat{\beta_{0}} + \hat{\beta_{1}}x_{1} +...+ \hat{\beta_{p}}x_{p}} ei ole tiettyjä ominaisuuksia. Mallin sovitus tehdään Suurimman uskottavuuden menetelmällä (SU), joka on yleistys PNS-menetelmästä. Sitä varten muodostetaan mallille uskottavuusfunktio: oletetaan, että käytössä on usean selittäjän malli. Oletetaan myös, että yksittäinen y_{ij} noudattaa Bernoulli-jakaumaa B(\pi(x_i)) ja että vasteet ovat riippumattomia. Silloin niiden summa \sum_{j=1}^{n_i} y_{ij} noudattaa jakaumaa Bin(n_i,\pi(\boldsymbol{x}_i)). Uskottavuusfunktio on \mathbf{L}(\boldsymbol{\beta}) = \prod_{i=1}^n \binom{n_i}{y_i} \pi(\boldsymbol{{x}_i})^{y_{i}} [1-\pi(\boldsymbol{{x}_i})]^{n_i-y_i} Logaritminen uskottavuusfunktio on L(\boldsymbol{\beta}) = ln(L(\boldsymbol{\beta})) = exp\left [\sum_{i=1}^n \big\\{ y_i ln [\pi(\boldsymbol{{x}_i})] + (n_i-y_i)ln [1-\pi(\boldsymbol{{x}_i})]- ln\binom{n_i}{y_i} \big\\} \right ]. Sijoitetaan kaavaan ln \frac {\pi(\boldsymbol{x}_1)}{1-\pi\boldsymbol({x}_i)} = \boldsymbol{x}_i'\beta , derivoidaan \frac{\partial \mathit{l}(\boldsymbol{\beta})}{\partial \boldsymbol{\beta}} ja asetetaan derivaatta nollaksi. Saadaan \sum y_i x_i = \sum \frac{n_i e^{\boldsymbol{x}_i'\beta}}{1 +e^{x_i'\beta} } \boldsymbol{x}_i josta ratkaistaan \boldsymbol{\hat{\beta}} numeerisesti. Nyblom, J.: Yleiset lineaariset mallit (2014). Luentomoniste. Lähde kuollut, vuoden 2015 versio täällä. ==Devianssi== Devianssin avulla voidaan tutkia, kuinka hyviä valitun mallin ennusteet ovat. Devianssi määritellään D =-2ln\frac{sovitetun\ mallin \ uskottavuus}{saturoidun\ mallin\ uskottavuus} jossa saturoitu malli tarkoittaa mallia, joka sisältää yhtä monta parametria, kuin havaintoja on, ja sopii siten aineistoon täydellisesti (virhetemit ovat nollia). Devianssilla verrataan siis, kuinka hyvin sovitetun mallin arvot eroavat saturoidusta mallista (verrattavissa lineaarisen regressiomallin jäännösneliösummien vertailuun). Mitä pienempi devianssi on, sitä paremmin malli sopii aineistoon. Devianssin avulla voidaan laskea uskottavuusosamäärän testi, jolla selvitetään, ovatko mallin parametrit \beta_{0} + \beta_{1}x_1 +...+ \beta_{p}x_{p} merkitseviä, eli selittävätkö ne todella vasteen vaihtelua. Larose, D: Data minig and methods and models (2006). ==Esimerkki== Halutaan tutkia, miten ikä vaikuttaa riskiin sairastua sepelvaltimotautiin. Aineisto sisältää muuttujat \scriptstyle ID= koehenkilön tunniste (koehenkilölle \scriptstyle i) \scriptstyle AGE= koehenkilön ikä \scriptstyle CHD= tieto siitä, onko henkilö sairastunut sepelvaltimotautiin vai ei. Jos henkilö on sairastunut, CHD=1 ja jos henkilö ei ole sairastunut, CHD=0. Malli on logit(P(CHD_i=1))= \beta_{0} + \beta_{1}*AGE_i eli P(CHD_i=1) = \frac {e^{ \beta_{0} + \beta_{1}*AGE_i}} {1+e^{\beta_{0} + \beta_{1}*AGE_i} } ID AGE CHD 1 20 0 2 23 0 3 24 0 4 25 0 5 25 1 6 26 0 7 26 0 8 28 0 9 28 0 10 29 0 ... ... ... 99 65 1 100 69 1 Suurimman uskottavuuden estimoinnilla saadaan \hat{\beta_{0}} = -5.309 , joka on mallin vakiotermi ja \hat{\beta_{1}} = 0.111 , joka on kulmakerroin muuttujalle AGE. Malli on siis P(CHD_i=1) = \frac {e^{ -5.309 + 0.111*AGE_i}} {1+e^{-5.309 + 0.111*AGE_i}}. Tulkinta: Kun verrataan kahta henkilöä, joista toinen on vuoden verran vanhempi, kuin toinen, vanhemmalla henkilöllä on e^{0.111}= 1.117395-kertainen todennäköisyys sairastua sepelvaltimotautiin (suhteessa siihen, että ei sairastu), kuin nuoremmalla henkilöllä. * * * * == Lähteet == Luokka:tilastotiede