Poisson-regressio

**Poisson-regressio** on yleistettyjen lineaaristen mallien erikoistapaus. Poisson-regressiota käytetään lukumääräaineistojen mallintamiseen. Kuten yleensäkin yleistettyjen lineaaristen mallien kohdalla, tässäkin tapauksessa oletetaan havaintojen riippumattomuus. (Pitkittäisaineistojen kohdalla riippuvuus huomioidaan käyttämällä marginaalimalleja, yleistettyjä lineaarisia sekamalleja tai transitiomalleja.)

Yleistettyjen lineaaristen mallien toinen oletus riippumattomuuden lisäksi on, että *Y*i:den jakauma kuuluu eksponentiaaliseen perheeseen. Yleistettyjen lineaaristen mallien tapauksessa jakauma kuuluu eksponentiaalisen perheeseen, jos jakauma voidaan kirjoittaa muodossa
:  f_Y(y_i; \theta_i, \phi) = \exp{\left(\frac{y_i\theta_i-a(\theta_i)}
                                                {\phi} + 
                                           b(y_i,\phi) \right)} \,\!                  ,jossa *Ф* on skaalaparametri, *θ* on kanooninen lokaatio ja * a()* , *b()* ovat jakaumaspesifejä funktioita.

Poisson-jakauma voidaan kirjoittaa muodossa
:  f_Y(y_i; \mu_i) = \frac{\exp{(\mu_i)}\mu_i^{y_i}}
                                                {y_i!} 
                         = \exp((y_i)log(\mu_i) - \exp(log(\mu_i)) - log(y_i!)) \,\!
Nyt 
:  \theta_i = log(\mu_i), \phi = 1, a(\theta_i) = \exp(\theta_i) \,\!.
Viimeisintä voidaan käyttää poisson-jakauman odotusarvon ja varianssin määrittämiseen. (Odotusarvo sekä varianssi ovat *µ*i.) Poisson-jakauma siis kuuluu eksponentiaaliseen perheeseen.

Systemaattiseksi osaksi yleistetyissä lineaarisissa malleissa sanotaan osaa 
:  \boldsymbol{\eta_i} = \beta_1x_{i1} + ... + \beta_px_{ip} \,\!.
Linkkifunktio linkittää systemaattisen osan vasteen odotusarvoon
:  \operatorname{g}(\boldsymbol{\mu_i}) = \boldsymbol{\eta_i} = \beta_1x_{i1} + ... + \beta_px_{ip} \,\!.

Poisson-regressiossa linkkifunktio on *g*(µi) = log(*µ*i). Tämän vuoksi estimoitua regressio-kerrointa *β<sub>i</sub>* voidaan tulkita poisson-regressiossa seuraavasti. (Olettaen, että interaktioita ei ole.) Verrattaessa kahta yksilöä, jotka poikkeavat vain tarkasteltavan muuttujan suhteen yhdellä yksiköllä, odotettu vasteen lukumäärä muuttuu exp(*β<sub>i</sub>*)-kertaiseksi.

### Poisson-regressio ja altistus
Monesti ollaan kiinnostuneita tapahtumien intensiteetistä, esimerkiksi liikennekuolemista miljoonaa asukasta kohden. Tällaisissa tapauksissa kirjoitetaan *µ*i = *m*i*λ*i. *λ*i on intensiteetti ja *m*i on altistuneiden tai altistuksen määrä useimmiten tiettynä aikana (esim. kuukaudessa) tai tietyssä paikassa (esim. Suomessa). Yleistetyissä lineaarisissa malleissa altistuksen logaritmista käytetään nimitystä offset. Intensiteetin logaritmi riippuu lineaarisesti prediktoreista
:  \log(\mu_i) = \log(\lambda_i) + \log(m_i) = \beta_1x_{i1} + ... + \beta_px_{ip} + \log(m_i) \,\! 
Jos intensiteettiä ei tarvitse huomioida, niin offset prediktori log(*m*i) asetetaan nollaksi eli *m*i ykköseksi.

### Uskottavuusfunktio ja estimointi
Kun käytetään edellisiä merkintöjä (*μ*i = *m*i*λ*i) ja merkitään *β*1*x*i1 + ... + *β*p*x*ip = **x**i**β**, niin uskottavuus voidaan kirjoittaa muodossa
:  L(\beta) = \prod_{i=1}^n \frac{m_i\exp{(\boldsymbol{x_i^'\beta})^{y_i}}}
                                                {y_i!} \exp(-m_i\exp(\boldsymbol{x_i^'\beta}))  
:  L(\beta) = \exp( \sum_{i=1}^n y_i\boldsymbol{x_i^'\beta} - m_i\exp(\boldsymbol{x_i^'\beta}) + y_i\log(m_i) - \log(y_i!) )  

Suurimman uskottavuuden estimaatit saadaan, kun maksimoidaan uskottavuusfunktion logaritmi. Ratkaisu löytyy asettamalla osittaisderivaatat nolliksi. Kun oletetaan, että selittäjien matriisi **X**, ykkössarakkeella täydennettynä, on täysiasteinen, niin pätee, että mikäli uskottavuusyhtälöllä *∂*logL(β)/∂β = **0** on äärellinen ratkaisu, niin se on yksikäsitteinen suurimman uskottavuuden estimaatti.

Uskottavuusyhtälöt ovat
:  \sum_{i=1}^n y_i\boldsymbol{x_i} = \sum_{i=1}^n m_i\exp(\boldsymbol{x_i^'\beta})\boldsymbol{x_i}
Uskottavuusyhtälöt ratkaistaan numeerisesti IWLS-menetelmällä. Samaa menetelmää käytetään myös logistisen regression tapauksessa. Jos **β(0)** on alkuarvo, niin seuraava arvo on **β(1)** = **β(0)** + **δ(1)**, missä
:  \boldsymbol{\delta^{(1)}} = (\boldsymbol{X}^'\boldsymbol{W}^{(0)}\boldsymbol{X})^{-1} \boldsymbol{X}^'\boldsymbol{W}^{(0)}\boldsymbol{U}^{(0)} 
:  \boldsymbol{W^{(0)}} = diag[m_1\exp(\boldsymbol{x}_1^'\boldsymbol{\beta}^{(0)}), ... , m_n\exp(\boldsymbol{x}_n^'\boldsymbol{\beta}^{(0)})]   
:  \boldsymbol{U^{(0)}} = (\frac{y_1 - m_1\exp(\boldsymbol{x_1^'\beta^{(0)})}}
                                                {m_1\exp(\boldsymbol{x_1^'\beta^{(0)})}}, \ldots , 
                                 \frac{y_n - m_n\exp(\boldsymbol{x_n^'\beta^{(0)})}}
                                                {m_n\exp(\boldsymbol{x_n^'\beta^{(0)})}} ) 
Suurilla otoksilla pätee likimäärin tulos
:  \boldsymbol{\beta} ~ N(\boldsymbol{\beta}, (\boldsymbol{X^'}\boldsymbol{W(\beta)}\boldsymbol{X})^{-1})   ,
missä **W(β)** on kuten **W^((0))**, mutta **β^((0))**:n paikalla on (tuntematon) oikea arvo **β**. Kovarianssimatriisi on Fisherin informaatiomatriisin käänteismatriisi. Fisherin informaatiomatriisi lasketaan derivoimalla uskottavuusfunktio kahdesti ja vaihtamalla etumerkki
:  \boldsymbol{I(\beta)} = - \frac{d^2\log(L)}
                                    {d^2\boldsymbol{\beta}d^2\boldsymbol{\beta^'}}
                               = \boldsymbol{X^'}\boldsymbol{W(\beta)}\boldsymbol{X}    
Keskivirheet saadaan kun käyetetään matriisia 
:  \widehat{\boldsymbol{W}} = \boldsymbol{W(\widehat{\beta})}    

### Devianssi
Devianssin avulla voidaan verrata tiettyä poisson-regressiomallia kyllästettyyn l. saturoituun malliin. Eli siis devianssin avulla voidaan sovittaa sopiva malli. Tässä tapauksessa kyllästetty malli on sellainen, että intensiteetit *λ_i* saavat arvonsa riippumatta selittäjien arvoista. On osoitettu, että *λ_i*:n suurimman uskottavuuden estimaatti on 
:  \widehat{y}_i = \frac{y_i}{m_i}, i = 1, \ldots, n     
Kyllästetyn mallin ja Poisson-regressiomallin uskottavuudet ovat  
:  \widehat{L}_{sat} = \prod_{i=1}^n \frac{(m_i\widehat{y}_{i})^{y_i}}
                                                {y_i!} \exp(-m_i\widehat{y}_{i})  
:  \widehat{L} = \prod_{i=1}^n \frac{m_i\exp{(\boldsymbol{x_i^'\widehat{\beta}})^{y_i}}}
                                                {y_i!} \exp(-m_i\exp(\boldsymbol{x_i^'\widehat{\beta}}))  
Merkitään 
:  \widehat{\lambda}_i = \exp(\boldsymbol{x_i^'\widehat{\beta}}) 
Devianssiksi D saadaan tällöin (viimeinen yhtäsuuruus pätee, kun mallissa on vakio)
:  D = 2\log( \frac{\widehat{L}_{sat}} {\widehat{L}}) = 2 \sum_{i=1}^n y_i \log ( \frac{y_i} {m_i\widehat{\theta}_i})   
Devianssi noudattaa likimäärin *χ^2(n-p-1)*-jakaumaa. Approksimaatio voi olla huono, jos odotetut frekvenssit ovat pieniä. Devianssia voidaan käyttää yhteensopivuustestinä hypoteeseille
:  H_0: \log(\mu_i) = \log(m_i) + \boldsymbol{x_i^'\beta} , i = 1, \ldots, n    
Vastahypoteesina on, että odotusarvot *µ*i ovat mielivaltaisia.

Kun oletetaan, että tietty p:n selittäjän poisson-regressiomalli on oikea malli, voidaan testata kertoimien osajoukkoon liittyvää nollahypoteesia
:  H_0: \beta_{q+1} = \ldots = \beta_{p} = 0    
Vastahypoteesina on, että ainakin jokin *β*j on erisuurta kuin nolla, j = q+1, ... , p.
Testi konstruoidaan maksimoimalla sekä p:n selittäjän (oletettu oikea) malli että suppeampi q:n selittäjän malli, joita merkitään *L*p ja *L*q. Kun *H*0 on tosi
:  2\log( \frac{\widehat{L}_{p}} {\widehat{L}_{q}}) = D_q - D_p ~ \chi^2(p-q)   likimäärin. *D*p ja *D*q ovat laajemman ja suppeamman mallin devianssit.
Tätä sanotaan myös uskottavuusosamäärän testiksi. Toisin sanoen uskottavuusosamäärän testiä voi kuvata niin, että sillä vertaillaan sisäkkäisiä malleja.

### AIC ja BIC
Kun uskottavuusosamäärän testillä vertaillaan sisäkkäisiä malleja, niin AIC:n (Akaiken informaatiokriteerin) ja BIC:n (Bayesilaisen informaatiokriteerin) avulla voidaan vertailla muita kilpailevia malleja. Jos mallin valinta tehtäisiin vain informaatiokriteerin perusteella, niin valittaisiin se malli, jolla on pienin AIC (tai BIC).

### Jäännökset
Jäännösten avulla voidaan tutkia, onko Poisson-malli oikea ja tarvitseeko selittäjille tehdä muunnoksia. Jäännöskuvioissa ei pitäisi näkyä mitään selkeää kuviota (esim. hevosenkenkää), jotta malli olisi jokseenkin kunnossa. Kun malli on sovitettu ja saatu :  \log(\widehat{\mu}_i) = \boldsymbol{x_i^'\widehat{\beta}}   , niin voidaan laskea standardoidut jäännökset 
:  r_i = \frac{y_i - m_i\exp{(\widehat{\mu_i})}}
                                                {\sqrt{m_i\exp{(\widehat{\mu_i})}}}  
Mikäli Poisson-malli on oikea, niin jäännösten pitäisi olla likimäärin riippumattomia, ja niiden odotusarvon pitäisi olla 0 ja keskihajonnan 1. Mallin sopivuutta voidaan testata laskemalla neliösumma  Q = \sum_{i=1}^n r_i^2  , jota verrataan  \chi^2(n-p-1) -jakaumaan. Jäännökset kannattaa piirtää sovitteen ja prediktoreiden suhteen.

## Lähteet
*	McCullagh, P.; Nelder, J.: Generalized Linear Models. Chapman and Hall, 1989. .
*	Karvanen, Juha: Generalized Linear Models, http://wiki.helsinki.fi/download/attachments/35917349/lectures.pdf?version=1 
*	Heikkinen, Juha: Yleistetyt lineaariset mallit, http://www.rni.helsinki.fi/~jmh/glm05/ 
*	Nyblom, Jukka: Yleistetyt lineaariset mallit, http://users.jyu.fi/~junyblom/JTMprujub.pdf