Yleistetty lineaarinen malli

**Yleistetyt lineaariset mallit** () on laaja tilastotieteen malliluokka, jonka avulla voidaan mallintaa erityyppisiä ja eri jakaumia noudattavia vastemuuttujia. Lineaarinen malli on yksi yleistetyn lineaarisen mallin erikoistapaus, eikä se sovi käytettäväksi kaikissa tilanteissa sen oletuksista johtuen. Esimerkiksi positiivisien vasteiden, lukumäärävasteiden ja binomisten vasteiden mallinnukseen yleistetty lineaarinen malli sopii lineaarista mallia paremmin. Myös epälineaariset yhteydet muuttuja muunnostenkin jälkeen saattavat koitua lineaarisen mallin ongelmaksi, koska vakiovarianssioletus ei aina ole voimassa. Yleistettyjen lineaaristen mallien muita tunnettuja erikoistapauksia ovat logistinen malli ja Poisson-regressio.

Yleistetyt lineaariset mallit ovat siis klassisten lineaaristen mallien perheen sellainen laajennus, josta löytyy sopiva malli kaikkiin edellä olleisiin lineaarisen mallin kannalta ongelmallisiin esimerkkitilanteisiin. Yleistetyn lineaarisen mallin systemaattinen osa on edelleen lineaarinen, mutta se ei ole välttämättä suoraan *Y*i:n odotusarvo, vaan mahdollisesti joku sen tunnettu muunnos.
: \operatorname{g}(\boldsymbol{\mu_i}) = \sum_{j=1}^p x_{ij} \boldsymbol{\beta_j} = \boldsymbol{\eta_i} 

Kaavassa *g()* on jokin linkkifunktio, joka määrittää vastemuuttujan suhteen lineaariseen malliin. Linkkifunktiolle ei ole muita rajoitteita kuin, että se on monotoninen ja derivoituva. Linkkifunktioita ovat mm. *g*(*µ*i) = log(*µ*i) ja *g*(*µ*i) = 1/*µ*i.

Periaatteessa yleistetyt lineaariset mallit ovat läheistä sukua muunnettujen vasteiden lineaariselle mallille. Erona on se, että muunnos tehdään yleistetyissä lineaarisissa malleissa odotusarvolle eikä vastemuuttujalle. Etuna yleistettyjen lineaaristen mallien käytössä muunnettujen lineaaristen mallien sijaan on se, että varianssifunktion ei tarvitse olla vakio ja yleisesti yleistetyt lineaariset mallit tuottavat luotettavampia tuloksia.

## Yleistettyjen lineaaristen mallien teoriaa
### Mallin oletukset
Yleistetyllä lineaarisella mallilla on kolme perusoletusta:
#	Vastemuuttujan *Y*i, *i* = 1,…,n jakaumat kuuluvat samaan eksponenttiperheeseen. Tämä toteutuu, kun satunnaismuuttujien *Y*i tiheysfunktiot voidaan kirjoittaa muodossa:
:  f_Y(y_i; \theta_i, \phi) = \exp{\left(\frac{a_i(y_i\theta_i-b(\theta_i))}
                                                {\phi} +
                                           c(y_i,\phi(1/a_i) \right)} \,\!                  , jossa *a*i on paino, *Ф* on tunnettu tai tuntematon hajontaparametri, *θ* on tuntematon parametri ja* b()* ja *c()* ovat tunnettuja funktioita.
#	*Y*i:t ovat keskenään riippumattomia.
#	On olemassa reaaliarvoinen monotoninen ja derivoituva linkkifunktio *g*, joka kuvaa vastemuuttujien odotusarvot *µ*i selittävien muuttujien arvojen lineaariseksi ennusteeksi *η*i:
: \operatorname{g}(\boldsymbol{\mu_i}) = \sum_{j=1}^p x_{ij} \boldsymbol{\beta_j} = \boldsymbol{\eta_i} 

### Linkkifunktion valinta
Linkkifunktion valintaan vaikuttaa vastemuuttujan tyyppi ja jakauma. Linkkifunktio valitaan siis aineistoon sopivaksi. Sellaista linkkifunktiota, jolle pätee *η<sub>i</sub> = g(µ<sub>i</sub>) = θ<sub>i</sub>*, kutsutaan kanoniseksi linkkifunktioksi ja sen käyttö helpottaa laskemista. Tämä on kätevää, jos kanoninen linkkifunktio sopii aineistoon riittävän hyvin, mutta linkkifunktion kanonisuus ei ole perustelu sen sopivuudelle. Normaalijakaumaan lineaarisella mallilla kanoninen linkkifunktio on identtinen eli *g*(µi) = *µ*i. Binomijakauman kanoninen linkkifunktio on logistinen *g*(*µ*i) = *log*[*µ*i/(1- *µ*i)].

### Logaritminen uskottavuus, pistemääräfunktio ja estimointi
Eksponenttiperheen logaritminen uskottavuusfunktio tunnetulla hajontaparametrilla *Ф* voidaan kirjoittaa muodossa:
:  l(\theta_1,...,\theta_n; \phi,a_i,y_i) = \sum_{i=1}^n{\left(\frac{a_i(y_i\theta_i-b(\theta_i))}
                                                {\phi} +
                                           c(y_i,\phi(1/a_i) \right)}. \,\!
Pistemääräfunktio on osittaisderivaatta logaritmisesta uskottavuusfunktiosta. Suurimman uskottavuuden estimaatti saadaan ratkaisemalla pistemääräfunktio, kun se asetetaan nollaksi. Uskottavuusyhtälöt ovat *ß*j:n suhteen epälineaarisia, jos linkkifunktio on epälineaarinen.* ß*j:n estimoimiseen tarvitaan siten iteratiivinen menetelmä, joista yksinkertaisin on Newton-Raphson –menetelmä.

### Devianssi
Yleistetyn lineaarisen mallin devianssi on:
:  D(y; \widehat{\mu})= 2\phi(l(y;y)-l(\widehat{\mu};y)). 
jossa *l(.;y)* on odotusarvovektorin *µ* ja hajontaparametrin *Ф* logaritminen uskottavuusfunktio ja *l(y, Ф;y)* on saturoidun, eli täydellisesti aineistoon sopivan mallin, uskottavuus. Skaalattu devianssi saadaan jakamalla devianssi hajontaparametrilla *Ф*. Devianssilla on tärkeä rooli mallin sopivuuden tarkastelussa (kts. mallintaminen).

### [[Quasi-likelihood|Kvasiuskottavuus]]
Yleistettyjen lineaaristen mallien yksi perusoletus (1) on vastemuuttujan jakauman kuuluminen eksponenttiperheeseen. Usein on kuitenkin niin, ettei vastemuuttujan jakaumaa tunneta. Tämä ei kuitenkaan nouse ongelmaksi, sillä estimointi voidaan tehdä myös jakaumasta johdetun varianssifunktion avulla. Ensimmäinen oletus eksponenttiperheestä voidaan siten korvata oletuksella:
:  Var(Y_i) = \frac{\phi V(\mu_i)}{a_i}.
Nyt ei kuitenkaan ole olemassa uskottavuusfunktiota, joten esimerkiksi devianssi täytyy määrittää kvasiuskottavuusfunktion avulla. Kvasiuskottavuusfunktio toimii kuten tunnetun jakauman uskottavuusfunktio ja esimerkiksi sen avulla voidaan laskea suurimman uskottavuuden estimaatteja.
:  Q(\beta;y)= (1 / \phi) \sum_{i=1}^n \int_y^\mu {\left(\frac{a(y_i-t)} {V(t)} \right)dt}. \,\!

## Mallintaminen ja mallin sopivuuden tarkastelu
Mallintamisen prosessi alkaa jo tutkimusasetelman muodostamisesta ja otoksen poimimisesta. Suunnittelu on erityisen tärkeä vaihe, koska se määrää pitkälti sen, millainen ja kuinka hyvä malli aineiston pohjalta voidaan muodostaa. Aineiston keruun jälkeen valitaan mallityyppi, estimoidaan se ja tarkastellaan vielä mallin sopivuutta. Lopuksi tehdään johtopäätökset ja kirjoitetaan aiheesta raportti.

Lähtökohtaisesti on tärkeää, että malliin on valittu vastemuuttujan tyypille sopiva linkkifunktio. Huolellisenkin mallin valinnan jälkeen voi kuitenkin käydä niin, että malli istuu huonosti aineistoon. Mallin sopivuutta aineistoon voidaan tutkia erilaisilla kriteereillä. Erityisesti kannattaa kiinnittää huomiota, mallin jäännösten vaihteluun, ylihajontaan, poikkeaviin ja puuttuviin havaintoihin sekä selittäjien kykyyn selittää vastemuuttujan vaihtelua. Jos mukana on useampia kilpailevia malleja, kannattaa lisäksi vertailla näiden mallien niin sanottuja informaatiokriteereitä (AIC ja BIC).

### Jäännökset
Yleistetyillä lineaarisilla malleilla niin sanottujen raakojen residuaalien (*y*i-*µ*i) jakauma on usein vino ja ne riippuvat odotusarvosta *µ*. Tämän vuoksi jäännöksistä tarvitaan myös yleistetty versio, joka voidaan tehdä monin eri tavoin.
Yksinkertaisin korjaus voidaan tehdä jakamalla raakaresiduaalit neliöjuuressa olevan odotusarvon varianssifunktion ja painon suhteella. Näitä jäännöksiä kutsutaan Pearsonin jäännöksiksi.
:  r_{P,i} = \frac{y_i-\widehat{\mu_i}}{\sqrt {V(\widehat{\mu_i})/a_i}}. 
Muita muunnosresiduaali vaihtoehtoja ovat devianssijäännökset ja Anscomben jäännökset. Kummatkin antavat likimain samanlaiset jäännökset, mutta devianssijäännökset ovat laskennallisesti helpompia.

### Ylihajonta
Devianssi on luonnollinen mittari mallin sopivuuden tarkastelulle. Kun malli sopii täydellisesti aineistoon, sen devianssi on nolla. Eli mitä pienempi on devianssi, sitä paremmin malli toimii aineistoissa. Kun hajontaparametri *Ф* on tunnettu (binomi- ja Poisson-mallit), voidaan skaalatun devianssin avulla tutkia onko *Ф*:n arvo aineistossa oikea. Ylihajonnalla tarkoitetaan sitä, että aineistosta estimoitu hajontaparametri on suurempi kuin oletettu. Binomi- ja Poisson-malleille reilusti vapausasteita (*n*-*p*) suuremmat devianssiarvot viittaavat ylihajontaan.

### Uskottavuusosamäärän testi
Devianssia käytetään apuna myös mallin selittäjien merkitsevyyden tarkastelussa uskottavuusosamäärän testin muodossa. Uskottavuusosamäärän testillä testataan nollahypoteesia  H_0 = \beta_{k1} = \beta_{k2} =...= \beta_{k(p-q)} = 0.  Jos nollahypoteesi kyetään hylkäämään, niin voidaan päätellä selittäjien olevan tilastollisesti merkitsevä vastemuuttujan vaihtelun selittämisessä.
Testisuure saadaan laskemalla:
:  {\frac{D(y;\widehat{\beta_0})-D(y;\widehat{\beta})} {\widehat{\phi}(p-q)} } \,\!
Jos hajontaparametri *Ф* on tunnettu, testisuure noudattaa χ²-jakaumaa parametrein (*p*-*q*). Jos hajontaparametri on estimoitava, noudattaa testisuure F-jakaumaa parametrein *p-q, n-p*.

### Poikkeavat ja puuttuvat havainnot
Poikkeavat ja puuttuvat havainnot saattavat vaikuttaa huomattavasti mallin sopivuuteen. Poikkeavat havainnot voivat huonontaa mallin sopivuutta kahdella tavalla; ne ”vääntävät” mallin sovitetta ja vaikuttavat regressiokertoimiin tai niiden jäännökset ovat selkeästi muita suurempia. Poikkeavia havaintoja voidaan tutkia muun muassa Cookin mitan tai vipuvoiman avulla.

Puuttuvat tiedot ovat ongelma, jos niitä on paljon ja etenkin, jos kadon ja vastemuuttujan *Y* välillä on yhteys (MNAR). Puuttuvien tietojen käsittelemättä jättäminen on hyväksyttävää, jos kato on satunnaista ja sitä on vain vähän. Muussa tapauksessa puuttuvat havainnot kannattaa joko asianmukaisesti imputoida tai mallintaa aineisto erikseen puuttuvien ja havaittujen havaintojen kesken.

### AIC ja BIC
Akaiken informaatiokriteerin (AIC) ja Bayesilaisen informaatiokriteerin (BIC) avulla voidaan vartailla kilpailevia malleja. Mallia, jolla on pienin AIC (tai BIC), pidetään parhaana.

## Mallin soveltaminen eri tilanteissa
Vastemuuttujan jakauma mallia varten ja mallin linkkifunktio pitää valita aina aineistoon sopivaksi. Koska yleistetyt lineaariset mallit ovat laaja malliperhe, eri tilanteisiin sopivat erilaisen mallit jakaumineen ja linkkifunktioineen.

### Binomivasteet
Kun vastusvaihtoehtoja on kaksi (0 tai 1), vastemuuttujana on positiivisten vasteiden (1) osuus kaikista:  Y_i = K_i / m_i . *K*i noudattaa binomijakaumaa *Bin*(*m*i, *л*i), jos positiivisen vasteen todennäköisyys *л*i on kiinteä kussakin kovariaattiluokassa *m*i. Binomijakaumalle ylihajonta on hyvin yleistä, joka johtuu esimerkiksi ryvästymisestä.
Binomivasteen tapauksessa usein käytettyjä linkkifunktioita ovat:
*	Logistinen:  g(\mu_i) = \log\left(\frac{\mu_i}{1-\mu_i}\right). 
*	Probit-funktio:  \operatorname{g}(\mu_i) = \phi^{-1}(\mu_i).  missä *Ф* on normeeratun normaalijakauman kertymäfunktio.
*	Komplementaarinen log-log –funktio:  \operatorname{g}(\mu_i) = \log(-\log(1-\mu_i)). 
Yleistetty lineaarinen malli binomisen vasteen tapauksessa on sama kuin logistinen regressiomalli, jos linkkifunktioksi valitaan logistinen linkkifunktio. Logistinen linkkifunktio on myös binomijakauman kanoninen linkki.

### Lukumäärävasteet
Kun vastemuuttuja *Y*i on lukumäärä, joille ei ole määritettävissä ylärajaa, puhutaan lukumäärävasteesta. Tyypillisesti *Y*i on joltain alueelta ja ajanjaksolta havaittujen tapausten määrä. Jos kyseiset tapaukset voidaan olettaa toisistaan riippumattomiksi ja niiden intensiteetti *λ* vakioksi, noudattaa lukumäärävaste Poisson-jakaumaa. Sopiva linkkifunktio on log.
:  \log(\mu_i) = \sum_{j=1}^p x_{ij} \boldsymbol{\beta_j} 
Kuten binomijakauman tapauksessakin, ylihajonta on Poisson-jakaumassa yleistä.

Lukumäärävasteisiin liittyy keskeisesti käsite offset. Offset on hyödyllinen silloin, kun havaintojen aikaikkuna vaihtelee. Tämä aikaikkunan vaihtelu voidaan huomioida mallissa offsetin avulla. Kun linkkifunktio on logistinen, offset saadaan malliin mukaan:
:  \log(\mu_i) = \sum_{j=1}^p x_{ij} \boldsymbol{\beta_j} + \log(t_i) 
jossa *T*i on aikaikkuna.

### Luokitteluaineistot
Luokitteluasteikollisia vastemuuttujia voidaan käsitellä binomivasteiden yleistyksenä, missä vasteena on luokka. Järjestysasteikolliset muuttujat poikkeavat luokitteluasteikollisista siten, että luokkien välillä on selkeä, luonnollinen järjestys. Kuhunkin kovariaattiluokkaan *i* liittyy Q-ulotteinen vastevektori *Y*i = [*K*i1/*m*i, *K*_i2/*m*i,…,*K*iQ/*m*i].

Multinominaalijakauma on yleistys binomijakaumasta. Eli kun kategorioita on enemmän kuin kaksi kyseessä on multinominaalijakauma. Jakauma on muotoa:
:\frac{m_i!}{k_{i1}! k_{i2}!...k_{iQ}!} \pi_{i1}^{k_{i1}} \pi_{i2}^{k_{i2}}... \pi_{iQ}^{k_{iQ}}.
Multinominaalijakauma ei sellaisenaan kuulu eksponenttiperheeseen, mutta se voidaan määrittää Poisson-jakauman kautta.
Olkoon *K*1, *K*2,…, *K*Q ovat Poisson-jakautuneita satunnaismuuttujia odotusarvoilla *λ*1, *λ*2,…,*λ*Q. Summa *m* = *K*1 + *K*2 +…+ *K*Q on Poisson-jakaumaa noudattava satunnaismuuttuja odotusarvolla *λ* = *λ*1 + *λ*2 +…+ *λ*Q. Siten ehdollinen jakauma on multinominaalijakauman muotoinen:

:  f(k_1,k_2,...,k_Q;m) = \left(\frac{\lambda_1}{\lambda}\right)^{k_1}\left(\frac{\lambda_2}{\lambda}\right)^{k_2} ... \left(\frac{\lambda_Q}{\lambda}\right)^{k_Q} \frac {m!} {k_1!k_2!...k_q!}. 
Koska \left(\frac{\lambda_q}{\lambda}\right)^{k_q} = \pi_q  kyseessä on multinominaalijakauma.

On hyvä huomata, että mallista on jätettävä yksi luokka pois analyysia varten. Tämä poisjätetty luokka toimii ns. vertailuluokkana. Sopiva linkkifunktio lukumäärävasteille on **logistinen linkki**.

### Positiiviset vasteet
Kun vastemuuttuja on jatkuva, joka voi saada vain positiivisia arvoja, puhutaan positiivisesta vasteesta. Ei-negatiivinen vaste voi saada myös nollahavaintoja. Usein positiivisen ja ei-negatiivisen vasteen jakauma on vino, johon on reagoitava. Malleissa, joissa on positiivinen vastemuuttuja, oletetaan variaatiokertoimen *C.V* olevan vakio.

Positiiviselle vasteelle on erilaisia mahdollisia jakaumia. Yksi vaihtoehto on Gamma-jakauma, jolla *C.V* on vakio. Gamma-jakaumalle mahdollisia linkkifunktioita ovat:
*	Käänteinen linkki:  g(\mu_i) = \frac{1}{\mu_i}. 
*	Log-linkki:  \operatorname{g}(\mu_i) = \log(\mu_i). 
Käänteinen linkkifunktio on Gamma-jakauman kanoninen linkkifunktio. Tällä linkillä on tarpeen rajoittaa regressiokerrointa *ß*, ettei sovitteet ole negatiivisia. Log-linkkifunktion kohdalla regressiokerrointa *ß* ei tarvitse rajoittaa.

Gamma-jakautuneelle vastemuuttujalle on mahdollista käyttää myös log-normaalijakaumaa. Käytännössä vastemuuttujasta otetaan logaritmi ja oletetaan tämän muunnoksen noudattavan normaalijakaumaa. Myös käänteinen Gaussianin jakauma, Weibullin jakauma ja Pareto-jakauma ovat mahdollisia vaihtoehtoja positiiviselle vasteelle.

## Esimerkki mallin soveltamisesta R:ssä
R-ohjelmistolla voidaan helposti estimoida erilaisia yleistettyjä lineaarisia malleja. Mallissa pitää määritellä vastemuuttuja ja selittävät muuttujat, eksponenttiperheen muoto, linkkifunktio ja käytetty aineisto. Jos linkkifunktio jätetään ilmoittamatta, ohjelmisto käyttää automaattisesti kanonista linkkiä.

Esimerkki mallin estimoimisesta:

  glm(y~x1+x2, family=poisson(link="log"), data = aineisto)

Lisätietoa yleistetyn lineaarisen mallin sovittamiseen R:ssä saa komennolla:

  ?'glm'

## Lähteet
* McCullagh, P. & Nelder, J.: Generalized Linear Models. Chapman and Hall, 1989. .
* Karvanen, Juha: Generalized Linear Models, http://wiki.helsinki.fi/download/attachments/35917349/lectures.pdf?version=1 
* Heikkinen, Juha: Yleistetyt lineaariset mallit, http://www.rni.helsinki.fi/~jmh/glm05/