# Bayesiläinen tilastotiede

**Bayesiläinen tilastotiede** eli **Bayes-tilastotiede** on frekventistisen eli klassisen tilastotieteen ohella tilastotieteen toinen suuri paradigma. Se perustuu Bayesin kaavan soveltamiseen. Bayesiläisessa tilastotieteessä ajatellaan, että havainnot tunnetaan, joten ne ovat kiinteitä, ja todellisuus on tuntematon, johon liittyy epävarmuutta. Tarkoituksena on laskea posterioritodennäköisyyksiä siten, että otetaan huomioon sekä ennakkotieto että havaintoaineiston informaatio. Bayesiläinen tilastotiede juontaa juurensa 1700-luvulle, mutta sen käyttö alkoi yleistyä vasta 1900-luvun lopussa tietokoneiden kehityttyä riittävästi. Sitä mukaa myös itse ajattelutapa ja sen sovellukset ovat kehittyneet. Sekä Bayes-tilastotiede että Bayesin kaava ovat saaneet nimensä englantilaiselta harrastelijamatemaatikko ja presbyteeripappi Thomas Bayesiltä, jota pidetään Bayes-päättelyn esi-isänä.

## Bayesin kaava

*Pääartikkeli: Bayesin teoreema*
Bayesin kaava voidaan kirjoittaa seuraavasti:

 WIKINIUM\_MATH\_PH\_0
missä

* P(A) on tapahtuman A priori-todennäköisyys.
* P(A|B) on tapahtuman A posteriori-todennäköisyys eli tapahtuman A todennäköisyys ehdolla B.
* P(B|A) on tapahtuman B todennäköisyys ehdolla A.
* P(B) on tapahtuman B priori-todennäköisyys.

Tapahtumat A ja B voisivat esimerkiksi olla seuraavia väitelauseita: B = ”Suomalaiset miehet ovat pitempiä kuin ruotsalaiset” ja A = ”Kun tutkitaan 5 suomalaista ja 5 ruotsalaista, kaikki ruotsalaiset ovat pidempiä”. Bayesiläisessä tilastotieteessä voidaan tällöin tehdä laskelmia siitä *todennäköisyydestä että B on totta*, kun A havaitaan.

## Peruskäsitteet

Bayesiläisessä tilastotieteessä käytetään usein Bayesin kaavasta johdettua kaavaa p(x|y) = p(y|x)p(x) / p(y). Tämä kaava on voimassa tietyt säännöllisyysehdot toteuttavilla satunnaismuuttujilla x ja y. Kaavassa p on geneerinen jakaumasymboli, joka voidaan tulkita esimerkiksi tiheysfunktioksi tai pistetodennäköisyysfunktioksi.

Edellisen kaavan avulla pyritään tekemään tilastollisia päätelmiä *ei-havaittavasta* muuttujasta x *havaittavan* muuttujan y perusteella. Ehdollistettua jakaumasymbolia p(x|y) sanotaan x:n *posterioriksi*. Jakaumasymboli p(y|x) on *likelihood* (joskus myös *otantajakauma*, *otantamalli*), jota käytetään myös klassisen tilastotieteen uskottavuuspäättelyssä. Jakaumasymboli p(x) on puolestaan x:n *priori*. Tekijä 1/p(y) ei vaikuta x:ää koskevaan tilastolliseen päättelyyn, vaan se on luonteeltaan normitusvakio.

## Priorijakauma, posteriorijakauma ja prediktiivinen jakauma

### Merkintöjä

* WIKINIUM\_MATH\_PH\_2 on havaittu aineisto.
* WIKINIUM\_MATH\_PH\_4 on tuntematon parametri(vektori). Se voi olla myös puuttuva havainto(vektori) tai latentti muuttuja.
* WIKINIUM\_MATH\_PH\_6 on hyperparametri(vektori), joka voi olla tunnettu tai tuntematon.

### Priorijakauma

Jotta voimme muodostaa posteriorijakauman tuntemattomalle WIKINIUM\_MATH\_PH\_8 , tarvitaan:

* malli havainnolle WIKINIUM\_MATH\_PH\_10 ja
* priorijakauma tuntemattomalle WIKINIUM\_MATH\_PH\_12 .

Näistä ensimmäinen on uskottavuusfunktio WIKINIUM\_MATH\_PH\_14 .
Priorijakauma on ennakkokäsitys tuntemattomasta WIKINIUM\_MATH\_PH\_16 , ja usein se riippuu hyperparametreistä WIKINIUM\_MATH\_PH\_18 . Priori voidaan esittää jakaumana WIKINIUM\_MATH\_PH\_20 .

#### Konjugaattipriori

Jos priori valitaan siten, että se kuuluu samaan jakaumaperheeseen posteriorijakauman kanssa, sitä kutsutaan konjugaattiprioriksi. Tällöin syntyy myös laskennallisesti mukavampi tilanne. Jos havaintojen yhteisjakauma kuuluu eksponenttiseen perheeseen, aina on olemassa konjugaattipriori (Morris, 1983).

#### Epäinformatiivinen priori

Jos ilmiösta ei ole ennakkotietoa, prioriksi voidaan valita epäinformatiivinen priori, joka vaikuttaa mahdollisimman vähän posteriorijakaumaan.
Esimerkiksi seuraavalla tavalla:

 WIKINIUM\_MATH\_PH\_22 , missä WIKINIUM\_MATH\_PH\_24 tunnettu
 WIKINIUM\_MATH\_PH\_26 , WIKINIUM\_MATH\_PH\_28 suuri.
Yksi vaihtoehto on myös Jeffreys'in priori:

 WIKINIUM\_MATH\_PH\_30 , missä WIKINIUM\_MATH\_PH\_32 on havainnon Fisher informaatio:
 WIKINIUM\_MATH\_PH\_34 .

### Posteriorijakauma

Bayesin kaavasta saadaan posteriorijakaumaksi seuraava:

 WIKINIUM\_MATH\_PH\_36 .
missä jatkuvan jakauman tapauksessa

 WIKINIUM\_MATH\_PH\_38 ,
ja diskreetin jakauman tapauksessa

 WIKINIUM\_MATH\_PH\_40 .
Joskus tulee laskennallisia ongelmia nimittäjän integroinnissa, mutta jos ollaan kiinnostuneita vain posteriorin maksimista WIKINIUM\_MATH\_PH\_42 :n suhteen, sitä ei tarvita. Voidaan kirjoittaa:

 WIKINIUM\_MATH\_PH\_44 .
Suurimman uskottavuuden estimaatin laskemiseksi WIKINIUM\_MATH\_PH\_46 :lle riittää maksimoida lauseke WIKINIUM\_MATH\_PH\_48 WIKINIUM\_MATH\_PH\_50 :n suhteen, sillä nimittäjä WIKINIUM\_MATH\_PH\_52 ei riipu siitä.

### Prediktiivinen jakauma

Olkoon WIKINIUM\_MATH\_PH\_54 uusi havainto, joka on riippumaton havainnoista WIKINIUM\_MATH\_PH\_56 . Prediktiivinen jakauma (ennustejakauma) WIKINIUM\_MATH\_PH\_58 :lle on WIKINIUM\_MATH\_PH\_60 :n ehdollinen jakauma ehdolla WIKINIUM\_MATH\_PH\_62 , ja se saadaan seuraavasti:
 WIKINIUM\_MATH\_PH\_64

## Posteriorijakauman approksimaatiot

Posteriorijakauman laskeminen analyyttisesti ei aina onnistu. Syynä on useimmiten se, että nimittäjässä on moniulotteinen integraali, joka on erittäin vaikea laskea. Tällöin voidaan hyödyntää muita keinoja posteriorijakauman laskemiseksi. Kun havaintoja on paljon, posteriorijakaumaa voidaan approksimoida normaalijakauma-approksimaatiolla:

 WIKINIUM\_MATH\_PH\_66 , missä
 WIKINIUM\_MATH\_PH\_68 on suurimman uskottavuuden estimaatti ja WIKINIUM\_MATH\_PH\_70 on havaittu informaatio(matriisi).
Muita keinoja approksimoida posteriorijakaumaa ovat numeerinen integrointi, posteriorijakauman integraalin laskeminen Laplace'n menetelmällä ja Markovin ketju Monte Carlo -simulointi.

## Posteriorijakauman simulointi MCMC-menetelmällä

Posteriorijakauman ratkaisemiseen erityisesti monimutkaisissa ja hierarkkisissa malleissa joudutaan usein käyttämään MCMC-menetelmää eli Markovin ketju Monte Carlo -menetelmää. Menetelmän idea on seuraava:
Kun oletetaan, että WIKINIUM\_MATH\_PH\_72 jakaumasta WIKINIUM\_MATH\_PH\_74 riippumatta, niin voidaan edetä seuraavasti:

1. Valitaan alkutila WIKINIUM\_MATH\_PH\_76 .
2. Simuloidaan ketjua WIKINIUM\_MATH\_PH\_78
3. Kun ketjua on simuloitu riittävästi, ketjun WIKINIUM\_MATH\_PH\_80 voidaan olevan otos invariantista jakaumasta WIKINIUM\_MATH\_PH\_82 .

MCMC-menetelmiä ovat esimerkiksi Metropolisin algoritmi ja sen muunnelma Metropolisin ja Hastingsin algoritmi.

Kun oletetaan, että on pystytty konstruoimaan posteriori
 WIKINIUM\_MATH\_PH\_84 ,
Metropolisin algoritmin idea posteriorijakauman simuloimiseksi on seuraavanlainen:

1. Valitaan alkuarvaus WIKINIUM\_MATH\_PH\_86 .
2. Oletetaan, että arvot WIKINIUM\_MATH\_PH\_88 ovat konstruoitu ketjusta.
3. Ehdotetaan WIKINIUM\_MATH\_PH\_90 :n arvoksi arvoa WIKINIUM\_MATH\_PH\_92 symmetrisestä ehdotusjakaumasta WIKINIUM\_MATH\_PH\_94 . Ehdotus hyväksytään todennäköisyydellä:

 WIKINIUM\_MATH\_PH\_96 . Jos ehdotus hyväksytään, WIKINIUM\_MATH\_PH\_98 , muuten WIKINIUM\_MATH\_PH\_100 .
Toinen tapa konstruoida ketjua, on Gibbsin algoritmi:
Olkoon WIKINIUM\_MATH\_PH\_102 parametrivektori, ja merkitään WIKINIUM\_MATH\_PH\_104 .
Oletetaan lisäksi, että
 WIKINIUM\_MATH\_PH\_106
voidaan helposti laskea.

1. Valitaan alkuarvo WIKINIUM\_MATH\_PH\_108 .
2. Oletetaan, että on simuloitu WIKINIUM\_MATH\_PH\_110 .
3. Päivitetään se komponenteittain eli simuloidaan jokainen WIKINIUM\_MATH\_PH\_112 , *i=1, WIKINIUM\_MATH\_PH\_114 ,b*, jakaumasta WIKINIUM\_MATH\_PH\_116 . Näin saadaan WIKINIUM\_MATH\_PH\_118 .

Näidenkin lisäksi on vielä useita eri menetelmiä ja edellisten muunnelmia. Nykyään on käytettävissä valmisohjelmistoja, joiden avulla simulaatiomenetelmiä voidaan soveltaa monissa tapauksissa ilman, että ne joudutaan ohjelmoimaan joka kerta uudelleen. Esimerkiksi Gibbin algoritmille on olemassa ilmainen ohjelma BUGS (*Bayesian inference Using Gibbs Sampling*).

## Mallikritiikki

Oleellinen osa Bayes-tilastotiedettä on mallikritiikki, ja se pohjautuu pitkälti prediktiiviseen jakaumaan WIKINIUM\_MATH\_PH\_120 .
Joitakin lähestymistapoja mallikritiikille:

* Herkkyysanalyysi
	+ Tehdään kohtuullisia muutoksia oletuksiin, ja katsotaan miten ne vaikuttavat posterioriin ja lopputuloksiin.
* Ristiin validointi
	+ Aineistosta jätetään osa pois, ja jäljelle jäävästä aineistosta lasketaan malli ja prediktiivinen jakauma, johon sitten pois jätettyä aineistoa verrataan.
* Mallien vertailu
	+ Jos on monta vaihtoehtoista mallia, niitä voi vertailla esimerkiksi poikkeamaindeksin (DIC) avulla.
* Bayes-tekijä

## Paradigman edut ja haitat

Käytettäessä ei-havaittavalle muuttujalle niin sanottua *laakeaa prioria* p(x) ~ 1 (engl. *uniform prior*, tulkitaan singulaarisesti jatkuvana mittana, joka saa saman arvon kaikilla x), posteriori p(x|y) on vakiokerrointa vaille sama kuin klassisessa tilastotieteessä käytettävä uskottavuusfunktio. Tällöin bayesiläiset menetelmät antavat samoja numeerisia tuloksia kuin *maximum likelihood* -päättely; joskin tulosten käsitteellinen tulkinta on erilainen.

Jos käytetään jotakin muuta kuin laakeaa prioria, posteriorin arvot muuttuvat. Tästä syystä priorin valinta saattaa vaikuttaa bayesiläisen tilastollisen päättelyn tuloksiin. Bayesiläiset tilastotieteilijät jakautuvat niin sanottuihin *subjektiivisiin bayesiläisiin*, jotka korostavat priorin merkitystä tilastollisen päättelyn hyödyllisenä apuvälineenä, ja *objektiivisiin bayesiläisiin*, jotka suhtautuvat varauksellisesti prioriin sisältyvään informaatioon.

Jotkut tilastotieteen klassisen paradigman kannattajat ovat esittäneet, että priorin ja posteriorin käsitteet ovat ontologisesti ongelmallisia tai peräti kokonaan virheellisiä. Toisaalta bayesiläistä paradigmaa on puolustettu informaatio- ja päätösteoreettisilla perusteluilla. Monien kannattajiensa mielestä bayesiläinen paradigma antaa tilastotieteelle teoreettisen perustan, joka on yhtenäisempi ja helpommin omaksuttava kuin klassisen paradigman antama perusta.

## Bayesiläinen tilastotiede Suomessa

Suomessa bayesiläisen tilastotieteen edelläkävijöitä ovat olleet Elja Arjas ja Antti Penttinen.

## Lähteet

* Carlin, Bradley P. And Louis,Thomas A. (1996).*Bayes and Empirical Bayes Methods for Data Analysis*, ensimmäinen painos. Chapman & Hall. ISBN 0 412 05611 9

### Viitteet