Bayesiläinen tilastotiede
Bayesiläinen tilastotiede eli Bayes-tilastotiede on frekventistisen (eli klassisen) tilastotieteen ohella tilastotieteen toinen suuri paradigma. Bayesiläinen tilastotiede perustuu Bayesin kaavan soveltamiseen. Bayesiläisessa tilastotieteessä ajatellaan, että havainnot tunnetaan, joten ne ovat kiinteitä, ja todellisuus on tuntematon, johon liittyy epävarmuutta. Tarkoituksena on laskea posterioritodennäköisyyksiä siten, että otetaan huomioon sekä ennakkotieto että havaintoaineiston informaatio. Bayesiläinen tilastotiede on jo vanha keksintö, mutta vasta tietokoneiden kehityttyä riittävästi sen käyttö alkoi yleistyä 1900-luvun lopussa. Sitä mukaa myös itse ajattelutapa ja sovellukset ovat kehittyneet. Sekä Bayes-tilastotiede että Bayesin kaava ovat saaneet nimensä englantilaiselta harrastelijamatemaatikko ja presbyteeripappi Thomas Bayesiltä, jota pidetään Bayes-päättelyn esi-isänä.
Bayesin kaava voidaan kirjoittaa seuraavasti:
missä
Tapahtumat A ja B voisivat esimerkiksi olla seuraavia väitelauseita: B = ”Suomalaiset miehet ovat pitempiä kuin ruotsalaiset” ja A = ”Kun tutkitaan 5 suomalaista ja 5 ruotsalaista, kaikki ruotsalaiset ovat pidempiä”. Bayesiläisessä tilastotieteessä voidaan tällöin tehdä laskelmia siitä "todennäköisyydestä että B on totta", kun A havaitaan.
Bayesiläisessä tilastotieteessä käytetään usein Bayesin kaavasta johdettua kaavaa p(x|y) = p(y|x)p(x) / p(y). Tämä kaava on voimassa tietyt säännöllisyysehdot toteuttavilla satunnaismuuttujilla x ja y. Kaavassa p on geneerinen jakaumasymboli, joka voidaan tulkita esimerkiksi tiheysfunktioksi tai pistetodennäköisyysfunktioksi.
Edellisen kaavan avulla pyritään tekemään tilastollisia päätelmiä "ei-havaittavasta" muuttujasta x "havaittavan" muuttujan y perusteella. Ehdollistettua jakaumasymbolia p(x|y) sanotaan x:n "posterioriksi". Jakaumasymboli p(y|x) on "likelihood" (joskus myös "otantajakauma", "otantamalli"), jota käytetään myös klassisen tilastotieteen uskottavuuspäättelyssä. Jakaumasymboli p(x) on puolestaan x:n "priori". Tekijä 1/p(y) ei vaikuta x:ää koskevaan tilastolliseen päättelyyn, vaan se on luonteeltaan normitusvakio.Jotta voimme muodostaa posteriorijakauman tuntemattomalle formula_3, tarvitaan:
Näistä ensimmäinen on uskottavuusfunktio formula_8.
Priorijakauma on ennakkokäsitys tuntemattomasta formula_3, ja usein se riippuu hyperparametreistä formula_4. Priori voidaan esittää jakaumana formula_11.
Jos priori valitaan siten, että se kuuluu samaan jakaumaperheeseen posteriorijakauman kanssa, sitä kutsutaan konjugaattiprioriksi. Tällöin syntyy myös laskennallisesti mukavampi tilanne. Jos havaintojen yhteisjakauma kuuluu eksponenttiseen perheeseen, aina on olemassa konjugaattipriori (Morris, 1983).
Jos ilmiösta ei ole ennakkotietoa, prioriksi voidaan valita epäinformatiivinen priori, joka vaikuttaa mahdollisimman vähän posteriorijakaumaan.
Esimerkiksi seuraavalla tavalla:
Yksi vaihtoehto on myös Jeffreys'in priori:
formula_18.
Bayesin kaavasta saadaan posteriorijakaumaksi seuraava:
missä jatkuvan jakauman tapauksessa
ja diskreetin jakauman tapauksessa
Joskus tulee laskennallisia ongelmia nimittäjän integroinnissa, mutta jos ollaan kiinnostuneita vain posteriorin maksimista formula_3:n suhteen, sitä ei tarvita. Voidaan kirjoittaa:
Suurimman uskottavuuden estimaatin laskemiseksi formula_3:lle riittää maksimoida lauseke formula_25 formula_3:n suhteen, sillä nimittäjä formula_27 ei riipu siitä.
Olkoon formula_28 uusi havainto, joka on riippumaton havainnoista formula_2. Prediktiivinen jakauma (ennustejakauma) formula_28:lle on formula_28:n ehdollinen jakauma ehdolla formula_2, ja se saadaan seuraavasti:
formula_33
Jos posteriorijakauman laskeminen analyyttisesti ei onnistu, useimmiten siksi, että nimittäjässä on moniulotteinen integraali, joka on erittäin vaikea laskea, on olemassa myös muita keinoja. Kun havaintoja on paljon, posteriorijakaumaa voidaan approksimoida normaalijakauma-approksimaatiolla:
formula_35 on suurimman uskottavuuden estimaatti ja formula_36 on havaittu informaatio(matriisi).
Muita keinoja approksimoida posteriorijakaumaa ovat numeerinen integrointi, posteriorijakauman integraalin laskeminen Laplace'n menetelmällä ja Markovin ketju Monte Carlo -simulointi.
Posteriorijakauman ratkaisemiseen, erityisesti monimutkaisissa ja hierarkkisissa malleissa, joudutaan usein käyttämään MCMC-menetelmää eli Markovin ketju Monte Carlo -menetelmää. Menetelmän idea:
Kun oletetaan, että formula_37 jakaumasta formula_38 riippumatta, niin voidaan edetä seuraavasti:
MCMC-menetelmiä ovat esimerkiksi Metropolisin algoritmi ja sen muunnelma Metropolisin ja Hastingsin algoritmi.
Kun oletetaan, että on pystytty konstruoimaan posteriori
formula_43,
Metropolisin algoritmin idea posteriorijakauman simuloimiseksi on seuraavanlainen:
Toinen tapa konstruoida ketjua, on Gibbsin algoritmi:
Olkoon formula_52 parametrivektori, ja merkitään formula_53.
Oletetaan lisäksi, että
formula_54
voidaan helposti laskea.
Näidenkin lisäksi on vielä useita eri menetelmiä ja edellisten muunnelmia. Nykyään on käytettävissä valmisohjelmistoja, joiden avulla simulaatiomenetelmiä voidaan soveltaa monissa tapauksissa ilman, että ne joudutaan ohjelmoimaan joka kerta uudelleen. Esimerkiksi Gibbin algoritmille on olemassa ilmainen ohjelma nimeltään BUGS ("Bayesian inference Using Gibbs Sampling").
Oleellinen osa Bayes-tilastotiedettä on mallikritiikki, ja se pohjautuu pitkälti prediktiiviseen jakaumaan formula_61.
Joitakin lähestymistapoja mallikritiikille:
Käytettäessä ei-havaittavalle muuttujalle niin sanottua "laakeaa prioria" p(x) ~ 1 (engl. "uniform prior", tulkitaan singulaarisesti jatkuvana mittana, joka saa saman arvon kaikilla x), posteriori p(x|y) on vakiokerrointa vaille sama kuin klassisessa tilastotieteessä käytettävä uskottavuusfunktio. Tällöin bayesiläiset menetelmät antavat samoja numeerisia tuloksia, kuin "maximum likelihood" -päättely, joskin tulosten käsitteellinen tulkinta on erilainen.
Jos käytetään jotakin muuta kuin laakeaa prioria, posteriorin arvot muuttuvat. Tästä syystä priorin valinta saattaa vaikuttaa bayesiläisen tilastollisen päättelyn tuloksiin. Bayesiläiset tilastotieteilijät jakautuvat niin sanottuihin "subjektiivisiin bayesiläisiin", jotka korostavat priorin merkitystä tilastollisen päättelyn hyödyllisenä apuvälineenä, ja "objektiivisiin bayesiläisiin", jotka suhtautuvat varauksellisesti prioriin sisältyvään informaatioon.
Jotkut tilastotieteen klassisen paradigman kannattajat ovat esittäneet, että priorin ja posteriorin käsitteet ovat ontologisesti ongelmallisia, tai peräti kokonaan virheellisiä. Toisaalta bayesiläistä paradigmaa on puolustettu informaatio- ja päätösteoreettisilla perusteluilla. Monien kannattajiensa mielestä bayesiläinen paradigma antaa tilastotieteelle teoreettisen perustan, joka on yhtenäisempi ja helpommin omaksuttava, kuin klassisen paradigman antama perusta.
Suomessa bayesiläisen tilastotieteen edelläkävijöitä ovat olleet Elja Arjas ja Antti Penttinen.