Bayesin teoreema

Bayesin teoreema (myös Bayesin sääntö tai Bayesin laki) on ehdolliseen todennäköisyyteen liittyvä matemaattinen teoreema. Teoreeman voidaan tulkita kuvaavan käsitysten päivittämistä uuden todisteaineiston valossa a posteriori. Teoreema on nimetty sen kehittäneen 1700-luvulla eläneen brittiläisen pastorin ja matemaatikon Thomas Bayesin mukaan.

Kaavan soveltamiseen perustuu bayesilainen tilastotiede.

Teoreeman esittely 

Tapahtuman A todennäköisyys ehdolla B (merkitään P(A|B)) on yleisessä tapauksessa eri asia kuin todennäköisyys tapahtumalle B ehdolla A (merkitään P(B|A)). Näiden kahden ehdollisen todennäköisyyden välillä on kuitenkin suhde, jota Bayesin teoreema kuvaa. Teoreema kuuluu seuraavasti:

missä
  on B:n todennäköisyys ehdolla A. Tätä kutsutaan myös posterioritodennäköisyydeksi. Se on haluttu lopputulos.
  on A:n uskottavuus eli A:n todennäköisyys ehdolla B.
  on B:n priori-todennäköisyys eli todennäköisyys ilman lisätietoja.
  on reunatodennäköisyys. Huomattavaa on, ettei se riipu B:stä. Se kuvaa tehtyjen havaintojen todennäköisyyttä.

Monissa käytännön sovelluksissa riittää tietää, että 

Tällöin vältytään arvioimasta , mikä on todellisen mittausdatan tapauksessa yleensä varsin vaikeaa.

Käytännössä Bayesin kaavaa käytetään yleensä posterioritodennäköisyyden tiheysfunktion määrittämiseen, sillä se on usein tuntematon tai ainakin erittäin vaikea lausua suljetussa muodossa. Tällöin yhtälön oikealla puolella oleville todennäköisyyksille valitaan tiheysfunktiot, jotka joko tiedetään tai oletetaan. Erityisesti prioritodennäköisyyden  tiheysfunktion valinta on bayesilaisen päättelyn keskeisimpiä kysymyksiä.

Esimerkki teoreeman käytöstä 
Oletetaan, että meillä on kaksi purkillista keksejä. Purkissa A on 10 suklaakeksiä sekä 30 kookoskeksiä, kun taas purkissa B on molempia laatuja 20 kappaletta. Matti valitsee ensin sattumanvaraisesti toisen purkeista ja sitten nostaa valitsemastaan purkista sattumanvaraisesti yhden keksin. Havaitaan, että Matin valitsema keksi on kookoskeksi. Millä todennäköisyydellä se on peräisin purkista A?

Intuitiivisesti on tietenkin helppo nähdä, että koska kookoskeksejä on purkissa A enemmän kuin purkissa B, on todennäköisyyden oltava suurempi kuin 0,5. Tarkka todennäköisyys voidaan laskea Bayesin teoreeman avulla. Nyt

  

on todennäköisyys sille, että Matin valitsema purkki on purkki A siinä tapauksessa, että hän on valinnut purkista kookoskeksin. Tälle todennäköisyydelle etsimme ratkaisua.

 on todennäköisyys sille, että Matin valitsema keksi on kookoskeksi. Tätä todennäköisyyttä kuvaa luonnollisesti kookoskeksien osuus kaikista mahdollisista kekseistä. Kookoskeksejä on ensimmäisessä purkissa 30 kappaletta ja toisessa purkissa 20 kappaletta eli yhteensä 50 kappaletta. Koska molemmissa purkeissa on 40 keksiä, on keksien kokonaismäärä 80 kappaletta. Näin saadaan 

Vastaavasti  on todennäköisyys sille, että Matin valitsema purkki on nimenomaan purkki A. Kahdesta purkista yhden tietyn valitsemisen todennäköisyys on luonnollisesti 0,5. 

 

 on todennäköisyys sille, että Matin valitsema keksi on kookoskeksi siinä tapauksessa, että hän on valinnut purkin A. Koska purkissa A on yhteensä 40 keksiä, joista 30 on kookoskeksejä, saadaan todennäköisyydeksi 

Tämän informaation avulla voimme nyt laskea todennäköisyyden sille, että Matin valitsema kookoskeksi on peräisin juuri purkista A:

On siis 60% todennäköisyys, että Matin kookoskeksi on purkista A.

Teoreeman johtaminen ehdollisesta todennäköisyydestä  

Ehdollisen todennäköisyyden määritelmän mukaisesti tapahtuman A todennäköisyys ehdolla B on 

Vastaavasti tapahtuman B todennäköisyys ehdolla A on

Näistä kahdesta yhtälöstä saadaan 

Jakamalla näin saadun yhtälön molemmat puolet tekijällä  P(B) saadaan Bayesin teoreema

Todennäköisyyslaskenta
Matemaattiset teoreemat
Seulonnan keskeiset artikkelit