Bayesin teoreema

Bayesin teoreema (myös Bayesin sääntö tai Bayesin laki) on ehdolliseen todennäköisyyteen liittyvä matemaattinen teoreema. Teoreeman voidaan tulkita kuvaavan käsitysten päivittämistä uuden todisteaineiston valossa "a posteriori". Teoreema on nimetty sen kehittäneen 1700-luvulla eläneen brittiläisen pastorin ja matemaatikon Thomas Bayesin mukaan.
Kaavan soveltamiseen perustuu bayesilainen tilastotiede.
Teoreeman esittely.
Tapahtuman "A" todennäköisyys ehdolla "B" (merkitään P(A|B)) on yleisessä tapauksessa eri asia kuin todennäköisyys tapahtumalle "B" ehdolla "A" (merkitään P(B|A)). Näiden kahden ehdollisen todennäköisyyden välillä on kuitenkin suhde, jota Bayesin teoreema kuvaa. Teoreema kuuluu seuraavasti:
formula_1
missä
Monissa käytännön sovelluksissa riittää tietää, että 
formula_6
Tällöin vältytään arvioimasta formula_5, mikä on todellisen mittausdatan tapauksessa yleensä varsin vaikeaa.
Käytännössä Bayesin kaavaa käytetään yleensä posterioritodennäköisyyden tiheysfunktion määrittämiseen, sillä se on usein tuntematon tai ainakin erittäin vaikea lausua suljetussa muodossa. Tällöin yhtälön oikealla puolella oleville todennäköisyyksille valitaan tiheysfunktiot, jotka joko tiedetään tai oletetaan. Erityisesti prioritodennäköisyyden formula_4 tiheysfunktion valinta on bayesilaisen päättelyn keskeisimpiä kysymyksiä.
Esimerkki teoreeman käytöstä.
Oletetaan, että meillä on kaksi purkillista keksejä. Purkissa A on 10 suklaakeksiä sekä 30 kookoskeksiä, kun taas purkissa B on molempia laatuja 20 kappaletta. Matti valitsee ensin sattumanvaraisesti toisen purkeista ja sitten nostaa valitsemastaan purkista sattumanvaraisesti yhden keksin. Havaitaan, että Matin valitsema keksi on kookoskeksi. Millä todennäköisyydellä se on peräisin purkista A?
Intuitiivisesti on tietenkin helppo nähdä, että koska kookoskeksejä on purkissa A enemmän kuin purkissa B, on todennäköisyyden oltava suurempi kuin 0,5. Tarkka todennäköisyys voidaan laskea Bayesin teoreeman avulla. Nyt
formula_9 
on todennäköisyys sille, että Matin valitsema purkki on purkki A siinä tapauksessa, että hän on valinnut purkista kookoskeksin. Tälle todennäköisyydelle etsimme ratkaisua.
formula_10 on todennäköisyys sille, että Matin valitsema keksi on kookoskeksi. Tätä todennäköisyyttä kuvaa luonnollisesti kookoskeksien osuus kaikista mahdollisista kekseistä. Kookoskeksejä on ensimmäisessä purkissa 30 kappaletta ja toisessa purkissa 20 kappaletta eli yhteensä 50 kappaletta. Koska molemmissa purkeissa on 40 keksiä, on keksien kokonaismäärä 80 kappaletta. Näin saadaan 
formula_11
Vastaavasti formula_12 on todennäköisyys sille, että Matin valitsema purkki on nimenomaan purkki A. Kahdesta purkista yhden tietyn valitsemisen todennäköisyys on luonnollisesti 0,5. 
 formula_13
formula_14 on todennäköisyys sille, että Matin valitsema keksi on kookoskeksi siinä tapauksessa, että hän on valinnut purkin A. Koska purkissa A on yhteensä 40 keksiä, joista 30 on kookoskeksejä, saadaan todennäköisyydeksi 
formula_15
Tämän informaation avulla voimme nyt laskea todennäköisyyden sille, että Matin valitsema kookoskeksi on peräisin juuri purkista A:
formula_16
On siis 60% todennäköisyys, että Matin kookoskeksi on purkista A.
Teoreeman johtaminen ehdollisesta todennäköisyydestä.
Ehdollisen todennäköisyyden määritelmän mukaisesti tapahtuman "A" todennäköisyys ehdolla "B" on 
formula_17
Vastaavasti tapahtuman "B" todennäköisyys ehdolla "A" on
formula_18
Näistä kahdesta yhtälöstä saadaan 
formula_19
Jakamalla näin saadun yhtälön molemmat puolet tekijällä P("B") saadaan Bayesin teoreema
formula_20