Bayes teoremi

Bayes teoremi, olasılık kuramı içinde incelenen önemli bir konudur. Bu teorem bir rassal değişken için olasılık dağılımı içinde koşullu olasılıklar ile marjinal olasılıklar arasındaki ilişkiyi gösterir. Bu şekli ile Bayes teoremi bütün istatistikçiler için kabul edilir bir ilişkiyi açıklar. Bu kavram için Bayes kuralı veya Bayes savı veya Bayes kanunu adları da kullanılır.

Olasılık teorisinde, B ön koşullu A olayı için olasılık değeri, A ön koşullu B olayı için olasılık değerinden farklıdır. Ancak bu olasılık arasında belirli bir ilişki vardır ve bu ilişkiye, ilk açıklayan istatistikçi İngiliz Thomas Bayes (1702–1761)'in adına atfen Bayes Teoremi denilmektedir.

P(A) terimine A için önsel olasılık veya marjinal olasılık adı verilir. Bu önseldir, çünkü B olayı hakkında önceden herhangi bir bilgiyi içermemektedir.

Bu şekildeki Bayes teoremini, fazla matematiksel olmadan, sezgiye dayanarak şöyle açıklayabiliriz: Bayes teoremi eğer B gözlemlenmiş ise, A gözlemi hakkındaki inançların ne şekilde güncelleştirilebileceğini ortaya çıkartır.

Ancak olasılığı objektif bir değer olarak gören ve relatif çokluluk olarak tayin eden frekansçı (en:frequentist) ekolüne bağlı olan istatistikçiler ile sübjektivist (veya Bayes tipi) ekolüne bağlı olan istatistikçiler arasında bu teoremin pratikte nasıl kullanılabileceği hakkında büyük bir fikir ayrılığı bulunmaktadır. Frekansçı ekolüne dahil olanlar olasılık değerlerini rastgele olaylarda meydana çıkma çokluluğuna göre veya anakütlenin altsetlerinin tam anakütleye orantısı olarak saptanması gerekeğini kabul etmektedirler. Bunlara göre yeni kanıtlar karşısında olasılık değerinin değişme imkânı yoktur. Bu nedenle frekansçı ekolü için Bayes teoremi sadece koşulluluklar arasında ilişkiyi gösterir ve bunun pratikte kullanılma gücü küçüktür. Hâlbuki sübjektivist ekolüne göre olasılık gözlemcinin sübjektif belirsizlik ifadesidir. Bu nedenle olasılık değeri sübjektif olup, yeni kanıtlar geldikçe değiştirilebileceğine inanmakta ve böylece Bayes teoremini istatistik bir incelemenin temel taşı saymaktadırlar.

Bayes teoreminin sürekli olasılık dağılımlarına uygun olan bir şekli de vardır. Olasılık yoğunluk fonksiyonları tıpatıp olasılık olmadıkları için bu şeklin ispatı biraz daha karmaşıktır. Bu şekilde Bayes theoremi bir limit işlemin geliştirilmesi sonucu ile ortaya çıkarlar..

Dikkat edilirse burada biraz alışılmış notasyon karışıklığı kavramına kendimizi kaptırdık. Burada her bir terim için f notasyonu kullanıldı ama gerçekte bunların hepsi değişik birer fonksiyonlardır. Burada verilen hali ile fonksiyonların birbirinden değişik oldukları ancak içlerinde bulunan terimlerin farklı olmaları ile anlaşılabilmektedir.

Bu formülasyon şekli Kalman filtreleme tekniğinde Zekai denklemleri bulmak için kullanılır. Bu şekil ayrıca finansman matematiği içinde numeraire değişmesi tekniklerinde uygulanır.

İki tabak dolusu bisküvi düşünülsün; tabak #1 içinde 10 tane çikolatalı bisküvi ve 30 tane sade bisküvi bulunduğu kabul edilsin. Tabak #2 içinde ise her iki tip bisküviden 20şer tane olduğu bilinsin. Evin küçük çocuğu bir tabağı rastgele seçip bu tabaktan rastgele bir bisküvi seçip alsın. Çocuğun bir tabağı diğerine ve bir tip bisküviyi diğerine tercih etmekte olduğuna dair elimizde hiçbir gösterge bulunmamaktadır. Çocuğun seçtiği bisküvinin sade olduğu görülsün. Çocuğun bu sade bisküviyi tabak #1 den seçmiş olmasının olasılığının ne olacağı problemi burada incelenmektedir.

Sezgi ile, tabak #1de sade bisküvi sayısının çikolatalı bisküvi sayısına göre daha fazla olduğunu göz önüne alınırsak incelenen olasılığın %50'den daha fazla olacağı hemen algılanır. Bu soruya cevap Bayes teoremi kullanarak kesin olarak verilebilir.

Önce soruyu değiştirip Bayes teoremi uygulanabilecek şekle sokmak gerekmektedir: Çocuğun bir sade bisküvi seçmiş olduğu bilinmektedir; o halde bu koşulla birlikte tabak #1den seçim yapması olasılığı ne olacaktır?

Pr(B) veya hiçbir diğer bilgi olmadan çocuğun bir sade bisküvi seçmesi olasılığı: Diğer bir ifade ile, bu çocuğun her bir tabaktan bir sade bisküvi seçme olasılığıdır. Bu olasılık, önce her iki tabaktan ayrı ayrı olarak seçilen bir tabaktan bir sade bisküvi seçme olasılığı ile bu tabağı seçme olasılığının birbirine çarpılması ve sonra bu iki çarpımın toplanması suretiyle elde edilir. Tabaklarda olan sade bisküvinin sayısının toplama orantısından bilinmektedir ki tabak #1'den bir sade bisküvi seçme olasılığı (30/40=) 0,75; tabak #2'den sade bisküvi seçme olasılığı (20/40=) 0,5 olur. Her iki tabaktan seçme olasılığı ise her tabak aynı şekilde uygulama gördüğü için 0,50 olur. Böylece bu problemin tümü için bir sade bisküvi seçme olasılığı 0.75×0.5 + 0.5×0.5 = 0.625 olarak bulunur.

Pr(B|A), veya çocuğun tabak #1'den seçim yaptığı bilirken bir sade bisküvi seçmesi.: Bu 0,75 olarak bilinmektedir çünkü tabak #1'deki toplam 40 bisküviden 30'u sade bisküvidir.

Yeni bir uyuşturucu madde testinin değerlendirilmesinde de Bayes teoremi yardımcı olabilir. Bu testin bir uyuşturucu madde sınamasında %99 kesin sonuç verdiğini kabul edelim; yani bu test bir uyuşturucu madde kullanan için %99 defa doğru olarak pozitif sonuç verecek ve uyuşturucu madde kullanmayan için negatif sonucu da %99 defa verecektir. Bu olasılıkların yüksek oluşu bu testin nispeten hatasız olduğu sonuç çıkarabilir; ancak Bayes teoremini kullanırsak bu düşüncemizin pek doğru olmadığı ortaya çıkacaktır.

Bir iş yeri çalışanlarını eroin kullanıp kullanmadıklarını sınamak istediğini ve çalışanlardan yüzde yarımının (%0,5) eroin kullandığını kabul edelim. Aradığımız netice, bir çalışan için bir test yapıldıktan ve pozitif sonuç alındıktan sonra bu çalışanın gerçekte eroin kullanıcısı olma olasılığının ne olduğunu bulmaktır.

Pr(+|E) : Çalışanın bir eroin kullanıcısı olması bilindiği halde testin pozitif sonuç vermesinin olasılığı. Test %99 kesin sonuç verdiğine göre bu olasılık 0.99 olur.

Pr(+) : Diğer bilgi olmadan testin pozitif sonuç vermesi olasılığıdır. Bu sonuç bulmak için önce eroin kullanması halinde testin pozitif verme olasılığı (ki bu %99 x %0,5 = %0,495) artı eroin kullanıcısı olmama halinde testin hatalı pozitif sonuç vermesi olasılığı (0,01 x 0,995= %0.995); yani 0.0149 %1.49 olur.

Test yüksek oranda "+" sonuç vermesine rağmen, genel olarak eroin kullanımı çok düşük olduğundan, pozitif testli bir çalışanın gerçekte eroin kullanıcısı olması olasılığı %33 olur. Test için konu alınan olay ne kadar nadir görülmekte ise testteki pozitif sonuçların hatalı pozitif olmaları olasılığı o kadar artacaktır. Bu uyuşturucu madde sınamasında testin tekrarlamanın neden gerektirdiğini de açıklamaktadır. Aynı örnek AIDS testi ve diğer testler için de geçerlidir.

Bayes Teoreminin uygulanmaları için çok defa Bayes tipi olasılık konusunun altında bulunan felsefeyi, yani belirsizlik ve inançların dereceler ıskalası bulunduğu hakkındaki açıklamaları, kabul ederiz. Bu örneğinden başka işlemlere tabi tutulmuş örnekler Bayesci çıkarım analizinde de bulunabilir.

Bir değişken olan Anin marjinal olasılık dağılımını önsel olasılık dağılım veya daha basite önsel olarak tanımlayalım. B "verisi" verilmiş olduğu halde A için koşullu dağılıma sonsal olasılık dağılım veya sonsal adı veriyoruz.

Bundan görülür ki f(r) önsel olasılık dağılım fonksiyondan ve L(r) = f(m = 7|r, n=10) olabilirlilik fonksiyonundan f(r|n=10, m=7) sonsal olasılık fonksiyonunu hesaplayabiliriz.

f(r) önsel olasılık dağılımı, hiçbir gözlem yapılmadığı veya bulunmadığı halde r nin dağılımı hakkında bilgilerimizi özetler. Geçici olarak, bu halde r için önsel dağılım fonksiyonunun [0,1] aralığında bulunan bir tekdüze dağılım olduğunu kabul edelim; yani f(r) = 1. Eğer arka planda bulunan diğer bilgileri daha önceden biliyorsak bu önseli bunlara dayanarak değiştirebiliriz ama şu ilk bakışta bütün sonuçların aynı olasılıkta olduğu geçici olarak kabul edilmektedir.

Bir TV oyun programında üç tane (kırmızı, yeşil ve mavi boyalı) kapalı kapı gösterilmekte ve bu kapılardan birisinin arkasında bir armağan bulunmaktadır. Kırmızı kapıyı seçtiğimizi düşünelim; ama bu kapı program sunucunun bir faaliyet göstermesini bitirmeden açılmamaktadır. Program sunucusu hangi kapı arkasında armağan bulunduğunu bilmektedir; ama ona verilen direktife göre ne arkasında armağan bulunan kapıyı ne de seçtiğimiz kapıyı açabilir. Yeşil kapıyı açar ve arkasında bir armağan bulunmadığını gösterir ve şu soruyu yarışmacıya sorar: "İlk tercihiniz olan kırmızı kapı hakkında fikrinizi değiştirmek ister misiniz?" İncelenecek sorun şudur: "Armağanın mavi veya kırmızı kapılar arkasında bulunma olasılıkları nedir?"

Yarışmanın ana sonuçları olan değişik renkli kapılar arkasında armağan bulunmasını şöyle ifade edelim: :Ak, Ay ve Am. İlk olarak her bir kapı arkasında armağan bulunması birbirine eşit olasılık olduğu kabul edilir yani olur. Yine düşünelim kırmızı kapıyı yarışmacı seçmiş durumdadır. Sunucunun yeşil kapıyı açması olayına B olayı adını verelim. Arkasında armağan bulunan kapıyı bilmeseydi bu olay için olasılık %50 olacaktır.

Dikkatle incelenirse bunun P(B) değerine bağlı olduğu görülecektir. Bir an armağanın kırmızı kapı arkasında olmadığını farz edelim; o halde sunucunun yeşil kapıyı açma olasılığı çok yüksek olacaktır - diyelim %90. Bundan dolayı, eğer sunucu başka kapı açmaya zorlanmadıkça, yeşil kapıyı açmayı tercih edecektir. Böylece, B olayı olasılığı 1/3 * 1 + 1/3 * 0 + 1/3 * 9/10 = 19/30 olur.

Bu nedenle sunucunun yeşil kapıyı açması bize çok az bilgi vermektedir - zaten bu seçimi yapmak zorundadır. Pr(Am) olasılığı 1/2'nin çok az üstündedir.

Buna karşılık, armağanın kırmızı kapı arkasında olduğunu farz edersek; o halde sunucunun yeşil kapı açma olasılığı çok küçük olacaktır - diyelim %10. Bu demektir ki özellikle zorlanmadıkça sunucu nerede ise hiçbir halde yeşil kapıyı açmayacaktır.

Bu halde, gerçekte sunucunun yeşil kapıyı açması bize çok önemli bilgi vermektedir. Armağan nerede ise hiç şüphesiz olarak mavi kapı arkasında bulunmaktadır. Eğer mavi kapı arkasında değilse, sunucu çok muhtemelen mavi kapıyı açacaktı.

Bayes Teoremi, (modern terimlerle) bir binom dağılımin parametresinin olasılık dağılımının hesaplanmasını incelemekte olan, İngiliz istatistikçi, felsefeci, bakan ve rahip Thomas Bayes (1702–1761) tarafından bulunmuştur. Bu çalışma Bayes yaşamakta iken yayınlanmamış; ancak Bayes'in ölümünden sonra 1763'te yakın arkadaşı olan "Richard Price" tarafından yayına hazırlanıp bastırılmıştır.

Bayes'in çalışmalarından haberdar olmayan Fransız matematikçi Pierre-Simon Laplace aynı sonuçları aynen sırf kendi gayretiyle yeniden çıkartıp genişleterek 1774'te yazdığı bir makalede yayınlamıştır.

Bir Amerikan istatistik profesörü (Stigler 1983), yaptığı bir araştırma sonucunda, Bayes Teoremi'nin, Bayes'ten bir süre önce Nicholas Saunderson tarafından bulunduğunu öne sürmüştür.