Bayes teoremi

Bayes teoremi, olasılık kuramı içinde incelenen önemli bir konudur. Bu teorem bir rassal değişken için olasılık dağılımı içinde koşullu olasılıklar ile marjinal olasılıklar arasındaki ilişkiyi gösterir. Bu şekli ile Bayes teoremi bütün istatistikçiler için kabul edilir bir ilişkiyi açıklar. Bu kavram için Bayes kuralı veya Bayes savı veya Bayes kanunu adları da kullanılır.Olasılık teorisinde, B ön koşullu A olayı için olasılık değeri, A ön koşullu B olayı için olasılık değerinden farklıdır. Ancak bu olasılık arasında belirli bir ilişki vardır ve bu ilişkiye, ilk açıklayan istatistikçi İngiliz Thomas Bayes (1702–1761)'in adına atfen Bayes Teoremi denilmektedir.Bayes teoremi bir stokastik süreç sırasında ortaya çıkan bir rastgele olay A ile bir diğer rastgele olay B (eğer B için kaybolmamış olasılık varsa) için koşullu olasılıkları ve marjinal olasılıkları arasındaki ilişkidir, yaniP(A) terimine A için önsel olasılık veya marjinal olasılık adı verilir. Bu önseldir, çünkü B olayı hakkında önceden herhangi bir bilgiyi içermemektedir.P(B) terimi B olayı için 'önsel' olasılıktır veya Bnin marjinal olasılığıdır ve matematiksel rolü normalize eden bir sabittir.Bu şekildeki Bayes teoremini, fazla matematiksel olmadan, sezgiye dayanarak şöyle açıklayabiliriz: Bayes teoremi eğer B gözlemlenmiş ise, A gözlemi hakkındaki inançların ne şekilde güncelleştirilebileceğini ortaya çıkartır.Formel bir teorem olarak Bayes teoremi, olasılık kavramını inceleyen tüm istatistikçi tarafından kabul edilir.Ancak olasılığı objektif bir değer olarak gören ve relatif çokluluk olarak tayin eden frekansçı (en:frequentist) ekolüne bağlı olan istatistikçiler ile sübjektivist (veya Bayes tipi) ekolüne bağlı olan istatistikçiler arasında bu teoremin pratikte nasıl kullanılabileceği hakkında büyük bir fikir ayrılığı bulunmaktadır. Frekansçı ekolüne dahil olanlar olasılık değerlerini rastgele olaylarda meydana çıkma çokluluğuna göre veya anakütlenin altsetlerinin tam anakütleye orantısı olarak saptanması gerekeğini kabul etmektedirler. Bunlara göre yeni kanıtlar karşısında olasılık değerinin değişme imkânı yoktur. Bu nedenle frekansçı ekolü için Bayes teoremi sadece koşulluluklar arasında ilişkiyi gösterir ve bunun pratikte kullanılma gücü küçüktür. Hâlbuki sübjektivist ekolüne göre olasılık gözlemcinin sübjektif belirsizlik ifadesidir. Bu nedenle olasılık değeri sübjektif olup, yeni kanıtlar geldikçe değiştirilebileceğine inanmakta ve böylece Bayes teoremini istatistik bir incelemenin temel taşı saymaktadırlar.Burada L(A|b) terimi verilmiş sabit b için A'nın olabilirliğidir ve L(A|B)/P(B) orantısına bazen standardize edilmiş olabilirlilik veya normalize edilmiş olabilirlilik adı da verilir. Böylece;Bu teoremi ispat etmek için koşullu olasılık tanımından başlanır. B olayı bilinirse A olayının olasılığı şöyle verilir:Bayes teoremi çok kere daha ek kavramlar eklenerek, sanki daha süslü olarak, ifade de edilir. Bunun için önce şu ifade kullanılır:Burada AC (çok kere A olmayan olarak ifade edilen) A olayının tamamlayıcısı olur. Bu Bayes teoremi formülüne konulunca Bayes teoremi için yeni alternatif bir formül elde edilir:Daha genel olarak, {Ai} olay uzayının bir bölüntüsünü oluşturduğu göz önüne alınca, bu bölüntü içinde bulunan herhangi bir Ai için şu ifade elde edilir:Bayes teoremi çok daha düzgünce bir olabilirlik orantısı olan λ ile göreceli olasılıklar oranı veya bahis oranı olanBayes teoreminin sürekli olasılık dağılımlarına uygun olan bir şekli de vardır. Olasılık yoğunluk fonksiyonları tıpatıp olasılık olmadıkları için bu şeklin ispatı biraz daha karmaşıktır. Bu şekilde Bayes theoremi bir limit işlemin geliştirilmesi sonucu ile ortaya çıkarlar..Dikkat edilirse burada biraz alışılmış notasyon karışıklığı kavramına kendimizi kaptırdık. Burada her bir terim için f notasyonu kullanıldı ama gerçekte bunların hepsi değişik birer fonksiyonlardır. Burada verilen hali ile fonksiyonların birbirinden değişik oldukları ancak içlerinde bulunan terimlerin farklı olmaları ile anlaşılabilmektedir.Bu formülasyon şekli Kalman filtreleme tekniğinde Zekai denklemleri bulmak için kullanılır. Bu şekil ayrıca finansman matematiği içinde numeraire değişmesi tekniklerinde uygulanır.İkiden daha fazla değişken kapsayan problemler için de Bayes teoremine benzer teoremler oluşturulabilir. ÖrneğinBu Bayes teoreminin ve koşullu olasılık tanımlamasının üzerine birkaç işlem yaparak ortaya çıkarılabilir:Bu çalışmalar için uygulanacak genel strateji ortak olasılık için parçalama ile çalışmaya başlayıp ilgimizi çekmek istemediğimiz değişkenleri entregrasyon ile marginalize etmektir. Uygulanan parçalama şekline göre, bazı entegrallerin 1e eşit olup parçalama ifadesinden düşmeleri sağlanma imkânı bulunabilir; eğer bu özellik ve imkân kullanılabilirse gereken hesaplamalar çok önemli şekilde azaltılabilir. Örneğin, bir Bayes tipi şebeke için verilen spesifikasyon dolayısıyla, (geri kalan değişkenler verilmiş olurlarsa) herhangi bir değişken için koşullu olasılık, birkaç değişkenli ortak olasılık dağılımının faktorize edilmesi ile belirlenir ve bu nedenle sonucun özellikle basit bir form alması sağlanmış olur. (Markov battaniyesi maddesine bakınız.)İki tabak dolusu bisküvi düşünülsün; tabak #1 içinde 10 tane çikolatalı bisküvi ve 30 tane sade bisküvi bulunduğu kabul edilsin. Tabak #2 içinde ise her iki tip bisküviden 20şer tane olduğu bilinsin. Evin küçük çocuğu bir tabağı rastgele seçip bu tabaktan rastgele bir bisküvi seçip alsın. Çocuğun bir tabağı diğerine ve bir tip bisküviyi diğerine tercih etmekte olduğuna dair elimizde hiçbir gösterge bulunmamaktadır. Çocuğun seçtiği bisküvinin sade olduğu görülsün. Çocuğun bu sade bisküviyi tabak #1 den seçmiş olmasının olasılığının ne olacağı problemi burada incelenmektedir.Sezgi ile, tabak #1de sade bisküvi sayısının çikolatalı bisküvi sayısına göre daha fazla olduğunu göz önüne alınırsak incelenen olasılığın %50'den daha fazla olacağı hemen algılanır. Bu soruya cevap Bayes teoremi kullanarak kesin olarak verilebilir.Önce soruyu değiştirip Bayes teoremi uygulanabilecek şekle sokmak gerekmektedir: Çocuğun bir sade bisküvi seçmiş olduğu bilinmektedir; o halde bu koşulla birlikte tabak #1den seçim yapması olasılığı ne olacaktır?Böylece Bayes teoremi formülüne uymak için A olayı çocuğun tabak #1den seçim yapması; B olayı ise çocuğun bir sade bisküvi seçmesi olsun. İstenilen olasılık böylece Pr(A|B) olacaktır ve bunu hesaplamak için şu olasılıkların bulunması gerekir:Pr(B) veya hiçbir diğer bilgi olmadan çocuğun bir sade bisküvi seçmesi olasılığı: Diğer bir ifade ile, bu çocuğun her bir tabaktan bir sade bisküvi seçme olasılığıdır. Bu olasılık, önce her iki tabaktan ayrı ayrı olarak seçilen bir tabaktan bir sade bisküvi seçme olasılığı ile bu tabağı seçme olasılığının birbirine çarpılması ve sonra bu iki çarpımın toplanması suretiyle elde edilir. Tabaklarda olan sade bisküvinin sayısının toplama orantısından bilinmektedir ki tabak #1'den bir sade bisküvi seçme olasılığı (30/40=) 0,75; tabak #2'den sade bisküvi seçme olasılığı (20/40=) 0,5 olur. Her iki tabaktan seçme olasılığı ise her tabak aynı şekilde uygulama gördüğü için 0,50 olur. Böylece bu problemin tümü için bir sade bisküvi seçme olasılığı 0.75×0.5 + 0.5×0.5 = 0.625 olarak bulunur.Pr(B|A), veya çocuğun tabak #1'den seçim yaptığı bilirken bir sade bisküvi seçmesi.: Bu 0,75 olarak bilinmektedir çünkü tabak #1'deki toplam 40 bisküviden 30'u sade bisküvidir.Böylece çocuğun sade bisküvi seçimi bilindiğine göre tabak #1'den alma olasılığı %60'tır ve sezgimize göre seçtiğimiz %50'den daha büyüktür.Koşullu olasılıkları hesaplarken her bir bağımsız değişken için her mümkün sonucun ortaya çıkma sayısını veya her sonucun relatif çoklulukunu gösteren basit bir tablo hazırlamak konuyu daha iyi anlamaya yardımcı olabilir. Bisküvi örneği için bu yöntemin kullanışını gösteren tablolar şöyle verilmiştir:Sağdaki tablo, sol taraftaki tablo içindeki her bir hücre elemanını toplam bisküvi sayısı (yani 80) ile bölerek elde edilmiştir.Yeni bir uyuşturucu madde testinin değerlendirilmesinde de Bayes teoremi yardımcı olabilir. Bu testin bir uyuşturucu madde sınamasında %99 kesin sonuç verdiğini kabul edelim; yani bu test bir uyuşturucu madde kullanan için %99 defa doğru olarak pozitif sonuç verecek ve uyuşturucu madde kullanmayan için negatif sonucu da %99 defa verecektir. Bu olasılıkların yüksek oluşu bu testin nispeten hatasız olduğu sonuç çıkarabilir; ancak Bayes teoremini kullanırsak bu düşüncemizin pek doğru olmadığı ortaya çıkacaktır.Bir iş yeri çalışanlarını eroin kullanıp kullanmadıklarını sınamak istediğini ve çalışanlardan yüzde yarımının (%0,5) eroin kullandığını kabul edelim. Aradığımız netice, bir çalışan için bir test yapıldıktan ve pozitif sonuç alındıktan sonra bu çalışanın gerçekte eroin kullanıcısı olma olasılığının ne olduğunu bulmaktır."E" bir eroin kullanıcı olma olayı ve "N" eroin kullanıcı olmama olayı olarak gösterilsin. "+" test, pozitif sonuç göstermesi olayını belirtsin. Bu halde şunları bilmemiz gerekmektedir:olsun; çalışanlardan yüzde yarımı (%0.5) eroin kullanıcısı olduğuna göre bu olasılık 0.005 olarak ifade edilebilinir.Pr(+|E) : Çalışanın bir eroin kullanıcısı olması bilindiği halde testin pozitif sonuç vermesinin olasılığı. Test %99 kesin sonuç verdiğine göre bu olasılık 0.99 olur.Pr(+) : Diğer bilgi olmadan testin pozitif sonuç vermesi olasılığıdır. Bu sonuç bulmak için önce eroin kullanması halinde testin pozitif verme olasılığı (ki bu %99 x %0,5 = %0,495) artı eroin kullanıcısı olmama halinde testin hatalı pozitif sonuç vermesi olasılığı (0,01 x 0,995= %0.995); yani 0.0149 %1.49 olur.Bu bilgileri sıraladıktan sonra sınamada pozitif sonuç vermiş bir çalışanın gerçekte eroin kullanıcısı olması olasılığı şöyle bulunur:Test yüksek oranda "+" sonuç vermesine rağmen, genel olarak eroin kullanımı çok düşük olduğundan, pozitif testli bir çalışanın gerçekte eroin kullanıcısı olması olasılığı %33 olur. Test için konu alınan olay ne kadar nadir görülmekte ise testteki pozitif sonuçların hatalı pozitif olmaları olasılığı o kadar artacaktır. Bu uyuşturucu madde sınamasında testin tekrarlamanın neden gerektirdiğini de açıklamaktadır. Aynı örnek AIDS testi ve diğer testler için de geçerlidir.Bayes Teoreminin uygulanmaları için çok defa Bayes tipi olasılık konusunun altında bulunan felsefeyi, yani belirsizlik ve inançların dereceler ıskalası bulunduğu hakkındaki açıklamaları, kabul ederiz. Bu örneğinden başka işlemlere tabi tutulmuş örnekler Bayesci çıkarım analizinde de bulunabilir.Bir değişken olan Anin marjinal olasılık dağılımını önsel olasılık dağılım veya daha basite önsel olarak tanımlayalım. B "verisi" verilmiş olduğu halde A için koşullu dağılıma sonsal olasılık dağılım veya sonsal adı veriyoruz.Bir referandum yapılması halini ele alalım. Bu referandumda bir soru sorulduğu ve sadece buna "evet" veya "hayır" olarak verildiğini düşünelim. Bu referandum sonucu için büyük bir ana kütlede evet yanıtına oy veren kısmının toplama oranının r olduğunu kabullenelim. (İstatistiksel bağımsızlık sağlamak nedeni ile seçtikten sonra geri koyulma usulünü kullanarak) n sayıda seçmeni basit rassal örnekleme ile örneklem olarak seçelim; elde edilen bu örneklemde bulunan evet yanıtına oy veren seçmen sayısının m olduğunu düşünelim. Düşünelim ki bir gözlemde bu parametreler n = 10 seçmen ve m = 7 evet oyu veren seçmen olsun. r için olasılık dağılım fonksiyonunu Bayes teoremini kullanarak şöyle bulabiliriz:Bundan görülür ki f(r) önsel olasılık dağılım fonksiyondan ve L(r) = f(m = 7|r, n=10) olabilirlilik fonksiyonundan f(r|n=10, m=7) sonsal olasılık fonksiyonunu hesaplayabiliriz.f(r) önsel olasılık dağılımı, hiçbir gözlem yapılmadığı veya bulunmadığı halde r nin dağılımı hakkında bilgilerimizi özetler. Geçici olarak, bu halde r için önsel dağılım fonksiyonunun [0,1] aralığında bulunan bir tekdüze dağılım olduğunu kabul edelim; yani f(r) = 1. Eğer arka planda bulunan diğer bilgileri daha önceden biliyorsak bu önseli bunlara dayanarak değiştirebiliriz ama şu ilk bakışta bütün sonuçların aynı olasılıkta olduğu geçici olarak kabul edilmektedir.Rastgele örnekleme hakkında yaptığımız varsayım dolayısıyla, seçmenleri bu örnekleme ile seçme, bir küp problemi, (bir küp veya benzeri bir kap içinde bulunan çeşitli renkli toplardan birini seçme problemi) ile aynıdır. Bu tip problem için olabilirlilik fonksiyonu L(r) = P(m=7|r, n=10,) olur ve bu 10 çekiş sınamasında 7 başarı bulmanın binom dağılımı olur:Bir önsel olduğu için bu olabilirlilik değişmeye maruz kalabilecektir - daha karmaşık on varsayımlar daha karmaşık olabilirlilik fonksiyonlar ortaya çıkaracaktır. Şu halde basit varsayımlarımızı olduğu gibi kabul edelim ve şu normalize etme faktörünü hesaplayalım:Bir diğer sorun olarak seçmenlerin yarısından çoğunun "evet" oyu vermesinin olasılığının ne olabileceği ile ilgilenebiliriz. Bu halde seçmenlerin yarısından çoğunun "evet" oyu vermesinin önsel dağılımı (tekdüze dağılımın simetrik olması nedeniyle) (1/2)ye eşit olur. Buna karşılık, seçmenlerin yarısından daha fazlasının evet oyu vermesinin sonsal olasılığı (yani oylamadan önceki yapılan anket sonuçları) 10 seçmenden 7'sinin "evet" oyu vereceğini bize açıklamıştır; yaniBir TV oyun programında üç tane (kırmızı, yeşil ve mavi boyalı) kapalı kapı gösterilmekte ve bu kapılardan birisinin arkasında bir armağan bulunmaktadır. Kırmızı kapıyı seçtiğimizi düşünelim; ama bu kapı program sunucunun bir faaliyet göstermesini bitirmeden açılmamaktadır. Program sunucusu hangi kapı arkasında armağan bulunduğunu bilmektedir; ama ona verilen direktife göre ne arkasında armağan bulunan kapıyı ne de seçtiğimiz kapıyı açabilir. Yeşil kapıyı açar ve arkasında bir armağan bulunmadığını gösterir ve şu soruyu yarışmacıya sorar: "İlk tercihiniz olan kırmızı kapı hakkında fikrinizi değiştirmek ister misiniz?" İncelenecek sorun şudur: "Armağanın mavi veya kırmızı kapılar arkasında bulunma olasılıkları nedir?"Yarışmanın ana sonuçları olan değişik renkli kapılar arkasında armağan bulunmasını şöyle ifade edelim: :Ak, Ay ve Am. İlk olarak her bir kapı arkasında armağan bulunması birbirine eşit olasılık olduğu kabul edilir yani  olur. Yine düşünelim kırmızı kapıyı yarışmacı seçmiş durumdadır. Sunucunun yeşil kapıyı açması olayına B olayı adını verelim. Arkasında armağan bulunan kapıyı bilmeseydi bu olay için olasılık %50 olacaktır.Eğer gerçekte armağan kırmızı kapı arkasında ise, sunucu ya yeşil ya da mavi kapıyı açmakta serbest olacaktır. Bu haldeDikkatle incelenirse bunun P(B) değerine bağlı olduğu görülecektir. Bir an armağanın kırmızı kapı arkasında olmadığını farz edelim; o halde sunucunun yeşil kapıyı açma olasılığı çok yüksek olacaktır - diyelim %90. Bundan dolayı, eğer sunucu başka kapı açmaya zorlanmadıkça, yeşil kapıyı açmayı tercih edecektir. Böylece, B olayı olasılığı 1/3 * 1 + 1/3 * 0 + 1/3 * 9/10 = 19/30 olur.Bu nedenle sunucunun yeşil kapıyı açması bize çok az bilgi vermektedir - zaten bu seçimi yapmak zorundadır. Pr(Am) olasılığı 1/2'nin çok az üstündedir.Buna karşılık, armağanın kırmızı kapı arkasında olduğunu farz edersek; o halde sunucunun yeşil kapı açma olasılığı çok küçük olacaktır - diyelim %10. Bu demektir ki özellikle zorlanmadıkça sunucu nerede ise hiçbir halde yeşil kapıyı açmayacaktır.Bu halde, gerçekte sunucunun yeşil kapıyı açması bize çok önemli bilgi vermektedir. Armağan nerede ise hiç şüphesiz olarak mavi kapı arkasında bulunmaktadır. Eğer mavi kapı arkasında değilse, sunucu çok muhtemelen mavi kapıyı açacaktı.Bayes Teoremi, (modern terimlerle) bir binom dağılımin parametresinin olasılık dağılımının hesaplanmasını incelemekte olan, İngiliz istatistikçi, felsefeci, bakan ve rahip Thomas Bayes (1702–1761) tarafından bulunmuştur. Bu çalışma Bayes yaşamakta iken yayınlanmamış; ancak Bayes'in ölümünden sonra 1763'te yakın arkadaşı olan "Richard Price" tarafından yayına hazırlanıp bastırılmıştır.Bayes'in çalışmalarından haberdar olmayan Fransız matematikçi Pierre-Simon Laplace aynı sonuçları aynen sırf kendi gayretiyle yeniden çıkartıp genişleterek 1774'te yazdığı bir makalede yayınlamıştır.Bir Amerikan istatistik profesörü (Stigler 1983), yaptığı bir araştırma sonucunda, Bayes Teoremi'nin, Bayes'ten bir süre önce Nicholas Saunderson tarafından bulunduğunu öne sürmüştür.Thomas Bayes (1763), "An Essay towards solving a Problem in the Doctrine of Chances. By the late Rev. Mr. Bayes, F. R. S. communicated by Mr. Price, in a letter to John Canton, A. M. F. R. S.", Philosophical Transactions, Giving Some Account of the Present Undertakings, Studies and Labours of the Ingenious in Many Considerable Parts of the World 53:370–418.Thomas Bayes (1763/1958) "Studies in the History of Probability and Statistics: IX. Thomas Bayes' Essay Towards Solving a Problem in the Doctrine of Chances", Biometrika 45:296–315. (Bayes'in eserinin modern notasyona değiştirilmiş şekli) Thomas Bayes "An essay towards solving a Problem in the Doctrine of Chances". (Bayes'in eserinin orijinal notasyonlu şekli) YorumlarG. A. Barnard (1958) "Studies in the History of Probability and Statistics: IX. Thomas Bayes' Essay Towards Solving a Problem in the Doctrine of Chances", Biometrika 45:293–295. (Biyografik açıklamalar) Daniel Covarrubias. "An Essay Towards Solving a Problem in the Doctrine of Chances". (Bayes'in eseri üzerinde bir anahatlar taslağı ve açıklamalar) Stephen M. Stigler (1982). "Thomas Bayes' Bayesian Inference," Journal of the Royal Statistical Society, Series A, 145:250–258. (Stigler, Bayes'in eserinin değişik bir şekilde yorumlanmasını önermektedir. Okunması tavsiye edilir. ) Isaac Todhunter (1865). A History of the Mathematical Theory of Probability from the time of Pascal to that of Laplace, Macmillan. Reprinted 1949, 1956 by Chelsea and 2001 by Thoemmes.Pierre-Simon Laplace (1774), "Mémoire sur la Probabilité des Causes par les Événements", Savants Étranges 6:621–656; also Œuvres 8:27–65.Pierre-Simon Laplace (1774/1986), "Memoir on the Probability of the Causes of Events", Statistical Science 1(3):364–378.Stephen M. Stigler (1986), "Laplace's 1774 memoir on inverse probability", Statistical Science 1(3):359–378.Stephen M. Stigler (1983), "Who Discovered Bayes' Theorem?" The American Statistician 37(4):290–296.Jeff Miller, et al., Earliest Known Uses of Some of the Words of Mathematics (B). (Aydınlatıcı bilgi sağlamakta. Okunması tavsiye edilir.)Athanasios Papoulis (1984), Probability, Random Variables, and Stochastic Processes, second edition. New York: McGraw-Hill.The on-line textbook: Information Theory, Inference, and Learning Algorithms, by David J. C. MacKay Bayes teoreminin enformasyon kurami ve makina-ogrenimi konularinda kullanilmasi icin bir guncel tanitma saglamaktadir.Oksford Üniversitesi psikoloji öğrencileri için hazırlanmış olasılık ve Bayes teoremi hakkında ders notları