貝葉斯定理

貝葉斯定理（Bayes' theorem）是機率論中的一個定理，描述在已知一些條件下，某事件的發生機率。比如，如果已知某種健康問題與壽命有關，使用貝葉斯定理則可以透過得知某人年齡，來更加準確地計算出某人有某種健康問題的機率。

通常，事件 A 在事件 B 已發生的條件下發生的機率，與事件 B 在事件 A 已發生的條件下發生的機率是不一樣的。然而，這兩者是有確定的關係的，貝葉斯定理就是這種關係的陳述。貝葉斯公式的一個用途，即透過已知的三個機率而推出第四個機率。貝葉斯定理跟隨機變數的條件機率以及邊際機率分佈有關。

作為一個普遍的原理，貝葉斯定理對於所有機率的解釋是有效的。這一定理的主要應用為貝葉斯推斷，是推論統計學中的一種推斷法。這一定理名稱來自於托馬斯・貝葉斯。

陳述

貝葉斯定理是關於隨機事件 A 和 B 的條件機率的一則定理。

其中以及為隨機事件，且不為零。是指在事件發生的情況下事件發生的機率。

在貝葉斯定理中，每個名詞都有約定俗成的名稱：

是已知發生後，的條件機率。也稱作的事後機率。
是的先驗機率（或邊緣機率）。其不考慮任何方面的因素。
是已知發生後，的條件機率。也可稱為的事後機率。某些文獻又稱其為在特定時，的似然性，因為。
是的先驗機率。

按這些術語，貝葉斯定理可表述為：

後驗機率 = (似然性 * 先驗機率)/ 標準化常量

也就是說，後驗機率與先驗機率和相似度的乘積成正比。

另外，比例也有時被稱作標準似然度（standardised likelihood），貝葉斯定理可表述為：

後驗機率 = 標準似然度 * 先驗機率

由貝葉斯公式可以看出，這裡面的 是一個隨機變數（因為 有機率 ）。因為 ，所以這也是貝葉斯估計和極大似然估計的區別所在，極大似然估計中要估計的引數是個一般變數，而貝葉斯估計中要估計的引數是個隨機變數。

從條件機率推導貝氏定理

根據條件機率的定義。在事件發生的條件下事件發生的機率是：

其中 與的聯合機率表示為或者或者。

同樣地，在事件發生的條件下事件發生的機率

整理與合併這兩個方程式，我們可以得到

這個引理有時稱作機率乘法規則。上式兩邊同除以，若是非零的，我們可以得到貝葉斯定理:

二中擇一的形式

貝氏定理通常可以再寫成下面的形式：

，

其中 AC 是 A 的補集（即非 A）。故上式亦可寫成：

在更一般化的情況，假設 {Ai} 是事件集合裡的部份集合，對於任意的 Ai，貝氏定理可用下式表示：

3.1 以可能性與相似率表示貝氏定理

貝氏定理亦可由相似率 Λ 和可能性 O 表示：

其中

定義為 B 發生時，A 發生的可能性（odds）；

則是 A 發生的可能性。相似率（Likelihood ratio）則定義為：

3.2 貝氏定理與機率密度

貝氏定理亦可用於連續機率分佈。由於機率密度函式嚴格上並非機率，由機率密度函式匯出貝氏定理觀念上較為困難（詳細推導參閱）。貝氏定理與機率密度的關係是由求極限的方式建立：

全機率定理則有類似的論述：

如同離散的情況，公式中的每項均有名稱。

f (x, y) 是 X 和 Y 的聯合分佈；

f（x|y）是給定 Y=y 後，X 的事後分佈；

f（y|x）= L（x|y）是 Y=y 後，X 的相似度函式（為 x 的函式)；

f（x）和 f（y）則是 X 和 Y 的邊際分佈；

f（x）則是 X 的事前分佈。

為了方便起見，這裡的 f 在這些專有名詞中代表不同的函式（可以由引數的不同判斷之）。

3.3 貝氏定理的推廣

對於變數有二個以上的情況，貝氏定理亦成立。例如：

這個式子可以由套用多次二個變數的貝氏定理及條件機率的定義匯出：

一般化的方法則是利用聯合機率去分解待求的條件機率，並對不加以探討的變數積分（意即對欲探討的變數計算邊緣機率）。取決於不同的分解形式，可以證明某些積分必為 1，因此分解形式可被簡化。利用這個性質，貝氏定理的計算量可能可以大幅下降。貝氏網路為此方法的一個例子，貝氏網路指定數個變數的聯合機率分佈的分解型式，該機率分佈滿足下述條件：當其他變數的條件機率給定時，該變數的條件機率為一簡單型式。

範例

4.1 吸毒者檢測

下面展示貝葉斯定理在檢測吸毒者時的應用。假設一個常規的檢測結果的靈敏度和特異度均為 99%，即吸毒者每次檢測呈陽性（+）的機率為 99%。而不吸毒者每次檢測呈陰性（-）的機率為 99%。從檢測結果的機率來看，檢測結果是比較準確的，但是貝葉斯定理卻可以揭示一個潛在的問題。假設某公司對全體僱員進行吸毒檢測，已知 0.5% 的僱員吸毒。請問每位檢測結果呈陽性的僱員吸毒的機率有多高？

令 “D” 為僱員吸毒事件，“N” 為僱員不吸毒事件，“+” 為檢測呈陽性事件。可得

P (D) 代表僱員吸毒的機率，不考慮其他情況，該值為 0.005。因為公司的預先統計表明該公司的僱員中有 0.5% 的人吸食毒品，所以這個值就是 D 的先驗機率。
P (N) 代表僱員不吸毒的機率，顯然，該值為 0.995，也就是 1-P (D)。
P (+|D) 代表吸毒者被驗出為陽性的機率，這是一個條件機率，由於陽性檢測準確性是 99%，因此該值為 0.99。
P (+|N) 代表不吸毒者被驗出為陽性的機率，也就是出錯檢測的機率，該值為 0.01。因為對於不吸毒者，其檢測為陰性的機率為 99%，因此，其被誤檢測成陽性的機率為 1 - 0.99 = 0.01。
P (+) 代表不考慮其他因素的影響的陽性檢出率，白話來說，即該公司有多少比例的檢測結果為陽性。該值為 0.0149 或者 1.49%。我們可以透過全機率公式計算得到：此機率 = 身為吸毒者的機率 x 吸毒被驗出陽性的機率（0.5% x 99% = 0.495%) + 身為不吸毒者的機率 x 不吸毒卻被驗出陽性的機率（99.5% x 1% = 0.995%)。P (+)=0.0149 是檢測呈陽性的先驗機率。用數學公式描述為：

根據上述描述，我們可以計算某人檢測呈陽性時確實吸毒的條件機率 P (D|+)：

儘管吸毒檢測的準確率高達 99%，但貝葉斯定理告訴我們：如果某人檢測呈陽性，其吸毒的機率只有大約 33%，不吸毒的可能性比較大。假陽性高，則檢測的結果不可靠。這是因為該公司不吸毒的人數遠遠大於吸毒人數，所以即使不吸毒者被誤檢為陽性的機率僅為 1%，其實際被誤檢人數還是很龐大。舉例來說，若該公司總共有 1000 人（其中 5 人吸毒，995 人不吸），不吸毒的人被檢測出陽性的人數有大約 10 人（1% x 995），而吸毒被驗出陽性的人數有 5 人（99% x 5），總共 15 人被驗出陽性（10 + 5）。在這 15 人裡面，只有約 33% 的人是真正有吸毒。所以貝氏定理可以揭露出此檢測在這個案例中的不可靠。

同時，也因為不可靠的主因是不吸毒卻被誤檢陽性的人數遠多於吸毒被檢測出來的人數（上述例子中 10 人 > 5 人），所以即使陽性檢測靈敏度能到 100%（即只要吸毒一定驗出陽性），檢測結果陽性的員工，真正吸毒的機率也只會提高到約 33.4%。但如果靈敏度仍然是 99%，而特異度卻提高到 99.5%（即不吸毒的人中，約 0.5% 會被誤檢為陽性），則檢測結果陽性的員工，真正吸毒的機率可以提高到 49.9%。

4.2 胰腺癌檢測

基於貝葉斯定理：即使 100% 的胰腺癌症患者都有某症狀，而某人有同樣的症狀，絕對不代表該人有 100% 的機率得胰腺癌，還需要考慮先驗機率，假設胰腺癌的發病率是十萬分之一，而全球有同樣症狀的人有萬分之一，則此人得胰腺癌的機率只有十分之一，90% 的可能是是假陽性。

4.3 不良種子檢測

基於貝葉斯定理：假設 100% 的不良種子都表現 A 性狀，而種子表現 A 性狀，並不代表此種子 100% 是不良種子，還需要考慮先驗機率，假設一共有 6 萬顆不良種子，在種子中的比例是十萬分之一（假設總共有 60 億顆種子），假設所有種子中有 1/3 表現 A 性狀（即 20 億顆種子表現 A 性狀），則此種子為不良種子的機率只有十萬分之三。