條件概率

**條件概率**（粵拼：）係概率論上一個概念，反映咗「已知呢個條件達到咗，呢件呢件事發生嘅機會率有幾高」噉嘅資訊。精確啲講，想像依家有兩件事件 X 同 Y，當中 Y 唔知發生咗未，X 發生嘅機會率係 P(X) 咁多，而假如 Y「係咪發生咗」會影響 P(X)，研究者就好可能會想知 X 同 Y 之間嘅條件概率。「已知 Y 發生咗，X 會發生」呢一個條件概率，喺數學上係噉嚟表達嘅：
:P(X \mid Y)

條件概率嘅概念，喺統計學等嘅領域上有相當嘅價值。响廿一世紀初，統計分析實會用到建基於條件概率嘅諗頭，例子可以睇吓統計功效（進階統計實會用到）等嘅基礎統計概念。除此之外，教 AI 處理語言嘅工作都會用到條件概率，例子可以睇吓 N-gram 相關嘅嘢。

## 基礎概念

條件概率係概率論上嘅一個重要概念。條件概率係指「如果**已知**某某事件發生咗，另外一件事件會發生嘅機會率」，例如「已知 B 發生咗，A 會發生」呢個條件概率，用數學符號寫如下：
:P(A \mid B)
根據廿一世紀初最常用嗰個定義，上述嘅數值可以用以下呢條式計：
:P(A \mid B) = \frac{P(A \cap B)}{P(B)}；[1]
呢條抽象嘅式可以用圖像化嘅方法嚟諗。想像以下呢一幅溫氏圖，每一笪空間都掕咗個數，個數表示嗰一件事件發生嘅機會率，例如 A、B_1、B_2 同 B_3 呢幾個泡沫外嗰笪空間係 0.34，表示呢四件事件冚唪唥都冇發生嘅機會率係 0.34 咁高。

噉想像而家要計 P(A \mid B_2)（已知 B_2 發生咗，A 發生嘅機會率）：
:P(A \cap B) = 0.12（A 同 B 都發生嘅機率）
:P(B) = 0.12 + 0.04（B 發生嘅機率）
噉 P(A \mid B_2) 就會係
:\frac{0.12}{0.12 + 0.04} = 0.75。

如果 X 同 Y 係互斥事件嘅話，定義上表示佢哋一定唔會一齊發生，條數嘅計法就會係：
:P(X \mid Y) = \frac{P(X \cap Y)}{P(Y)} = \frac{0}{P(Y)} = 0。
—「已知 Y 發生咗而兩件事係互斥嘅，X 唔會發生。」

## 統計獨立

統計獨立係概率論上嘅另一個重要概念，可以用條件概率嚟諗。如果話某兩件或者某幾件事件係「彼此之間獨立嘅」，意思係指嗰幾件事件之間唔會影響對方發生嘅概率。用數學化啲嘅方式表達嘅話，如果話 A 同 B 呢兩件事件係獨立嘅，即係指：
:P(A \cap B) = P(A)P(B)
諗返起條件概率嘅計法（[1]）：
:P(A \mid B) = \frac{P(A \cap B)}{P(B)}
設咗 A 同 B 呢兩件事件係獨立嘅，掉一掉啲式：
:P(A \mid B) = \frac{P(A)P(B)}{P(B)}
:P(A \mid B) = P(A)
——由此可見，假如兩件事件統計獨立，就表示「知道 B 發生咗」並唔影響「預計 A 有幾大機會發生」。除此之外，仲可以思考吓條件獨立：設 C 做條件，如果話 A 同 B 喺呢個條件下有條件獨立，意思即係話
:P(A \cap B \mid C) = P(A \mid C)P(B \mid C)
或者
:P(A \mid B \cap C) = P(A \mid C) 
上述兩條式係同等嘅。

P(A \cap B \mid C) = P(A\mid C)P(B\mid C) → 根據條件概率嘅定義...iff \frac{P(A \cap B \cap C)}{P(C)} = \left(\frac{P(A \cap C)}{P(C)}\right) \left(\frac{P(B \cap C)}{P(C)} \right) → 兩邊齊齊乘 P(C)... iff P(A \cap B \cap C) = \frac{P(A \cap C) P(B \cap C)}{P(C)} → 兩邊齊齊除 P(B \cap C)... iff \frac{P(A \cap B \cap C)}{P(B \cap C)}= \frac{P(A \cap C)}{P(C)} → 根據條件概率嘅定義... iff P(A \mid B \cap C) = P(A \mid C)

喺呢個情況下，如果已知 C 發生咗，A 係咪發生咗唔會影響 B 發生嘅機會率，同時B 係咪發生咗唔會影響 A 發生嘅機會率。即係可以想像成「呢兩件事件喺某啲**條件**達到咗嘅情況下，會係彼此**獨立**嘅」。

## 常見誤解

响廿一世紀初，條件概率謬論係對條件概率嘅一個常見誤解，講到啲人成日有種信念，諗住以下嘅嘢實會成立：
:P(A \mid B) \approx P(B \mid A)
意思即係話佢哋諗住 P(A \mid B) 同 P(B \mid A) 數值實係差唔多嘅——「將條件概率入便嗰兩件事掉轉，得出嘅數值應該唔會爭好遠」。呢個諗法其實係錯誤嘅，用圖像化嘅方式思考，可以睇睇以下幅圖：

設深色嗰笪做 \text{sam}（），\text{sam} 佔咗 \text{B} 嘅一小橛，即係話 P(\text{sam} \mid \text{B}) 係一個細嘅數值。但相對嚟講，如果一點屬於 \text{sam}，佢一定會係屬於 \text{B} ——
:P(\text{B} \mid \text{sam}) = 100%
由此可見，P(\text{sam} \mid \text{B}) 同 P(\text{B} \mid \text{sam}) 兩個條件概率爭好遠。數學化啲講，可以思考吓貝葉斯定理講嘅嘢：
:\begin{align}
                                 P(B\mid A) &= \frac{P(A\mid B) P(B)}{P(A)}\\
  \Leftrightarrow \frac{P(B\mid A)}{P(A\mid B)} &= \frac{P(B)}{P(A)}
\end{align}
由上述嘅分析可知，要達致 P(B) / P(A) \approx 1，P(A \mid B) \approx P(B \mid A) 呢句嘢先會成立。

## 應用例子

### N-gram

自然語言處理係人工智能嘅一個學科，專門研究點樣教電腦處理粵語或者英文等嘅自然語言。自然語言本質上就係前後連貫嘅，已經聽咗或者睇咗嘅符號（語音或者文字都可以算符號）會影響跟住落嚟嗰啲符號要點樣理解，所以好多自然語言處理技術都會用到條件概率。

舉個簡單例子說明，N-gram 係一種相對簡單嘅自然語言處理技術，但係經已可以攞嚟教電腦分辨一段文字係咩語言。想像依家有一串 100 隻字符咁長嘅符號，一個 3-gram 嘅演算法會睇每串**連續三個符號**係乜嘢樣，再用前兩個符號嘅樣估跟住嗰個符號最有可能會係乜；例如想像家陣手上有串噉嘅粵語字：
:`我星期日會同阿爺阿嫲去[[飲茶]]，最鍾意嗌[[燒賣]]嚟食。`
依家只睇呢段字：如果打前兩個字符係`鍾意`，跟住嗰個符號係`嗌`嘅機率係 100% 咁高：响呢一串字入面，`鍾意`出現咗一次咁多，而喺嗰次當中串嘢跟住嘅字符係`嗌`；所以上面段嘢嘅 3-gram 當中，「**鍾意**後面掕**嗌**」嘅機率係 100%。實際應用當中嘅 n-gram 會用極大量嘅語言資源嚟做類似嘅估計，計出一隻語言啲字符以至字詞之間嘅統計關係。數學化噉講，一個 n-gram 模型定義上係用
:x_{i-(n-1)}, \dots, x_{i-1}
嘅數值嚟預測 x_i，從而計出
:P(x_i \mid x_{i-(n-1)}, \dots, x_{i-1})
——即係要計「已知前面嗰串符號係 x_{i-(n-1)}, \dots, x_{i-1} 噉嘅樣，x_i 會係噉噉噉樣」噉嘅條件概率。淨係靠住用呢種方法做嘅 n-gram，已經可以做到某一啲比較基礎嘅自然語言處理工作，好似係語言辨認噉——例如同中文書面語（原則上係建基於標準官話嘅）比起嚟，粵語白話文啲名詞後面應該比較大機會出現**嘅**呢隻字，所以一個人工智能可以靠呢啲條件概率，分辨唔同嘅語言。

### 關聯規則

關聯規則相關嘅分析，會用到條件概率呢個概念。關聯規則可以理解為一啲「如果... 就...」噉嘅法則，描繪數據裡便啲變數之間有咩關係。依家想像有班做營銷工作嘅分析師，想探知消費者買嘢嗰陣嘅習慣係點，佢哋由一間超市嗰度攞咗數據，得知某年某月某日，到訪嗰間超市嘅客每個人買咗啲乜，即係話手上嘅數據望落好似噉：

喺最基本上，班分析師可以計吓每種貨品有人買嘅機率係幾多（**支持度**），例如設 P(\text{lai zi}) 做一個客「買荔枝嘅機會率」，P(\text{lai zi}) 可以好簡單噉計到出嚟：
:P(\text{lai zi}) = \frac{\text{買  咗  荔  枝  嘅  顧  客  數  量  }}{\text{顧  客  總  數  量  }}
班分析師可以做更進階嘅分析。除咗計一件貨品支持度有幾高，佢哋仲可以：
*決定攞走所有支持度（例如）低過 1% 嘅貨品，唔再對佢哋進行分析；
*計**信心度**：設 C 同 D 做間超市嘅其中兩件貨品，關聯規則分析上講嘅信心度所指嘅，就係「如果某個客買咗 C，佢會買 D 嘅機會率」，設 \text{sap bok}（取自粵語**十扑**）做支持度，即係
*:\text{seon sam}(C \rightarrow D) = \frac{\text{sap bok}(C \cup D)}{\text{sap bok}(C)} = \frac{P(C \cap D)}{P(C)} = P(D \mid C)
*計**提升度**：齋靠信心度係唔夠嘅，噉係因為信心度呢個指標並冇考慮到貨品 D 幾多人買（P(D)）。提升度可以詮釋做「設商品 D 嘅支持度做恆常，C 至 D 嘅信心度」，即係話
*:\text{tai sing}(C \rightarrow D) = \frac{P(C \cap D)}{P(C) \times P(D)} = \frac{P(D \mid C)}{P(D)}  
做咗呢啲分析之後，營銷分析師就可以預測客人行為，可以用各種手法圖利（或者做啲嘢方便顧客）。例如如果知道咗客人買親 C 傾向會買埋 D，賣方就可以做減價嗰陣特登淨係同 C 或者 D 其中一樣做減價，又或者暗中將啲賣 D 嘅廣告 show 畀買咗 C 嘅客睇... 等等。

## 睇埋
*貝葉斯定理
*蒙地賀問題
*概率連鎖法則
*條件概率分佈
*聯合概率分佈
*基本比率謬誤

## 註釋

## 引述
呢篇文用咗嗰啲行話詞彙嘅英文版：

呢篇文引用咗嘅文獻同網頁：

## 拎

* 條件概率 | Conditional Probability，呢段 YouTube 影片嘅製作者講粵語寫英文，講解條件概率。
* 條件概率，Wolfram 數學世界