ベイズの識別規則

# 識別規則とは
> 入力データが所属する正しいクラスを特定する為の規則
[(はじめてのパターン認識 第１章)](https://www.amazon.co.jp/%E3%81%AF%E3%81%98%E3%82%81%E3%81%A6%E3%81%AE%E3%83%91%E3%82%BF%E3%83%BC%E3%83%B3%E8%AA%8D%E8%AD%98-%E5%B9%B3%E4%BA%95-%E6%9C%89%E4%B8%89/dp/4627849710)

# ベイズの定理とクラス識別
[ベイズの定理](https://qiita.com/sukapontan/items/eff5cf927d514ba4b308) から事後確率（結果Bが起こった場合、原因がAだった場合の確率）

```math
\begin{align}
P_B{A} = P(A|B) = \frac{P(A) \cdot P(B|A)}{P(B)} \quad
\end{align}
```
であることが分かった。
ここで$B$ を観測データ $x$、$A$ をそれに対応する識別クラス $C_i(i=1,\cdots k)$ とすると

```math
\begin{align}
P(C_i|x) =& \frac{P(x|C_i) }{P(x)} \cdot P(C_i) \\
\Downarrow  \\
事後確率 =& 修正項 \times 事前確率
\end{align}
```

と表せる。
以降、各種確率を下記の名称で説明していく。

| 確率 | 名称 |
|:--|:--|
| $P(C_i)$ |事前確率 |
| $P(C_i&#124;x)$|事後確率|
| $P(x)$| 周辺確率 |
| $P(x&#124;C_i)$ |クラス条件付き確率(尤度） |

# ベイズの識別規則
ベイズの識別規則とは、学習データから事後確率が最大するクラスを選択する識別規則

1. 学習データからそれに対応する識別クラス$C_i(i=1,\cdots k)$ の確率を求める
2. 学習データに対して事後確率が最大になる識別クラスを選択するモデルを作成する

ベイズの識別規則は、未知のデータ$x$に対して 事後確率 $P(C_i|x)$ が最大となる識別クラスが採用する

## 例
ある街1,000人の健康と喫煙、飲酒の関係を示すサンプルデータを元にモデルを作り、他の人を喫煙、飲酒歴から健康状態を予測する

| 健康状態 | サンプル数 |喫煙（S=1) | 非喫煙(S=0) |飲酒（D=1)| 非飲酒（D=0）|
|:--|--:|--:|--:|--:|--:|
| 健康（G=1）| 800 | 320 | 480 | 640 | 160 |
| 不健康（G=0） | 200 | 160 | 40 | 40 | 160 |

但し、健康と（喫煙、飲酒）は[条件付き独立](https://mathwords.net/jokentukidokuritu)
$$ P(S,D|G)= P(S|G）\cdot P(D|G）$$

が成り立っているものとする
（飲酒した方が不健康が多いって言うのが不思議・・・）

### 解法

#### 事後確率の式変形
観測データ（喫煙、飲酒）を $(S,D)$、識別クラス（健康状態）を $G$ とすると求めたい事後確率は

$$ P(G|(S,D)) = \frac{P((S,D)|G) \cdot P(G)}{P(S,D)} \quad \cdots （１）$$

更に健康状態と喫煙と飲酒の間には条件付き独立が成り立つので

$$ P(S,D|G) = P(S|G) \cdot P(D|G) $$

の関係があり
$$ P(G|(S,D)) = \frac{P(S|G) \cdot P(D|G) \cdot P(G)}{P(S,D)} \quad \cdots（２）$$

#### 事前確率を求める
$$ P(G=1) = \frac{800}{1000} = \frac{4}{5} $$

$$ P(G=0) = \frac{200}{1000} = \frac{1}{5} $$

#### 喫煙に関する尤度を求める
$$ P(S=1|G=1) = \frac{320}{800} = \frac{2}{5} $$

$$ P(S=0|G=1) = \frac{480}{800} = \frac{3}{5} $$

$$ P(S=1|G=0) = \frac{160}{200} = \frac{4}{5} $$

$$ P(S=0|G=0) = \frac{40}{200} = \frac{1}{5} $$

#### 飲酒に関する尤度を求める
$$ P(D=1|G=1) = \frac{640}{800} = \frac{4}{5} $$

$$ P(D=0|G=1) = \frac{160}{800} = \frac{1}{5} $$

$$ P(D=1|G=0) = \frac{40}{200} = \frac{1}{5} $$

$$ P(D=0|G=0) = \frac{160}{200} = \frac{4}{5} $$

#### （喫煙、飲酒）に関する尤度を求める

条件付き独立から

| 健康状態 | （S=1, D=1) | （S=0, D=1) |（S=1, D=0)| （S=0, D=0)|
|:--|--:|--:|--:|--:|--:|
| 健康（G=1）| $\frac{2}{5} \cdot \frac{4}{5} = \frac{8}{25}$ | $\frac{3}{5} \cdot \frac{4}{5} = \frac{12}{25}$ | $\frac{2}{5} \cdot \frac{1}{5} = \frac{2}{25}$ | $\frac{3}{5} \cdot \frac{1}{5} = \frac{3}{25}$ |
| 不健康（G=0） | $\frac{4}{5} \cdot \frac{1}{5} = \frac{4}{25}$ | $\frac{1}{5} \cdot \frac{1}{5} = \frac{1}{25}$ | $\frac{4}{5} \cdot \frac{4}{5} = \frac{16}{25}$ | $\frac{1}{5} \cdot \frac{4}{5} = \frac{4}{25}$|


#### （喫煙、飲酒）の確率（周辺確率）を求める

```math
\begin{align}
P（S,D) =& P(S,D,G=1)+P(S,D,G=0) \\\\
=& P(S,D|G=1) \cdot P(G=1) + P(S,D|G=0) \cdot P(G=0) 
\end{align}
```
なので

| 確率 | （S=1, D=1) | （S=0, D=1) |（S=1, D=0)| （S=0, D=0)|
|:--|--:|--:|--:|--:|
| P（S,D,G=1)| $\frac{8}{25} \cdot \frac{4}{5} = \frac{32}{125}$ | $\frac{12}{25} \cdot \frac{4}{5} = \frac{48}{125}$ | $\frac{2}{25} \cdot \frac{4}{5} = \frac{8}{125}$ | $\frac{3}{25} \cdot \frac{4}{5} = \frac{12}{125}$ |
| P（S,D,G=0)| $\frac{4}{25} \cdot \frac{1}{5} = \frac{4}{125}$ | $\frac{1}{25} \cdot \frac{1}{5} = \frac{1}{125}$ | $\frac{16}{25} \cdot \frac{1}{5} = \frac{16}{125}$ | $\frac{4}{25} \cdot \frac{1}{5} = \frac{4}{125}$ |
| P（S,D)| $\frac{32}{125} + \frac{4}{125} = \frac{36}{125} $ | $\frac{48}{125} + \frac{1}{125} = \frac{49}{125}$ | $\frac{8}{125} + \frac{16}{125} = \frac{24}{125}$ | $\frac{12}{125} + \frac{4}{125} = \frac{16}{125}$ |


#### （喫煙、飲酒）の事後確率を求める

$$ P(G|(S,D)) = \frac{P((S,D)|G) \cdot P(G)}{P(S,D)} $$

より

| 確率 | （S=1, D=1) | （S=0, D=1) |（S=1, D=0)| （S=0, D=0)|
|:--|--:|--:|--:|--:|
|P(G=1 &#124;(S,D))|$\frac{8}{25} \cdot \frac{4}{5} \div \frac{36}{125} = \frac{8}{9}$|$\frac{12}{25} \cdot \frac{4}{5} \div \frac{49}{125} = \frac{48}{49}$|$\frac{2}{25} \cdot \frac{4}{5} \div \frac{24}{125} = \frac{1}{3}$|$\frac{3}{25} \cdot \frac{4}{5} \div \frac{16}{125} = \frac{3}{4}$|
|P(G=1 &#124;(S,D))|$\frac{4}{25} \cdot \frac{1}{5} \div \frac{36}{125} = \frac{1}{9}$|$\frac{1}{25} \cdot \frac{1}{5} \div \frac{49}{125} = \frac{1}{49}$|$\frac{16}{25} \cdot \frac{1}{5} \div \frac{24}{125} = \frac{2}{3}$|$\frac{4}{25} \cdot \frac{1}{5} \div \frac{16}{125} = \frac{1}{4}$|
|識別クラス|G=1|G=1|G=0|G=1|


# 補足（条件付き独立）
$$P(X|Y,Z) = P(X|Z) \quad \cdots （1）$$
を満たす時、即ちXの条件付き確率がYに依存しない時、XはZが与えられた元ではYに対して条件付き独立であると言う。

条件付き確率の定理より

$$ P(X,Y) = P(X|Y) \cdot P(Y) \quad \cdots （2）$$

は常に成り立つので、$Y \Rightarrow Y|Z$ とすると

$$ P(X,Y∣Z) = P(X|Y,Z) \cdot P(Y∣Z) \quad \cdots （2）’$$

(2)'に対して、XがYに対して条件付き独立である場合、(1)の左辺を(2)'に代入すると

$$ P(X,Y∣Z)=P(X∣Z)P(Y∣Z) \quad \cdots （3）$$

また、条件付き独立 (3) は、(2)' と $ P(X,Y∣Z)$ で結ぶことにより
$$ P(X∣Z)=P(X∣Y,Z) \quad \cdots （4）$$
とも表すことができる。

（4) は、
「Z が与えられたときの X の分布」（左辺）は、「Y と Z が与えられたときの X の分布」（右辺）と等しいことを示している。
即ち、
「Z が分かっている状況で新たに Y が分かっても、X に関する情報は得られない」
と解釈することができる。


# 参照
[はじめてのパターン認識](https://www.amazon.co.jp/%E3%81%AF%E3%81%98%E3%82%81%E3%81%A6%E3%81%AE%E3%83%91%E3%82%BF%E3%83%BC%E3%83%B3%E8%AA%8D%E8%AD%98-%E5%B9%B3%E4%BA%95-%E6%9C%89%E4%B8%89/dp/4627849710)
[条件付き独立](https://mathwords.net/jokentukidokuritu)