はじめてのパターン認識 第3章 ベイズの識別規則 後半（数式メモ）

## ベイズの識別規則は誤り率最小

ベイズ誤り率（＝R1, R2における条件付きベイズ誤り率の期待値）

```math
期待値の定義より\\
E\{ε(x)\} = \int_{R_1 + R_2}ε(x)p(x)dx\\
\quad\\
↓条件付きベイズ誤り率の定義より\\
\quad\\
= \int_{R_1 + R_2}min[P(C_1|x), P(C_2|x)]p(x)dx\\
\quad\\
↓ベイズの定理より\\
\quad\\
= \int_{R_1 + R_2}min[\frac{p(x|C_1)P(C_1)}{p(x)}, \frac{p(x|C_2)P(C_2)}{p(x)}]p(x)dx\\
\quad\\
↓p(x)で約分\\
\quad\\
= \int_{R_1 + R_2}min[p(x|C_1)P(C_1), p(x|C_2)P(C_2)]dx\\
\quad\\
↓誤るということは、R2領域でC1・R1領域でC2に識別するということ\\
\quad\\
= \int_{R_1 + R_2} (p(C_1,x \in R_2), p(C_2,x \in R_1)) dx\\
\quad\\
↓R_1とR_2に分けて表現
\quad\\
= \int_{R_2} p(x|C_1)P(C_1)dx + \int_{R_1} p(x|C_2)P(C_2)dx
```

---

## 最小損失基準に基づくベイズの識別規則

損失行列の例

```math
\begin{bmatrix}
L_{健健} & L_{健病} \\
L_{病健} & L_{病病} \\
\end{bmatrix} = 
\begin{bmatrix}
0 & 20 \\
1 & 0 \\
\end{bmatrix}
```

観測データxをクラスCiと判断したときに被る損失r(C_i|x)は

```math
r(C_i|x) = \sum_{k=1}^{K} L_{ik}P(C_k|x)
```

識別規則は「損失のもっとも小さいクラスに識別する」

```math
識別クラス = arg \quad min_i \quad r(C_i|x)
```


以下、2クラスの場合について

識別規則は、損失のもっとも小さいクラスに識別すること。なので、入力データxが与えられたとき損失r(x)は

```math
r(x) = min[r(C_1|x), r(C_2|x)]
```

損失の期待値


```math
\int_{R_1 + R_2}min[r(C_1|x), r(C_2|x)]p(x)dx\\
= \int_{R_1 + R_2}min
\begin{bmatrix}
L_{11}P(C_1|x) + L_{12}P(C_2|x), \\
L_{21}P(C_1|x) + L_{22}P(C_2|x) \\
\end{bmatrix}p(x)dx\\
\quad\\
↓ベイズの定理を代入して、p(x)で約分\\
\quad\\
= \int_{R_1 + R_2}min
\begin{bmatrix}
L_{11}p(x|C_1)P(C_1) + L_{12}p(x|C_2)P(C_2), \\
L_{21}P(x|C_1)P(C_1) + L_{22}P(x|C_2)P(C_2) \\
\end{bmatrix}dx\\
\quad\\
↓R_1とR_2に分けて表現
\quad\\
= \int_{R_1} (L_{11}p(x|C_1)P(C_1) + L_{12}p(x|C_2)P(C_2) )dx + \int_{R_2} (L_{21}P(x|C_1)P(C_1) + L_{22}P(x|C_2)P(C_2) )dx \\
```

損失の期待値を最小にする識別規則は

```math
L_{11}p(x|C_1)P(C_1) + L_{12}p(x|C_2)P(C_2)　
 \left\{
\begin{array}{ll}
< \\
>
\end{array}
\right\}
L_{21}P(x|C_1)P(C_1) + L_{22}P(x|C_2)P(C_2)
 \left\{
\begin{array}{ll}
=> C_1 \\
=> C_2
\end{array}
\right.

\quad\\
↓共通項をそろえるために書き換え
\quad\\

L_{11}p(x|C_1)P(C_1) - L_{21}P(x|C_1)P(C_1)
 \left\{
\begin{array}{ll}
< \\
>
\end{array}
\right\}
L_{22}P(x|C_2)P(C_2) - L_{12}p(x|C_2)P(C_2)
 \left\{
\begin{array}{ll}
=> C_1 \\
=> C_2
\end{array}
\right.

\quad\\
↓共通項をまとめる
\quad\\

(L_{11} - L_{21})P(x|C_1)P(C_1)
 \left\{
\begin{array}{ll}
< \\
>
\end{array}
\right\}
(L_{22} - L_{12})p(x|C_2)P(C_2)
 \left\{
\begin{array}{ll}
=> C_1 \\
=> C_2
\end{array}
\right.

\quad\\
↓一般に、L_{ii} \leq L_{ij}。このままだとマイナスの比較でわかりづらい。両辺にマイナスをかける\\
\quad\\

(L_{21}-L_{11})P(x|C_1)P(C_1)
 \left\{
\begin{array}{ll}
> \\
<
\end{array}
\right\}
(L_{12}-L_{22})p(x|C_2)P(C_2)
 \left\{
\begin{array}{ll}
=> C_1 \\
=> C_2
\end{array}
\right.

\quad\\
↓分母に(L_{21}-L_{11})P(C_1)かける\\
\quad\\

P(x|C_1)
 \left\{
\begin{array}{ll}
> \\
<
\end{array}
\right\}
\frac{(L_{12}-L_{22})p(x|C_2)P(C_2)}{(L_{21}-L_{11})P(C_1)}
 \left\{
\begin{array}{ll}
=> C_1 \\
=> C_2
\end{array}
\right.

\quad\\
↓分母にp(x|C_2)かける\\
\quad\\

\frac{P(x|C_1)}{p(x|C_2)}
 \left\{
\begin{array}{ll}
> \\
<
\end{array}
\right\}
\frac{(L_{12}-L_{22})P(C_2)}{(L_{21}-L_{11})P(C_1)}
 \left\{
\begin{array}{ll}
=> C_1 \\
=> C_2
\end{array}
\right.
```

<img width="858" alt="スクリーンショット 2017-08-23 16.47.56.png" src="https://qiita-image-store.s3.amazonaws.com/0/4506/16d96f27-4010-0613-e385-0af3d968d72e.png">


<img width="854" alt="スクリーンショット 2017-08-23 16.48.01.png" src="https://qiita-image-store.s3.amazonaws.com/0/4506/8689c801-3e1b-f878-4b0a-be08297e8240.png">


## リジェクト

<img width="909" alt="スクリーンショット 2017-08-23 16.48.08.png" src="https://qiita-image-store.s3.amazonaws.com/0/4506/7104f458-5834-06f3-9aa1-9a2f79100606.png">



クラス1側のリジェクト領域

```math
ε(x) = \frac{p(x|C_2)P(C_2)}{p(x)} \geq t

\quad\\
↓p(x) = p(x|C_1)P(C_1) + p(x|C_2)P(C_2)を代入\\
\quad\\

\frac{p(x|C_2)P(C2)}{p(x|C_1)P(C_1) + p(x|C_2)P(C_2)} \geq t\\

\quad\\
↓両辺に分母をかける\\
\quad\\

p(x|C_2)P(C2) \geq p(x|C_1)P(C_1)t + p(x|C_2)P(C_2)t\\

\quad\\
↓分母にp(x|C_2)P(C_2)をかける\\
\quad\\

1 \geq \frac{p(x|C_1)P(C_1)}{p(x|C_2)P(C_2)}t + t\\

\quad\\
↓分母にtをかける\\
\quad\\

\frac{1}{t} \geq \frac{p(x|C_1)P(C_1)}{p(x|C_2)P(C_2)} + 1\\

\quad\\
↓変形\\
\quad\\

\frac{1}{t} - 1 \geq \frac{p(x|C_1)P(C_1)}{p(x|C_2)P(C_2)}\\

\quad\\
↓両辺に\frac{P(C_2)}{P(C_1)}かける\\
\quad\\

\frac{1-t}{t} \frac{P(C_2)}{P(C_1)} \geq \frac{p(x|C_1)}{p(x|C_2)}\\

```

## ROC曲線

<img width="815" alt="スクリーンショット 2017-08-23 16.32.02.png" src="https://qiita-image-store.s3.amazonaws.com/0/4506/fe0a8c3a-1d1c-2f21-f077-f92da949d33d.png">

### 書き方

<img width="395" alt="スクリーンショット 2017-08-23 16.32.59.png" src="https://qiita-image-store.s3.amazonaws.com/0/4506/927cd980-a114-92f0-f6c0-8873ce0f5a20.png">

<img width="996" alt="スクリーンショット 2017-08-23 16.34.45.png" src="https://qiita-image-store.s3.amazonaws.com/0/4506/5ae821de-215c-1f1d-61a0-e17c2705b30d.png">


### 完全な識別器

<img width="499" alt="スクリーンショット 2017-08-23 16.34.59.png" src="https://qiita-image-store.s3.amazonaws.com/0/4506/ba00e379-a309-eaac-41b6-098e27daaee1.png">

### ランダムな識別器

<img width="515" alt="スクリーンショット 2017-08-23 16.34.54.png" src="https://qiita-image-store.s3.amazonaws.com/0/4506/81730467-b74d-7b87-d3a3-ceaab24bf3ad.png">