統計学入門のお供 Julia (5) - ベイズの定理

[統計学入門のお供 Julia (1) - 標準得点、偏差値得点 - Qiita](https://qiita.com/sand/items/904271431a7809ce2066)
[統計学入門のお供 Julia (2) - ピアソンの積率相関係数 - Qiita](https://qiita.com/sand/items/06970a14ffc8cab69403)
[統計学入門のお供 Julia (3) - 順位相関係数と自己相関係数 - Qiita](https://qiita.com/sand/items/4f90e951bde8b318f232)
[統計学入門のお供 Julia (4) - 最小二乗法と決定係数 - Qiita](https://qiita.com/sand/items/38e7e08a50b82849a859)
[統計学入門のお供 Julia (5) - ベイズの定理 - Qiita](https://qiita.com/sand/items/439ecea5e825aa2cd9cb)
[統計学入門のお供 Julia (6) - ド・メレの問題 = Oiita](https://qiita.com/sand/items/e8bd52fa5560b7c81469)


　統計学を勉強するため「統計学入門」（東京大学出版会）を読み始めました。練習問題があるのですが、これも勉強中のJuliaを使って計算していきたいと思います。

（注意）今回はJuliaのプログラムは含みません。代わりに以下のリンクでごめんなさい。
[急成長中のプログラミング言語「Julia」--MIT教授に聞く人気の理由と今後の展開](
https://japan.techrepublic.com/article/35127906.htm)


#１．全確率の定理

条件付確率の重要な性質である**全確率の定理**の証明を以下に記します。これを使ってベイズの定理を証明します。

```math
\begin{align}
&\Omega : 全事象\\
&\{ H_i \} : \Omegaの分割 : \qquad  \cup H_i = \Omega, \qquad H_i \cap H_j = \emptyset \quad if \quad i \neq j\\
\\
&条件付確率の定義より\\
&P(H_i \cap A) = P(H_i)P(A|H_i) \tag{1}\\

\\
&\{ H_i \} は\Omegaの分割だから\\ 
&A = A \cap \Omega = A \cap (H_1 \cup H_2 \cup ... \cup H_h)\\
&\quad  = (A \cap H_1)  \cup (A \cap H_2) \cup ... \cup (A \cap H_h) \\
\\
& \{ A \cap H_i \} は互いに排反だから\\

\\
&P(A) = \sum P(A \cap H_j)\\
\\
&(1)を代入すると、全確率の定理が導かれます。\\
&P(A) = \sum P(H_j) P(A|H_j) \tag{2}\\

&\qquad \qquad  \qquad \qquad  \qquad \qquad  \qquad \qquad\\
\end{align}
```


#２．ベイズの定理 Bayes' theorem


**ベイズの定理**は結果に対する**原因の確率**を計算する公式です。


```math
\begin{align}

&---------------------------\\
&【概略】\\
\\
&A : 結果\\
& \{ H_i \}：原因 \quad　(\Omegaの分割)\\
&この時、A が起こったときの原因が H_i である確率 P(H_i|A) を求めたいとする。\\
&しかし、通常は原因に対する結果の確率P(A|H_i)を知ることができるのみである。\\
\\
&以下ヘイズの定理はP(A|H_i)からP(H_i|A)を求める公式である。\\
\\
&P(H_i|A) = \frac{P(H_i)P(A|H_i)}{\sum P(H_j) P(A|H_j)} \tag{3}\\
&---------------------------\\
\\
&【証明】\\
\\
&\Omega : 全事象\\
&\{ H_i \} : \Omegaの分割\\
\\
\\
&条件付確率の定義より\\
&P(H_i|A) = \frac{P(H_i \cap A)}{P(A)} \tag{4}\\
\\
&同じく条件付確率の定義（乗法定理）より\\
&P(H_i \cap A) = P(H_i)P(A|H_i)\\
\\
&故に(4)は以下のようになる\\
&P(H_i|A) = \frac{P(H_i)P(A|H_i)}{P(A)} \tag{5}\\
\\
\\
&上の全確率の定理より\\
&P(A) = \sum P(H_j) P(A|H_j)\\
\\
&これを式(5)の分母に代入すると、ベイズの定理が導かれる\\
&P(H_i|A) = \frac{P(H_i)P(A|H_i)}{\sum P(H_j) P(A|H_j)} \tag{3}\\
\\


&\qquad \qquad  \qquad \qquad  \qquad \qquad  \qquad \qquad \\
\end{align}
```


#３．例
P85
ベイズの定理を使った問題の例

```math
\begin{align}
&以下のような条件(1)(2)の２つの壺があり、\\
&いずれかの壺から取り出した球が白であったときに、\\
&第１の壺を選んだ確率と第２の壺を選んだ確率を求める。\\
\\
&第１の壺 = 白玉３個 + 黒玉１個 \qquad (1)\\ 
&第２の壺 = 白玉１個 + 黒玉２個 \qquad (2)\\
\\ 
&H_1 = 第１の壺から取り出す事象\\
&H_2 = 第２の壺から取り出す事象\\
&A = 白玉を取り出す事象\\
\\
&*****************\\
&根元事象を厳密に定義する。\\
&球は色のみに注目するから、根元事象は以下の４つとなる。\\
&(壺_1,白),(壺_1,黒),(壺_2,白),(壺_2,黒)\\
\\
&この根元事象でH_1,H_2,Aを表せば以下のようになる。\\
\\
&H_1 = \{ (壺_1,白),(壺_1,黒) \}\\
&H_2 = \{ (壺_2,白),(壺_2,黒) \}\\
&A = \{ (壺_1,白), (壺_2,白) \}\\
\\
\\
&壺_1と壺_2を選ぶ事象はH_1とH_2で、P(H_1)=P(H_2)=1/2と考えられる。\\
&また以下のように、原因に対する結果の確率P(A|H_i)を知ることができる。\\
&P(A|H_1)=3/4 \qquad ∵ (1)より\\
&P(A|H_2)=1/3 \qquad ∵ (2)より\\
\\
\\
&結果 A が起こったときの原因が H_i である確率 P(H_i|A) を求めます。\\
&ベイズの定理から以下のように計算できます。\\
\\
&P(H_1|A) = \frac{P(H_1)P(A|H_1)}{P(H_1) P(A|H_1) + P(H_2) P(A|H_2)}\\
&\qquad \quad =\frac{(1/2)(3/4)}{(1/2)(3/4) + (1/2)(1/3)} = 9/13 = 0.692\\
\\
&P(H_2|A) = \frac{P(H_2)P(A|H_2)}{P(H_1) P(A|H_1) + P(H_2) P(A|H_2)}\\
&\qquad \quad =\frac{(1/2)(1/3)}{(1/2)(3/4) + (1/2)(1/3)} = 4/13 = 0.308\\
\\
&\qquad \qquad  \qquad \qquad  \qquad \qquad  \qquad \qquad  \qquad \qquad  \qquad \qquad  \qquad  \qquad \qquad  \qquad \qquad  \\
\end{align}

```