ベイズ統計学

##「従来の統計学」と「ベイズ統計学」の違い
###・「従来の統計学」
　　－頻度論
　　－「あることがらが起こる頻度」を実験・観測・数学から客観的に求める
　　－客観確率
###・「ベイズ統計学」
　　－ベイズ論
　　－「もっともらしさ」を確率の数値として扱う
　　－主観確率
　　－データ数の大小に関係なく統一的に議論可能・・・会社で経営の意思決定をする際にベイズ統計は便利
　　－
##条件付き確率
###条件付き確率
$P(E|A)$という条件付き確率において、`「Ａは新しい情報（条件）」`という解釈をする。
Ａという新しい情報を知った上で、Ｅの確率を求めている。
分母はＡになる。
つまり、「Ａを知った時点」で、**Ａという新しい標本空間を得た**ということ。

[補足]もちろん、条件付き確率も確率だから当然３つの公理は満たされる。

$P(A)$は、$P(A|\Omega)$と書いた方がいいと思うのは僕だけだろうか？

###有限空間での条件付き確率

確率は、標本空間全体に対して$P(\Omega)=1$という面積を与える。その中で例えばEという面積は、何％を占めているのか。
これが確率である。
**言い換えると、$\Omega$の中の点の数に対して、Eの中の点の数は何個あるかを比率で考えると確率になる。**

![beizu.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/691463/276ae538-1dbe-ca31-23fc-390c69335376.png)

この考え方でいくとEの確率は以下になる。`全体の点の数`に対して`Eの点の数`である。
ここで重要な考え方は、標本空間のそれぞれの根元事象が同様に確からしいので以下のような「場合の数」「根元事象の要素の数」
「点の数」で確率が求まる。


```math
P(E)=\frac{card(E)}{card(\Omega)}
```
$P(E)$はこのような式で表すことが出来る。
この式を利用して、条件付き確率は次のように表すことが出来る。

```math
\begin{eqnarray*}
P(E|F) 
 & = & \frac{card(E \cap F)}{card(F)} \\
 & = & \frac{card(E \cap F)/card(\Omega )}{card(F)/card(\Omega)} \\
 & = & \frac{P(E \cap F)}{P(F)} 
\end{eqnarray*}
```
＊注）cardinality・・・元の個数。有限集合における「元の個数」を一般の集合に拡張したもの。基数ともいう。

###「情報を与えられた後」と「情報を与えられる前」で確率が変わる事例
以下の問題で「条件付き確率」と「普通の確率」を比較して確率が異なるということを体感してみよう
ある家庭に子供が２人いる。出生率は等しいとする。
１．２人共に男の子である確率はいくらか？・・・情報無
この時の標本空間$\Omega$は
{(B,B),(B,G),(G,B),(G,G)}となる

∴P{(B,B)}=1/4

２．１人は男の子であることが分かっている。２人共に男の子である確率はいくらか？
「１人は男の子」の標本空間$\Omega$は
{(B,B),(B,G),(G,B)}となる

∴P{(B,B)|１人は男の子}=P{(B,B)|(B,B),(B,G),(G,B)}=1/3

３．長男は男の子であることが分かっている。２人共に男の子である確率はいくらか？
「長男は男の子」の標本空間$\Omega$は
{(B,B),(B,G)}となる

∴P{(B,B)|長男は男の子}=P{(B,B)|(B,B),(B,G)}=1/2

###条件付き確率の性質
####(P1)乗法公式 
```math
P(E \cap F)=P(E|F)・P(F)
```
これの意味は
①まずＦが起こる
②Ｆが起こった状況の元でさらにＥが起こる
③その結果、ＥとＦが両方起こっている

両方起こるには、どちらかがまず起こらなければいけない。
P(E $\cap$ F)は同時に２つの事象が発生すると考えることもできるが、**厳密には時間のズレがある。**
**ＥとＦが揃っておりさえすればよい。**こう考えると次の式も成り立つ。
**同時確率**は、言葉があんまり良くない。時間的に同じ時刻に事象が発生するという意味ではない。
２つの事象がそろっていさえすればよい。

```math
\begin{eqnarray*}
P(E \cap F)=P(F|E)・P(E)=P(E|F)・P(F)
\end{eqnarray*}
```
#####乗法公式の一般形
一般系はｎ個の事象がすべて起こる確率を計算する。（同時に起こるとか考えない方が良い！！）
これを一気に計算するのは難しい。短くして簡略化して、それを大きくして推論する必要がある。
ネットワークで表現されたような命題をずっと辿っていく。確率的知識処理で
ｎ個の事象に対して適当な時間の流れを付けてしまえば、下の式の右辺になる。

```math
\begin{align*}
P(\cap_{j=1}^{n}E_{j})\\
&=& P(E_{1} \cap E_{2} \cap \cdots E_{n})\\
&=& P(E_{1})・P(E_{2}|E_{1})・P(E_{3}|E_{2} \cap E_{1})・P(E_{4}|E_{3} \cap E_{2} \cap E_{1}) \cdots \\
& & \cdots P(E_{n}|E_{n-1} \cap \cdots \cap E_{1})
\end{align*}
```
$P(E_{1})$は、$E_{1}$が起こる確率
$P(E_{2}|E_{1})$は、$E_{1}$が起こったあとに$E_{2}$が起こる確率

####(P2)全確率の公式
$\Omega$を$E_{1}$～$E_{n}$に重なりがないように分割すると考える。
つまり、以下の条件を満たすとすると

```math
\Omega = \cup_{j=1}^{n} E_{j} 、 E_{i} \cap E_{j} = \phi(i \neq j)
```
この式を満たす絵は以下である。
![ベイズ.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/691463/3fae4693-eec7-e765-ea5c-b42ccdc2c171.png)

これは、それぞれの事象が**排反**であることを示す

ここで、`Ｆの確率を求めるにはどうすればよいか`が**全確率の公式**の示すことである。

```math
\begin{eqnarray*}
P(F)\\
 & = & \sum_{i=1}^{n} P(F \cap E_{i})\\
 & = & \sum_{i=1}^{n} P(F|E_{i})・P(E_{i})\\
\end{eqnarray*}
```
さて、この式を解釈してみよう
（解釈１）
標本空間$\Omega$をｎ個に場合分けをしている。
これから考える状況は、$E_{1}$かもしれないし、$E_{2}$かもしれない。。。
現実に起こっているのは、ｎ個の全く異なる場合が考えられる。
どれか１つしか真ではない。
もし、$E_{1}$が真であるならば、我々が関心を持っているのは、事象Ｆの中で、$E_{1}\cap F$の部分である。
（解釈２）
１．それぞれの場合($E_{1}～E_{n}$)がどれくらい起こりやすいのか考える。
２．もしその場合が起こったら、我々が関心を持っている現象がどれ位の可能性がある
条件付き確率と事前確率を分けて考えるのがコツ。
問題を整理して考える際や議論するのに全確率の公式が役に立つ。

#####全確率の公式の事例1
以下のトーナメントがある。Ａが優勝する確率を求めたい。
![3ベイズ.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/691463/fe9e1530-c984-4fd5-d42c-09390a98fcf5.png)
このトーナメントを考えた場合、Ａの対戦相手が気になるところである。
場合分けとしては、Ｂが対戦相手になる場合とＣが対戦相手になる場合の２手がある。
ＢとＣのどちらかが起こる。でも、同時には起こらない標本空間の場合分けが$\{Ｂ，Ｃ \}$が考えられる。
Ｐ（Ａが勝つ）＝Ｐ（ＡがＢに勝つ）＋Ｐ（ＡがＣに勝つ）
　　　　　　　＝Ｐ（Ａ｜Ｂ）・Ｐ（Ｂ）＋Ｐ（Ａ｜Ｃ）・Ｐ（Ｃ）
　　　　　　　＝Ｐ（Ａ｜Ｂ）・Ｐ（Ｂ｜Ｃ）・Ｐ（Ｃ）＋Ｐ（Ａ｜Ｃ）・Ｐ（Ｃ｜Ｂ）・Ｐ（Ｂ）

```math
\begin{eqnarray*}
P(F)=P(F|E)・P(E)=P(E|F)・P(F)
\end{eqnarray*}
```

ちなみに余談であるが、条件が以下だけであると

```math
\Omega = \cap_{j=1}^{n} E_{j} 
```
この式だと、**排反**の条件がないから以下の絵になってしまう。
![２ベイズ.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/691463/588d7cf4-9920-b631-e6b2-d21dda27f004.png)

#####全確率の公式の事例2
白玉５つ、赤玉３つの非復元抽出で１つ取り出す試行を２回行うことを考える。
![test1.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/691463/d33aef1c-0774-471a-6d45-1a68490b2a87.png)
１個目に白が出る確率を考えてみる。これは非常に簡単です。

```math
\begin{eqnarray*}
P(１個目に白)=card(白)／card(\Omega) = 5/8
\end{eqnarray*}
```

次に２個目に白が出る確率を求めてみる。これは、一発で答えが出るものではない。
`全確率の公式`を使う必要がある。

```math
\begin{eqnarray*}
P(２個目に白) &=& P(２個目に白|１個目に白)・P(１個目に白）+ P(２個目に白|１個目に赤)・P(１個目に赤）\\
　　　　　　  &=& \frac{4}{7} \times \frac{5}{8} + \frac{5}{7} \times \frac{3}{8} \\
             &=& \frac{5}{8}
\end{eqnarray*}
```
![test2.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/691463/fb61ee1a-7472-7774-be55-0fc5023d6ebc.png)
![test3.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/691463/42de413d-ac87-3aec-3151-a10ee0170266.png)
![test4.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/691463/fd5053bd-2c72-e23d-5eb9-54eaf2f90166.png)

ここまでで、`１個目に白`と`２個目に白`のそれぞれの事象に対する個別の確率を求めることができた。
次に`１個目に白`と`２個目に白`も起こる事象の確率は次のようになる。

```math
\begin{eqnarray*}
P(２個目に白) &=& \frac{5}{8}  \\
P(１個目に白）&=& \frac{5}{8}  \\
\end{eqnarray*}
```
```math
\begin{eqnarray*}
P(２個目に白 \cap １個目に白) &=& P(２個目に白|１個目に白)・P(１個目に白）\\
　　　　　　　　　　　　　　　 &=& \frac{4}{7} \times \frac{5}{8}
\end{eqnarray*}
```

```math
\begin{eqnarray*}
P(２個目に白 \cap １個目に白) &\neq& P(２個目に白)・P(１個目に白）\\
\end{eqnarray*}
```
したがって、事象`２個目に白`と事象`１個目に白`は独立である。

まとめ
・非復元抽出・・・独立事象
・復元抽出・・・独立事象

####(P2)加法公式



同じ流儀でいくと$E\cap F$の確率は以下の通り。（$E$と$F$の同時確率。）

```math
P(E \cap F)=\frac{card(E \cap F)}{card(\Omega)}
```



＊注）cardinality・・・元の個数。有限集合における「元の個数」を一般の集合に拡張したもの。基数ともいう。

####独立事象
ＥとＦが独立とは$\Longleftrightarrow P(E \cap F) = P(E)・P(F) $　
　　　　　　　　$\Longleftrightarrow P(E|F) = P(E) $
　　　　　　　　$\Longleftrightarrow P(F|E) = P(F) $


この２つの式があるが、下の式の方が独立のイメージがつきやすいかも。。。
下の式の解釈は、Ｆが起こったことをＥが起こることに何も影響を与えないということ
#####事例１
２つのサイコロを投げた時に次の事象２つは独立であるか？
Ｅ＝｛ｄ１＋ｄ２＝６｝
Ｆ＝｛ｄ１＝４｝


Ｐ（Ｅ）＝５／３６、Ｐ（Ｆ）＝１／６
$E \cap F = $



#####事例２

####事後確率と事前確率
$P(F|E)・P(E)=P(E|F)・P(F)$で２つの条件付き確率のうち
事象Ｅを原因
事象Ｆを結果
とすると
原因 $\rightleftarrows$ 結果
「純方向の推論」と「逆方向の推論」



##リスクの相乗モデル