機械学習の基礎３　確率・統計メモ

機械学習の基礎（確率・統計）を備忘録として残しておく。

```
場合の数、反復試行
```
n個の中からr個を選んで順序をつける組み合わせ
$\displaystyle {}_nP _r = \frac{n!}{(n-r)!}$

n個の中からr個を選ぶ組み合わせ
$\displaystyle {}_nC _r = \frac{n!}{r!(n-r)!}$

ある事象（ベルヌーイ試行）が起きる確率をp、起きない確率をqとした時、n回やって事象がk回起こる確率
${}_nC _kP^kq^{n-k}$
*$B(n,p)$とも表現する。期待値$E[X]=np$、分散$V[X]=np(1-p)$である。

```
ベイズの定理
```
**$\displaystyle P(B|A) =\frac{P(B)P(A|B)}{P(A∩B_1)+P(A∩B_2)+ ... +P(A∩B_k)}=\frac{P(B)P(A|B)}{\sum_{j=1}^{k}P(B_j)P(A|B_j)} $**
（導出）
$\displaystyle P(A|B) = \frac{P(A∩B)}{P(B)} $
なので、
$P(A∩B) = P(B)P(A|B)$
すると、
$\displaystyle P(B|A) = \frac{P(A∩B)}{P(A)} = \frac{P(B)P(A|B)}{P(A)}$ 

![スクリーンショット 2019-09-20 11.07.53.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/209705/ebf898ae-53fe-471d-2b44-812ebd10a22b.png)

ここで、$P(A) = P(A∩B_1)+P(A∩B_2)+ ... +P(A∩B_k)$　と書けるので、
$\displaystyle \frac{P(B)P(A|B)}{P(A)} = \frac{P(B)P(A|B)}{P(A∩B_1)+P(A∩B_2)+ ... +P(A∩B_k)} =\frac{P(B)P(A|B)}{\sum_{j=1}^{k}P(B_j)P(A|B_j)} $

k = 2 の場合は、
$\displaystyle P(B|A) = \frac{P(B)P(A|B)}{P(B)P(A|B) +　P(\overline　B)P(A|\overline　B)} $  


```
演習
```
**1) 7人から、マネージャー、リーダー、書記の3人を決める場合の総数は？**
$\displaystyle {}_7P _3 = \frac{7!}{(7-3)!} =  7・6・5 = 210 $

**2) 7人から、3人を選ぶ場合の総数は？**
$\displaystyle {}_7C _3 = \frac{7!}{3!(7-3)!} = \frac{7・6・5}{3・2・1} = 35$

**3) 以下の赤い経路において、左下から右上に至る最短経路は何通りか？**
![スクリーンショット 2019-09-19 13.30.41.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/209705/84aefb02-b077-bbf0-6751-3debe08c0f4c.png)
全７回中、右を4回選ぶことになるので、
$\displaystyle {}_7C _４ = \frac{7!}{４!(7-４)!} = \frac{7・6・5}{3・2・1} = 35$

**4) じゃんけんで勝つ確率が$\frac{1}{3}$の時、3回じゃんけんして1回勝つ確率は？**
${}_nC _kP^kq^{n-k} = \displaystyle _3 C_1・ (\frac{1}{3})^1・(\frac{2}{3})^2 = \frac{4}{9} $

**5)あるクラスに男子が10人、女子が7人いる。 男子の5人、女子の3人が東京出身である。このクラスから1人を無作為に選んだところ、東京出身だった。その人が女子である確率を求めよ。**
東京出身者は全員で8人、その内女子は3人なので、$\displaystyle \frac{３}{８} $

（ベイズ確率）
東京出身である確率を$P(A)$、女子である確率を$P(B）$とすると、  
$\displaystyle　P(A) = \frac{8}{17}$  $\displaystyle　P(B) = \frac{7}{17}$  $\displaystyle　P(A|B) = \frac{3}{7}$  
よって  
$\displaystyle　P(B|A) = \frac{P(B)P(A|B)}{P(A)} = \frac{\frac{7}{17}・\frac{3}{7}}{\frac{8}{17}}= \frac{3}{8} $

**6) 1から3の目が赤色で塗られており、4から6の目は青色で塗られているさいころがある。今、このさいころを投げて青色の目が出た時、この目が偶数である確率は？**
青の時に偶数の確率は、4,5,6の目のうち、4,6なので答えは $\displaystyle　\frac{2}{3}$  

(ベイズ確率）
A:青、  B:偶数  とすると、  
$\displaystyle　P(A) = \frac{1}{2}$  $\displaystyle　P(B) = \frac{1}{2}$  $\displaystyle　P(A|B) = \frac{2}{3}$  
よって  
$\displaystyle　P(B|A) = \frac{P(B)P(A|B)}{P(A)} = \frac{\frac{1}{2}・\frac{2}{3}}{\frac{1}{2}}= \frac{2}{3} $

**7) Aさんは平日は５日のうち2回、土日は2日のうち１回運動する。Aさんが運動した時、土日である確率は？**
Aさんが運動する確率を$P(A)$、土日である確率を$P(B)$とすると、
$\displaystyle　P(B) = \frac{2}{7}$  $\displaystyle　P(\overline B) = \frac{5}{7}$  $\displaystyle　P(A|B) = \frac{1}{2}$ $\displaystyle　P(A|\overline B) = \frac{2}{5}$

$\displaystyle P(B|A) = \frac{P(B)P(A|B)}{P(B)P(A|B) +P(\overline　B)P(A|\overline　B)} $

　　　　$ \displaystyle  = \frac{\frac{2}{7}・\frac{1}{2}}{\frac{2}{7}・\frac{1}{2} +　\frac{5}{7}・\frac{2}{5}} = \frac{1}{3} $  

**8) 箱1には赤玉4つと白玉1つが入っており、箱2には赤玉2つと白玉3つが入っている。箱1と2の区別がつかない箱があり、そこから無作為に1つ玉を取り出しては戻すという試行を3回行った。赤→白→赤と玉が出た場合、この箱が箱1である確率は？**

$H_1$:箱1から玉を取り出す、$H_2$:箱2から玉が取り出す、$R$:取り出した玉が赤色、$W$:取り出した玉が白色とすると、  
$P(R | H_1) = \frac{4}{5}$  、$P(W | H_1) = \frac{1}{5}$、$P(R | H_2) = \frac{2}{5}$、$P(W | H_2) = \frac{3}{5}$  
  
(1回目)
事前確率は、
$P_1(H_1) = \frac{1}{2}$、  $P_1(H_2) = \frac{1}{2}$
$\displaystyle P_1(H_1 | R) = \frac{P_1(H_1)P(R | H_1)}{P_1(H_1)P(R | H_1) + P_1(H_2)P(R | H_2)} \displaystyle  = \frac{\frac{1}{2}・\frac{4}{5}}{\frac{1}{2}・\frac{4}{5} +　\frac{1}{2}・\frac{2}{5}} = \frac{2}{3} $ 

(２回目)
１回目の試行から事前確率は、
$P_２(H_1) = \frac{２}{３}$、  $P_２(H_2) = \frac{1}{３}$
$\displaystyle P_2(H_1 | W) =  \frac{P_2(H_1)P(W | H_1)}{P_2(H_1)P(W | H_1) + P_2(H_2)P(W | H_2)}= \frac{\frac{2}{3}・\frac{1}{5}}{\frac{2}{3}・\frac{1}{5} +　\frac{1}{3}・\frac{3}{5}} = \frac{2}{5} $ 

(3回目)
２回目の試行から事前確率は、
$P_3(H_1) = \frac{２}{5}$、  $P_3(H_2) = \frac{3}{5}$
$\displaystyle P_3(H_1 | W) =  \frac{P_3(H_1)P(R | H_1)}{P_3(H_1)P(R | H_1) + P_3(H_2)P(R | H_2)}= \frac{\frac{2}{5}・\frac{4}{5}}{\frac{2}{5}・\frac{4}{5} +　\frac{3}{5}・\frac{2}{5}} = \frac{4}{7} $ 

**9) あるメールを調べたら、以下の単語が以下の確率で迷惑メールと通常メールに分類された。
単語; 迷惑メールの確率; 通常メールの確率
秘密; 0.7; 0.1
無料; 0.7; 0.3
統計; 0.2; 0.5
確率; 0.1; 0.4
また、すべてのメールにおいて、迷惑メールの確率は0.6、通常メールの確率は0.4であった。ここで、あるメールを調べると、「統計、確率」が検出された。このメールは迷惑メールと通常メールとどちらに分類したら良いか？**

$H_1$:迷惑メール、$H_2$:通常メール
$D_1$:秘密を含む、$D_2$:無料を含む、$D_3$:統計を含む、$D_4$:確率を含む、とすると 
$P(D_1 | H_1) = 0.7$、 $P(D_1 | H_2) = 0.1$
$P(D_2 | H_1) = 0.7$、 $P(D_2 | H_2) = 0.3$
$P(D_3 | H_1) = 0.2$、 $P(D_3 | H_2) = 0.5$
$P(D_4 | H_1) = 0.1$、 $P(D_4 | H_2) = 0.4$
事前確率は、$P_1(H_1) = 0.6$、$P_1(H_2) = 0.4$  

「統計」という単語$D_3$が含まれるメールを受信した時の迷惑メール・通常メールそれぞれの事後確率を考えると、  
$\displaystyle P_1(H_1 | D_3) = \frac{P(D_3 | H_1)P_1(H_1)}{P_1(D_3)}$・・・①  

$\displaystyle P_1(H_2 | D_3) = \frac{P(D_3 | H_2)P_1(H_2)}{P_1(D_3)}$・・・②    

①②より、　　
$\displaystyle \frac{P_1(H_1 | D_3)}{P_1(H_2 | D_3)} = \frac{P(D_3 | H_1)P_1(H_1)}{P(D_3 | H_2)P_1(H_2)}$  
 
「統計」という単語のあとに、「確率」という単語$D_4$が含まれるメールを受信した時の迷惑メール・通常メールそれぞれの事後確率を考えると、  

$\displaystyle \frac{P_2(H_1 | D_4)}{P_2(H_2 | D_4)} = \frac{P(D_4| H_1)P_2(H_1)}{P(D_4 | H_2)P_2(H_2)}$となる。    

ここで、事前確率$P_2(H_1)$、$P_2(H_2)$を統計という単語が検出された際の事後確率にすると、  

$\displaystyle \frac{P_2(H_1 | D_4)}{P_2(H_2 | D_4)} = \frac{P(D_4 | H_1)P_1(H_1 | D_3)}{P(D_4 | H_2)P_1(H_2 | D_3)}$  

　　　　　$\displaystyle  = \frac{P(D_4 | H_1)P(D_3 | H_1)P_1(H_1)}{P(D_4 | H_2)P(D_3 | H_2)P_1(H_2)}$  
     
よって、

$\displaystyle \frac{P_2(H_1 | D_4)}{P_2(H_2 | D_4)} = \frac{0.1・0.2・0.6}{0.4・0.5・0.4} = \frac{0.012}{0.08}$   
     
従って、$P_2(H_1 | D_4) < P_2(H_2 | D_4)$より、  通常メールに分類する方が良い。

**10) 以下をグラフィカルモデルで示せ。
$p(a,b,c,d,e) = p(a)p(b|a)p(c|a,b)p(d|b)p(e|c)$**

![スクリーンショット 2019-09-19 16.45.23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/209705/c8a30042-008d-f306-84bd-00eb6b73ab3e.png)

**11)二項分布は試行回数を$n$、成功する確率を$p$とすると、期待値は$np$、分散は$np(1-p)$で表せる。  今、$E[X]=10$、$V[X]=6$の時、二項分布$B(n,p)$を求めよ**
$E[X] = np = 10$
$V[X] = np(1-p) = 6$より
$p = 0.4$、$n=25$
よって、$B(25, 0.4)$

**12) $X$が次の確率密度関数$f(x)$を持つ分布に従う時、$a$の値を求めよ。** 
![スクリーンショット 2019-09-19 17.00.33.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/209705/5519c4fd-5a04-c635-93d0-08481225674d.png)
確率密度関数の面積の合計は1になるので、
$\displaystyle \int_{-\infty}^\infty f(x) = \displaystyle \int_0^1ax^2dx$  
   
　　　　　$ = \displaystyle \left[ \frac{ax^3}{3}\right]_0^1$
     
　　　　　$ = \displaystyle \frac{a}{3} = 1$  
     
よって、$a=3$