JDLA_E資格の確率統計のまとめ

#0. はじめに

ディープラーニングでは、大量のデータを扱う為、データの特徴を把握することが重要である。そのための学問として確率統計学がある。
ここではその基礎をまとめておく。

#1. 集合

###1.1 集合の表現形式
情報の集まりを数学的に表現したいとき、以下のような表現を用いて集合$S$、その内部集合$M$という。

~~~math
S= \{ a,b,c,d,e,d,g \} \\
M = \{ e,d,g \}  \\
M \subset S \\
a \in S \\
b \in S \\
\\
e \in M \\
~~~

###1.2 2つ以上の集合の表現形式

2つの集合$A$、$B$がある場合、その組み合わせを集合として表現できる必要がある。

和集合：$ A \cup B $
積集合：$ A \cap B $
補集合：$ \overline{A} $
補集合：$ \overline{A \cup B}  =  \overline{A} \cap  \overline{B} $ 
補集合：$ \overline{A \cap B}  =  \overline{A} \cup  \overline{B} $ 



![集合.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1436941/d3676f5d-e45c-2f95-83be-3d680092c652.png)

![集合２.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1436941/3482cd7f-cdb4-9d7d-f71b-f25e5f65e2d6.png)

#2.確率

確率には大きく2つの考え方がある。

|頻度確率|ベイズ確率|
|:-----|:-----|
|客観的データで判断|総合的な主観で判断|
|客観的にデータ処理すれば、どれくらいの頻度かが分かる確率|気持ちの強さ|
|くじ引きだけの当選確率|多分コロナじゃなくてインフルエンザの確率（インフルの全数データは知らないけど、他の症状も含めて総合的にみた結果）|

###2.1 確率の定義

集合$A$が発生する確率は以下のように表現する。

~~~math
Aが起こる確率:P(A) = \frac{n(A)}{n(U)} = \frac{事象Aが起こる数}{すべての事象の数}　\\
Aが起こらない確率:P(\overline{A}) = 1 - P(A) \\
~~~


###2.2 条件付き確率
ここで、事象$B$が発生している条件で、、事象$A$が発生する確率は、

A:事故に遭う
B:雨が降っている

~~~math
P( A | B ) = \frac{P(A \cap B)}{P(B)} =  \frac{n(A \cap B)}{n(B)}\\
~~~

と表現される。

![集合4.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1436941/98ebe460-d50f-cb9a-56bf-bf5f19b450bb.png)

**重要なPOINT**.

日常（全体事象）において、雨と事故が同時に起こる確率は低そうである。
しかし、雨の日（全体事象）において、事故が起こる確率は高そうであると直感的にも分かる。


###2.3 同時確率

雨と事故が同時におこるという同時確率は次のように表現する。

~~~math
P( A \cap B ) = P(A) P(B)\\
~~~

**重要なPOINT**.

事象AとBは、まったく関係性のない独立の事象である。

###2.4 和集合の確率

事象$A$か、$B$のどちらかが起こるというような和集合の確率を求める時には、確率の足し算をすればよいが、重複部分が発生するため、最後にそれを引くことを忘れず。

~~~~math
P(A \cup B) = P(A) + P(B) - P(A \cap B) \\
~~~


###2.5 ベイズの定理

条件付き確率に関して、以下の式が成り立つことをベイズ則という。

~~~math
P(A)P(B|A) = P(B)P(A|B) \\
~~~

入れ替えると、
Aが起こった上でBが起こる条件付き確率は、

~~~math
P(B|A) = \frac{P(B)P(A|B)}{P(A)} \\
~~~

例えば、
事象A：飴を貰える
事象B：笑顔である

P(A)：飴を貰える確率： $ \frac{1}{4}$
P(B)：笑顔の確率：$ \frac{1}{3}$
P(B|A):飴を貰うと笑顔になる確率：$ \frac{1}{2}$

ここで、笑顔の人が飴を持っている確率 P(A|B)は？

~~~math
P(A|B) = \frac{P(A)P(B|A)}{P(B)} \\
P(A|B) = \frac{\frac{1}{4} \frac{1}{2}}{\frac{1}{3}}\\
P(A|B) = \frac{3}{8}
~~~



#3. 統計

###3.1. 統計学とは
統計学には大きく分けて2種類ある。記述統計と推測統計である。ビッグデータを活用した機械学習は記述統計にあたる。

|記述統計|推測統計|
|:----|:----|
|全数データの概要を記述する|母集団から一部を取出し母集団の性質を推測する。|
|ビッグデータ解析|工場歩留り調査|


###3.2 確率変数と確率分布

統計学では、確率変数と確率分布という概念が存在する。

||確率変数|確率分布|
|:----|:----|:----|
|意味|事象に結び付いた数値|事象発生確率の分布|
|例|コインの表が出る回数|コインの表が出る回数と確率のグラフ|

###3.3 期待値

事象Xの確率変数がf(x)、その発生確率がP(X)の場合、期待値は、その可能性を全部足し合わせたものである。

~~~math
期待値E(f)=\sum_{k=1}^{n} P(X = x_k) f(X = x_k) \\
~~~


|事象X|x1|x2|
|:----|:----|:----|
|確率変数f(X)|f(x1)|f(x2)|
|確率P(X)|P(x1)|P(x2)|



###3.4 分散

母集団のデータがどれくらい散らばっているのかを見る数値が分散という。

~~~math
分散 Var(f) = E \biggl( \bigl(  f(X=x) - E(f) \bigr)^2 \biggr) \\
これを展開。E(f)は期待値だから定数扱い。\\
分散 Var(f) = E \biggl( f^{2}(X=x) \biggr) - \biggl( E(f)  \biggr)^2 \\
つまり確率変数の２乗の期待値（平均）から、期待値（平均）の２乗を引くと分散になる。
~~~

また、上記とはことなり、２つの母集団の傾向の違いをみるための共分散というものがある。

~~~math
共分散 Cov(f,g) = E \biggl( \bigl(  f(X=x) - E(f) \bigr)  \bigl(  g(Y=y) - E(g) \bigr) \biggl) \\ 
=E(fg) -E(f)E(g)\\
~~~


###3.5 標準偏差

分散ではばらつきはわかるが、元のデータとは単位が変わってしまっているので、$ \sqrt{V}　$をとって標準偏差を求めよう。

~~~math
\sigma = \sqrt{Var(f)} \\
~~~

###3.6 確率分布

|確率分布      |分布イメージ|　数式|備考|
|:----        |:----|:----|:----|
|ベルヌーイ分布|コイントスのように２択で決まる事象| $ P(x u) = u^x ( 1-u )^{1-x} $ |xは裏表、uは事象確率|
|マルチヌーイ（カテゴリカル）分布）|サイコロのように場合分けの事象|||
|二項分布|ベルヌーイの多試行|$P ( x  \lambda , n) $ |||
|ガウス分布|釣鐘型の連続分布|$ N(x:u, \sigma ^2 )$||



#4. 推定

推測統計において母集団を推定する場合には、２種類ある。

* 点推定：平均値等を一点に推定する
* 区間推定：平均値が存在する範囲を推定する

###4.1 推定量と推定値

推定量は、推定関数とも言われる。推定値は、実際に推定された値のこと。言葉の意味に要注意。

###4.2 標本平均

母集団からとった標本の平均を標本平均という。
なお、標本数がいくらであっても、その期待値は、母集団の値と同じ。

~~~math
E( \hat{ \theta} ) = \theta  \\

\hat{ \theta} :推定値\\
E( \hat{ \theta} ):標本平均（推定値の期待値）\\
~~~


###4.3 標本分散

サンプル数が少ない場合、母集団の分散よりもばらつきは小さくなる。

~~~math
\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^{n} (x_i - \bar{x} )^2
~~~