確率分布の期待値、分散、確率母関数、積率母関数、特性関数

# 主な確率分布の期待値、分散

主な確率分布の期待値と分散をまとめました。

| 確率分布 | 確率(密度)関数  | 期待値 $E[X]$ | 分散 $V[X]$ | 
| ---- | ---- | ---- | ---- |
|  二項分布  |  ${}_n C_x p^x (1-p)^{n-x}\ $  | $np$ |  $np(1-p)\ $  |
| ポアソン分布 | $\cfrac{e^{-\lambda}\lambda^x}{x!}$ | $\lambda$ | $\lambda$ |
| 超幾何分布 | $ \cfrac{\binom{M}{x} \binom{N-M}{n-x}}{\binom{N}{n}} $ | $ n\cfrac{M}{N} $ | $ n\cfrac{M}{N}(1 - \cfrac{M}{N})( \cfrac{N - n}{N - 1} ) $ |
| 幾何分布  |  $p(1-p)^x$ | $\cfrac{1-p}{p}$ | $\cfrac{1-p}{p^2}$ |
| 負の二項分布 | ${}_{r+x-1} C_x p^r (1-p)^{x}$ | $r\cfrac{1-p}{p}$ | $r\cfrac{1-p}{p^2}$ |
| 一様分布 | $\cfrac{1}{\beta - \alpha}\ $ | $\cfrac{\beta + \alpha}{2}\ $ | $\cfrac{(\beta - \alpha)^2}{12}$ |
| 正規分布 | $\frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{(x-\mu)^2}{2\sigma^2})\ $ | $\mu$ | $\sigma^2$ |
| ガンマ分布| $\cfrac{\beta^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\beta x}$ | $\cfrac{\alpha}{\beta}$ | $\cfrac{\alpha}{\beta^2}\ $ |
| 指数分布 | $\lambda e^{-\lambda x}$ | $\cfrac{1}{\lambda}$ | $\cfrac{1}{\lambda^2}$ |
| ワイブル分布 | $\beta \alpha x^{\alpha -1} exp(-\beta x^\alpha)$ | $(\frac{1}{\beta})^{\frac{1}{\alpha}}\Gamma(\frac{1}{\alpha}+1)$ | $(\frac{1}{\beta})^{\frac{2}{\alpha}}\lbrace\Gamma(\frac{2}{\alpha}+1)-(\Gamma(\frac{1}{\alpha}+1))^2\rbrace$ |
| ベータ分布 | $\frac{1}{B(\alpha, \beta)} x^{\alpha -1}(1-x)^{\beta-1}$ | $\frac{\alpha}{\alpha + \beta}\ $ | $\frac{\alpha \beta}{(\alpha + \beta)^2(\alpha + \beta + 1)}\ $ |
| $\chi^2$分布 | $\frac{1}{2^{\frac{n}{2}}\Gamma(\frac{n}{2})}x^{\frac{n}{2}-1}e^{(-\frac{x}{2})}$ | $n$ | $2n\ $ |
| $t$分布 | $\cfrac{\Gamma(\frac{n+1}{2})}{\sqrt{n \pi} \Gamma(\frac{n}{2})} \cfrac{1}{(1+\frac{x^2}{n})^{\frac{n+1}{2}}}$ | 0 | $\cfrac{n}{n-2} \qquad (n>2)$ |
| $F$分布 | $\frac{\Gamma(\frac{m*n}{2})m^{\frac{m}{2}}n^{\frac{n}{2}}}{\Gamma(\frac{m}{2})\Gamma(\frac{n}{2})} \frac{x^{\frac{m}{2}-1}}{(mx+n)^{\frac{m+n}{2}}}$ | $\frac{n}{n-2} $ | $\frac{2n^2(m+n-2)}{m(n-2)^2(n-4)}$ |

# 確率母関数、積率母関数、特性関数

主な確率分布の確率母関数、積率母関数(モーメント母関数)、特性関数をまとめました。

| 確率分布 | 確率母関数 $G_X(t) = E[t^X]$ | 積率母関数 $M_X(t) = E[e^{tX}]$ | 特性関数 $\phi_X(t) = E[e^{itX}]$ | 
| ---- | ---- | ---- | ---- |
| 二項分布 | $(1-p+tp)^n $  | $(1-p+pe^t)^n $ | $(1-p+pe^{it})^n $ |
| ポアソン分布 | $e^{\lambda(t-1)}$  | $ exp \lbrace \lambda(e^t-1) \rbrace $ | $ exp \lbrace \lambda(e^{it}-1) \rbrace $ |
| 超幾何分布 | - | - | - |
| 幾何分布  |  $\cfrac{p}{1-(1-p)t}$ | $\cfrac{p}{1-(1-p)e^t}$ | $\cfrac{p}{1-(1-p)e^{it}}\ $ |
| 負の二項分布 | $\lbrace\cfrac{p}{ 1-(1-p)t}\rbrace^r\ $ | $\lbrace\cfrac{p}{ 1-(1-p)e^t}\rbrace^r$ | $\lbrace\cfrac{p}{ 1-(1-p)e^{it}}\rbrace^r$ |
| 一様分布 | - | - | - |
| 正規分布 | - | $exp(\mu t + \frac{\sigma^2 }{2}t^2)$ | $exp(i \mu t - \frac{\sigma^2 }{2}t^2)$ |
| ガンマ分布| - | $(\cfrac{\beta}{\beta - t})^\alpha\ $ | $(\cfrac{\beta}{\beta - it})^\alpha\ $ |
| 指数分布 | - | $(\cfrac{\lambda}{\lambda - t})$ | $(\cfrac{\lambda}{\lambda - it})$ |
| ワイブル分布 | - | - | - |
| ベータ分布 | - | - | - |
| $\chi^2$分布 | - | $(\cfrac{1}{1 - 2t})^{\frac{n}{2}}\ $ | $(\cfrac{1}{1 - 2it})^{\frac{n}{2}}\ $ |
| $t$分布 | - | - | - |
| $F$分布 | - | - | - |

# それぞれの確率分布の意味

## 離散型確率分布

### 二項分布
確率 $p$ で発生する二値（成功/失敗）を $n$ 回試行して $x$ 回成功する確率。
例）コインを $n$ 回投げて $x$ 回だけ表がでる確率。

### ポアソン分布

ある期間で $\lambda $ 回発生する事象が、ある期間内で $x$ 回発生する確率。
例）一日の交通事故が$\lambda $ 回発生する都市で、１日の交通事故が x 回である確率。

### 超幾何分布

例）総数 $N$ 個、当たり $M\ $ 個から $n$ 回くじを引き（非復元抽出=くじを戻さない）$x$ 回当たっている確率。

### 幾何分布

確率 $p$ で発生する二値（成功/失敗）を成功するまで実行した場合に x 回失敗する確率。
例）サイコロを6がでるまで振ったときに、6がでなかった回数が $x$ 回である確率。

### 負の二項分布

確率 p で発生する二値（成功/失敗）を $r$ 回成功するまで繰り返したときに失敗した回数が x 回である確率。
例）コインを表が5回でるまで投げ続けたときに、裏がでた回数が $x$ 回である確率。

### 一様分布

サイコロを振ったときの出る目の確率など、すべての事象の起こる確率が等しい現象。離散型と連続型どちらもある。

## 連続型確率分布

### 正規分布

標本平均が従う分布で、統計学や自然科学、社会科学の様々な場面で複雑な現象を簡単に表すモデルとして用いられている。

$f(x; \mu, \sigma^2) = \cfrac{1}{\sqrt{2\pi}\sigma}exp\lbrack-\cfrac{(x-\mu)^2}{2\sigma^2}\rbrack \hspace{40pt} {\small(-\infty < x < \infty, \quad -\infty < \mu < \infty, \quad \sigma^2 > 0 )}$  


![正規分布.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/545343/7b6ffc1d-db91-3e4f-78f3-5f3ee12ceb22.png)


### ガンマ分布

一定期間に$\beta$回起こる事象が$\alpha$回起こるまでの時間の分布。

$f(x;\alpha, \beta) = \cfrac{\beta^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\beta x} \hspace{30pt} {\small ( \alpha > 0, \quad \beta > 0 , \quad x > 0 )}\ $

![ガンマ分布.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/545343/8a33ba6f-707f-70e6-7904-ecfae8ad5d33.png)

### 指数分布

一定期間に$\lambda$回起こる事象が次に起こるまでの時間の分布。

$f(x;\lambda) = \lambda e^{-\lambda x} \hspace{40pt} {\small ( \lambda> 0, \quad x > 0 )}$

![指数分布.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/545343/69376a23-4b03-4594-6a75-d74ba829ab21.png)


### ワイブル分布

機械や物体が壊れる、劣化するという事象を記述するための分布で、ハザード関数を $h(x) = \beta \alpha x^{\alpha -1 }$ で定義した分布。故障率が小さくなるものも、大きくなるものも表現でき、汎用性が高い。

$f(x;\alpha, \beta) = \beta \alpha x^{\alpha -1} exp(-\beta x^\alpha) \hspace{40pt} {\small ( \alpha > 0, \quad \beta > 0 , \quad x > 0 )}$

![ワイブル分布.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/545343/dcf39b80-6d0a-33ac-df55-74cc624c5661.png)

### ベータ分布

大雑把に言うと表が$\alpha - 1$回、裏が$\beta - 1$回出たコインで「表がでる確率の分布」を意味する。$ \alpha $と$ \beta $ で様々な形状をとり、(0,1) 上の確率現象のモデルとして利用される。  

$f(x;\alpha, \beta) = \cfrac{1}{B(\alpha, \beta)} x^{\alpha -1}(1-x)^{\beta-1} \hspace{40pt} {\small ( \alpha > 0, \quad \beta > 0 , \quad 1 > x > 0 )}$

![ベータ分布.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/545343/f10ad005-696b-11d5-a1a5-c194ad7b4ba3.png)


### カイ二乗分布

$X_1,X_2,\cdots,X_n$ が独立に標準正規分布に従うとき、$X_1^2 + X_2^2 + \cdots + X_n^2$ が従う分布を自由度 n カイ二乗分布と呼ぶ。

$f(x;n) = \frac{1}{2^{\frac{n}{2}}\Gamma(\frac{n}{2})}x^{\frac{n}{2}-1}exp(-\frac{x}{2}) \hspace{40pt} {\small ( x > 0 )} $

![カイ二乗分布.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/545343/88cc5a71-2488-3180-e25c-b2dc4a6fc946.png)


### t分布

$X_1,X_2,\cdots,X_n$ が独立に平均 $\mu$ 、分散 $\sigma^2$ の正規分布に従うとき、標本平均 $\overline{X} \ $ と 不偏分散 $S^2$ を用いて表す 以下の t が従う分布を自由度 n-1 の t 分布と呼ぶ。  

$ t = \cfrac{\overline{X} - \mu}{S / \sqrt{n}} $  

$t$ 分布は母分散によらないため、標本のみから母平均 $\mu$ の確率分布を求められ、区間推定や仮説検定ができるようになる。

$f(x;n) = \cfrac{\Gamma(\frac{n+1}{2})}{\sqrt{n \pi} \Gamma(\frac{n}{2})} \cfrac{1}{(1+\frac{x^2}{n})^{\frac{n+1}{2}}} \hspace{40pt} {\small(-\infty < x < \infty)}$

![t分布.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/545343/b3b08afd-8b0f-f2bb-a017-537e1f184995.png)


### F分布

$\chi_1^2$ 、 $\chi_2^2\ $ が独立に自由度 m, n のカイ二乗分布に従うとき、以下の F が従う分布を 自由度(m, n)の F 分布と呼ぶ。

$ F = \cfrac{\chi_1^2 / m}{\chi_2^2 / n} $

分散の比を確率分布で表せるので、等分散の検定や分散分析で利用される。

$f(x;m,n) = \frac{\Gamma(\frac{m*n}{2})m^{\frac{m}{2}}n^{\frac{n}{2}}}{\Gamma(\frac{m}{2})\Gamma(\frac{n}{2})} \frac{x^{\frac{m}{2}-1}}{(mx+n)^{\frac{m+n}{2}}} \hspace{40pt} {\small ( x > 0 )} $

![F分布.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/545343/69eb1bca-1bb3-ecdb-9110-ef84f8328968.png)