【確率・統計】確率論・統計学まとめ

#基本用語

- <B>確率変数(random variable)</B>

<B>Definition</B> 
それがとる各値に対して，それぞれ確率が与えられている変数

- <B>確率分布(probability distribution)</B>

<B>Definition</B> 
確率変数$X$がとる各値$x$に対する確率の重みの分布

<B>Property</B>

| 離散型 | 連続型 |
|:-:|:-:|
| $f(x_i)\geq 0$  | $f(x) \geq 0$  |
| $\displaystyle \sum_{i=1}^{\infty} f(x_i) = 1 $  | $\displaystyle \int_{-\infty}^{\infty}f(x)dx = 1 $  |

- <B>累積分布関数(cumulate probability distribution)</B>

<B>Definition</B> 
確率変数$X$がある値$x$以下の値となる確率を表す関数

<B>Property</B>

```math
x_1 \lt x_2 \Rightarrow F(x_1) \leq F(x_2)\\
F(-\infty = 0)\\
F(\infty = 1)\\
P(a \leq x \leq b) = F(b)- f(a)
```

- <B>同時確率分布(joint probability distribution)</B>

<B>Definition</B> 
確率変数が複数個ある場合にそれぞれの確率変数がとる値とその確率を表した分布

| 離散型 | 連続型 |
|:-:|:-:|
| $P(X = x_i, Y = y_j ) = f(x_i, y_j)$  | $\displaystyle P((X, Y)\in A)=\iint_Cf(x, y)dxdy$  |

<B>Property</B>

| 離散型 | 連続型 |
|:-:|:-:|
| $f(x_i, y_j)\geq 0$  | $f(x, y) \geq 0$  |
| $\displaystyle \sum_i \sum_j f(x_i, y_j) = 1 $  | $\displaystyle \iint_S f(x, y)dxdy = 1 $  |



- <B>周辺確率分布(marginal probability distribution)</B>

<B>Definition</B> 
同時確率分布から，１つの確率変数のみに注目し，それ以外の確率変数は無視して，その確率の総和を表した分布

| 離散型 | 連続型 |
|:-:|:-:|
| $\displaystyle f_X(x_i) = \sum_j f(x_i, y_j)$  | $\displaystyle f_X(x)=\int_{-\infty}^{\infty}f(x, y)dy$ |

- <B>期待値(expectation)</B>

<B>Definition</B> 

```math
\mu =E[X]=\sum{x_if(x_i)}=\int{xf(x)dx}=M_X'(0)
```

<B>Property</B>

```math
E[c] = c\\
E[X + c] = E[X] + c\\
E[cX] = cE[X]\\
E[X + Y] = E[X] + E[Y]\\
E[\bar{X}] = \mu\\
```

$X$, $Y$が独立ならば

```math
E[XY]=E[X]E[Y]
```

- <B>分散(variance)</B>
<B>Definition</B> 

```math
\sigma^2=V[X]=E[(X-\mu)^2]=\sum{(x_i-\mu)^2}f(x_i)=\int{(x-\mu)^2}f(x)dx
=M_X''(0)-M_X'(0)^2
```


<B>Property</B>

```math
V[c] = 0\\
V[X + c] = V[X]\\
V[cX] = c^2 V[X]\\
V[X + Y] = V[X] + V[Y] + 2Cov[X, Y]\\
V[\bar{X}] = \frac{\sigma^2}{n}\\
V[X] = E[X^2] -E[X]^2
```


- <B>標準偏差(standard deviation)</B>

<B>Definition</B> 

```math
\sigma=\sqrt{V[X]}
```

- <B>共分散(covariance)</B>

<B>Definition</B> 

```math
\sigma_{XY}=Cov[X,Y]=E[(X-\mu_X)(Y-\mu_Y)]
```

<B>Property</B>

```math
Cov[X, Y]= E[XY] - E[X]E[Y]
```

$X$, $Y$が独立ならば

```math
Cov[X, Y] = 0
```


- <B>相関係数(correlation)</B>

<B>Definition</B> 

```math
\rho_{XY}=\frac{\sigma_{XY}}{\sigma_X\sigma_Y}=\frac{Cov[X,Y]}{\sqrt{V[X]}\sqrt{V[Y]}}
```

- <B>モーメント母関数(moment generating function)</B>

```math
M_X(t)=E[e^{tX}]
```

<B>Property</B> 
$M_X (t)$を$n$回微分して$t=0を$代入すると$E[X^n]$となる.
$X,Y$が独立ならば，

```math
M_{X+Y}(t)=M_X (t) M_Y (t)

```



#離散型確率分布(discreet)
###超幾何分布(hypergeometric)
<B>Definition</B> 
$M$個の成功状態をもつ$N$個の要素からなる母集団から$n$個の要素を非復元抽出したときに，$k$個の成功状態が含まれる確率を与える分布

```math
P_{N,M,n}(k)=\frac{\binom{M}{k}\binom{N-M}{n-k}}{\binom{N}{n}}
```

<B>Property</B> 

```math
E[X]=n\frac{M}{N}
```

```math
V[X]=n\frac{M}{N}\frac{N-M}{N}\frac{N-n}{N-1}
```

###二項分布(binomial)
<B>Definition</B> 
確率$p$で当たるような試行を独立に$n$回繰り返したときに$k$回当たる確率を与える分布

```math
P_{n,p}(k)=\binom{n}{k}p^kq^{n-k}\\
q\equiv1-p
```

<B>Property</B> 

```math
M_X(t)=(pe^t+q)^n
```

```math
E[X]=np
```

```math
V[X]=npq
```

- 再生性を持つ
- $Bi(1,p)$をベルヌーイ分布という



###ポアソン分布(Poisson)
<B>Definition</B> 
単位時間あたり平均$λ$回起こるようなランダム(独立)な事象が，単位時間に$k$回起きる確率を与える分布

```math
P_{\lambda}(k)=e^{-\lambda}\frac{\lambda^k}{k!}\\
\lambda \gt 0
```

<B>Property</B> 

```math
M_X(t)=e^{\lambda(e^t-1)}
```

```math
E[X]=\lambda
```

```math
V[X]=\lambda
```

- 再生性を持つ

<B>Poissonの小数の法則</B>
$np=\lambda$のもとで、$n \to \infty$，$p \to 0$となる極限で

```math
\binom{n}{k}p^k(1-p)^{n-k}\to e^{-\lambda}\frac{\lambda^k}{k!}
```

<B>Example<B>

- ボルトキーヴィッチの「プロイセン陸軍で馬に蹴られて死亡した兵士数」
- 大量生産の不良品数
- 遺伝子の突然変異数

###幾何分布(geometric)
<B>Definition</B> 
確率$p$で成功するようなベルヌーイ試行を繰り返して，初めて成功を得るまでの試行回数$k$の確率分布

```math
P_{p}(k)=pq^{k-1}\\
q\equiv1-p
```

<B>Property</B> 

```math
M_X(t)=\frac{pe^t}{1-qe^t}\\
t\lt-\ln{q}
```

```math
E[X]=\frac{1}{p}
```

```math
V[X]=\frac{q}{p^2}
```

- 無記憶性を持つ

###負の二項分布(negative binomial)
<B>Definition</B> 
確率$p$で成功するようなベルヌーイ試行を繰り返して$r$回目の成功を得るまでの失敗回数$k$の確率分布

```math
P_{r,p}(k)=\binom{k+r+1}{k}p^rq^{k}\\
q\equiv1-p
```

<B>Property</B> 

```math
M_X(t)=\frac{p^k}{(1-qe^t)^k}
```

```math
E[X]=k\frac{q}{p}
```

```math
V[X]=k\frac{q}{p^2}
```

- 再生性を持つ

###離散一様分布(discreet uniform)
<B>Definition</B> 
$N$個の値を同じ確率で取り得る確率変数$X$が従う確率分布

```math
P_{N}(k)=\frac{1}{N}\\
k=1,2,\cdots,N
```

<B>Property</B> 

```math
M_X(t)=\frac{e^t}{N}\frac{1-e^{Nt}}{1-e^t}
```

```math
E[X]=\frac{N+1}{2}
```

```math
V[X]=\frac{N^2-1}{12}
```

#連続型確率分布(continuous)
###正規分布（ガウス分布）(normal)
<B>Definition</B> 

```math
f(x)=\frac{1}{\sqrt{2\pi}\sigma}\exp{\biggl(-\frac{(x-\mu)^2}{2\sigma^2}\biggr)}
```

<B>Property</B> 

```math
M_X(t)=\exp{\Bigl({\mu}t+\frac{\sigma^2t^2}{2}\Bigr)}
```

```math
E[X]=\mu
```

```math
V[X]=\sigma^2
```

- $X$,$Y$が独立に$N(\mu_1,\sigma_1^2)$,$N(\mu_2,\sigma_2^2)$に従うとき，$X+Y$は$N(\mu_1+\mu_2,\sigma_1^2+sigma_2^2)$に従う．（再生性）
- $X$が$N(\mu,\sigma)$に従うとき，$Y=aX+B$は$N(a\mu+b,a^2\sigma^2)$に従う．
- $Z=\frac{X-\mu}{\sigma}$は標準正規分布$N(0,1)$に従う．
- 累積分布関数

```math
1-\Phi(z)=\int_z^\infty{\frac{1}{\sqrt{2\pi}}\exp{\Bigl(-\frac{x^2}{2}\Bigr)dx}}
```

<B>Example<B>

測定誤差，身長の測定

###指数分布(Exponential)
<B>Definition</B> 

```math
f_\lambda(x)=\begin{cases}
\lambda e^{-\lambda x} & (x \geq 0) \\
0 & (x \lt 0)
\end{cases}\\
(\lambda \gt 0)
```

<B>Property</B> 

```math
M_X(t)=\frac{\lambda}{\lambda-t}\\
(t\lt\lambda)
```

```math
E[X]=\frac{1}{\lambda}
```

```math
V[X]=\frac{1}{\lambda^2}
```

- 無記憶性を持つ
- 累積分布関数

```math
F(x)=\begin{cases}
1-e^{-\lambda x} & (x \ge 0)\\
0 & (x \lt 0)
\end{cases}
```

<B>Example<B>

システムの寿命，災害までの年数，発生間隔


###ガンマ分布
<B>Definition</B> 

```math
f_{\lambda, \alpha}(x)=\frac{\lambda^\alpha}{F(\alpha)}x^{\alpha-1}e^{-\lambda x}\\
(x \ge0, \lambda, \alpha\gt 0)
```

<B>Property</B> 

```math
M_X(t)=\Bigl(\frac{\lambda}{\lambda-t}\Bigr)^k\\
(t \lt \lambda)
```

```math
E[X]=\frac{k}{\lambda}
```

```math
V[X]=\frac{k}{\lambda^2}
```

- 再生性を持つ

<B>Example<B>

体重の分布

###ベータ分布
<B>Definition</B> 

```math
f_{\alpha, \beta}(x)=\frac{1}{B(\alpha, \beta)}x^{\alpha-1}(1-x)^{\beta-1}\\
(0 \lt x \le 0, \alpha, \beta\gt 0)
```

<B>Property</B> 

```math
E[X]=\frac{\alpha}{\alpha+\beta}
```

```math
V[X]=\frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)}
```


###連続一様分布
<B>Definition</B> 

```math
f(x)=\frac{1}{b-a}\\
(a \le x \le b)
```

<B>Property</B> 

```math
M_X(t)=\frac{e^{tb}-e^{ta}}{t(b-a)}\\
```

```math
E[X]=\frac{a+b}{2}
```

```math
V[X]=\frac{(b-a)^2}{12}
```

- 再生性を持つ

###カイ二乗分布
<B>Definition</B> 
互いに独立な$n$個の確率変数$Z_1,Z_2,\cdots,Z_k$が標準正規分布$N(0,1)$に従うとき，確率変数
$X=(Z_1)^2+(Z_2)^2+⋯+(Z_k)^2$
が従う確率分布を自由度$k$の$χ^2$分布と呼ぶ．

<B>Property</B> 
確率密度関数

```math
c_k(x)=\begin{cases}
\frac{1}{2^{\frac{k}{2}}\Gamma\bigl(\frac{k}{2}\bigr)}x^{\frac{k}{2}-1}e^{-\frac{x}{2}} & (x \gt 0)\\
0 & (x \le 0)
\end{cases}

```

モーメント母関数

```math
M_X(t)=(1-2\theta)^{-\frac{k}{2}}\\
(\theta \lt \frac{1}{2})
```

期待値

```math
E[X]=k
```

分散

```math
V[X]=2k
```

- 再生性をもつ

###（スチューデントの）t分布
<B>Definition</B> 
2つの独立な変数$Y$と$Z$があり，$Y$は標準正規分布$N(0,1)$に，$Z$は自由度$k$の$χ^2$分布に従うとき，確率変数$X=\frac{Y}{\sqrt{\frac{Z}{k}}}$が従う確率分布を自由度$k$の$t$分布という．

<B>Property</B> 
確率密度関数

```math
t_k(x)=\frac{1}{\sqrt{n}B\bigl(\frac{n}{2},\frac{1}{2}\bigr)}(\frac{x^2}{n}+1)^{-\frac{n+1}{2}}
```

- 自由度$k$が$\infty$に近づくにつれて標準正規分布に近づく．
- 自由度$k=1$とすると標準コーシー分布となる．


###（フィッシャー・スネデガーの）F分布
<B>Definition</B> 
2つの独立な変数$Y$と$Z$があり，$Y$は自由度$k_1$の，$Z$は自由度$k_2$の$χ^2$分布に従うとき，確率変数$X=\frac{\frac{Y}{k_1}}{\frac{Z}{k_2}}$が従う確率分布を自由度$(k_1,k_2)$の$F$分布という．

<B>Property</B> 
確率密度関数

```math
f_{k_1,k_2}(x)=\frac{k_1^{\frac{k_1}{2}}k_2^\frac{k_2}{2}}{B\bigl(\frac{k_1}{2},\frac{k_2}{2}\bigr)}\frac{x^{\frac{k_1}{2}-1}}{(k_1x+k_2)^{\frac{k_1+k_2}{2}}}
```

###コーシー分布(Cauchy)
<B>Definition</B> 

```math
f_{\alpha,x_0}(x)=\frac{\alpha}{\pi(\alpha^2+(x-x_0)^2)}\\
(\alpha \gt 0)
```

<B>Property</B> 

- ﾓｰﾒﾝﾄ母関数，期待値，分散は定義されない
- $x_0$は$f(x)$の最頻値
- 標準コーシー分布

```math
f(x)=\frac{1}{\pi(x^2+1)}
```

- 再生性を持つ

#不等式など
<B>マルコフの不等式(Markov's inequality)</B>

```math
P \bigl(|X| \geq a \bigr) \leq \frac{E[|X|]}{a}\\
(a \gt 0)
```
<B>チェビシェフの不等式(Chebyshev's inequality)</B>

```math
P \bigl(|X - \mu| \geq k\sigma \bigr)\leq \frac{1}{k^2}\\
(k \gt 0)
```

<B>大数の弱法則(law of large numbers)</B>
平均$μ$，分散$σ^2$の確率分布に互いに独立に従う確率変数$X_1 \cdots X_n$と任意の$\varepsilon \gt 0$に対して

```math
P \bigl(|\bar{X}-\mu| \geq \varepsilon \bigr) \to 0\\
(n \to \infty)
```

<B>中心極限定理(central limit theorem)</B>
母集団が平均$μ$ 分散$σ^2$の確率分布に従うとき，母集団の従う確率分布がどのような分布であっても，抽出する標本数$n$が大きくなるにつれて，標本平均の分布は平均$μ$ 分散$\frac{σ^2}{n}$の正規分布$N(μ ,\frac{σ^2}{n})$に近づく．

```math
P \biggl(\frac{(X_1 + \cdots + X_n)-n\mu}{\sqrt{n}\sigma} \leq \alpha \biggr) \to \int_{-\infty}^{\alpha}\frac{1}{\sqrt{2\pi}}e^{-\frac{-x^2}{2}dx}
```