極限定理、漸近理論

『統計学実践ワークブック』第7章の勉強メモです。

# 確率変数の収束

標本空間$\Omega$上の確率変数の列$X_1,X_2,\cdots$を考え、これを${X_n}:\Omega\to \mathbb{R}$とする。${X_n}$がある確率変数$Y$に**概収束**するとは
```math
P\left(\lim_{n \to \infty}X_n=Y\right)=1
```
が成り立つこと。以下のようにも書くことができる。
```math
\forall \epsilon>0,\exists N\in\mathbb{N},\forall n\in\mathbb{N}:(n\geq N\Rightarrow |X_n - Y|<\epsilon)
```
${X_n}$が$Y$に**確率収束**するとは、任意の$\epsilon >0$に対して
```math
\lim_{n\to\infty}P\left(|X_n-Y|<\epsilon \right)=0
```
が成り立つこと。以下のように書くこともできる。
```math
\forall \epsilon>0,\forall\delta>0,\exists N\in\mathbb{N},\forall n\in\mathbb{N}:n\geq N\Rightarrow |P(|X_n-Y|<\epsilon)-1|<\delta
```
概収束する確率変数列は確率収束する。
${X_n}$が$Y$に**$r$次平均収束**するとは、
```math
\lim_{n\to\infty}E[(X_n-Y)^r]=0
```
が成り立つこと。平均収束する確率変数列は確率収束する。

# 大数の弱法則

${X_n}$が独立同一分布に従い、その平均と分散がそれぞれ$E[X_n]=\mu$と$V[X_n]=\sigma^2$であるとする。このとき、$X_1,\cdots,X_n$の標本平均$\bar{X_n}=\frac{1}{n}\sum_{i=1}^nX_i$は$n\to\infty$のもとで$\mu$に確率収束する。この定理を大数の弱法則という。

## 証明

標本平均の期待値、分散は、${X_n}$が独立なので、
```math
\begin{multline}
\begin{split}
E[\bar{X_n}]&=\frac{n\mu}{n}=\mu \\
V[\bar{X_n}]&=\frac{n\sigma^2}{n^2}=\frac{\sigma^2}{n}
\end{split}
\end{multline}
```
確率論におけるチェビシェフの不等式$P(|X-E[X]|\geq\epsilon)\leq\frac{V[X]}{\epsilon^2}$より、
```math
\begin{multline}
\begin{split}
\lim_{n\to\infty}P(|\bar{X_n}-\mu|\geq\epsilon)&=\lim_{n\to\infty}P(|\bar{X_n}-E[\bar{X_n}]|\geq\epsilon)\\
&\leq \lim_{n\to\infty}\frac{V[\bar{X_n}]}{\epsilon^2}\\
&=\lim_{n\to\infty}\frac{\sigma^2}{n\epsilon^2}=0
\end{split}
\end{multline}
```

# 確率分布の収束

確率変数${X_n}$を考え、$X_n$の累積分布関数を$F_n(x)=P(X_n\leq x)$と表す。このとき、${X_n}$がある確率分布$G$に**分布収束**するとは、
```math
\lim_{n\to\infty}F_n(x)=G(x)
```
という式が$G$のすべての連続点$x$において成り立つこと。

# 少数法則

確率変数$X_n$が試行回数$n$、成功確率$\frac{\lambda}{n}$の二項分布$P(X_n=x)={}_nC_x(\frac{\lambda}{n})^x(1-\frac{\lambda}{n})^{n-x}$に従う。ただし$\lambda>0$は定数。このとき、$x$を固定して$n\to\infty$とすると
```math
\lim_{n\to\infty}P(X_n=x)=\frac{\lambda^x}{x!}e^{-\lambda}
```
となり、ポアソン分布に分布収束する。これをポアソンの少数法則（極限定理）という。

# 中心極限定理

${X_n}$は平均$\mu$、分散$\sigma^2$の独立同一分布に従う。$X_1,\cdots,X_n$の標本平均を$\bar{X_n}$とする。このとき、標本平均と真の平均の誤差$\sqrt{n}(\bar{X_n}-\mu)$は正規分布$N(0,\sigma^2)$に分布収束する。これを**中心極限定理**という。

# 極値分布

標本${X_n}$のうち、$X$以上（、または以下）の標本が従う分布、およびその極限のことを**極値分布**という。  
極値分布が分布収束する先はガンベル分布、フレシェ分布、ワイブル分布の３種類しかないことが知られている。

## 一般極値分布

極値分布の一般系である一般極値分布(GEV)の累積分布関数は
```math
G(x)=\exp\left\{{-\left(1+\gamma(\frac{x-\mu}{\theta})\right)^{-\frac{1}{\gamma}}}\right\}
```
となる。ここで、$1+\gamma(\frac{x-\mu}{\theta})>0$であり、$\mu\in\mathbb{R}$は位置パラメータ、$\theta>0$は尺度パラメータ、$\gamma\in\mathbb{R}$は形状パラメータ。

### ガンベル分布

$\gamma=0$のとき、
```math
\lim_{\gamma\to 0}G(x)=\exp\{-\exp(-\frac{x-\mu}{\sigma})\}
```
これをガンベル分布といい、$-\infty<x<\infty$をとる。

### ワイブル分布

$\gamma<0$のときワイブル分布といい、$x<\mu-\frac{\sigma}{\gamma}$をとる。

### フレシェ分布

$\gamma>0$のときフレシェ分布といい、$x>\mu-\frac{\sigma}{\gamma}$をとる。

# 分布収束の性質

1. $X_n$が$X$に分布収束し、かつ$h$が連続函数であれば、$h(X_n)$は$h(X)$に分布収束する。これを**連続写像定理**という。
1. 1. $X_n$が$X$に分布収束し、かつ$Y_n$が定数$c$に確率収束するならば、$X_n+Y_n$および$X_nY_n$はそれぞれ$X+c$および$cX$に分布収束する。これを**スルツキーの補題**という。
1. $X_n$のモーメント簿関数が$M_n(t)=E[e^{tX_n}]<\infty$で、$X$のモーメント簿関数が$M(t)=E[e^{tX}]<\infty$である。このとき、各実数$t$に対して、$M_n(t)\to M(t)$が成り立つならば、$X_n$は$X$に分布収束する。

# デルタ法

${X_n}$は平均$\mu$、分散$\sigma^2$の独立分布に従い、$X_1,\cdots,X_n$の標本平均を$\bar{X_n}$とする。ある函数$f$を用いて、$f(\bar{X_n})$と表す。$\sqrt{n}(f(\bar{X_n})-f(\mu))$の分布収束先を求める方法が**デルタ法**である。
$f(x)$が連続微分可能であれば、テイラーの定理から
```math
f(\bar{X_n})-f(\mu)\approx f'(\mu)(\bar{X_n}-\mu)
```
と近似できる。ただし、$f'(x)$は$f(x)$の導関数。中心極限定理から$\sqrt{n}(\bar{X_n}-\mu)$は$N(0,\sigma^2)$に分布収束するので、$\sqrt{n}(f(\bar{X_n})-f(\mu))$は$N(0,f'(\mu)^2\sigma^2)$に分布収束する。

# 多次元の分布収束

2次元の確率変数ベクトル列$(X_1,Y_1),(X_2,X_2),\cdots$の累積分布関数を$F_n(x,y)=P(X_n\leq x,Y_n\leq y)$とおく。このとき、${(X_n,Y_n)}$がある分布$G$に分布収束するとは
```math
\lim_{n\to\infty}F_n(x,y)=G(x,y)
```
という式が$G$のすべての連続点$(x,y)$において成り立つこと。
$X_n$が分布収束し、かつ$Y_n$が分布収束したとしても、$(X_n,Y_n)$の同時分布は収束するとは限らない。ただし、$X_n$と$Y_n$が独立であるならば、その収束先も独立となる。
$(X_n,Y_n)$が$(X,Y)$に分布収束し、かつ$h(x,y)$が連続那２変数関数であれば、$h(X_n,Y_n)$は$h(X,Y)$に分布収束する。

# 例題

## 問７．１

確率変数$X_n$を、$k$回目に投げたさいころの目が$3$であったとき$X_k=1$、そうでないとき$X_k=0$とする。$X_n$は二項分布に従うので、期待値は$\frac{1}{6}$、分散は$\frac{5}{36}$となる。求めたい確率は$P(\sum_{k=1}^{30}X_k\geq 10)$となる。連続修正により、$P(\sum_{k=1}^{30}X_k\geq 9.5)$を考える。
```math
\begin{multline}
\begin{split}
P(\sum_{k=1}^{30}X_k\geq 10)&=P(\bar{X_{30}}\geq \frac{9.5}{30})\\
&=P\left(\frac{\sqrt{30}(\bar{X_{30}}-\frac{1}{6})}{\sqrt{\frac{5}{36}}}\geq\frac{\sqrt{30}(\frac{9.5}{30}-\frac{1}{6})}{\sqrt{\frac{5}{36}}}\right)\\
&\approx P\left(Z\geq\frac{\sqrt{30}(\frac{9.5}{30}-\frac{1}{6})}{\sqrt{\frac{5}{36}}}\right)\\
&=P(Z\geq 2.2)
\end{split}
\end{multline}
```
となり、$Z\approx N(0,1)$となるので、正規分布表から約$0.014$となる。

## 問７．２

### [1]

中心極限定理より$\sqrt{n}(\bar{X_n}-\mu)$は$N(0,\sigma^2)$に収束する。よって、$\frac{\sqrt{n}(\bar{X_n}-\mu)}{\sigma}$は$N(0,1)$に収束する。

### [2]

$f(X)=x^3$としてデルタ法を考える。
```math
\begin{multline}
\begin{split}
\sqrt{n}(\bar{X_n}^3-\mu^3)&=\sqrt{n}(f(\bar{X_n})-f(\mu))\\
&\approx\sqrt{n}f'(\mu)(\bar{X_n}-\mu)\\
&=3\mu^2\sqrt{n}(\bar{X_n}-\mu)\\
&\approx N(0,9\mu^4\sigma^2)
\end{split}
\end{multline}
```

### [3]

$Y=\frac{\sqrt{n}}{\sigma}(\bar{X_n}-\mu)$とすると、中心極限定理より$Y\approx N(0,1)$となる。そのため、$Y^2$は自由度$1$の$\chi^2$分布となる。

# 参照

- [統計学実践ワークブック](https://www.gakujutsu.co.jp/product/978-4-7806-0852-6/)
- [WIIS 確率と統計](https://wiis.info/math/probability/)
- [極値統計学](https://www.ism.ac.jp/~shimura/R.Takahasi/koukaikouza08(Rinya).pdf)