확률 변수의 수렴

**확률변수의 수렴**에는 여러 가지의 정의가 존재한다.
# 분포 수렴
균등분포 U(0,1)를 따를 때, 중심극한정리에 따르면 Z_n := \sum_i X_i/\sqrt{n}은 정규분포로 분포수렴한다.]] **분포 수렴**(convergence in distribution), **약한 수렴**(weak convergence)은 확률변수의 누적 분포 함수가 수렴하는 것을 의미한다. 확률변수 X_1, X_2, \cdots와 각각의 누적 분포 함수 F_1, F_2, \cdots에 대하여, 어떤 확률변수 X와 와 확률 분포 함수 F가 존재하여, :모든 실수 x에 대하여 \lim_{n \to \infty} F_n(x) = F(x) 가 성립할 경우, \\{X_n\\}은 X로 분포수렴한다고 정의한다. 기호로는 :\begin{align} & X_n \ \xrightarrow{d}\ X,\ \ X_n \ \xrightarrow{\mathcal{D\ X,\ \ X_n \ \xrightarrow{\mathcal{L\ X,\ \ X_n \ \xrightarrow{d}\ \mathcal{L}_X, \\\ & X_n \rightsquigarrow X,\ \ X_n \Rightarrow X,\ \ \mathcal{L}(X_n)\to\mathcal{L}(X),\\\ \end{align} 등이 사용된다. 여기에서 \mathcal{L}은 확률 분포를 가리키며, 예를 들어 X가 표준정규분포라면 X_n\,\xrightarrow{d}\,\mathcal{N}(0,\,1)와 같이 표기할 수 있다. 분포 수렴은 확률변수들이 같은 확률 공간에 있을 필요가 없으며, 각 확률변수의 분포만이 고려된다. 분포 수렴의 예제로는 중심극한정리가 있다. 확률변수를 다변수 확률변수로 확장할 경우, 위의 정의는 다음과 같이 바꿀 수 있다. 집합 A \subseteq \mathbb{R}^k가 \Pr[X \in \partial A] = 0일 때(continuity set), :에 대하여 \lim_{n \to \infty} \Pr[X_n \in A] = \Pr[X \in A] 가 성립한다면 X_n은 X로 분포수렴한다.
## 성질
* **레비 연속성 정리**(Lévy's continuity theorem): 확률변수 X_n가 X로 분포수렴하는 것과 X_n의 특성함수가 X의 특성함수로 점마다 수렴하는 것은 동치이다. * 분포수렴은 확률 밀도 함수의 수렴을 보장하지 않는다. 가령, f_n(x) = (1 - \cos (2 \pi n x)) {1}_{ \\{ x \in (0,1) \\} }에 대응하는 확률변수는 균등분포 U(0,1)로 수렴하지만, f_n은 수렴하지 않는다. * 확률수렴이나 거의 확실한 수렴은 분포수렴을 포함한다. * Portmanteau theorem: 분포수렴은 다음 중 하나와 동치이다. ** 모든 유계 연속 함수 f에 대해 E[f(X_n)] \to E[f(X)] ** 모든 유계 립시츠 연속 함수 f에 대해 E[f(X_n)] \to E[f(X)] ** 위로 유계이고 위에서 반연속인 함수 f에 대해 \lim \sup [E f(X_n)] \le E [f(x)] ** 아래로 유계이고 아래에서 반연속인 함수 f에 대해 \lim \inf [E f(X_n)] \ge E [f(x)] ** 모든 닫힌 집합 C에 대해 \lim \sup \Pr[X_n \in C] \le \Pr[X \in C] ** 모든 열린 집합 U에 대해 \lim \inf \Pr[X_n \in U] \ge \Pr[X \in U] ** 모든 X의 continuity set에 대해 \lim \Pr[X_n \in A] = \Pr[X \in A]
# 확률 수렴
**확률 수렴**(convergence in probability)은 같은 확률 공간에 있는 확률변수들의 수렴을 다루며, 확률변수의 결과물이 수렴 결과물과 거의 동일하다는 것을 의미한다. 확률변수 X_1, X_2, \cdots와 X에 대하여, 모든 \epsilon>0에 대해 :\lim_{n\to\infty}\Pr\big(|X_n-X| \geq \varepsilon\big) = 0 가 성립할 때, \\{X_n\\}은 X로 **확률 수렴**한다고 정의한다. 확률 수렴의 표기는 다음과 같다. :X_n \ \xrightarrow{p}\ X,\ \ X_n \ \xrightarrow{P}\ X,\ \ \underset{n\to\infty}{\operatorname{plim\, X_n = X 정의를 확률변수뿐만이 아니라 분해 가능 공간에서 정의되는 확률변수(random element)로 확장하면 다음과 같다. 분해 가능 공간 (S, d)가 주어졌을 때, 모든 \varepsilon>0에 대하여 :\Pr\big(d(X_n,X)\geq\varepsilon\big) \to 0 가 성립하는 경우 확률 수렴한다고 정의한다.
## 성질
* 거의 확실한 수렴은 확률 수렴을 포함한다. ** 이산 확률 공간에서는 확률수렴과 거의 확실한 수렴이 동치이다. * 확률 수렴은 분포 수렴을 포함한다. ** 상수로 수렴하는 경우, 분포 수렴과 확률 수렴은 동치이다. * (연속 사상 정리 continuous mapping theorem) 임의의 연속 함수 g에 대해, X_n이 X로 확률 수렴한다면 g(X_n)은 g(X)로 확률 수렴한다.
# 거의 확실한 수렴
**거의 확실한 수렴**(almost sure convergence)은 거의 어디서나 점마다 수렴(pointwise convergence)하는 것을 의미한다. 확률 공간 (\Omega, \mathcal{F}, P) 위의 확률변수 X_1, X_2, \cdots와 X에 대하여, :\operatorname{Pr}\\!\left( \lim_{n\to\infty}\\! X_n = X \right) = 1 이 성립할 경우, \\{X_n\\}은 X로 거의 확실하게 수렴한다고 정의한다. 이 조건은 다음과 동치이다. :\operatorname{Pr}\Big( \omega \in \Omega : \lim_{n \to \infty} X_n(\omega) = X(\omega) \Big) = 1 즉, 각 \omega에 대하여 거의 어디서나 수렴한다는 의미이다. 거의 확실한 수렴은 X_n \, \xrightarrow{\mathrm{a.s. \, X로 표기한다.
## 성질
* 거의 확실한 수렴은 확률수렴, 분포수렴을 포함한다.
# 확실한 수렴
**확실한 수렴**(sure convergence)은 확률변수가 모든 점마다 수렴하는 것을 의미한다. 확률공간 (\Omega, \mathcal{F}, P) 위의 확률변수 X_1, X_2, \cdots와 X에 대하여 :\lim_{n\rightarrow\infty}X_n(\omega)=X(\omega), \, \, \forall \omega \in \Omega 가 성립할 경우, \\{X_n\\}은 X로 확실하게 수렴한다고 정의한다.