확률 변수의 수렴

**[[확률변수]]의 [[수렴]]**에는 여러 가지의 정의가 존재한다.

## 분포 수렴
[섬네일|확률변수 <math>X_n</math>이 [연속균등분포|균등분포 U(0,1)를 따를 때, 중심극한정리에 따르면 Z_n := \sum_i X_i/\sqrt{n}은 정규분포로 분포수렴한다.]]

**분포 수렴**(convergence in distribution), **약한 수렴**(weak convergence)은 확률변수의 누적 분포 함수가 수렴하는 것을 의미한다. 확률변수 X_1, X_2, \cdots와 각각의 누적 분포 함수 F_1, F_2, \cdots에 대하여, 어떤 확률변수 X와 와 확률 분포 함수 F가 존재하여,
:모든 실수 x에 대하여 \lim_{n \to \infty} F_n(x) = F(x)
가 성립할 경우, \{X_n\}은 X로 분포수렴한다고 정의한다. 기호로는
:\begin{align} & X_n \ \xrightarrow{d}\ X,\ \ X_n \ \xrightarrow{\mathcal{D}}\ X,\ \ X_n \ \xrightarrow{\mathcal{L}}\ X,\ \ X_n \ \xrightarrow{d}\ \mathcal{L}_X, \\ & X_n \rightsquigarrow X,\ \ X_n \Rightarrow X,\ \ \mathcal{L}(X_n)\to\mathcal{L}(X),\\ \end{align}
등이 사용된다. 여기에서 \mathcal{L}은 확률 분포를 가리키며, 예를 들어 X가 표준정규분포라면 X_n\,\xrightarrow{d}\,\mathcal{N}(0,\,1)와 같이 표기할 수 있다.

분포 수렴은 확률변수들이 같은 확률 공간에 있을 필요가 없으며, 각 확률변수의 분포만이 고려된다. 분포 수렴의 예제로는 중심극한정리가 있다.

확률변수를 다변수 확률변수로 확장할 경우, 위의 정의는 다음과 같이 바꿀 수 있다. 집합 A \subseteq \mathbb{R}^k가 \Pr[X \in \partial A] = 0일 때(continuity set),
:에 대하여 \lim_{n \to \infty} \Pr[X_n \in A] = \Pr[X \in A]
가 성립한다면 X_n은 X로 분포수렴한다.

### 성질
* **레비 연속성 정리**(Lévy's continuity theorem): 확률변수 X_n가 X로 분포수렴하는 것과 X_n의 특성함수가 X의 특성함수로 점마다 수렴하는 것은 동치이다.
* 분포수렴은 확률 밀도 함수의 수렴을 보장하지 않는다. 가령, f_n(x) = (1 - \cos (2 \pi n x)) {1}_{ \{ x \in (0,1) \} }에 대응하는 확률변수는 균등분포 U(0,1)로 수렴하지만, f_n은 수렴하지 않는다.
* 확률수렴이나 거의 확실한 수렴은 분포수렴을 포함한다.
* Portmanteau theorem: 분포수렴은 다음 중 하나와 동치이다.
** 모든 유계 연속 함수 f에 대해 E[f(X_n)] \to E[f(X)]
** 모든 유계 립시츠 연속 함수 f에 대해 E[f(X_n)] \to E[f(X)]
** 위로 유계이고 위에서 반연속인 함수 f에 대해 \lim \sup [E f(X_n)] \le E [f(x)]
** 아래로 유계이고 아래에서 반연속인 함수 f에 대해 \lim \inf [E f(X_n)] \ge E [f(x)]
** 모든 닫힌 집합 C에 대해 \lim \sup \Pr[X_n \in C] \le \Pr[X \in C]
** 모든 열린 집합 U에 대해 \lim \inf \Pr[X_n \in U] \ge \Pr[X \in U]
** 모든 X의 continuity set에 대해 \lim \Pr[X_n \in A] = \Pr[X \in A]

## 확률 수렴
**확률 수렴**(convergence in probability)은 같은 확률 공간에 있는 확률변수들의 수렴을 다루며, 확률변수의 결과물이 수렴 결과물과 거의 동일하다는 것을 의미한다.

확률변수 X_1, X_2, \cdots와 X에 대하여, 모든 \epsilon>0에 대해
:\lim_{n\to\infty}\Pr\big(|X_n-X| \geq \varepsilon\big) = 0
가 성립할 때, \{X_n\}은 X로 **확률 수렴**한다고 정의한다.

확률 수렴의 표기는 다음과 같다.
:X_n \ \xrightarrow{p}\ X,\ \ X_n \ \xrightarrow{P}\ X,\ \ \underset{n\to\infty}{\operatorname{plim}}\, X_n = X

정의를 확률변수뿐만이 아니라 분해 가능 공간에서 정의되는 확률변수(random element)로 확장하면 다음과 같다. 분해 가능 공간 (S, d)가 주어졌을 때, 모든 \varepsilon>0에 대하여
:\Pr\big(d(X_n,X)\geq\varepsilon\big) \to 0
가 성립하는 경우 확률 수렴한다고 정의한다.

### 성질
* 거의 확실한 수렴은 확률 수렴을 포함한다.
** 이산 확률 공간에서는 확률수렴과 거의 확실한 수렴이 동치이다.
* 확률 수렴은 분포 수렴을 포함한다.
** 상수로 수렴하는 경우, 분포 수렴과 확률 수렴은 동치이다.
* (연속 사상 정리 ) 임의의 연속 함수 g에 대해, X_n이 X로 확률 수렴한다면 g(X_n)은 g(X)로 확률 수렴한다.

## 거의 확실한 수렴
**거의 확실한 수렴**(almost sure convergence)은 거의 어디서나 점마다 수렴(pointwise convergence)하는 것을 의미한다.

확률 공간 (\Omega, \mathcal{F}, P) 위의 확률변수 X_1, X_2, \cdots와 X에 대하여,
:\operatorname{Pr}\!\left( \lim_{n\to\infty}\! X_n = X \right) = 1
이 성립할 경우, \{X_n\}은 X로 거의 확실하게 수렴한다고 정의한다. 이 조건은 다음과 동치이다.
:\operatorname{Pr}\Big( \omega \in \Omega : \lim_{n \to \infty} X_n(\omega) = X(\omega) \Big) = 1
즉, 각 \omega에 대하여 거의 어디서나 수렴한다는 의미이다.

거의 확실한 수렴은 X_n \, \xrightarrow{\mathrm{a.s.}} \, X로 표기한다.

### 성질
* 거의 확실한 수렴은 확률수렴, 분포수렴을 포함한다.

## 확실한 수렴
**확실한 수렴**(sure convergence)은 확률변수가 모든 점마다 수렴하는 것을 의미한다.

확률공간 (\Omega, \mathcal{F}, P) 위의 확률변수 X_1, X_2, \cdots와 X에 대하여
:\lim_{n\rightarrow\infty}X_n(\omega)=X(\omega), \, \, \forall \omega \in \Omega
가 성립할 경우, \{X_n\}은 X로 확실하게 수렴한다고 정의한다.

## 같이 보기
* 측도 수렴 함수열

분류:확률론
분류:통계 이론
분류:확률 과정
분류:수렴