중심 극한 정리

[섬네일|오른쪽|400px|매우 불규칙한 분포도 충분히 많은 수를 더하면 중심극한정리에 따라 결국 [정규분포로 수렴한다.]]
섬네일|400px|오른쪽|주사위를 n개 흔들 때 나오는 눈의 합 S n = X 1 + ... + X n의 분포가 n이 확대됨에 따라 정규 분포에 의한 근사치에 접근한 모습

확률론과 통계학에서 **중심 극한 정리**(中心 極限 定理, , 약자 CLT)는 동일한 확률분포를 가진 독립 확률 변수 n개의 평균의 분포는 n이 적당히 크다면 정규분포에 가까워진다는 정리이다. 수학자 피에르시몽 라플라스는 1774년에서 1786년 사이의 일련의 논문에서 이러한 정리의 발견과 증명을 시도하였다. 확률과 통계학에서 큰 의미가 있으며 실용적인 면에서도 품질관리, 식스 시그마에서 많이 이용된다.

## 정리
중심극한정리는 주어진 조건에 따라서 여러 가지가 있다.

### 린데베르그-레비 중심극한정리
가장 많이 쓰이는 중심극한정리는 **린데베르그–레비 중심극한정리**()이며, 같은 분포를 가지는 독립 확률 변수에 대해 다룬다. 이 정리는 다음과 같다. 만약 확률 변수 X_1, X_2, \cdots들이
# 서로 독립적이고,
# 같은 확률 분포를 가지고,
# 그 확률 분포의 기댓값 *μ*와 표준편차*σ*가 유한하다면,
평균 S_n = (X_1 + \cdots + X_n)/n의 분포는 기댓값 μ, 표준편차 \sigma/ \sqrt n인 정규분포 N(*μ,σ*2/*n*)에 분포수렴한다. 즉,
:\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)\ \xrightarrow{d}\ \mathcal{N}(0,\;\sigma^2)
가 성립한다.

### 랴푸노프 중심극한정리
알렉산드르 랴푸노프가 증명한 **랴푸노프 중심극한정리**()는 기본 정리에서 같은 분포를 가지는 조건을 다음과 같이 완화하였다. 만약 각 확률변수 X_i가
# 서로 독립적이고,
# 각각 유한한 평균과 분산 \mu_i, \sigma^2_i를 가지며,
# (**랴푸노프 조건**) s^2_i = \sum_{j \le i} \sigma^2_j를 정의하면 어떤 양의 실수 \delta에 대하여  \sum_{i=1}^{n} \operatorname{E}\big[\,|X_{i} - \mu_{i}|^{2+\delta}\,\big] = 0}}가 성립할 때,
\sum_i (X_i - \mu_i)/s_i의 분포는 n이 커질수록 표준정규분포에 분포수렴한다.
:\frac1{s_n}\sum_{i=1}^{n} (X_i - \mu_i) \xrightarrow{\mathrm d}\mathcal N(0,1)

### 린데베르그 중심극한정리
**린데베르그 중심극한정리**()는 랴푸노프 중심극한정리의 조건을 조금 더 완화한 것이다. 이 경우, 만약 각 확률변수 X_i가
# 서로 독립적이고,
# 각각 유한한 평균과 분산 \mu_i, \sigma^2_i를 가지며,
# (**린데베르그 조건**) 다음 공식이 성립할 때, \big] = 0}}
랴푸노프 중심극한정리와 같은 결론을 내릴 수 있다. 여기에서 \mathbf{1}_{\{\cdots\}}는 지시 함수이다.

### 마팅게일 중심극한정리
마팅게일의 경우, 각 X_i들이 독립 변수가 아니므로 위 정리들은 성립하지 않는다. 다만, 이 경우에도 다음과 같은 **마팅게일 중심극한정리**()가 성립한다. 만약 각 확률변수 X_i가
# 마팅게일을 이루며,
# n\to\infty인 극한에서 다음이 성립하고,
# 모든 \epsilon>0에 대하여 n\to\infty인 극한에서 다음이 성립할 경우,
X_n/\sqrt n은 n\to\infty인 극한에서 표준정규분포로 분포수렴한다.
:X_n/\sqrt n\xrightarrow{\mathrm d}\mathcal N(0,1)
여기서 \operatorname{E}(A|B)는 조건부 기댓값, \operatorname{E}(A;B)는 제한 기댓값()이다.

## 이항분포의 예
사건이 일어날 확률을 p , 일어나지 않을 확률을 q라 할 때, N번의 시행중에서 사건이 n번 일어날 확률은 다음과 같다.

:\operatorname{P}(n) = {N \choose n} {p^n}{q^{(N-n)}} 
이 확률분포가 결국 N이 상당히 커지면, 이 확률분포는 거의 연속적이라고 볼 수 있다.

연속적인 분포에서의 \scriptstyle {n}={\bar{n}}에서 연속적인 확률밀도함수가 극대값을 가지게 된다면, 다음의 식을 만족하게 된다.
:\left({\frac{\partial \operatorname{P}}{\partial n}}\right)_} = 0
로그 함수는 단조증가 함수이므로, 다음의 식도 만족하게 된다.
:\left({\frac{\partial \ln{\operatorname{P}}}{\partial n}}\right)_} = 0
충분히 작은 {\eta}에 대하여 \scriptstyle  {n} \equiv {\bar{n}} + {\eta}라 정의하고 \scriptstyle {\bar{n}}근처에서 {\eta}에 대하여 테일러 전개하면 다음과 같다.
:\ln{\operatorname{P}(n)} = \ln{\operatorname{P}(\bar{n})} + {B_1}{\eta} + \frac{1}{2} {B_2}{\eta}^2 + \frac{1}{6} {B_3}{\eta}^3 +\dots 
여기서 이미 \scriptstyle {B_1}=\left({\frac{\partial \ln{\operatorname{P}}}{\partial n}}\right)_}이므로, 0이 된다는 걸 알 수 있다. 또한 {\eta}가 충분히 작으므로, 다음과 같이 {\eta}에 대한 2차식으로 근사할 수 있다.
:\ln{\operatorname{P}(n)} \approx \ln{\operatorname{P}(\bar{n})} + \frac{1}{2} {B_2}{\eta}^2 
양변에 로그를 풀어서 원래 모양으로 만들어주면 다음과 같다.
:\operatorname{P}(n) = \operatorname{P}(\bar{n})e^{\frac{1}{2} {B_2}{(n-\bar{n})}^2} 

여기서, \scriptstyle \left({\frac{\partial \ln{\operatorname{P}}}{\partial n}}\right)_} = 0 이므로 이것을 바탕으로 스털링 근사를 이용하여 \scriptstyle {\bar{n}} 을 구해보면,
:{\frac{\partial \ln{\operatorname{P}}}{\partial n}} = -\ln{n} + \ln{(N-n)} + \ln{p} -\ln{q}
:\frac{(N-{\bar{n}})}{\bar{n}} \frac{p}{q} = 1
: \therefore {\bar{n}}=Np=m
\bar{n}은 평균이 됨을 알 수 있다.

이제 {B}_{2}를 구해보면, 다음을 얻는다.
:\frac{\partial ^2 \ln{\operatorname{P}}}{\partial ^2 n} = - \frac{1}{n} - \frac{1}{N-n}
:{B}_{2} = - \frac{1}{Np} - \frac{1}{Nq} = -\frac{p+q}{Npq} = -\frac{1}{Npq} = -\frac{1}{\sigma ^2}

그렇다면 확률밀도함수는 다음과 같이 쓸 수 있다.
:\operatorname{P}(n)= {A} {e^{-\frac{(n-m)^2}{2\sigma ^2}}}
이 확률밀도 함수를 표준화시키면 최종적인 확률밀도 함수를 얻을 수 있다.
:\operatorname{P}(n)= {\frac{1}{\sqrt{2\pi} \sigma}} {e^{-\frac{(n-m)^2}{2\sigma ^2}}}
따라서 {\mathrm{B}(N,p)}는 N이 충분히 커질 때(보통 Np>5, Nq>5일 때), {\mathrm{Z}(Np,Npq)}로 근사할 수 있다.

## 같이 보기
* 벤포드의 법칙
* 정규 분포
* 표준 오차

## 참고 문헌
* 
* 
* 
* 
* 

## 외부 링크

* 
* 
* 중심극한정리의 애니메이션
* 자바로 구현한 중심극한정리
* Central Limit Theorem 다양한 변수를 주어 인터렉티브 실험하는 중심극한정리

분류:확률과 통계
분류:확률론
분류:수학 정리
분류:통계학 용어
분류:확률론 정리
분류:통계학 정리