중심 극한 정리

매우 불규칙한 분포도 충분히 많은 수를 더하면 중심극한정리에 따라 결국 정규분포로 수렴한다. 주사위를 n개 흔들 때 나오는 눈의 합 S n = X 1 + ... + X n의 분포가 n이 확대됨에 따라 정규 분포에 의한 근사치에 접근한 모습 확률론과 통계학에서 **중심 극한 정리**(中心 極限 定理, central limit theorem, 약자 CLT)는 동일한 확률분포를 가진 독립 확률 변수 n개의 평균의 분포는 n이 적당히 크다면 정규분포에 가까워진다는 정리이다. 수학자 피에르시몽 라플라스는 1774년에서 1786년 사이의 일련의 논문에서 이러한 정리의 발견과 증명을 시도하였다. 확률과 통계학에서 큰 의미가 있으며 실용적인 면에서도 품질관리, 식스 시그마에서 많이 이용된다.
# 정리
중심극한정리는 주어진 조건에 따라서 여러 가지가 있다.
## 린데베르그-레비 중심극한정리
가장 많이 쓰이는 중심극한정리는 **린데베르그–레비 중심극한정리**(Lindeberg–Lévy central limit theorem)이며, 같은 분포를 가지는 독립 확률 변수에 대해 다룬다. 이 정리는 다음과 같다. 만약 확률 변수 X_1, X_2, \cdots들이 # 서로 독립적이고, # 같은 확률 분포를 가지고, # 그 확률 분포의 기댓값 *μ*와 표준편차*σ*가 유한하다면, 평균 S_n = (X_1 + \cdots + X_n)/n의 분포는 기댓값 μ, 표준편차 \sigma/ \sqrt n인 정규분포 N(*μ,σ*2/*n*)에 분포수렴한다. 즉, :\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)\ \xrightarrow{d}\ \mathcal{N}(0,\;\sigma^2) 가 성립한다.
## 랴푸노프 중심극한정리
알렉산드르 랴푸노프가 증명한 **랴푸노프 중심극한정리**(Lyapunov central limit theorem)는 기본 정리에서 같은 분포를 가지는 조건을 다음과 같이 완화하였다. 만약 각 확률변수 X_i가 # 서로 독립적이고, # 각각 유한한 평균과 분산 \mu_i, \sigma^2_i를 가지며, # (**랴푸노프 조건**) s^2_i = \sum_{j \le i} \sigma^2_j를 정의하면 어떤 양의 실수 \delta에 대하여 ^{2+\delta}\,\big] = 0가 성립할 때, \sum_i (X_i - \mu_i)/s_i의 분포는 n이 커질수록 표준정규분포에 분포수렴한다. :\frac1{s_n}\sum_{i=1}^{n} (X_i - \mu_i) \xrightarrow{\mathrm d}\mathcal N(0,1)
## 린데베르그 중심극한정리
**린데베르그 중심극한정리**(Lindeberg central limit theorem)는 랴푸노프 중심극한정리의 조건을 조금 더 완화한 것이다. 이 경우, 만약 각 확률변수 X_i가 # 서로 독립적이고, # 각각 유한한 평균과 분산 \mu_i, \sigma^2_i를 가지며, # (**린데베르그 조건**) 다음 공식이 성립할 때,> \varepsilon s_n \\ \big] = 0 랴푸노프 중심극한정리와 같은 결론을 내릴 수 있다. 여기에서 \mathbf{1}_{\\{\cdots\\는 지시 함수이다.
## 마팅게일 중심극한정리
마팅게일의 경우, 각 X_i들이 독립 변수가 아니므로 위 정리들은 성립하지 않는다. 다만, 이 경우에도 다음과 같은 **마팅게일 중심극한정리**(martingale central limit theorem)가 성립한다. 만약 각 확률변수 X_i가 # 마팅게일을 이루며, # n\to\infty인 극한에서 다음이 성립하고,X_1,\dots,X_{i-1})\to1 # 모든 \epsilon>0에 대하여 n\to\infty인 극한에서 다음이 성립할 경우,> \varepsilon \sqrt n \right) \to 0 X_n/\sqrt n은 n\to\infty인 극한에서 표준정규분포로 분포수렴한다. :X_n/\sqrt n\xrightarrow{\mathrm d}\mathcal N(0,1) 여기서 \operatorname{E}(A|B)는 조건부 기댓값, \operatorname{E}(A;B)는 제한 기댓값(restricted expectation)이다.
# 이항분포의 예
사건이 일어날 확률을 p , 일어나지 않을 확률을 q라 할 때, N번의 시행중에서 사건이 n번 일어날 확률은 다음과 같다. :\operatorname{P}(n) = {N \choose n} {p^n}{q^{(N-n) 이 확률분포가 결국 N이 상당히 커지면, 이 확률분포는 거의 연속적이라고 볼 수 있다. 연속적인 분포에서의 \scriptstyle {n}={\bar{n에서 연속적인 확률밀도함수가 극대값을 가지게 된다면, 다음의 식을 만족하게 된다. :\left({\frac{\partial \operatorname{P{\partial n\right)_n}={\bar{n = 0 로그 함수는 단조증가 함수이므로, 다음의 식도 만족하게 된다. :\left({\frac{\partial \ln{\operatorname{P{\partial n\right)_n}={\bar{n = 0 충분히 작은 {\eta}에 대하여 \scriptstyle {n} \equiv {\bar{n + {\eta}라 정의하고 \scriptstyle {\bar{n근처에서 {\eta}에 대하여 테일러 전개하면 다음과 같다. :\ln{\operatorname{P}(n)} = \ln{\operatorname{P}(\bar{n})} + {B_1}{\eta} + \frac{1}{2} {B_2}{\eta}^2 + \frac{1}{6} {B_3}{\eta}^3 +\dots 여기서 이미 \scriptstyle {B_1}=\left({\frac{\partial \ln{\operatorname{P{\partial n\right)_n}={\bar{n이므로, 0이 된다는 걸 알 수 있다. 또한 {\eta}가 충분히 작으므로, 다음과 같이 {\eta}에 대한 2차식으로 근사할 수 있다. :\ln{\operatorname{P}(n)} \approx \ln{\operatorname{P}(\bar{n})} + \frac{1}{2} {B_2}{\eta}^2 양변에 로그를 풀어서 원래 모양으로 만들어주면 다음과 같다. :\operatorname{P}(n) = \operatorname{P}(\bar{n})e^{\frac{1}{2} {B_2}{(n-\bar{n})}^2} 여기서, \scriptstyle \left({\frac{\partial \ln{\operatorname{P{\partial n\right)_n}={\bar{n = 0 이므로 이것을 바탕으로 스털링 근사를 이용하여 \scriptstyle {\bar{n 을 구해보면, :{\frac{\partial \ln{\operatorname{P{\partial n = -\ln{n} + \ln{(N-n)} + \ln{p} -\ln{q} :\frac{(N-{\bar{n)}{\bar{n \frac{p}{q} = 1 : \therefore {\bar{n=Np=m \bar{n}은 평균이 됨을 알 수 있다. 이제 {B}_{2}를 구해보면, 다음을 얻는다. :\frac{\partial ^2 \ln{\operatorname{P{\partial ^2 n} = - \frac{1}{n} - \frac{1}{N-n} :{B}_{2} = - \frac{1}{Np} - \frac{1}{Nq} = -\frac{p+q}{Npq} = -\frac{1}{Npq} = -\frac{1}{\sigma ^2} 그렇다면 확률밀도함수는 다음과 같이 쓸 수 있다. :\operatorname{P}(n)= {A} {e^{-\frac{(n-m)^2}{2\sigma ^2 이 확률밀도 함수를 표준화시키면 최종적인 확률밀도 함수를 얻을 수 있다. :\operatorname{P}(n)= {\frac{1}{\sqrt{2\pi} \sigma {e^{-\frac{(n-m)^2}{2\sigma ^2 따라서 {\mathrm{B}(N,p)}는 N이 충분히 커질 때(보통 Np>5, Nq>5일 때), {\mathrm{Z}(Np,Npq)}로 근사할 수 있다.