中心極限定理

中心極限定理（英語：central limit theorem，簡作 CLT）是機率論中的一組定理。在機率論中，中心極限定理 (CLT) 確定的為，在許多情況下，對於獨立並同樣分布的隨機變量，即使原始變量本身不是正態分布，標準化樣本均值的抽樣分布也趨向於標準正態分布。這組定理是數理統計學和誤差分析的理論基礎，指出了大量隨機變量之和近似服從正態分布的條件。

## 歷史

Tijms (2004, p.169) 寫到：

中心極限定理有著有趣的歷史。這個定理的第一版被法國數學家棣莫弗發現，他在1733年發表的卓越論文中使用正態分布去估計大量拋擲硬幣出現正面次數的分布。這個超越時代的成果險些被歷史遺忘，所幸著名法國數學家拉普拉斯在1812年發表的巨著 Théorie Analytique des Probabilités中拯救了這個默默無名的理論。

拉普拉斯擴展了棣莫弗的理論，指出二項分布可用正態分布逼近。但同棣莫弗一樣，拉普拉斯的發現在當時並未引起很大反響。直到十九世紀末中心極限定理的重要性才被世人所知。1901年，俄國數學家里雅普諾夫用更普通的隨機變量定義中心極限定理並在數學上進行了精確的證明。如今，中心極限定理被認為是（非正式地）機率論中的首席定理。

## 棣莫佛-拉普拉斯定理

<image>

棣莫佛-拉普拉斯定理（De Moivre–Laplace theorem）是中央極限定理的最初版本，討論了服從二項分布的隨機變量序列。它指出，參數為n, p的二項分布以np為均值、np(1-p) 為方差的正態分布為極限。

### 內容

若 $X \sim B(n,p)$ 是 $n$ 次伯努利實驗中事件 A 出現的次數，每次試驗成功的機率為 $p$，且 $q=1-p$，則對任意有限區間 $[a,b]$：

令$x_k \equiv \frac{k-np}{\sqrt{npq}}$，當$n\to{\infty}$時

(i) $P(X=k) \to \frac{1}{\sqrt{npq}} \cdot \frac{1}{\sqrt{2\pi}} e^{-\frac{1}{2}x^{2}_{k}}$

(ii) $P\left(a \le{\frac{X-np}{\sqrt{npq}}} \le{b}\right)\to\int_a^b\varphi(x) dx$，其中$\varphi(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}(-\infty<x<\infty).$

### 在高爾頓板問題上的應用

<image>

棣莫弗-拉普拉斯定理指出二項分布的極限為正態分布。高爾頓板可以看作是伯努利試驗的實驗模型。如果我們把小球碰到釘子看作一次實驗，而把從右邊落下算是成功，從左邊落下看作失敗，就有了一次$p=\frac{1}{2}$的伯努利試驗。小球從頂端到底層共需要經過n排釘子，這就相當於一個n次伯努利試驗。小球的高度曲線也就可以看作二項分布隨機變量的機率密度函數。因此，中央極限定理解釋了高爾頓板小球累積高度曲線為什麼是正態分布獨有的鐘形曲線。

## 林德伯格-萊維定理

<image>

Jarl Waldemar Lindeberg-萊維（Lindeberg-Levy）定理，是棣莫佛-拉普拉斯定理的擴展，討論獨立同分布隨機變量序列的中央極限定理。它表明，獨立同分布（i.i.d., 即 independent and identically distributed）、且數學期望和方差有限的隨機變量序列的標準化和以標準正態分布為極限：

### 內容

設隨機變量$X_1,X_2,\cdots,X_n$獨立同分布。

且具有有限的數學期望和方差$E(X_i) = \mu$，$D(X_i) = \sigma^2 \neq 0 (i=1,2,\cdots,n)$。記

$\bar{X}=\frac{1}{n}\sum_{i=1}^{n}X_{i}$，$\zeta_n=\frac{\bar{X} -\mu}{\sigma/\sqrt{n}}$，則$$\lim_{n\rightarrow\infty}P\left( \zeta_n\leq z\right) =\Phi\left( z\right)$$

其中$\Phi(z)$是標準正態分布的分布函數。

### 證明

記$X_k-\mu$的特徵函數為$\varphi(t)$，根據傅立葉變換，樣本空間中的卷積在特徵函數空間變為乘積，因此$\zeta_n$的特徵函數為${\left[\varphi{\left(\frac{t}{\sigma\sqrt{n}}\right)}\right]}^n$.由於$E(X_k)=\mu,D(X_k)=\sigma^2$故$\varphi'(0)=0,\varphi''(0)=-\sigma^2.$因此

$$\varphi(t)=1-\frac{1}{2}\sigma^2t^2+o(t^2)$$

所以

$${\left[\varphi{\left(\frac{t}{\sigma\sqrt{n}}\right)}\right]}^n=\left[1-\frac{1}{2n}t^2+o\left(\frac{t^2}{n}\right)\right]^n\to{e^{-t^2/2}}$$

由於$e^{-t^2/2}$是連續函數，它對應的分布函數為$\Phi(Z)$，因此由逆極限定理知

$$\lim_{n\rightarrow\infty}P\left( \zeta_n\leq z\right) \to\Phi\left( z\right)$$

定理證畢。

## 林德伯格-費勒定理

Jarl Waldemar Lindeberg-費勒（Lindeberg-Feller）定理，是中心極限定理的高級形式，是對林德伯格-萊維定理的擴展，討論獨立的，但不同分布的情況下的隨機變量和。它表明，滿足一定條件時，獨立的，但不同分布的隨機變量序列的標準化和依然以標準正態分布為極限：

### 內容

記隨機變量序列$X_i$（$X_i$獨立但不一定同分布，$E[X_i]=0$且有有限方差）部分和為

$$S_n=\sum_{i=1}^n X_i$$

記

$$s_i^2={\rm Var}(X_i)$$

$\sigma_n^2=\sum_{i=1}^n s_i^2={\rm Var}(S_n)$.

如果對每個$\epsilon > 0$，序列滿足

$$\lim_{n\rightarrow\infty}{1\over\sigma_n^2}\sum_{i=1}^n E[X_i^2; \{|X_i|>\epsilon\sigma_n\}] = 0$$

則稱它滿足林德伯格（Lindeberg）條件。

滿足此條件的序列趨向於正態分布，即

$$S_n/\sigma_n{\stackrel{d}\rightarrow} N(0,1)$$

同時，該條件也是期望為零、方差有限的獨立變量之和趨於正態分布的必要條件。

與之相關的是李亞普諾夫（Lyapunov）條件：

$$E[|X_i|^3] < \infty,\,\lim_{n\rightarrow\infty}{1\over\sigma_n^3}\sum_{i=1}^nE[|X_i|^3]=0$$

滿足李亞普諾夫條件的序列，必滿足林德伯格條件。

### 證明

在此只對較強的李亞普諾夫條件給出證明。

以下證明對每一實數$t$，特徵函數滿足$\varphi_{S_n/\sigma_n}(t)\rightarrow e^{-t^2/2}$。

$$\left|\varphi_{S_n/\sigma_n}(t)-e^{-t^2/2}\right|=\left|\prod_{k=1}^n\varphi_{X_k}(t/\sigma_n)-\prod_{k=1}^ne^{-t^2s_k^2/2\sigma_n^2}\right| \leq\sum_{k=1}^n\left|\varphi_{X_k}(t/\sigma_n)-e^{-t^2s_k^2/2\sigma_n^2}\right|$$

泰勒展開，上式可近似為

$$\sum_{k=1}^n\left|{\frac{i^3t^3E[X_k^3]}{6\sigma_n^3}} +{\frac{t^4s_k^4}{8\sigma_n^4}}\right| \leq {|t|^3\over6\sigma_n^3}\sum_{k=1}^nE[|X_k|^3]+{\frac{t^4}{8\sigma_n^4}}\sum_{k=1}^n s_k^4 \leq {|t|^3\over6\sigma_n^3}\sum_{k=1}^nE[|X_k|^3]+{\frac{t^4}{8}}\max_{1\leq k\leq n}{s_k^2\over\sigma_n^2}$$

由李亞普諾夫條件，當$n\rightarrow\infty$時，第一項收斂於零。

令$k_n={\rm arg}\max_{1\leq k\leq n}s_k^2/\sigma_n^2$，則由李亞普諾夫不等式。

$$(s_{k_n}/\sigma_n)^{3/2} \leq E[|X_{k_n}/\sigma_n|^3]\leq {\frac{1}{\sigma_n^3}}\sum_{k=1}^n E[|X_k|^3]$$

因此第二項也收斂於零。

證畢。

## 廣義的定理

中心極限定理指出，隨著隨機變量數量的增加，許多具有有限方差的獨立的且相同分布的隨機變量的總和將趨於正態分布。

## 參閱

- 漸進分布
- 大數定律
- 重對數律
- 鞅中心極限定理
- 本福特定律
- 歐文–賀爾分佈

## 參考文獻

- 李賢平，機率論基礎（第二版），高等教育出版社
- Olav Kallenberg，現代機率論基礎（第二版），Springer（2002）。