中心極限定理

**中央極限定理**（英語：central limit theorem，簡作 **CLT**）是機率論中的一組定理。中央極限定理說明，在適當的條件下，大量相互獨立隨機變數的均值經適當標準化後依分布收斂於標準常態分布。這組定理是數理統計學和誤差分析的理論基礎，指出了大量隨機變數之和近似服從常態分布的條件。

## 歷史

Tijms (2004, p.169) 寫到：

## 棣莫佛－拉普拉斯定理

棣莫佛－拉普拉斯（de Moivre - Laplace）定理是中央極限定理的最初版本，討論了服從二項分布的隨機變數序列。它指出，參數為 n, p 的二項分布以 np 為均值、np (1-p) 為變異數的常態分布為極限。

### 內容

若 $X\sim B(n,p)$ 是 $n$ 次伯努利實驗中事件 _A_ 出現的次數，每次試驗成功的機率為 $p$ ，且 $q=1-p$ ，則對任意有限區間 $[a,b]$ ：

令 $x_{k}\equiv {\frac {k-np}{\sqrt {npq}}}$ ，當 $n\to {\infty }$ 時

(i) $P(X=k)\to {\frac {1}{\sqrt {npq}}}\cdot {\frac {1}{\sqrt {2\pi }}}e^{-{\frac {1}{2}}x_{k}^{2}}$

(ii) $P\left(a\leq {\frac {X-np}{\sqrt {npq}}}\leq {b}\right)\to \int _{a}^{b}\varphi (x)dx$ ，其中 $\varphi (x)={\frac {1}{\sqrt {2\pi }}}e^{-{\frac {x^{2}}{2}}}(-\infty <x<\infty ).$

### 在高爾頓板問題上的應用

棣美弗－拉普拉斯定理指出二項分布的極限為常態分布。高爾頓板可以看作是伯努利試驗的實驗模型。如果我們把小球碰到釘子看作一次實驗，而把從右邊落下算是成功，從左邊落下看作失敗，就有了一次 $p={\frac {1}{2}}$ 的伯努利試驗。小球從頂端到底層共需要經過 n 排釘子，這就相當於一個 n 次伯努利試驗。小球的高度曲線也就可以看作二項分布隨機變數的機率密度函數。因此，中央極限定理解釋了高爾頓板小球累積高度曲線為什麼是常態分布獨有的鐘形曲線。

## 林德伯格－列維定理

林德伯格－列維（Lindeberg-Levy）定理，是棣莫佛－拉普拉斯定理的擴展，討論獨立同分布隨機變數序列的中央極限定理。它表明，獨立同分布（i.i.d., 即 independent and identically distributed）、且數學期望和變異數有限的隨機變數序列的標準化和以標準常態分布為極限：

### 內容

設隨機變數 $X_{1},X_{2},\cdots ,X_{n}$ 獨立同分布，
且具有有限的數學期望和變異數 $E(X_{i})=\mu $ ， $D(X_{i})=\sigma ^{2}\neq 0(i=1,2,\cdots ,n)$ 。記

$$
{\bar {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}$ ， $\zeta _{n}={\frac {{\bar {X}}-\mu }{\sigma /{\sqrt {n}}}}$ ，則 $\lim _{n\rightarrow \infty }P\left(\zeta _{n}\leq z\right)=\Phi \left(z\right)
$$

其中 $\Phi (z)$ 是標準常態分布的分布函數。

### 證明

記 $X_{k}-\mu $ 的特徵函數為 $\varphi (t)$ ，根據傅立葉轉換，樣本空間中的褶積在特徵函數空間變為乘積，因此 $\zeta _{n}$ 的特徵函數為 ${\left[\varphi {\left({\frac {t}{\sigma {\sqrt {n}}}}\right)}\right]}^{n}$ . 由於 $E(X_{k})=\mu ,D(X_{k})=\sigma ^{2}$ 故 $\varphi '(0)=0,\varphi ''(0)=-\sigma ^{2}.$ 因此

$$
\varphi (t)=1-{\frac {1}{2}}\sigma ^{2}t^{2}+o(t^{2})
$$

所以

$$
{\left[\varphi {\left({\frac {t}{\sigma {\sqrt {n}}}}\right)}\right]}^{n}=\left[1-{\frac {1}{2n}}t^{2}+o\left({\frac {t^{2}}{n}}\right)\right]^{n}\to {e^{-t^{2}/2}}
$$

由於 $e^{-t^{2}/2}$ 是連續函數，它對應的分布函數為 $\Phi (Z)$ ，因此由逆極限定理知

$$
\lim _{n\rightarrow \infty }P\left(\zeta _{n}\leq z\right)\to \Phi \left(z\right)
$$

定理證畢。

## 林德伯格 - 費勒定理

林德伯格－費勒定理，是中央極限定理的高級形式，是對林德伯格－列維定理的擴展，討論獨立的，但**不同分布**的情況下的隨機變數和。它表明，滿足一定條件時，獨立的，但不同分布的隨機變數序列的標準化和依然以標準常態分布為極限：

### 內容

記隨機變數序列 $X_{i}$ （ $X_{i}$ 獨立但不一定同分布， $E[X_{i}]=0$ 且有有限變異數）部分和為

$$
S_{n}=\sum _{i=1}^{n}X_{i}
$$

記

$$
s_{i}^{2}={\rm {Var}}(X_{i})
$$

 $\sigma _{n}^{2}=\sum _{i=1}^{n}s_{i}^{2}={\rm {Var}}(S_{n})$ .

如果對每個 $\epsilon >0$ ，序列滿足

$$
\lim _{n\rightarrow \infty }{1 \over \sigma _{n}^{2}}\sum _{i=1}^{n}E[X_{i}^{2};\{|X_{i}|>\epsilon \sigma _{n}\}]=0
$$

則稱它滿足林德伯格（Lindeberg）條件。

滿足此條件的序列趨向於常態分布，即

$$
S_{n}/\sigma _{n}{\stackrel {d}{\rightarrow }}N(0,1)
$$

同時，該條件也是期望為零、變異數有限的獨立變數之和趨於常態分布的必要條件。

與之相關的是李雅普諾夫（Lyapunov）條件：

$$
E[|X_{i}|^{3}]<\infty ,\,\lim _{n\rightarrow \infty }{1 \over \sigma _{n}^{3}}\sum _{i=1}^{n}E[|X_{i}|^{3}]=0
$$

滿足李雅普諾夫條件的序列，必滿足林德伯格條件。

### 證明

在此只對較強的李雅普諾夫條件給出證明。

以下證明對每一實數 $t$ ，特徵函數滿足 $\varphi _{S_{n}/\sigma _{n}}(t)\rightarrow e^{-t^{2}/2}$ 。

$$
\left|\varphi _{S_{n}/\sigma _{n}}(t)-e^{-t^{2}/2}\right|=\left|\prod _{k=1}^{n}\varphi _{X_{k}}(t/\sigma _{n})-\prod _{k=1}^{n}e^{-t^{2}s_{k}^{2}/2\sigma _{n}^{2}}\right|\leq \sum _{k=1}^{n}\left|\varphi _{X_{k}}(t/\sigma _{n})-e^{-t^{2}s_{k}^{2}/2\sigma _{n}^{2}}\right|
$$

泰勒展開，上式可近似為

$$
\sum _{k=1}^{n}\left|{\frac {i^{3}t^{3}E[X_{k}^{3}]}{6\sigma _{n}^{3}}}+{\frac {t^{4}s_{k}^{4}}{8\sigma _{n}^{4}}}\right|\leq {|t|^{3} \over 6\sigma _{n}^{3}}\sum _{k=1}^{n}E[|X_{k}|^{3}]+{\frac {t^{4}}{8\sigma _{n}^{4}}}\sum _{k=1}^{n}s_{k}^{4}\leq {|t|^{3} \over 6\sigma _{n}^{3}}\sum _{k=1}^{n}E[|X_{k}|^{3}]+{\frac {t^{4}}{8}}\max _{1\leq k\leq n}{s_{k}^{2} \over \sigma _{n}^{2}}
$$

由李雅普諾夫條件，當 $n\rightarrow \infty $ 時，第一項收斂於零。

令 $k_{n}={\rm {arg}}\max _{1\leq k\leq n}s_{k}^{2}/\sigma _{n}^{2}$ ，則由李雅普諾夫不等式，

$$
(s_{k_{n}}/\sigma _{n})^{3/2}\leq E[|X_{k_{n}}/\sigma _{n}|^{3}]\leq {\frac {1}{\sigma _{n}^{3}}}\sum _{k=1}^{n}E[|X_{k}|^{3}]
$$

因此第二項也收斂於零。

證畢。

## 廣義的定理

中央極限定理指出，隨著隨機變數數量的增加，許多具有有限變異數的獨立的且相同分布的隨機變數的總和將趨於常態分布。

## 參閱

* 漸進分布
* 大數法則
* 重對數律
* 鞅中央極限定理
* 本福特法則
* 歐文–賀爾分布

## 參考文獻

* 李賢平，機率論基礎（第二版），高等教育出版社
* Olav Kallenberg，現代機率論基礎（第二版），Springer（2002）。

## 外部連結

* 中央極限定理的動態例示（英文）（頁面存檔備份，存於網際網路檔案館）