标准正态分布

**常態分布**（中國大陸作**正態分布**，香港作**正態分佈**，英語：Normal distribution），又名**高斯分布**（英語：Gaussian distribution）、**正規分布**，是一個非常常見的連續機率分布。常態分布在統計學上十分重要，經常用在自然和社會科學來代表一個不明的隨機變數。

若隨機變數 $X$ 服從一個位置母數為 $\mu $ 、尺度母數為 $\sigma $ 的常態分布，記為：

　
: $X\sim N(\mu ,\sigma ^{2}),$

則其機率密度函數為 $f(x)={\frac {1}{\sigma {\sqrt {2\pi }}}}\;e^{-{\frac {\left(x-\mu \right)^{2}}{2\sigma ^{2}}}}\!$

常態分布的數學期望值或期望值 $\mu $ 等於位置母數，決定了分布的位置；其變異數 $\sigma ^{2}$ 的開平方或標準差 $\sigma $ 等於尺度母數，決定了分布的幅度。

中央極限定理指出，在特定條件下，一個具有有限均值和變異數的隨機變數的多個樣本 (觀察值) 的平均值本身就是一個隨機變數，其分布隨著樣本數量的增加而收斂於常態分布。因此，許多與獨立過程總和有關的物理量，例如測量誤差，通常可被近似為常態分布。

常態分布的機率密度函數曲線呈鐘形，因此人們又經常稱之為**鐘形曲線**（類似於寺廟裡的大鐘，因此得名）。我們通常所說的**標準常態分布**是位置母數 $\mu =0$ ，尺度母數 $\sigma ^{2}=1$ 的常態分布（見右圖中紅色曲線）。

## 概要

常態分布是自然科學與行為科學中的定量現象的一個方便模型。各種各樣的心理學測試分數和物理現象比如光子計數都被發現近似地服從常態分布。儘管這些現象的根本原因經常是未知的，理論上可以證明如果把許多小作用加起來看做一個變數，那麼這個變數服從常態分布（在 R.N.Bracewell 的 Fourier transform and its application 中可以找到一種簡單的證明）。常態分布出現在許多區域統計：例如，採樣分布均值是近似地常態的，即使被採樣的樣本的原始群體分布並不服從常態分布。另外，常態分布資訊熵在所有的已知均值及變異數的分布中最大，這使得它作為一種均值以及變異數已知的分布的自然選擇。常態分布是在統計以及許多統計測試中最廣泛應用的一類分布。在機率論，常態分布是幾種連續以及離散分布的極限分布。

### 歷史

常態分布最早是棣美弗在 1718 年著作的書籍的（Doctrine of Change），及 1734 年發表的一篇關於二項分布文章中提出的，當二項隨機變數的位置母數 n 很大及形狀母數 p 為 1/2 時，則所推導出二項分布的近似分布函數就是常態分布。拉普拉斯在 1812 年發表的《分析機率論》（Theorie Analytique des Probabilites）中對棣莫佛的結論作了擴展到二項分布的位置母數為 n 及形狀母數為 1>p>0 時。現在這一結論通常被稱為棣莫佛－拉普拉斯定理。

拉普拉斯在誤差分析試驗中使用了常態分布。勒讓德於 1805 年引入最小平方法這一重要方法；而高斯則宣稱他早在 1794 年就使用了該方法，並通過假設誤差服從常態分布給出了嚴格的證明。

將常態分布稱作「鐘形曲線」的習慣可以追溯到 Jouffret 他在 1872 年首次提出這個術語（Bell curve）用來指代二元常態分布。常態分布這個名字還被查爾斯・皮爾士、法蘭西斯・高爾頓、威爾赫姆・萊克希斯在 1875 分別獨立地使用。這個術語是不幸的，因為它反映和鼓勵了一種謬誤，即很多機率分布都是常態的。（請參考下面的「實例」）

這個分布被稱為「常態」或者「高斯」正好是史蒂格勒名字由來法則的一個例子，這個法則說「沒有科學發現是以它最初的發現者命名的」。

## 常態分布的定義

有幾種不同的方法用來說明一個隨機變數。最直觀的方法是機率密度函數，這種方法能夠表示隨機變數每個取值有多大的可能性。累積分布函數是一種機率上更加清楚的方法，請看下邊的例子。還有一些其他的等價方法，例如 cumulant、特徵函數、動差生成函數以及 cumulant - 生成函數。這些方法中有一些對於理論工作非常有用，但是不夠直觀。請參考關於機率分布的討論。

### 機率密度函數

**常態分布**的機率密度函數均值為 $\mu $ 變異數為 $\sigma ^{2}$ (或標準差 $\sigma $ ) 是高斯函數的一個實例：

　
: $f(x;\mu ,\sigma )={\frac {1}{\sigma {\sqrt {2\pi }}}}\,\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)$ 。

(_請看指數函數以及 $\pi $ ._)

如果一個隨機變數 $X$ 服從這個分布，我們寫作 $X$ ~ $N(\mu ,\sigma ^{2})$ .
如果 $\mu =0$ 並且 $\sigma =1$ ，這個分布被稱為**標準常態分布**，這個分布能夠簡化為

　
: $f(x)={\frac {1}{\sqrt {2\pi }}}\,\exp \left(-{\frac {x^{2}}{2}}\right)$ 。

右邊是給出了不同母數的常態分布的函數圖。

常態分布中一些值得注意的量：

* 密度函數關於平均值對稱
* 平均值與它的眾數（statistical mode）以及中位數（median）同一數值。
* 函數曲線下 68.268949% 的面積在平均數左右的一個標準差範圍內。
* 95.449974% 的面積在平均數左右兩個標準差 $2\sigma $ 的範圍內。
* 99.730020% 的面積在平均數左右三個標準差 $3\sigma $ 的範圍內。
* 99.993666% 的面積在平均數左右四個標準差 $4\sigma $ 的範圍內。
* 函數曲線的反曲點（inflection point）為離平均數一個標準差距離的位置。

### 累積分布函數

累積分布函數是指隨機變數 $X$ 小於或等於 $x$ 的機率，用機率密度函數表示為

　
: $F(x;\mu ,\sigma )={\frac {1}{\sigma {\sqrt {2\pi }}}}\int _{-\infty }^{x}\exp \left(-{\frac {(t-\mu )^{2}}{2\sigma ^{2}}}\ \right)\,dt.$

常態分布的累積分布函數能夠由一個叫做誤差函數的特殊函數表示：

　
: $\Phi (z)={\frac {1}{2}}\left[1+\operatorname {erf} \left({\frac {z-\mu }{\sigma {\sqrt {2}}}}\right)\right].$

**標準常態分布**的累積分布函數習慣上記為 $\Phi $ ，它僅僅**是指 $\mu =0$ ， $\sigma =1$ 時**的值，

　
: $\Phi (x)=F(x;0,1)={\frac {1}{\sqrt {2\pi }}}\int _{-\infty }^{x}\exp \left(-{\frac {t^{2}}{2}}\right)\,dt.$

將一般常態分布用誤差函數表示的公式簡化，可得：

　
: $\Phi (z)={\frac {1}{2}}\left[1+\operatorname {erf} \left({\frac {z}{\sqrt {2}}}\right)\right].$

它的反函數被稱為反誤差函數，為：

　
: $\Phi ^{-1}(p)={\sqrt {2}}\;\operatorname {erf} ^{-1}\left(2p-1\right).$

該分位數函數有時也被稱為 probit 函數。probit 函數已被證明沒有初等原函數。

**常態分布的分布函數 $\Phi (x)$ 沒有解析表達式**，它的值可以通過數值積分、泰勒級數或者漸進序列近似得到。

### 生成函數

#### 動差母函數

動差生成函數，或稱動差母函數被定義為 $\exp(tX)$ 的期望值。

常態分布的動差產生函數如下：

 

　
:

可以通過在指數函數內配平方得到。

#### 特徵函數

特徵函數被定義為 $\exp(itX)$ 的期望值，其中 $i$ 是虛數單位.
對於一個常態分布來講，特徵函數是：

　
:

把動差生成函數中的 $t$ 換成 $it$ 就能得到特徵函數。

## 性質

常態分布的一些性質：

1. 如果 $X\sim N(\mu ,\sigma ^{2})\,$ 且 $a$ 與 $b$ 是實數，那麼 $aX+b\sim N(a\mu +b,(a\sigma )^{2})$ (參見期望值和變異數).
2. 如果 $X\sim N(\mu _{X},\sigma _{X}^{2})$ 與 $Y\sim N(\mu _{Y},\sigma _{Y}^{2})$ 是統計獨立的常態隨機變數，那麼：
  * 它們的和也滿足常態分布 $U=X+Y\sim N(\mu _{X}+\mu _{Y},\sigma _{X}^{2}+\sigma _{Y}^{2})$ (proof).
  * 它們的差也滿足常態分布 $V=X-Y\sim N(\mu _{X}-\mu _{Y},\sigma _{X}^{2}+\sigma _{Y}^{2})$ .
  * $U$ 與 $V$ 兩者是相互獨立的。（要求 X 與 Y 的變異數相等）
3. 如果 $X\sim N(0,\sigma _{X}^{2})$ 和 $Y\sim N(0,\sigma _{Y}^{2})$ 是獨立常態隨機變數，那麼：
  * 它們的積 $XY$ 服從機率密度函數為 $p$ 的分布
  
  　
  : $p(z)={\frac {1}{\pi \,\sigma _{X}\,\sigma _{Y}}}\;K_{0}\left({\frac {|z|}{\sigma _{X}\,\sigma _{Y}}}\right),$ 其中 $K_{0}$ 是修正貝塞爾函數（modified Bessel function）
  * 它們的比符合柯西分布，滿足 $X/Y\sim \mathrm {Cauchy} (0,\sigma _{X}/\sigma _{Y})$ .
4. 如果 $X_{1},\cdots ,X_{n}$ 為獨立標準常態隨機變數，那麼 $X_{1}^{2}+\cdots +X_{n}^{2}$ 服從自由度為 _n_ 的卡方分布。

### 標準化常態隨機變數

### 動差（moment）

一些常態分布的一階動差如下：

標準常態的所有二階以上的累積量為零。

### 生成常態隨機變數

### 中央極限定理

常態分布有一個非常重要的性質：在特定條件下，大量**統計獨立的隨機變數的平均值的分布趨於常態分布，這就是中央極限定理**。中央極限定理的重要意義在於，根據這一定理的結論，其他機率分布可以用常態分布作為近似。

* **母數為 $n$ 和 $p$ 的二項分布，在 $n$ 相當大而且 $p$ 接近 0.5 時近似於常態分布**（有的參考書建議僅在 $np$ 與 $n(1-p)$ 至少為 5 時才能使用這一近似）。

近似常態分布平均數為 $\mu =np$ 且變異數為 $\sigma ^{2}=np(1-p)$ .

* **一卜瓦松分布帶有母數 $\lambda $ 當取樣樣本數很大時將近似常態分布 $\lambda $** .

近似常態分布平均數為 $\mu =\lambda $ 且變異數為 $\sigma ^{2}=\lambda $ .

這些近似值是否完全充分正確取決於使用者的使用需求

### 無限可分性

常態分布是無限可分的機率分布。

### 穩定性

常態分布是嚴格穩定的機率分布。

### 標準偏差

在實際應用上，常考慮一組數據具有近似於常態分布的機率分布。若其假設正確，則約 **68.3%** 數值分布在距離平均值有 1 個標準差之內的範圍，約 **95.4%** 數值分布在距離平均值有 2 個標準差之內的範圍，以及約 **99.7%** 數值分布在距離平均值有 3 個標準差之內的範圍。稱為「**68-95-99.7 法則**」或「**經驗法則**」。

## 相關分布

 * $R\sim \mathrm {Rayleigh} (\sigma )$ 是瑞利分布，如果 $R={\sqrt {X^{2}+Y^{2}}}$ ，這裡 $X\sim N(0,\sigma ^{2})$ 和 $Y\sim N(0,\sigma ^{2})$ 是兩個獨立常態分布。
* $Y\sim \chi _{\nu }^{2}$ 是卡方分布具有 $\nu $ 自由度，如果 $Y=\sum _{k=1}^{\nu }X_{k}^{2}$ 這裡 $X_{k}\sim N(0,1)$ 其中 $k=1,\dots ,\nu $ 是獨立的。
* $Y\sim \mathrm {Cauchy} (\mu =0,\theta =1)$ 是柯西分布，如果 $Y=X_{1}/X_{2}$ ，其中 $X_{1}\sim N(0,1)$ 並且 $X_{2}\sim N(0,1)$ 是兩個獨立的常態分布。
* $Y\sim {\mbox{Log-N}}(\mu ,\sigma ^{2})$ 是對數常態分布如果 $Y=e^{X}$ 並且 $X\sim N(\mu ,\sigma ^{2})$ .
* 與 Lévy skew alpha-stable 分布相關：如果 $X\sim {\textrm {Levy-S}}\alpha {\textrm {S}}(2,\beta ,\sigma /{\sqrt {2}},\mu )$ 因而 $X\sim N(\mu ,\sigma ^{2})$ .

## 估計

### 母數的最大概似估計

#### 概念一般化

多元常態分布的共變異數矩陣的估計的推導是比較難於理解的。它需要瞭解譜原理（spectral theorem）以及為什麼把一個標量看做一個 1×1 矩陣的跡（trace）而不僅僅是一個標量更合理的原因。請參考共變異數矩陣的估計（estimation of covariance matrices）。

### 母數的動差估計

## 常見實例

### 光子計數

### 計量誤差

#### 飲料裝填量不足與超量的機率

某飲料公司裝瓶流程嚴謹，每罐飲料裝填量符合平均 600 毫升，標準差 3 毫升的常態分配法則。隨機選取一罐，求（1）容量超過 605 毫升的機率；（2）容量小於 590 毫升的機率。

容量超過 605 毫升的機率 = p (X> 605)= p (((X-μ) /σ) > ((605 – 600) / 3) )= p (Z> 5/3) = p (Z> 1.67) = 1 - 0.9525 = 0.0475

容量小於 590 毫升的機率 = p (X < 590) = p (((X-μ) /σ) <( (590 – 600) / 3) )= p (Z < -10/3) = p (Z < -3.33) = 0.0004

6 - 標準差 (6-sigma 或 6-σ) 的品質管制標準

6 - 標準差 (6-sigma 或 6-σ)，是製造業流行的品質管制標準。在這個標準之下，一個標準常態分配的變數值出現在正負三個標準差之外，只有 2\* 0.0013= 0.0026 (p (Z < -3) = 0.0013 以及 p (Z> 3) = 0.0013)。也就是說，這種品質管制標準的產品不良率只有萬分之二十六。假設例中的飲料公司裝瓶流程採用這個標準，而每罐飲料裝填量符合平均 600 毫升，標準差 3 毫升的常態分配。那麼預期裝填容量的範圍應該多少？

6 - 標準差的範圍 = p (-3 < Z < 3)= p (- 3 < (X-μ) /σ <3) = p (-3 < (X- 600) / 3 <3)= p (-9 < X – 600 < 9) = p (591 < X < 609)
因此，預期裝填容量應該介於 591 至 609 毫升之間。

### 生物標本的物理特性

### 金融變數

### 壽命

### 測試和智力分布

#### 計算學生智商高低的機率

假設某校入學新生的智力測驗平均分數與標準差分別為 100 與 12。那麼隨機抽取 50 個學生，他們智力測驗平均分數大於 105 的機率？小於 90 的機率？

本例沒有常態分配的假設，還好中央極限定理提供一個可行解，那就是當隨機樣本長度超過 30，樣本平均數 ${\bar {x}}$ 近似於一個常態變數，

因此標準常態變數 $Z={\frac {{\bar {X}}-\mu }{\sigma /{\sqrt {n}}}}$ 。

平均分數大於 105 的機率 $P(Z>{\frac {105-100}{12/{\sqrt {50}}}})=P(Z>5/1.7)=P(Z>2.94)=0.0016$

平均分數小於 90 的機率 $P(Z<{\frac {90-100}{12/{\sqrt {50}}}})=P(Z<-5.88)=0.0000$

## 計算統計應用

### 生成常態分布隨機變數

在計算機模擬中，經常需要生成常態分布的數值。最基本的一個方法是使用標準的常態累積分布函數的反函數。除此之外還有其他更加高效的方法，Box-Muller 轉換就是其中之一。另一個更加快捷的方法是 ziggurat 算法。下面將介紹這兩種方法。一個簡單可行的並且容易編程的方法是：求 12 個在（0,1）上均勻分布的和，然後減 6 (12 的一半)。這種方法可以用在很多應用中。這 12 個數的和是 Irwin-Hall 分布；選擇一個變異數 12。這個隨即推導的結果限制在（-6,6）之間，並且密度為 12，是用 11 次多項式估計常態分布。

Box-Muller 方法是以兩組獨立的隨機數 U 和 V，這兩組數在 (0,1] 上均勻分布，用 U 和 V 生成兩組獨立的標準常態分布隨機變數 X 和 Y:

　
: $X={\sqrt {-2\ln U}}\,\cos(2\pi V),$

　
: $Y={\sqrt {-2\ln U}}\,\sin(2\pi V)$ 。

這個方程式的提出是因為二自由度的卡方分布（見性質 4）很容易由指數隨機變數（方程式中的 lnU）生成。因而通過隨機變數 V 可以選擇一個均勻環繞圓圈的角度，用指數分布選擇半徑然後轉換成（常態分布的）x,y 坐標。

## 參考文獻

* John Aldrich. Earliest Uses of Symbols in Probability and Statistics. 網上材料，2006 年 6 月 3 日存在.(_See "Symbols associated with the Normal Distribution"._)
* Abraham de Moivre (1738 年). _The Doctrine of Chances_.
* Stephen Jay Gould (1981 年). _The Mismeasure of Man_. First edition. W. W. Norton. ISBN 978-0-393-01489-1.
* R. J. Herrnstein and Charles Murray (1994 年). _The Bell Curve: Intelligence and Class Structure in American Life_. Free Press. ISBN 978-0-02-914673-6.
* Pierre-Simon Laplace (1812 年). _Analytical Theory of Probabilities_.
* Jeff Miller, John Aldrich, et al. Earliest Known Uses of Some of the Words of Mathematics. In particular, the entries for "bell-shaped and bell curve", "normal" (distribution), "Gaussian", and "Error, law of error, theory of errors, etc.". 網上材料，2006 年 6 月 3 日存在
* S. M. Stigler (1999 年). _Statistics on the Table_, chapter 22. Harvard University Press. (_History of the term "normal distribution"._)
* Eric W. Weisstein et al. Normal Distribution （頁面存檔備份，存於網際網路檔案館） at MathWorld. 網上材料，2006 年 6 月 3 日存在。
* Marvin Zelen and Norman C. Severo (1964 年). Probability Functions. Chapter 26 of _Handbook of Mathematical Functions with Formulas, Graphs, and Mathematical Tables_, ed, by Milton Abramowitz and Irene A. Stegun. National Bureau of Standards.

## 外部連結

* Interactive Distribution Modeler (incl. Normal Distribution) （頁面存檔備份，存於網際網路檔案館）.
* basic tools for sixsigma （頁面存檔備份，存於網際網路檔案館）
* PlanetMath: normal random variable （頁面存檔備份，存於網際網路檔案館）
* GNU Scientific Library – Reference Manual – The Gaussian Distribution （頁面存檔備份，存於網際網路檔案館）
* Distribution Calculator （頁面存檔備份，存於網際網路檔案館） – Calculates probabilities and critical values for normal, _t_, chi-square and _F_-distribution.
* Inverse Cumulative Standard Normal Distribution Function
* Is normal distribution due to Karl Gauss? Euler, his family of gamma functions, and place in history of statistics
* Maxwell demons: Simulating probability distributions with functions of propositional calculus
* Normal distribution table （頁面存檔備份，存於網際網路檔案館）
* The Doctrine of Chance （頁面存檔備份，存於網際網路檔案館） at MathPages.
* 常態分布的前世今生 (上)
* 常態分布的前世今生 (下)
* 在線計算器 常態分布 （頁面存檔備份，存於網際網路檔案館）
* Binomial Distribution Calculator （頁面存檔備份，存於網際網路檔案館）

## 參見

* 中央極限定理
* 機率論
* 伽瑪分布