正态分布

$\mu$数学期望（实数）$\sigma^2>0$方差（实数）

$$x \in (-\infty;+\infty)\!$$

$$\frac1{\sigma\sqrt{2\pi}}\; \exp\left(-\frac{\left(x-\mu\right)^2}{2\sigma^2} \right) \!$$

$$\frac12 \left(1 + \operatorname{erf} \frac{x-\mu}{\sigma\sqrt2}\right) \!$$

$$\mu$$

$$\mu$$

$$\mu$$

$$\sigma^2$$

$$\ln\left(\sigma\sqrt{2\,\pi\,e}\right)\!$$

$$M_X(t)= \exp\left(\mu\,t+\sigma^2 \frac{t^2}{2}\right)$$

$$\phi_X(t)=\exp\left(\mu\,i\,t-\frac{\sigma^2 t^2}{2}\right)$$

$$N(\mu, \sigma^2)$$

正态分布（normal distribution），物理学中通称高斯分布（Gaussian distribution），是一个非常常见的连续几率分布。正态分布在统计学上十分重要，经常用在自然和社会科学来代表一个不明的随机变量。

若随机变数$X$服从一个平均数为$\mu$、标准差为$\sigma$的正态分布，则记为：

$X \sim N(\mu,\sigma^2),$

则其几率密度函数为$f(x) = \frac1{\sigma\sqrt{2\pi}}\; e^{-\frac{\left(x-\mu\right)^2}{2\sigma^2} } \!$

正态分布的数学期望值或期望值$\mu$,可解释为位置参数，决定了分布的位置；其方差$\sigma^2$的平方根或标准差$\sigma$可解释尺度参数，决定了分布的幅度。

中心极限定理指出，在特定条件下，一个具有有限均值和方差的随机变量的多个样本(观察值)的平均值本身就是一个随机变量，其分布随着样本数量的增加而收敛于正态分布。因此，许多与独立过程总和有关的物理量，例如测量误差，通常可被近似为正态分布。

正态分布的几率密度函数曲线呈钟形，因此人们又经常称之为钟形曲线（类似于寺庙里的大钟，因此得名）。我们通常所说的标准正态分布是位置参数$\mu = 0$，尺度参数$\sigma^2 = 1$的正态分布（见右图中红色曲线）。

## 概要

正态分布是自然科学与行为科学中的定量现象的一个方便模型。各种各样的心理学测试分数和物理现象比如光子计数都被发现近似地服从正态分布。尽管这些现象的根本原因经常是未知的，理论上可以证明：如果把许多小作用加起来看做一个变量，那么这个变量服从正态分布（在R.N.Bracewell的Fourier transform and its application中可以找到一种简单的证明）。正态分布出现在许多区域统计：例如，采样分布均值是近似正态分布的，即使被采样的样本的原始群体分布并不服从正态分布。另外，正态分布信息熵在所有的已知均值及方差的分布中最大，这使得它作为一种均值以及方差已知的分布的自然选择。正态分布是在统计以及许多统计测试中最广泛应用的一类分布。在概率论，正态分布是几种连续以及离散分布的极限分布。

### 历史

正态分布最早由棣莫弗于1733年在研究二项分布时提出，相关内容后收录于其著作《机会论》（1718年初版，后续版本增补）。当二项随机变数的位置参数n很大及形状参数 $p$ 为 $\frac{1}{2}$ 时，则所推导出二项分布的近似分布函数就是正态分布。拉普拉斯在1812年发表的《分析概率论》（Theorie Analytique des Probabilites）中对棣莫佛的结论作了扩展到二项分布的位置参数为 $n$ 及形状参数为 $1>p>0$ 时。现在这一结论通常被称为棣莫佛－拉普拉斯定理。

拉普拉斯在误差分析试验中使用了正态分布。勒让德于1805年引入最小二乘法这一重要方法；而高斯则宣称他早在1794年就使用了该方法，并通过假设误差服从常态分布给出了严格的证明。

将正态分布称作“钟形曲线”的习惯可以追溯到Jouffret他在1872年首次提出此术语（Bell curve）用来指代二元常态分布。正态分布这个名字也在1875分别被查尔斯·皮尔士、法兰西斯·高尔顿、威尔赫姆·莱克希斯独立地使用。然而这个术语具有误导性，因为它反映和鼓励了一种谬误，即很多概率分布都是常态的。（请参考下面的“实例”）

这个分布被称为“常态”或者“高斯”正好是史蒂格勒名字由来法则的一个例子，这个法则说“没有科学发现是以它最初的发现者命名的”。

## 正态分布的定义

有几种不同的方法用来说明一个随机变量。最直观的方法是概率密度函数，这种方法能表示随机变量每个取值有多大的可能性。累积分布函数是一种概率上更加清楚的方法，请看下边的例子。还有一些其他的等价方法，例如cumulant、特征函数、动差生成函数以及cumulant-生成函数。这些方法中有一些对于理论工作非常有用，但是不够直观。请参考关于概率分布的讨论。

### 几率密度函数

<image>

正态分布的概率密度函数均值为$\mu$ 方差为$\sigma^2$ (或标准差$\sigma$)是高斯函数的一个实例：

$f(x;\mu,\sigma) = \frac{1}{\sigma\sqrt{2\pi}} \, \exp \left( -\frac{(x- \mu)^2}{2\sigma^2} \right)$。

(请看指数函数以及$\pi$.)

如果一个随机变量$X$服从这个分布，我们写作$X$ ~ $N(\mu, \sigma^2)$.

如果$\mu = 0$并且$\sigma = 1$，这个分布被称为标准正态分布，这个分布能够简化为

$f(x) = \frac{1}{\sqrt{2\pi}} \, \exp\left(-\frac{x^2}{2} \right)$。

右边是给出了不同参数的正态分布的函数图。

正态分布中一些值得注意的量：

- 密度函数关于平均值对称
- 平均值与它的众数（statistical mode）以及中位数（median）同一数值。
- 函数曲线下68.268949%的面积在平均数左右的一个标准差范围内。
- 95.449974%的面积在平均数左右两个标准差$2 \sigma$的范围内。
- 99.730020%的面积在平均数左右三个标准差$3 \sigma$的范围内。
- 99.993666%的面积在平均数左右四个标准差$4 \sigma$的范围内。
- 函数曲线的拐点（inflection point）为离平均数一个标准差距离的位置。

### 累积分布函数

<image>

累积分布函数是指随机变数$X$小于或等于$x$的几率，用几率密度函数表示为

$$F(x;\mu,\sigma) = \frac{1}{\sigma\sqrt{2\pi}} \int_{-\infty}^x <pre> \exp \left( -\frac{(t - \mu)^2}{2\sigma^2} </pre> \ \right)\, dt.$$

正态分布的累积分布函数能够由一个叫做误差函数的特殊函数表示：

$$\Phi(z)= \frac12 \left[1 + \operatorname{erf}\left(\frac{z-\mu}{\sigma\sqrt2}\right)\right] .$$

标准正态分布的累积分布函数习惯上记为$\Phi$，它仅仅是指$\mu=0$，$\sigma=1$时的值。

$$\Phi(x) =F(x;0,1)= \frac{1}{\sqrt{2\pi}} \int_{-\infty}^x \exp\left(-\frac{t^2}{2}\right) \, dt.$$

将一般正态分布用误差函数表示的公式简化，可得：

$$\Phi(z) = \frac{1}{2} \left[ 1 + \operatorname{erf} \left( \frac{z}{\sqrt{2}} \right) \right] .$$

它的反函数被称为反误差函数，为：

$$\Phi^{-1}(p) = \sqrt2 \; \operatorname{erf}^{-1} \left(2p - 1 \right) .$$

该分位数函数有时也被称为probit函数。probit函数已被证明没有初等原函数。

正态分布的分布函数$\Phi(x)$没有解析表达式，它的值可以通过数值积分、泰勒级数或者渐进序列近似得到。

### 生成函数

#### 动差母函数

动差生成函数，或称动差母函数被定义为$\exp(tX)$的期望值。

正态分布的动差产生函数如下：

$M_X(t)\,$｜$= \mathrm{E} \left( e^{tX} \right)$

$$= \int_{-\infty}^{\infty} \frac {1} {\sigma \sqrt{2\pi} } e^{\left( -\frac{(x - \mu)^2}{2 \sigma^2} \right)} e^{tx} \, dx$$ $$= e^{ \left( \mu t + \frac{\sigma^2 t^2}{2} \right)}$$

可以通过在指数函数内配平方得到。

#### 特征函数

特征函数被定义为$\exp (i t X)$的期望值，其中$i$是虚数单位。对于一个常态分布来讲，特征函数是：

$\phi_X(t;\mu,\sigma)\!$｜$= \mathrm{E} \left[ \exp(i t X) \right]$

$$= \int_{-\infty}^{\infty} \frac{1}{\sigma \sqrt{2\pi}} \exp \left(- \frac{(x - \mu)^2}{2\sigma^2} \right) \exp(i t x) \, dx$$ $$= \exp \left( i \mu t - \frac{\sigma^2 t^2}{2} \right) .$$

把矩生成函数中的$t$换成$i t$就能得到特征函数。

## 性质

常态分布的一些性质：

- 线性变换不变性：若$X \sim N(\mu, \sigma^2) \,$且$a$与$b$是实数，那么$aX+b\sim N(a\mu+b,a^2\sigma^2)$ (参见期望值和方差).
- 独立可加性：如果$X\sim N(\mu_1,\sigma_1^2)$与$Y\sim N(\mu_2,\sigma_2^2)$是统计独立的常态随机变量，那么：
- $$X+Y\sim N(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)$$
- 特别地，若 $X$ 与 $Y$ 的方差相等，则$U = X + Y$与$V = X - Y$相互独立。
- 如果$X \sim N(0, \sigma^2_1)$和$Y \sim N(0, \sigma^2_2)$是独立常态随机变量，那么：
- 它们的积$X Y$服从几率密度函数为$p$的分布
- $p(z) = \frac{1}{\pi\,\sigma_1\,\sigma_2} \; K_0\left(\frac{|z|}{\sigma_1\,\sigma_2}\right),$其中$K_0$是修正贝塞尔函数（modified Bessel function）
- 它们的比符合柯西分布，满足$X/Y \sim \mathrm{Cauchy}(0, \sigma_1/\sigma_2)$.
- 如果$X_1, \cdots, X_n$为独立标准常态随机变量，那么$X_1^2 + \cdots + X_n^2$服从自由度为n的卡方分布，记作$X_1^2 + \cdots + X_n^2\ \sim\ \chi^2(n) \,$。

### 动差（moment）

一些常态分布的一阶动差如下：

阶数｜原动差｜中心矩｜累积量

0｜1｜0

1｜$\mu$｜0｜$\mu$

2｜$\mu^2 + \sigma^2$｜$\sigma^2$｜$\sigma^2$

3｜$\mu^3 + 3\mu\sigma^2$｜0｜0

4｜$\mu^4 + 6 \mu^2 \sigma^2 + 3 \sigma^4$｜$3 \sigma^4$｜0

标准常态的所有二阶以上的累积量为零。

### 中央极限定理

<image>

常态分布有一个非常重要的性质：在特定条件下，大量统计独立的随机变量的平均值的分布趋于正态分布，这就是中央极限定理。中央极限定理的重要意义在于，根据这一定理的结论，其他概率分布可以用正态分布作为近似。

- 参数为$n$和$p$的二项分布，在$n$相当大而且$p$接近0.5时近似于正态分布（有的参考书建议仅在$n p$与$n(1 - p)$至少为5时才能使用这一近似）。

近似正态分布平均数为$\mu = n p$且方差为$\sigma^2 = n p (1 - p)$.

- 一泊松分布带有参数$\lambda$当取样样本数很大时将近似正态分布$\lambda$.

近似正态分布平均数为$\mu = \lambda$且方差为$\sigma^2 = \lambda$.

这些近似值是否完全充分正确取决于使用者的使用需求

### 无穷可微性

正态分布是无穷可微的概率分布。

### 稳定性

正态分布是严格稳定的概率分布。

### 标准偏差

<image>

在实际应用上，常考虑一组数据具有近似于常态分布的几率分布。若其假设正确，则约68.3%数值分布在距离平均值有1个标准差之内的范围，约95.4%数值分布在距离平均值有2个标准差之内的范围，以及约99.7%数值分布在距离平均值有3个标准差之内的范围。称为“68-95-99.7法则”或“经验法则”。

数字比率标准差值｜几率｜包含之外比例

百分比｜百分比｜比例

0.318639σ｜25%｜75%｜3 / 4

0.674490σ｜50%｜50%｜1 / 2

0.994458σ｜68%｜32%｜1 / 3.125

1σ｜68.2689492%｜31.7310508%｜1 / 3.1514872

1.281552σ｜80%｜20%｜1 / 5

1.644854σ｜90%｜10%｜1 / 10

1.959964σ｜95%｜5%｜1 / 20

2σ｜95.4499736%｜4.5500264%｜1 / 21.977895

2.575829σ｜99%｜1%｜1 / 100

3σ｜99.7300204%｜0.2699796%｜1 / 370.398

3.290527σ｜99.9%｜0.1%｜1 / 1000

3.890592σ｜99.99%｜0.01%｜1 / 10000

4σ｜99.993666%｜0.006334%｜1 / 15787

4.417173σ｜99.999%｜0.001%｜1 / 100000

4.5σ｜1 / 147159.53583.4 / 1000000 (每一边)

4.891638σ｜99.9999%｜0.0001%｜1 / 1000000

5σ｜99.9999426697%｜0.0000573303%｜1 / 1744278

5.326724σ｜99.99999%｜0.00001%｜1 / 10000000

5.730729σ｜99.999999%｜0.000001%｜1 / 100000000

6σ｜99.9999998027%｜0.0000001973%｜1 / 506797346

6.109410σ｜99.9999999%｜0.0000001%｜1 / 1000000000

6.466951σ｜99.99999999%｜0.00000001%｜1 / 10000000000

6.806502σ｜99.999999999%｜0.000000001%｜1 / 100000000000

7σ｜0.000000000256%｜1 / 390682215445

## 相关分布

- $R \sim \mathrm{Rayleigh}(\sigma)$是瑞利分布，如果$R = \sqrt{X^2 + Y^2}$，这里$X \sim N(0, \sigma^2)$和$Y \sim N(0, \sigma^2)$是两个独立正态分布。
- $Y \sim \chi_{\nu}^2$是卡方分布具有$\nu$自由度，如果$Y = \sum_{k=1}^{\nu} X_k^2$这里$X_k \sim N(0,1)$其中$k=1,\dots,\nu$是独立的。
- $Y \sim \mathrm{Cauchy}(\mu = 0, \theta = 1)$是柯西分布，如果$Y =\frac{X_1}{X_2}$，其中$X_1 \sim N(0,1)$并且$X_2 \sim N(0,1)$是两个独立的正态分布。
- $Y \sim \mbox{Log-N}(\mu, \sigma^2)$是对数正态分布如果$Y = e^X$并且$X \sim N(\mu, \sigma^2)$.
- 与Lévy skew alpha-stable分布相关：如果$X\sim \textrm{Levy-S}\alpha\textrm{S}(2,\beta,\frac{\sigma}{\sqrt{2}},\mu)$因而$X \sim N(\mu,\sigma^2)$.

## 估计

### 母数的最大概似估计

#### 概念一般化

多元正态分布的协方差矩阵的估计的推导是比较难于理解的。它需要了解谱原理（spectral theorem）以及为什么把一个标量看做一个1×1矩阵的迹（trace）而不仅仅是一个标量更合理的原因。请参考协方差矩阵的估计（estimation of covariance matrices）。

## 常见实例

### 计量误差

#### 饮料装填量不足与超量的几率

某饮料公司装瓶流程严谨，每罐饮料装填量符合平均600毫升，标准差3毫升的常态分配法则。随机选取一罐，求（1）容量超过605毫升的几率；（2）容量小于590毫升的几率。

容量超过605毫升的几率 $=p(X>605)=p(\frac{X-\mu}{\sigma}>\frac{605-600}{3})=p(Z>\frac{5}{3})=p(Z>1.67)=1-0.9525=0.0475$

容量小于590毫升的几率$=p(X<590)=p(\frac{X-\mu}{\sigma}<\frac{590-600}{3})=p(Z<- \frac{10}{3})=p(Z<-3.33)=0.0004$

6-标准差(6-sigma或6-σ)的品质管制标准

6-标准差(6-sigma或6-σ)，是制造业流行的品质管制标准。在这个标准之下，一个标准常态分配的变数值出现在正负三个标准差之外，只有$2\times 0.0013= 0.0026$ （$p (Z < -3) = 0.0013$ 以及 $p(Z > 3) = 0.0013$）。也就是说，这种品质管制标准的产品不良率只有万分之二十六。假设例中的饮料公司装瓶流程采用这个标准，而每罐饮料装填量符合平均600毫升，标准差3毫升的常态分配。那么预期装填容量的范围应该多少？

6-标准差的范围$=p(-3<Z<3)=p(-3< \frac{X-\mu}{\sigma}<3)=p(-3< \frac{X-600}{3} <3)=p(-9<X-600<9)=p(591<X<609)$ 因此，预期装填容量应该介于591至609毫升之间。

### 测试和智力分布

#### 计算学生智商高低的几率

假设某校入学新生的智力测验平均分数与标准差分别为100与12。那么随机抽取50个学生，他们智力测验平均分数大于105的几率？小于90的几率？

本例没有常态分配的假设，还好中央极限定理提供一个可行解，那就是当随机样本长度超过30，样本平均数$\bar{x}$近似于一个常态变数。

因此标准常态变数$Z=\frac{\bar{X}-\mu}{\frac{\sigma}{\sqrt{n}}}$。

平均分数大于105的几率 $P(Z>\frac{105-100}{\frac{12}{\sqrt{50}}}) =P(Z>\frac{5}{1.7}) =P(Z>2.94) =0.0016$

平均分数小于90的几率 $P(Z<\frac{90-100}{\frac{12}{\sqrt{50}}}) =P(Z<-5.88) =0.0000$

## 计算统计应用

### 生成正态分布随机变量

在计算机模拟中，经常需要生成正态分布的数值。最基本的一个方法是使用标准的正态累积分布函数的反函数。除此之外还有其他更加高效的方法，Box-Muller变换就是其中之一。另一个更加快捷的方法是ziggurat算法。下面将介绍这两种方法。一个简单可行的并且容易编程的方法是：求12个在（0,1）上均匀分布的和，然后减6(12的一半)。这种方法可以用在很多应用中。这12个数的和是Irwin-Hall分布；选择一个方差12。这个随即推导的结果限制在（-6,6）之间，并且密度为12，是用11次多项式估计正态分布。

Box-Muller方法是以两组独立的随机数U和V，这两组数在(0,1上均匀分布，用U和V生成两组独立的标准常态分布随机变量X和Y:

$$X = \sqrt{- 2 \ln U} \, \cos(2 \pi V) ,$$

$Y = \sqrt{- 2 \ln U} \, \sin(2 \pi V)$。

这个方程的提出是因为二自由度的卡方分布（见性质4）很容易由指数随机变量（方程中的lnU）生成。因而通过随机变量V可以选择一个均匀环绕圆圈的角度，用指数分布选择半径然后变换成（正态分布的）x,y坐标。

## 参考文献

- John Aldrich. Earliest Uses of Symbols in Probability and Statistics.网上材料，2006年6月3日存在.(See "Symbols associated with the Normal Distribution".)
- Abraham de Moivre (1738年). The Doctrine of Chances.
- Stephen Jay Gould (1981年). The Mismeasure of Man. First edition. W. W. Norton. ISBN 978-0-393-01489-1.
- R. J. Herrnstein and Charles Murray (1994年). The Bell Curve: Intelligence and Class Structure in American Life. Free Press. ISBN 978-0-02-914673-6.
- Pierre-Simon Laplace (1812年). Analytical Theory of Probabilities.
- Jeff Miller, John Aldrich, et al. Earliest Known Uses of Some of the Words of Mathematics. In particular, the entries for "bell-shaped and bell curve", "normal" (distribution), "Gaussian", and "Error, law of error, theory of errors, etc.".网上材料，2006年6月3日存在
- S. M. Stigler (1999年). Statistics on the Table, chapter 22. Harvard University Press. (History of the term "normal distribution".)
- Eric W. Weisstein et al. Normal Distribution at MathWorld.网上材料，2006年6月3日存在。
- Marvin Zelen and Norman C. Severo (1964年). Probability Functions. Chapter 26 of Handbook of Mathematical Functions with Formulas, Graphs, and Mathematical Tables, ed, by Milton Abramowitz and Irene A. Stegun. National Bureau of Standards.

## 外部链接

- Interactive Distribution Modeler (incl. Normal Distribution) .
- basic tools for sixsigma
- PlanetMath: normal random variable
- GNU Scientific Library – Reference Manual – The Gaussian Distribution
- Distribution Calculator – Calculates probabilities and critical values for normal, t, chi-square and F-distribution.
- Inverse Cumulative Standard Normal Distribution Function
- Is normal distribution due to Karl Gauss? Euler, his family of gamma functions, and place in history of statistics
- Maxwell demons: Simulating probability distributions with functions of propositional calculus
- Normal distribution table
- The Doctrine of Chance at MathPages.
- 正态分布的前世今生(上)
- 正态分布的前世今生(下)
- 在线计算器 正态分布
- Binomial Distribution Calculator