正态分布

title: 概要.
content: 常态分布是自然科学与行为科学中的定量现象的一个方便模型。各种各样的心理学测试分数和物理现象比如光子计数都被发现近似地服从常态分布。尽管这些现象的根本原因经常是未知的,理论上可以证明如果把许多小作用加起来看做一个变量,那么这个变量服从常态分布(在R.N.Bracewell的Fourier transform and its application中可以找到一种简单的证明)。常态分布出现在许多区域统计:例如,采样分布均值是近似地常态的,即使被采样的样本的原始群体分布并不服从常态分布。另外,常态分布信息熵在所有的已知均值及方差的分布中最大,这使得它作为一种均值以及方差已知的分布的自然选择。常态分布是在统计以及许多统计测试中最广泛应用的一类分布。在概率论,常态分布是几种连续以及离散分布的极限分布。
title: 历史.
content: 常态分布最早是棣莫弗在1718年著作的书籍的(英语:Doctrine of Change),及1734年发表的一篇关于二项分布文章中提出的,当二项随机变量的位置参数n很大及形状参数p为1/2时,则所推导出二项分布的近似分布函数就是常态分布。拉普拉斯在1812年发表的《分析概率论》()中对棣莫佛的结论作了扩展到二项分布的位置参数为n及形状参数为1>p>0时。现在这一结论通常被称为棣莫佛-拉普拉斯定理。  拉普拉斯在误差分析试验中使用了常态分布。勒让德于1805年引入最小二乘法这一重要方法;而高斯则宣称他早在1794年就使用了该方法,并通过假设误差服从常态分布给出了严格的证明。  「钟形曲线」这个名字可以追溯到Jouffret他在1872年首次提出这个术语「钟形曲面」,用来指代二元常态分布(bivariate normal)。正态分布这个名字还被Charles S. Peirce、Francis Galton、Wilhelm Lexis在1875分别独立地使用。这个术语是不幸的,因为它反映和鼓励了一种谬误,即很多概率分布都是常态的。(请参考下面的「实例」)  这个分布被称为「常态」或者「高斯」正好是Stigler名字由来法则的一个例子,这个法则说「没有科学发现是以它最初的发现者命名的」。
title: 正态分布的定义.
content: 有几种不同的方法用来说明一个随机变量。最直观的方法是概率密度函数,这种方法能够表示随机变量每个取值有多大的可能性。累积分布函数是一种概率上更加清楚的方法,请看下边的例子。还有一些其他的等价方法,例如cumulant、特征函数、动差生成函数以及cumulant-生成函数。这些方法中有一些对于理论工作非常有用,但是不够直观。请参考关于概率分布的讨论。
title: 概率密度函数.
content: 常态分布的概率密度函数均值为formula_2 方差为formula_5 (或标准差formula_11)是高斯函数的一个实例:  如果一个随机变量formula_9服从这个分布,我们写作 formula_9 ~ formula_26. 如果formula_17并且formula_28,这个分布被称为标准正态分布,这个分布能够简化为  右边是给出了不同参数的正态分布的函数图。  正态分布中一些值得注意的量:
title: 累积分布函数.
content: 累积分布函数是指随机变量formula_9小于或等于formula_34的几率,用几率密度函数表示为  常态分布的累积分布函数能够由一个叫做误差函数的特殊函数表示:  标准常态分布的累积分布函数习惯上记为formula_37,它仅仅是指formula_38,formula_39时的值,  将一般常态分布用误差函数表示的公式简化,可得:  它的反函数被称为反误差函数,为:  该分位数函数有时也被称为probit函数。probit函数已被证明没有初等原函数。  常态分布的分布函数formula_43没有解析表达式,它的值可以通过数值积分、泰勒级数或者渐进序列近似得到。
title: 生成函数.
title: 矩母函数.
content: 动差生成函数或矩生成函数或动差产生函数被定义为formula_44的期望值。  常态分布的动差产生函数如下: 可以通过在指数函数内配平方得到。
title: 特征函数.
content: 特征函数被定义为formula_45的期望值,其中formula_46是虚数单位. 对于一个常态分布来讲,特征函数是: 把矩生成函数中的formula_47换成formula_48就能得到特征函数。
title: 性质.
content: 常态分布的一些性质:
title: 动差或矩(英语:moment).
content: 一些常态分布的一阶动差如下: 标准常态的所有二阶以上的累积量为零。
title: 中央极限定理.
content: 常态分布有一个非常重要的性质:在特定条件下,大量统计独立的随机变量的平均值的分布趋于正态分布,这就是中心极限定理。中心极限定理的重要意义在于,根据这一定理的结论,其他概率分布可以用正态分布作为近似。  近似正态分布平均数为formula_74且方差为formula_75.  近似正态分布平均数为formula_78且方差为formula_79.  这些近似值是否完全充分正确取决于使用者的使用需求
title: 无限可分性.
content: 正态分布是无限可分的概率分布。
title: 稳定性.
content: 正态分布是严格稳定的概率分布。
title: 标准偏差.
content: 在实际应用上,常考虑一组数据具有近似于常态分布的几率分布。若其假设正确,则约68.3%数值分布在距离平均值有1个标准差之内的范围,约95.4%数值分布在距离平均值有2个标准差之内的范围,以及约99.7%数值分布在距离平均值有3个标准差之内的范围。称为「68-95-99.7法则」或「经验法则」。
title: 参量估计.
title: 参数的极大似然估计.
title: 概念一般化.
content: 多元正态分布的协方差矩阵的估计的推导是比较难于理解的。它需要了解谱原理(spectral theorem)以及为什么把一个标量看做一个1×1矩阵(matrix)的迹(trace)而不仅仅是一个标量更合理的原因。请参考协方差矩阵的估计(estimation of covariance matrices).
title: 常见实例.
title: 计量误差.
title: 饮料装填量不足与超量的几率.
content: 某饮料公司装瓶流程严谨,每罐饮料装填量符合平均600毫升,标准差3毫升的常态分配法则。随机选取一罐,求(1)容量超过605毫升的几率;(2)容量小于590毫升的几率。  容量超过605毫升的几率 = p ( X > 605)= p ( ((X-μ) /σ) > ( (605 – 600) / 3) )= p ( Z > 5/3) = p( Z > 1.67) = 1 - 0.9525 = 0.0475  容量小于590毫升的几率 = p (X < 590) = p ( ((X-μ) /σ) < ( (590 – 600) / 3) )= p ( Z < -10/3) = p( Z < -3.33) = 0.0004  6-标准差(6-sigma或6-σ)的品质管制标准  6-标准差(6-sigma或6-σ),是制造业流行的品质管制标准。在这个标准之下,一个标准常态分配的变量值出现在正负三个标准差之外,只有2* 0.0013= 0.0026 (p (Z < -3) = 0.0013以及p(Z > 3) = 0.0013)。也就是说,这种品质管制标准的产品不良率只有万分之二十六。假设例中的饮料公司装瓶流程采用这个标准,而每罐饮料装填量符合平均600毫升,标准差3毫升的常态分配。那么预期装填容量的范围应该多少?  6-标准差的范围 = p ( -3 < Z < 3)= p ( - 3 < (X-μ) /σ < 3) = p ( -3 < (X- 600) / 3 < 3)= p ( -9 < X – 600 < 9) = p (591 < X < 609) 因此,预期装填容量应该介于591至609毫升之间。
title: 测试和智力分布.
title: 计算学生智商高低的几率.
content: 假设某校入学新生的智力测验平均分数与标准差分别为100与12。那么随机抽取50个学生,他们智力测验平均分数大于105的几率?小于90的几率?  本例没有常态分配的假设,还好中央极限定理提供一个可行解,那就是当随机样本长度超过30,样本平均数formula_98近似于一个常态变量,  因此标准常态变量formula_99。  平均分数大于105的几率 formula_100  平均分数小于90的几率 formula_101
title: 计算统计应用.
title: 生成正态分布随机变量.
content: 在计算机模拟中,经常需要生成正态分布的数值。最基本的一个方法是使用标准的正态累积分布函数的反函数。除此之外还有其他更加高效的方法,Box-Muller变换就是其中之一。另一个更加快捷的方法是ziggurat算法。下面将介绍这两种方法。一个简单可行的并且容易编程的方法是:求12个在(0,1)上均匀分布的和,然后减6(12的一半)。这种方法可以用在很多应用中。这12个数的和是Irwin-Hall分布;选择一个方差12。这个随即推导的结果限制在(-6,6)之间,并且密度为12,是用11次多项式估计正态分布。  Box-Muller方法是以两组独立的随机数U和V,这两组数在(0,1]上均匀分布,用U和V生成两组独立的标准常态分布随机变量X和Y:  这个方程的提出是因为二自由度的卡方分布(见性质4)很容易由指数随机变量(方程中的lnU)生成。因而通过随机变量V可以选择一个均匀环绕圆圈的角度,用指数分布选择半径然后变换成(正态分布的)x,y坐标。

Summary: \; \exp\left(-\frac{\left(x-\mu\right)^2}{2\sigma^2} \right) \!