正態分佈

若隨機變數formula_9服從一個平均數為formula_2、標準差為formula_11的常態分佈，則記為：formula_12則其機率密度函式為formula_13常態分佈的數學期望值或期望值formula_2,可解釋為位置引數，決定了分佈的位置；其方差formula_5的平方根或標準差formula_11可解釋尺度引數，決定了分佈的幅度。中心極限定理指出，在特定條件下，一個具有有限均值和方差的隨機變數的多個樣本(觀察值)的平均值本身就是一個隨機變數，其分佈隨著樣本數量的增加而收斂於正態分佈。因此，許多與獨立過程總和有關的物理量，例如測量誤差，通常可被近似為正態分佈。常態分佈的機率密度函式曲線呈鐘形，因此人們又經常稱之為鐘形曲線。概要.正態分佈是自然科學與行為科學中的定量現象的一個方便模型。各種各樣的心理學測試分數和物理現象比如光子計數都被發現近似地服從常態分佈。儘管這些現象的根本原因經常是未知的，理論上可以證明如果把許多小作用加起來看做一個變數，那麼這個變數服從常態分佈。常態分佈出現在許多區域統計：例如，取樣分佈均值是近似地常態的，即使被取樣的樣本的原始群體分佈並不服從常態分佈。另外，常態分佈資訊熵在所有的已知均值及方差的分佈中最大，這使得它作為一種均值以及方差已知的分佈的自然選擇。常態分佈是在統計以及許多統計測試中最廣泛應用的一類分佈。在機率論，常態分佈是幾種連續以及離散分佈的極限分佈。歷史.常態分佈最早是棣莫弗在1718年著作的書籍的中對棣莫佛的結論作了擴充套件到二項分佈的位置引數為n及形狀引數為1&gt;p&gt;0時。現在這一結論通常被稱為棣莫佛－拉普拉斯定理。拉普拉斯在誤差分析試驗中使用了常態分佈。勒讓德於1805年引入最小二乘法這一重要方法；而高斯則宣稱他早在1794年就使用了該方法，並透過假設誤差服從常態分佈給出了嚴格的證明。將正態分佈稱作「鐘形曲線」的習慣可以追溯到Jouffret他在1872年首次提出這個術語這個分佈被稱為「常態」或者「高斯」正好是史蒂格勒名字由來法則的一個例子，這個法則說「沒有科學發現是以它最初的發現者命名的」。正態分佈的定義.有幾種不同的方法用來說明一個隨機變數。最直觀的方法是機率密度函式，這種方法能夠表示隨機變數每個取值有多大的可能性。累積分佈函式是一種機率上更加清楚的方法，請看下邊的例子。還有一些其他的等價方法，例如cumulant、特徵函式、動差生成函式以及cumulant-生成函式。這些方法中有一些對於理論工作非常有用，但是不夠直觀。請參考關於機率分佈的討論。機率密度函式.常態分佈的機率密度函式均值為formula_2 方差為formula_5 (或標準差formula_11)是高斯函式的一個例項：formula_22。如果一個隨機變數formula_9服從這個分佈，我們寫作formula_9 ~ formula_26.如果formula_17並且formula_28，這個分佈被稱為標準正態分佈，這個分佈能夠簡化為formula_29。右邊是給出了不同引數的正態分佈的函式圖。正態分佈中一些值得注意的量：累積分佈函式.累積分佈函式是指隨機變數formula_9小於或等於formula_34的機率，用機率密度函式表示為formula_35常態分佈的累積分佈函式能夠由一個叫做誤差函式的特殊函式表示：formula_36標準常態分佈的累積分佈函式習慣上記為formula_37，它僅僅是指formula_38，formula_39時的值，formula_40將一般常態分佈用誤差函式表示的公式簡化，可得：formula_41它的反函式被稱為反誤差函式，為：formula_42該分位數函式有時也被稱為probit函式。probit函式已被證明沒有初等原函式。常態分佈的分佈函式formula_43沒有解析表示式，它的值可以透過數值積分、泰勒級數或者漸進序列近似得到。生成函式.動差母函式.動差生成函式，或稱動差母函式被定義為formula_44的期望值。常態分佈的動差產生函式如下：可以透過在指數函式內配平方得到。特徵函式.特徵函式被定義為formula_45的期望值，其中formula_46是虛數單位.對於一個常態分佈來講，特徵函式是：把矩生成函式中的formula_47換成formula_48就能得到特徵函式。性質.常態分佈的一些性質：標準化常態隨機變數.=== 動差（--一些常態分佈的一階動差如下：標準常態的所有二階以上的累積量為零。中央極限定理.常態分佈有一個非常重要的性質：在特定條件下，大量統計獨立的隨機變數的平均值的分佈趨於正態分佈，這就是中央極限定理。中央極限定理的重要意義在於，根據這一定理的結論，其他機率分佈可以用正態分佈作為近似。近似正態分佈平均數為formula_74且方差為formula_75.近似正態分佈平均數為formula_78且方差為formula_79.這些近似值是否完全充分正確取決於使用者的使用需求無限可分性.正態分佈是無限可分的機率分佈。穩定性.正態分佈是嚴格穩定的機率分佈。標準偏差.在實際應用上，常考慮一組資料具有近似於常態分佈的機率分佈。若其假設正確，則約68.3%數值分佈在距離平均值有1個標準差之內的範圍，約95.4%數值分佈在距離平均值有2個標準差之內的範圍，以及約99.7%數值分佈在距離平均值有3個標準差之內的範圍。稱為「68-95-99.7法則」或「經驗法則」。估計.母數的最大概似估計.概念一般化.多元正態分佈的協方差矩陣的估計的推導是比較難於理解的。它需要瞭解譜原理。常見例項.計量誤差.飲料裝填量不足與超量的機率.某飲料公司裝瓶流程嚴謹，每罐飲料裝填量符合平均600毫升，標準差3毫升的常態分配法則。隨機選取一罐，求容量小於590毫升的機率。容量超過605毫升的機率 = p ( X &gt; 605)= p ( ((X-μ) /σ) &gt; ( (605 – 600) / 3) )= p ( Z &gt; 5/3) = p( Z &gt; 1.67) = 1 - 0.9525 = 0.0475容量小於590毫升的機率 = p (X &lt; 590) = p ( ((X-μ) /σ) &lt; ( (590 – 600) / 3) )= p ( Z &lt; -10/3) = p( Z &lt; -3.33) = 0.00046-標準差(6-sigma或6-σ)的品質管制標準6-標準差(6-sigma或6-σ)，是製造業流行的品質管制標準。在這個標準之下，一個標準常態分配的變數值出現在正負三個標準差之外，只有2* 0.0013= 0.0026 (p (Z  3) = 0.0013)。也就是說，這種品質管制標準的產品不良率只有萬分之二十六。假設例中的飲料公司裝瓶流程採用這個標準，而每罐飲料裝填量符合平均600毫升，標準差3毫升的常態分配。那麼預期裝填容量的範圍應該多少？6-標準差的範圍 = p ( -3 &lt; Z &lt; 3)= p ( - 3 &lt; (X-μ) /σ &lt; 3) = p ( -3 &lt; (X- 600) / 3 &lt; 3)= p ( -9 &lt; X – 600 &lt; 9) = p (591 &lt; X &lt; 609)因此，預期裝填容量應該介於591至609毫升之間。測試和智力分佈.計算學生智商高低的機率.假設某校入學新生的智力測驗平均分數與標準差分別為100與12。那麼隨機抽取50個學生，他們智力測驗平均分數大於105的機率？小於90的機率？本例沒有常態分配的假設，還好中央極限定理提供一個可行解，那就是當隨機樣本長度超過30，樣本平均數formula_98近似於一個常態變數，因此標準常態變數formula_99。平均分數大於105的機率 formula_100平均分數小於90的機率 formula_101計算統計應用.生成正態分佈隨機變數.在計算機模擬中，經常需要生成正態分佈的數值。最基本的一個方法是使用標準的正態累積分佈函式的反函式。除此之外還有其他更加高效的方法，Box-Muller變換就是其中之一。另一個更加快捷的方法是ziggurat演算法。下面將介紹這兩種方法。一個簡單可行的並且容易程式設計的方法是：求12個在之間，並且密度為12，是用11次多項式估計正態分佈。Box-Muller方法是以兩組獨立的隨機數U和V，這兩組數在(0,1]上均勻分佈，用U和V生成兩組獨立的標準常態分佈隨機變數X和Y:formula_102formula_103。這個方程的提出是因為二自由度的卡方分佈x,y座標。