標準偏差

標準偏差（standard deviation，std dev，SD）又稱標準差、中誤差，在統計學中，是衡量一組變量值相對於其算術平均值（期望值）變異程度（離散程度）的指標。標準差越小（低），表示這些變量值越傾向於聚集在數據集的算術平均值（也視作期望值）附近；反之，標準差越大（高），則意味著這些變量值分布得越分散。

標準差通常用於界定哪些數據屬於異常值（離群值），而哪些不屬於異常值。在數學文本和方程式中，通常用小寫希臘字母 σ 表示總體標準差（population SD），用小寫拉丁字母 s 表示樣本標準差（sample SD）。在實際研究中，我們通常無法獲取總體所有數據，因此會抽取樣本來推斷總體，藉由樣本的變異度來推估計總體的變異度。

在機率統計中，標準差最常作為評估一組數值的離散程度之用。標準偏差（標準差）的操作型定義為：

一群數值與其算術平均數之差異的平方，再取算術平均數，此時得變異數（variance，σ2，s2）又稱方差，最後取二次方根；即「方差開算術平方根」。

標準差可反映組內個體間的離散程度，也可表示內部符合精度，作為在一定條件下衡量測量精度的一種數值指標。標準差與期望值之比為標準離差率。

標準差具有兩種性質：

- 為非負數值（因為平方後再做平方根）。
- 與測量資料具有相同單位（這樣才能比對）。

一個總量的標準差或一個隨機變數的標準差，及一個子集合樣品數的標準差之間，有所差別。標準差的概念由卡爾·皮爾森引入到統計中。

## 闡述及應用

<image>

簡單來說，標準差是一組數值自平均值分散開來的程度的一種測量觀念。一個較大的標準差，代表大部分的數值和其平均值之間差異較大；一個較小的標準差，代表這些數值較接近平均值。

例如，兩組數的集合{0, 5, 9, 14}和{5, 6, 8, 9}其平均值都是7，但第二個集合具有較小的標準差。

表述「相差$k$個標準差」，即在 $\overline{X}\pm kS$ 的樣本（sample）範圍內考量。

標準差可以當作不確定性的一種測量。例如在物理科學中，做重複性測量時，測量數值集合的標準差代表這些測量的精確度。當要決定測量值是否符合預測值，測量值的標準差佔有決定性重要角色：如果測量平均值與預測值相差太遠（同時與標準差數值做比較），則認為測量值與預測值互相矛盾。這很容易理解，因為如果測量值都落在一定數值範圍之外，可以合理推論預測值是否正確。

標準差應用於投資上，可作為量度回報穩定性的指標。標準差數值越大，代表回報遠離過去平均數值，回報較不穩定故風險越高。相反，標準差數值越小，代表回報較為穩定，風險亦較小。

## 母體的標準差

### 基本定義

$$\sigma= \sqrt{\frac{1}{N} \sum_{i=1}^N (x_i -\mu)^2}$$

$\mu$為平均值。

### 母體為隨機變量

一隨機變量$X$的標準差定義為：

$$\sigma = \sqrt{\operatorname{E}((X-\operatorname{E}(X))^2)} = \sqrt{\operatorname{E}(X^2) - (\operatorname{E}(X))^2}$$

須注意並非所有隨機變量都具有標準差，因為有些隨機變量不存在期望值。

如果隨機變量$X$為$x_1, \cdots, x_n$具有相同機率，則可用上述公式計算標準差。

#### 離散隨機變量的標準差

若$X$是由實數$x_{1}, x_{2}, ..., x_{n}$構成的離散隨機變數（discrete random variable），且每個值的機率相等，則$X$的標準差定義為：

$\sigma = \sqrt{\frac{1}{N}\left[(x_1-\mu)^2 + (x_2-\mu)^2 + \cdots + (x_N - \mu)^2\right]}$，其中 $\mu = \frac{1}{N} (x_1 + \cdots + x_N)$

換成用$\sum$來寫，就成為：

$\sigma = \sqrt{\frac{1}{N} \sum_{i=1}^N (x_i - \mu)^2}$，其中 $\mu = \frac{1}{N} (x_1 + \cdots + x_N)$

目前為止，與母體標準差的基本公式一致。

然而若每個$x_i$可以有不同機率$p_i$，則$X$的標準差定義為：

$\sigma = \sqrt{\sum_{i=1}^N p_i(x_i - \mu)^2}$，其中 $\mu = \sum_{i=1}^N p_i x_i.$

這裡，$\mu$為$X$的數學期望。

#### 連續隨機變量的標準差

若$X$為機率密度$p(X)$的連續隨機變量（continuous random variable），則$X$的標準差定義為：

$$\sigma = \sqrt{\int (x-\mu)^2 \, p(x) \, dx}$$

其中$\mu$為$X$的數學期望：

$$\mu = \int x \, p(x) \, dx$$

### 標準差的特殊性質

對於常數$c$和隨機變量$X$和$Y$：

$$\sigma(X+c)=\sigma(X)$$

$$\sigma(cX)=c\cdot\sigma(X)$$

$$\sigma(X+Y) = \sqrt{ \sigma^2(X) + \sigma^2(Y) + 2\cdot\mbox{cov} (X,Y)}$$

其中：

- $\mbox{cov}(X,Y)$表示隨機變量$X$和$Y$的協方差。
- $\sigma^2(X)$表示$[ \sigma(X) ]^2$，即$Var(X)$（$X$的變異數），對$Y$亦同。

## 樣本的標準差

在真實世界中，找到一個總體的真實的標準差並不實際。大多數情況下，總體標準差是通過隨機抽取一定量的樣本並計算樣本標準差估計的。

從一大組數值$X_1, \cdots, X_N$當中取出一樣本數值組合$x_1, \cdots, x_n : n < N$，常定義其樣本標準差：

$$s = \sqrt{\frac{1}{n-1} \sum_{i=1}^n (x_i - \bar{x})^2}$$

樣本方差$s^2$是對總體方差$\sigma^2$的無偏估計。之所以$s$中的分母要用$n-1$而不是像總體樣本差那樣用$n$，是因為$\left( x_i - \bar{x} \right)$的自由度為$n - 1$，這是由於存在約束條件$\sum_{i=1}^{n}\left(x_i - \bar{x}\right) = 0$。

## 範例

這裡示範如何計算一組數的標準差。例如一群孩童年齡的數值為{5, 6, 8, 9}：

- 第一步，計算平均值$\overline{x}$︰

$$\overline{x}=\frac{1}{N}\sum_{i=1}^N x_i$$

當$\begin{smallmatrix}N = 4\end{smallmatrix}$（因為集合裏有4個數），分別設為：

$$\begin{align} x_1 &= 5, \\ x_2 &= 6, \\ x_3 &= 8, \\ x_4 &= 9, \end{align}$$

則平均值為

$$\begin{align}\overline{x}&=\frac{1}{4}\sum_{i=1}^4 x_i & (N = 4) \\ &=\frac{1}{4} \left ( x_1 + x_2 + x_3 +x_4 \right ) \\ &=\frac{1}{4} \left ( 5 + 6 + 8 + 9 \right ) \\ &= 7.\end{align}$$

- 第二步，計算標準差$\sigma\,$︰

$$\begin{align}\sigma &= \sqrt{\frac{1}{N} \sum_{i=1}^N (x_i - \overline{x})^2} \\ &= \sqrt{\frac{1}{4} \sum_{i=1}^4 (x_i - \overline{x})^2} &(N = 4) \\ &= \sqrt{\frac{1}{4} \sum_{i=1}^4 (x_i - 7)^2} &(\overline{x} = 7) \\ &= \sqrt{\frac{1}{4} \left [ (x_1 - 7)^2 + (x_2 - 7)^2 + (x_3 - 7)^2 + (x_4 - 7)^2 \right ] } \\ &= \sqrt{\frac{1}{4} \left [ (5 - 7)^2 + (6 - 7)^2 + (8 - 7)^2 + (9 - 7)^2 \right ] } \\ &= \sqrt{\frac{1}{4} \left ( (-2)^2 + (-1)^2 + 1^2 + 2^2 \right ) }\\ &= \sqrt{\frac{1}{4} \left ( 4 + 1 + 1 + 4 \right ) }\\ &= \sqrt{\frac{10}{4}} \\ &\approx 1.58114\, .\end{align}$$

## 常態分佈的規則

<image>

在實際應用上，常考慮一組數據具有近似於常態分佈的機率分佈。若其假設正確，則約68%數值分佈在距離平均值有1個標準差之內的範圍，約95%數值分佈在距離平均值有2個標準差之內的範圍，以及約99.7%數值分佈在距離平均值有3個標準差之內的範圍。稱為「68-95-99.7法則」。

$$f(x;\mu,\sigma^2) = \frac{1}{\sigma\sqrt{2\pi}} e^{ -\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2 }$$

$$\text{Proportion} = \operatorname{erf}\left(\frac z {\sqrt 2}\right)$$

$\text{Proportion} \le x = \frac12\left[1 + \operatorname{erf}\left( \frac{x-\mu}{\sigma\sqrt{2}}\right)\right] = \frac12\left[1 + \operatorname{erf}\left( \frac z {\sqrt{2}} \right)\right]$.

<image>

<image>

數字比率標準差值｜機率｜包含之外比例

百分比｜百分比｜比例

0.318 639σ｜25%｜75%｜3 / 4

0.674490σ｜50%｜50%｜1 / 2

0.994458σ｜68%｜32%｜1 / 3.125

1σ｜68.2689492%｜31.7310508%｜1 / 3.1514872

1.281552σ｜80%｜20%｜1 / 5

1.644854σ｜90%｜10%｜1 / 10

1.959964σ｜95%｜5%｜1 / 20

2σ｜95.4499736%｜4.5500264%｜1 / 21.977895

2.575829σ｜99%｜1%｜1 / 100

3σ｜99.7300204%｜0.2699796%｜1 / 370.398

3.290527σ｜99.9%｜0.1%｜1 / 1000

3.890592σ｜99.99%｜0.01%｜1 / 10000

4σ｜99.993666%｜0.006334%｜1 / 15787

4.417173σ｜99.999%｜0.001%｜1 / 100000

4.5σ｜1 / 147159.53583.4 / 1000000 (每一邊)

4.891638σ｜99.9999%｜0.0001%｜1 / 1000000

5σ｜99.9999426697%｜0.0000573303%｜1 / 1744278

5.326724σ｜99.99999%｜0.00001%｜1 / 10000000

5.730729σ｜99.999999%｜0.000001%｜1 / 100000000

6σ｜99.9999998027%｜0.0000001973%｜1 / 506797346

6.109410σ｜99.9999999%｜0.0000001%｜1 / 1000000000

6.466951σ｜99.99999999%｜0.00000001%｜1 / 10000000000

6.806502σ｜99.999999999%｜0.000000001%｜1 / 100000000000

7σ｜0.000000000256%｜1 / 390682215445

## 標準差與平均值之間的關係

一組數據的平均值及標準差常常同時作為參考的依據。從某種意義上說，如果用平均值來考量數值的中心的話，則標準差也就是對統計的分散度的一個「自然」的測度。因為由平均值所得的標準差要小於到其他任何一個點的標準差。較確切的敘述為：設$X_1, \cdots, X_N$為實數，定義函數：

$$\sigma(\mu) = \sqrt{\frac{1}{N} \sum_{i=1}^N (x_i - \mu)^2}$$

使用微積分或者通過配方法，不難算出$\sigma(\mu)$在下面情況下具有唯一最小值：

$$\mu = \overline{x}$$

## 幾何學解釋

從幾何學的角度出發，標準差可以理解為一個從$n$維空間的一個點到一條直線的距離的函數。舉一個簡單的例子，一組數據中有3個值，$X_1, X_2, X_3$。它們可以在3維空間中確定一個點$P = (X_1, X_2, X_3)$。想像一條通過原點的直線$L = {(r, r, r) : r \in \mathbb{R}}$。如果這組數據中的3個值都相等，則點$P$就是直線$L$上的一個點，$P$到$L$的距離為0，所以標準差也為0。若這3個值不都相等，過點$P$作垂線$PR$垂直於$L$，$PR$交$L$於點$R$，則$R$的坐標為這3個值的平均數：

$$R = (\overline{x},\overline{x},\overline{x})$$

運用一些代數知識，不難發現點$P$與點$R$之間的距離（也就是點$P$到直線$L$的距離）是$\sigma \sqrt{3}$。在$n$維空間中，這個規律同樣適用，把$3$換成$n$就可以了。

## 外部連結

- Standard Deviation Calculator，標準差計算器