标准偏差

标准偏差（standard deviation，std dev，SD）又称标准差、中误差，在统计学中，是衡量一组变量值相对于其算术平均值（期望值）变异程度（离散程度）的指标。标准差越小（低），表示这些变量值越倾向于聚集在数据集的算术平均值（也视作期望值）附近；反之，标准差越大（高），则意味着这些变量值分布得越分散。

标准差通常用于界定哪些数据属于异常值（离群值），而哪些不属于异常值。在数学文本和方程式中，通常用小写希腊字母 σ 表示总体标准差（population SD），用小写拉丁字母 s 表示样本标准差（sample SD）。在实际研究中，我们通常无法获取总体所有数据，因此会抽取样本来推断总体，借由样本的变异度来推估计总体的变异度。

在概率统计中，标准差最常作为评估一组数值的离散程度之用。标准偏差（标准差）的操作型定义为：

一群数值与其算术平均数之差异的平方，再取算术平均数，此时得变异数（variance，σ2，s2）又称方差，最后取二次方根；即“方差开算术平方根”。

标准差可反映组内个体间的离散程度，也可表示内部符合精度，作为在一定条件下衡量测量精度的一种数值指标。标准差与期望值之比为标准离差率。

标准差具有两种性质：

- 为非负数值（因为平方后再做平方根）。
- 与测量资料具有相同单位（这样才能比对）。

一个总量的标准差或一个随机变数的标准差，及一个子集合样品数的标准差之间，有所差别。标准差的概念由卡尔·皮尔森引入到统计中。

## 阐述及应用

<image>

简单来说，标准差是一组数值自平均值分散开来的程度的一种测量观念。一个较大的标准差，代表大部分的数值和其平均值之间差异较大；一个较小的标准差，代表这些数值较接近平均值。

例如，两组数的集合{0, 5, 9, 14}和{5, 6, 8, 9}其平均值都是7，但第二个集合具有较小的标准差。

表述“相差$k$个标准差”，即在 $\overline{X}\pm kS$ 的样本（sample）范围内考量。

标准差可以当作不确定性的一种测量。例如在物理科学中，做重复性测量时，测量数值集合的标准差代表这些测量的精确度。当要决定测量值是否符合预测值，测量值的标准差占有决定性重要角色：如果测量平均值与预测值相差太远（同时与标准差数值做比较），则认为测量值与预测值互相矛盾。这很容易理解，因为如果测量值都落在一定数值范围之外，可以合理推论预测值是否正确。

标准差应用于投资上，可作为量度回报稳定性的指标。标准差数值越大，代表回报远离过去平均数值，回报较不稳定故风险越高。相反，标准差数值越小，代表回报较为稳定，风险亦较小。

## 母体的标准差

### 基本定义

$$\sigma= \sqrt{\frac{1}{N} \sum_{i=1}^N (x_i -\mu)^2}$$

$\mu$为平均值。

### 母体为随机变量

一随机变量$X$的标准差定义为：

$$\sigma = \sqrt{\operatorname{E}((X-\operatorname{E}(X))^2)} = \sqrt{\operatorname{E}(X^2) - (\operatorname{E}(X))^2}$$

须注意并非所有随机变量都具有标准差，因为有些随机变量不存在期望值。

如果随机变量$X$为$x_1, \cdots, x_n$具有相同几率，则可用上述公式计算标准差。

#### 离散随机变量的标准差

若$X$是由实数$x_{1}, x_{2}, ..., x_{n}$构成的离散随机变数（discrete random variable），且每个值的几率相等，则$X$的标准差定义为：

$\sigma = \sqrt{\frac{1}{N}\left[(x_1-\mu)^2 + (x_2-\mu)^2 + \cdots + (x_N - \mu)^2\right]}$，其中 $\mu = \frac{1}{N} (x_1 + \cdots + x_N)$

换成用$\sum$来写，就成为：

$\sigma = \sqrt{\frac{1}{N} \sum_{i=1}^N (x_i - \mu)^2}$，其中 $\mu = \frac{1}{N} (x_1 + \cdots + x_N)$

目前为止，与母体标准差的基本公式一致。

然而若每个$x_i$可以有不同几率$p_i$，则$X$的标准差定义为：

$\sigma = \sqrt{\sum_{i=1}^N p_i(x_i - \mu)^2}$，其中 $\mu = \sum_{i=1}^N p_i x_i.$

这里，$\mu$为$X$的数学期望。

#### 连续随机变量的标准差

若$X$为概率密度$p(X)$的连续随机变量（continuous random variable），则$X$的标准差定义为：

$$\sigma = \sqrt{\int (x-\mu)^2 \, p(x) \, dx}$$

其中$\mu$为$X$的数学期望：

$$\mu = \int x \, p(x) \, dx$$

### 标准差的特殊性质

对于常数$c$和随机变量$X$和$Y$：

$$\sigma(X+c)=\sigma(X)$$

$$\sigma(cX)=c\cdot\sigma(X)$$

$$\sigma(X+Y) = \sqrt{ \sigma^2(X) + \sigma^2(Y) + 2\cdot\mbox{cov} (X,Y)}$$

其中：

- $\mbox{cov}(X,Y)$表示随机变量$X$和$Y$的协方差。
- $\sigma^2(X)$表示$[ \sigma(X) ]^2$，即$Var(X)$（$X$的变异数），对$Y$亦同。

## 样本的标准差

在真实世界中，找到一个总体的真实的标准差并不实际。大多数情况下，总体标准差是通过随机抽取一定量的样本并计算样本标准差估计的。

从一大组数值$X_1, \cdots, X_N$当中取出一样本数值组合$x_1, \cdots, x_n : n < N$，常定义其样本标准差：

$$s = \sqrt{\frac{1}{n-1} \sum_{i=1}^n (x_i - \bar{x})^2}$$

样本方差$s^2$是对总体方差$\sigma^2$的无偏估计。之所以$s$中的分母要用$n-1$而不是像总体样本差那样用$n$，是因为$\left( x_i - \bar{x} \right)$的自由度为$n - 1$，这是由于存在约束条件$\sum_{i=1}^{n}\left(x_i - \bar{x}\right) = 0$。

## 范例

这里示范如何计算一组数的标准差。例如一群孩童年龄的数值为{5, 6, 8, 9}：

- 第一步，计算平均值$\overline{x}$︰

$$\overline{x}=\frac{1}{N}\sum_{i=1}^N x_i$$

当$\begin{smallmatrix}N = 4\end{smallmatrix}$（因为集合里有4个数），分别设为：

$$\begin{align} x_1 &= 5, \\ x_2 &= 6, \\ x_3 &= 8, \\ x_4 &= 9, \end{align}$$

则平均值为

$$\begin{align}\overline{x}&=\frac{1}{4}\sum_{i=1}^4 x_i & (N = 4) \\ &=\frac{1}{4} \left ( x_1 + x_2 + x_3 +x_4 \right ) \\ &=\frac{1}{4} \left ( 5 + 6 + 8 + 9 \right ) \\ &= 7.\end{align}$$

- 第二步，计算标准差$\sigma\,$︰

$$\begin{align}\sigma &= \sqrt{\frac{1}{N} \sum_{i=1}^N (x_i - \overline{x})^2} \\ &= \sqrt{\frac{1}{4} \sum_{i=1}^4 (x_i - \overline{x})^2} &(N = 4) \\ &= \sqrt{\frac{1}{4} \sum_{i=1}^4 (x_i - 7)^2} &(\overline{x} = 7) \\ &= \sqrt{\frac{1}{4} \left [ (x_1 - 7)^2 + (x_2 - 7)^2 + (x_3 - 7)^2 + (x_4 - 7)^2 \right ] } \\ &= \sqrt{\frac{1}{4} \left [ (5 - 7)^2 + (6 - 7)^2 + (8 - 7)^2 + (9 - 7)^2 \right ] } \\ &= \sqrt{\frac{1}{4} \left ( (-2)^2 + (-1)^2 + 1^2 + 2^2 \right ) }\\ &= \sqrt{\frac{1}{4} \left ( 4 + 1 + 1 + 4 \right ) }\\ &= \sqrt{\frac{10}{4}} \\ &\approx 1.58114\, .\end{align}$$

## 常态分布的规则

<image>

在实际应用上，常考虑一组数据具有近似于常态分布的几率分布。若其假设正确，则约68%数值分布在距离平均值有1个标准差之内的范围，约95%数值分布在距离平均值有2个标准差之内的范围，以及约99.7%数值分布在距离平均值有3个标准差之内的范围。称为“68-95-99.7法则”。

$$f(x;\mu,\sigma^2) = \frac{1}{\sigma\sqrt{2\pi}} e^{ -\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2 }$$

$$\text{Proportion} = \operatorname{erf}\left(\frac z {\sqrt 2}\right)$$

$\text{Proportion} \le x = \frac12\left[1 + \operatorname{erf}\left( \frac{x-\mu}{\sigma\sqrt{2}}\right)\right] = \frac12\left[1 + \operatorname{erf}\left( \frac z {\sqrt{2}} \right)\right]$.

<image>

<image>

数字比率标准差值｜几率｜包含之外比例

百分比｜百分比｜比例

0.318 639σ｜25%｜75%｜3 / 4

0.674490σ｜50%｜50%｜1 / 2

0.994458σ｜68%｜32%｜1 / 3.125

1σ｜68.2689492%｜31.7310508%｜1 / 3.1514872

1.281552σ｜80%｜20%｜1 / 5

1.644854σ｜90%｜10%｜1 / 10

1.959964σ｜95%｜5%｜1 / 20

2σ｜95.4499736%｜4.5500264%｜1 / 21.977895

2.575829σ｜99%｜1%｜1 / 100

3σ｜99.7300204%｜0.2699796%｜1 / 370.398

3.290527σ｜99.9%｜0.1%｜1 / 1000

3.890592σ｜99.99%｜0.01%｜1 / 10000

4σ｜99.993666%｜0.006334%｜1 / 15787

4.417173σ｜99.999%｜0.001%｜1 / 100000

4.5σ｜1 / 147159.53583.4 / 1000000 (每一边)

4.891638σ｜99.9999%｜0.0001%｜1 / 1000000

5σ｜99.9999426697%｜0.0000573303%｜1 / 1744278

5.326724σ｜99.99999%｜0.00001%｜1 / 10000000

5.730729σ｜99.999999%｜0.000001%｜1 / 100000000

6σ｜99.9999998027%｜0.0000001973%｜1 / 506797346

6.109410σ｜99.9999999%｜0.0000001%｜1 / 1000000000

6.466951σ｜99.99999999%｜0.00000001%｜1 / 10000000000

6.806502σ｜99.999999999%｜0.000000001%｜1 / 100000000000

7σ｜0.000000000256%｜1 / 390682215445

## 标准差与平均值之间的关系

一组数据的平均值及标准差常常同时作为参考的依据。从某种意义上说，如果用平均值来考量数值的中心的话，则标准差也就是对统计的分散度的一个“自然”的测度。因为由平均值所得的标准差要小于到其他任何一个点的标准差。较确切的叙述为：设$X_1, \cdots, X_N$为实数，定义函数：

$$\sigma(\mu) = \sqrt{\frac{1}{N} \sum_{i=1}^N (x_i - \mu)^2}$$

使用微积分或者通过配方法，不难算出$\sigma(\mu)$在下面情况下具有唯一最小值：

$$\mu = \overline{x}$$

## 几何学解释

从几何学的角度出发，标准差可以理解为一个从$n$维空间的一个点到一条直线的距离的函数。举一个简单的例子，一组数据中有3个值，$X_1, X_2, X_3$。它们可以在3维空间中确定一个点$P = (X_1, X_2, X_3)$。想像一条通过原点的直线$L = {(r, r, r) : r \in \mathbb{R}}$。如果这组数据中的3个值都相等，则点$P$就是直线$L$上的一个点，$P$到$L$的距离为0，所以标准差也为0。若这3个值不都相等，过点$P$作垂线$PR$垂直于$L$，$PR$交$L$于点$R$，则$R$的坐标为这3个值的平均数：

$$R = (\overline{x},\overline{x},\overline{x})$$

运用一些代数知识，不难发现点$P$与点$R$之间的距离（也就是点$P$到直线$L$的距离）是$\sigma \sqrt{3}$。在$n$维空间中，这个规律同样适用，把$3$换成$n$就可以了。

## 外部链接

- Standard Deviation Calculator，标准差计算器