相关 (概率论)

相关（correlation）又称相关性、关联，在概率论和统计学中，指一种随机变量或现象与另一种或几种之间变动伴随关系。相关关系又称统计关系，一般会描述这些变量或现象关联程度的强度和方向。

在统计学中，相关的意义是：用来衡量两个变量相对于其相互独立的距离。在这个广义的定义下，有许多根据数据特点用来衡量数据相关性而定义的系数，称作 相关系数。在评估相关时，利用相关系数来计量的两个或几个随机变量协同变化的程度；当变量间呈现同一方向的变化趋势时，即同时增加或减少，称为正相关，反之，则称为负相关。

<image>

## 历史

英国生物学家和统计学家弗朗西斯·高尔顿首先提出“相关”这一概念，英国数学家卡尔·皮尔逊在此基础上做出了进一步发展。

## 相关关系的分类

依据不同的标准，相关可归类或划分为以下种类：

- 按变量间的紧密程度，相关关系可分为完全相关、不完全相关与零相关。
- 按相关的方向，相关关系可分为正相关和负相关。
- 按相关的形式，相关关系可分为线性相关和非线性相关。
- 按变量的多寡，相关关系可分为单相关、复相关与偏相关。

## 各种相关系数

对于不同测量尺度的变数，有不同的相关系数可用：

- 皮尔逊相关系数（Pearson's r）：衡量两个等距尺度或等比尺度变数之相关性。是最常见的，也是学习统计学时第一个接触的相关系数。
- 净相关（partial correlation）：在模型中有多个自变数（或解释变数）时，去除掉其他自变数的影响，只衡量特定一个自变数与因变数之间的相关性。自变数和因变数皆为连续变数。
- 相关比（correlation ratio）：衡量两个连续变数之相关性。
- Gamma相关系数：衡量两个次序尺度变数之相关性。
- 斯皮尔曼等级相关系数：衡量两个次序尺度变数之相关性。
- 肯德尔等级相关系数：衡量两个人为次序尺度变数（原始资料为等距尺度）之相关性。
- 肯德尔和谐系数：衡量两个次序尺度变数之相关性。
- Phi相关系数（Phi coefficient）：衡量两个真正名目尺度的二分变数之相关性。
- 列联相关系数（contingency coefficient）：衡量两个真正名目尺度变数之相关性。
- 四分相关（tetrachoric correlation）：衡量两个人为名目尺度（原始资料为等距尺度）的二分变数之相关性。
- Kappa一致性系数（K coefficient of agreement）：衡量两个名目尺度变数之相关性。
- 点二系列相关系数（point-biserial correlation）：X变数是真正名目尺度二分变数。Y变数是连续变数。
- 二系列相关系数（biserial correlation）：X变数是人为名目尺度二分变数。Y变数是连续变数。

## 皮尔逊积差系数

### 数学特征

$\rho_{X,Y}={\mathrm{cov}(X,Y)\over \sigma_X \sigma_Y} ={E((X-\mu_X)(Y-\mu_Y)) \over \sigma_X\sigma_Y}$。

其中，E是数学期望，cov表示协方差，$\sigma_X$和$\sigma_Y$是标准差。

因为$\mu_X = E (X)$，$\sigma_X^2 = E(X^2) - E^2 (X)$，同样地，对于$Y$，可以写成

$\rho_{X,Y}=\frac{E (XY)-E (X)E (Y)}{\sqrt{E(X^2)-E^2 (X)}~\sqrt{E(Y^2)-E^2 (Y)}}$。

当两个变量的标准差都不为零，相关系数才有定义。从柯西-施瓦茨不等式可知，相关系数的绝对值不超过1。当两个变量的线性关系增强时，相关系数趋于1或-1。当一个变量增加而另一变量也增加时，相关系数大于0。当一个变量的增加而另一变量减少时，相关系数小于0。当两个变量独立时，相关系数为0，但反之并不成立。这是因为相关系数仅仅反映了两个变量之间是否线性相关。比如说，X是区间［－1，1］上的一个均匀分布的随机变量。Y = X2.那么Y是完全由X确定。因此Y和X不独立，但相关系数为0。或者说他们是不相关的。当Y和X服从联合正态分布时，其相互独立和不相关是等价的。

当一个或两个变量带有测量误差时，他们的相关性就受到削弱，这时，“反衰减”性（disattenuation）是一个更准确的系数。

### 几何特征

对于居中的数据来说（何谓居中？也就是每个数据减去样本均值，居中后它们的平均值就为0），相关系数可以看作是两个随机变量中得到的样本集向量之间夹角的cosine函数。一些实际工作者更喜欢用非居中的相关系数（与皮尔逊系数不相兼容）。看下面的例子中有一个比较。例如，假设五个国家的国民生产总值分别是1、2、3、5、8（单位10亿美元），又假设这五个国家的贫困比例分别是11%、12%、13%、15%、18%。则我们现在有两个有序的包含5个元素的向量x、y：x =（1, 2, 3, 5, 8）、 y =（0.11, 0.12, 0.13, 0.15, 0.18）

使用一般的方法来计算向量间夹角（参考数量积），未居中的相关性系数如下：

$\cos \theta = \frac { \mathbf{x} \cdot \mathbf{y} } { \left\| \mathbf{x} \right\| \left\| \mathbf{y} \right\| } = \frac { 2.93 } { \sqrt { 103 } \sqrt { 0.0983 } } = 0.920814711$。

上面的数据实际上是故意选择了一个完美的线性关系：y = 0.10 + 0.01 x。因此皮尔逊相关系数应该就是1。把数据居中（x中数据减去E (x) = 3.8，y中数据减去E (y) = 0.138）后得到：x =（−2.8, −1.8, −0.8, 1.2, 4.2）、y =（−0.028, −0.018, −0.008, 0.012, 0.042），由此得到了预期结果：

$\cos \theta = \frac { \mathbf{x} \cdot \mathbf{y} } { \left\| \mathbf{x} \right\| \left\| \mathbf{y} \right\| } = \frac { 0.308 } { \sqrt { 30.8 } \sqrt { 0.00308 } } = 1 = \rho_{xy}$。

## 统计学上的相关

### 样本相关系数

对于样本对$(X_i, Y_i)$，相关系数的计算过程可表示为：将每个变量都通过减去平均值、再除以校正标准差后转化为标准单位，乘积的平均值，再经过贝塞尔校正即为相关系数。

两个变量的关系可以直观地用散点图表示，当其紧密地群聚于一条直线的周围时，变量间存在强相关。

一个散点图可以用五个统计量来概括：所有$x$值的平均数$\bar x$，所有$x$值的校正标准差（即样本标准差）$s_x$，所有$y$值的平均数$\bar y$，所有$y$值的校正标准差$s_y$，相关系数$r_{xy}$。

其中：

$$s_x =\sqrt{ \frac{1}{N-1} \sum_{i=1}^N (x_i - \overline{x})^2}, s_y =\sqrt{ \frac{1}{N-1} \sum_{i=1}^N (y_i - \overline{y})^2}$$

那么：

$$r_{xy} \quad \overset{\underset{\mathrm{def}}{}}{=} \quad \frac{\sum\limits_{i=1}^n (x_i-\bar{x})(y_i-\bar{y})}{(n-1)s_x s_y} <pre> =\frac{\sum\limits_{i=1}^n (x_i-\bar{x})(y_i-\bar{y})} {\sqrt{\sum\limits_{i=1}^n (x_i-\bar{x})^2 \sum\limits_{i=1}^n (y_i-\bar{y})^2}}, </pre>$$

或写成：

$r_{xy} \quad \overset{\underset{\mathrm{def}}{}}{=} \quad \frac{n}{n-1}\frac{1}{n}\sum\limits_{i=1}^n \frac{(x_i-\bar{x})}{s_x}\frac{(y_i-\bar{y})}{s_y}$,

其中$\frac{n}{n-1}$为贝塞尔校正。