相關 (機率論)

相關（correlation）又稱相關性、關聯，在機率論和統計學中，指一種隨機變量或現象與另一種或幾種之間變動伴隨關係。相關關係又稱統計關係，一般會描述這些變量或現象關聯程度的強度和方向。

在統計學中，相關的意義是：用來衡量兩個變量相對於其相互獨立的距離。在這個廣義的定義下，有許多根據數據特點用來衡量數據相關性而定義的係數，稱作 相關係數。在評估相關時，利用相關係數來計量的兩個或幾個隨機變量協同變化的程度；當變量間呈現同一方向的變化趨勢時，即同時增加或減少，稱為正相關，反之，則稱為負相關。

<image>

## 歷史

英國生物學家和統計學家弗朗西斯·高爾頓首先提出「相關」這一概念，英國數學家卡爾·皮爾遜在此基礎上做出了進一步發展。

## 相關關係的分類

依據不同的標準，相關可歸類或劃分為以下種類：

- 按變量間的緊密程度，相關關係可分為完全相關、不完全相關與零相關。
- 按相關的方向，相關關係可分為正相關和負相關。
- 按相關的形式，相關關係可分為線性相關和非線性相關。
- 按變量的多寡，相關關係可分為單相關、複相關與偏相關。

## 各種相關係數

對於不同測量尺度的變數，有不同的相關係數可用：

- 皮爾遜相關係數（Pearson's r）：衡量兩個等距尺度或等比尺度變數之相關性。是最常見的，也是學習統計學時第一個接觸的相關係數。
- 淨相關（partial correlation）：在模型中有多個自變數（或解釋變數）時，去除掉其他自變數的影響，只衡量特定一個自變數與因變數之間的相關性。自變數和因變數皆為連續變數。
- 相關比（correlation ratio）：衡量兩個連續變數之相關性。
- Gamma相關係數：衡量兩個次序尺度變數之相關性。
- 斯皮爾曼等級相關係數：衡量兩個次序尺度變數之相關性。
- 肯德爾等級相關係數：衡量兩個人為次序尺度變數（原始資料為等距尺度）之相關性。
- 肯德爾和諧係數：衡量兩個次序尺度變數之相關性。
- Phi相關係數（Phi coefficient）：衡量兩個真正名目尺度的二分變數之相關性。
- 列聯相關係數（contingency coefficient）：衡量兩個真正名目尺度變數之相關性。
- 四分相關（tetrachoric correlation）：衡量兩個人為名目尺度（原始資料為等距尺度）的二分變數之相關性。
- Kappa一致性係數（K coefficient of agreement）：衡量兩個名目尺度變數之相關性。
- 點二系列相關係數（point-biserial correlation）：X變數是真正名目尺度二分變數。Y變數是連續變數。
- 二系列相關係數（biserial correlation）：X變數是人為名目尺度二分變數。Y變數是連續變數。

## 皮爾遜積差係數

### 數學特徵

$\rho_{X,Y}={\mathrm{cov}(X,Y)\over \sigma_X \sigma_Y} ={E((X-\mu_X)(Y-\mu_Y)) \over \sigma_X\sigma_Y}$。

其中，E是數學期望，cov表示協方差，$\sigma_X$和$\sigma_Y$是標準差。

因為$\mu_X = E (X)$，$\sigma_X^2 = E(X^2) - E^2 (X)$，同樣地，對於$Y$，可以寫成

$\rho_{X,Y}=\frac{E (XY)-E (X)E (Y)}{\sqrt{E(X^2)-E^2 (X)}~\sqrt{E(Y^2)-E^2 (Y)}}$。

當兩個變量的標準差都不為零，相關係數才有定義。從柯西-施瓦茨不等式可知，相關係數的絕對值不超過1。當兩個變量的線性關係增強時，相關係數趨於1或-1。當一個變量增加而另一變量也增加時，相關係數大於0。當一個變量的增加而另一變量減少時，相關係數小於0。當兩個變量獨立時，相關係數為0，但反之並不成立。這是因為相關係數僅僅反映了兩個變量之間是否線性相關。比如說，X是區間［－1，1］上的一個均勻分布的隨機變量。Y = X2.那麼Y是完全由X確定。因此Y和X不獨立，但相關係數為0。或者說他們是不相關的。當Y和X服從聯合正態分布時，其相互獨立和不相關是等價的。

當一個或兩個變量帶有測量誤差時，他們的相關性就受到削弱，這時，「反衰減」性（disattenuation）是一個更準確的係數。

### 幾何特徵

對於居中的數據來說（何謂居中？也就是每個數據減去樣本均值，居中後它們的平均值就為0），相關係數可以看作是兩個隨機變量中得到的樣本集向量之間夾角的cosine函數。一些實際工作者更喜歡用非居中的相關係數（與皮爾遜係數不相兼容）。看下面的例子中有一個比較。例如，假設五個國家的國民生產總值分別是1、2、3、5、8（單位10億美元），又假設這五個國家的貧困比例分別是11%、12%、13%、15%、18%。則我們現在有兩個有序的包含5個元素的向量x、y：x =（1, 2, 3, 5, 8）、 y =（0.11, 0.12, 0.13, 0.15, 0.18）

使用一般的方法來計算向量間夾角（參考數量積），未居中的相關性係數如下：

$\cos \theta = \frac { \mathbf{x} \cdot \mathbf{y} } { \left\| \mathbf{x} \right\| \left\| \mathbf{y} \right\| } = \frac { 2.93 } { \sqrt { 103 } \sqrt { 0.0983 } } = 0.920814711$。

上面的數據實際上是故意選擇了一個完美的線性關係：y = 0.10 + 0.01 x。因此皮爾遜相關係數應該就是1。把數據居中（x中數據減去E (x) = 3.8，y中數據減去E (y) = 0.138）後得到：x =（−2.8, −1.8, −0.8, 1.2, 4.2）、y =（−0.028, −0.018, −0.008, 0.012, 0.042），由此得到了預期結果：

$\cos \theta = \frac { \mathbf{x} \cdot \mathbf{y} } { \left\| \mathbf{x} \right\| \left\| \mathbf{y} \right\| } = \frac { 0.308 } { \sqrt { 30.8 } \sqrt { 0.00308 } } = 1 = \rho_{xy}$。

## 統計學上的相關

### 樣本相關係數

對於樣本對$(X_i, Y_i)$，相關係數的計算過程可表示為：將每個變量都通過減去平均值、再除以校正標準差後轉化為標準單位，乘積的平均值，再經過貝塞爾校正即為相關係數。

兩個變量的關係可以直觀地用散點圖表示，當其緊密地群聚於一條直線的周圍時，變量間存在強相關。

一個散點圖可以用五個統計量來概括：所有$x$值的平均數$\bar x$，所有$x$值的校正標準差（即樣本標準差）$s_x$，所有$y$值的平均數$\bar y$，所有$y$值的校正標準差$s_y$，相關係數$r_{xy}$。

其中：

$$s_x =\sqrt{ \frac{1}{N-1} \sum_{i=1}^N (x_i - \overline{x})^2}, s_y =\sqrt{ \frac{1}{N-1} \sum_{i=1}^N (y_i - \overline{y})^2}$$

那麼：

$$r_{xy} \quad \overset{\underset{\mathrm{def}}{}}{=} \quad \frac{\sum\limits_{i=1}^n (x_i-\bar{x})(y_i-\bar{y})}{(n-1)s_x s_y} <pre> =\frac{\sum\limits_{i=1}^n (x_i-\bar{x})(y_i-\bar{y})} {\sqrt{\sum\limits_{i=1}^n (x_i-\bar{x})^2 \sum\limits_{i=1}^n (y_i-\bar{y})^2}}, </pre>$$

或寫成：

$r_{xy} \quad \overset{\underset{\mathrm{def}}{}}{=} \quad \frac{n}{n-1}\frac{1}{n}\sum\limits_{i=1}^n \frac{(x_i-\bar{x})}{s_x}\frac{(y_i-\bar{y})}{s_y}$,

其中$\frac{n}{n-1}$為貝塞爾校正。