相关性分析

**相關**（Correlation），又稱為**相關性**、**關聯**，在機率論和統計學中，相關顯示了兩個或幾個隨機變數之間線性關係的強度和方向。在統計學中，相關的意義是：用來衡量兩個變數相對於其相互獨立的距離。在這個廣義的定義下，有許多根據數據特點用來衡量數據相關性而定義的係數，稱作 **相關係數**。通常使用相關係數來計量這些隨機變數協同變化的程度，當隨機變數間呈現同一方向的變化趨勢時稱為**正相關**，反之則稱為**負相關**。

## 歷史

英國生物學家和統計學家弗朗西斯・高爾頓首先提出「相關」這一概念，英國數學家卡爾・皮爾森在此基礎上做出了進一步發展。

## 各種相關係數

對於不同測量尺度的變數，有不同的相關係數可用：

* 皮爾森相關係數（Pearson's _r_）：衡量兩個等距尺度或等比尺度變數之相關性。是最常見的，也是學習統計學時第一個接觸的相關係數。
* 淨相關（英語：partial correlation）：在模型中有多個自變數（或解釋變數）時，去除掉其他自變數的影響，只衡量特定一個自變數與因變數之間的相關性。自變數和因變數皆為連續變數。
* 相關比（英語：correlation ratio）：衡量兩個連續變數之相關性。
* Gamma 相關係數：衡量兩個次序尺度變數之相關性。
* 斯皮爾曼等級相關係數：衡量兩個次序尺度變數之相關性。
* 肯德爾等級相關係數：衡量兩個人為次序尺度變數（原始資料為等距尺度）之相關性。
* 肯德爾和諧係數：衡量兩個次序尺度變數之相關性。
* Phi 相關係數（英語：Phi coefficient）：衡量兩個真正名目尺度的二分變數之相關性。
* 列聯相關係數（英語：contingency coefficient）：衡量兩個真正名目尺度變數之相關性。
* 四分相關（英語：tetrachoric correlation）：衡量兩個人為名目尺度（原始資料為等距尺度）的二分變數之相關性。
* Kappa 一致性係數（英語：K coefficient of agreement）：衡量兩個名目尺度變數之相關性。
* 點二系列相關係數（英語：point-biserial correlation）：X 變數是真正名目尺度二分變數。Y 變數是連續變數。
* 二系列相關係數（英語：biserial correlation）：X 變數是人為名目尺度二分變數。Y 變數是連續變數。

## 皮爾森積差係數

### 數學特徵

　
: $\rho _{X,Y}={\mathrm {cov} (X,Y) \over \sigma _{X}\sigma _{Y}}={E((X-\mu _{X})(Y-\mu _{Y})) \over \sigma _{X}\sigma _{Y}}$ ，

其中，_E_ 是數學期望，cov 表示共變異數， $\sigma _{X}$ 和 $\sigma _{Y}$ 是標準差。

因為 $\mu _{X}=E(X)$ ， $\sigma _{X}^{2}=E(X^{2})-E^{2}(X)$ ，同樣地，對於 $Y$ ，可以寫成

　
: $\rho _{X,Y}={\frac {E(XY)-E(X)E(Y)}{{\sqrt {E(X^{2})-E^{2}(X)}}~{\sqrt {E(Y^{2})-E^{2}(Y)}}}}$ 。

當兩個變數的標準差都不為零，相關係數才有定義。從柯西 - 施瓦茨不等式可知，相關係數的絕對值不超過 1。當兩個變數的線性關係增強時，相關係數趨於 1 或 - 1。當一個變數增加而另一變數也增加時，相關係數大於 0。當一個變數的增加而另一變數減少時，相關係數小於 0。當兩個變數獨立時，相關係數為 0，但反之並不成立。這是因為相關係數僅僅反映了兩個變數之間是否線性相依。比如說，_X_ 是區間［－1，1］上的一個均勻分布的隨機變數。_Y_ = _X_2. 那麼 _Y_ 是完全由 _X_ 確定。因此 _Y_ 和 _X_ 不獨立，但相關係數為 0。或者說他們是不相關的。當 _Y_ 和 _X_ 服從聯合常態分布時，其相互獨立和不相關是等價的。

當一個或兩個變數帶有測量誤差時，他們的相關性就受到削弱，這時，「反衰減」性（disattenuation）是一個更準確的係數。

### 幾何特徵

對於居中的數據來說（何謂居中？也就是每個數據減去樣本均值，居中後它們的平均值就為 0），相關係數可以看作是兩個隨機變數中得到的樣本集向量之間夾角的 cosine 函數。一些實際工作者更喜歡用非居中的相關係數（與皮爾森係數不相兼容）。看下面的例子中有一個比較。例如，假設五個國家的國民生產總值分別是 1、2、3、5、8（單位 10 億美元），又假設這五個國家的貧困比例分別是 11%、12%、13%、15%、18%。則我們現在有兩個有序的包含 5 個元素的向量 x、y：x =（1, 2, 3, 5, 8）、 y =（0.11, 0.12, 0.13, 0.15, 0.18）
使用一般的方法來計算向量間夾角（參考數量積），未居中的相關性係數如下：

　
: $\cos \theta ={\frac {\mathbf {x} \cdot \mathbf {y} }{\left\|\mathbf {x} \right\|\left\|\mathbf {y} \right\|}}={\frac {2.93}{{\sqrt {103}}{\sqrt {0.0983}}}}=0.920814711$ 。

上面的數據實際上是故意選擇了一個完美的線性關係：y = 0.10 + 0.01 x。因此皮爾森相關係數應該就是 1。把數據居中（x 中數據減去 E (x) = 3.8，y 中數據減去 E (y) = 0.138）後得到：x =（−2.8, −1.8, −0.8, 1.2, 4.2）、y =（−0.028, −0.018, −0.008, 0.012, 0.042），由此得到了預期結果：

　
: $\cos \theta ={\frac {\mathbf {x} \cdot \mathbf {y} }{\left\|\mathbf {x} \right\|\left\|\mathbf {y} \right\|}}={\frac {0.308}{{\sqrt {30.8}}{\sqrt {0.00308}}}}=1=\rho _{xy}$ ，

## 統計學上的相關

### 樣本相關係數

對於樣本對 $(X_{i},Y_{i})$ ，相關係數的計算過程可表示為：將每個變數都通過減去平均值、再除以校正標準差後轉化為標準單位，乘積的平均值，再經過貝塞爾校正即為相關係數。

兩個變數的關係可以直觀地用散點圖表示，當其緊密地群聚於一條直線的周圍時，變數間存在強相關。

一個散點圖可以用五個統計量來概括：所有 $x$ 值的平均數 ${\bar {x}}$ ，所有 $x$ 值的校正標準差（即樣本標準差） $s_{x}$ ，所有 $y$ 值的平均數 ${\bar {y}}$ ，所有 $y$ 值的校正標準差 $s_{y}$ ，相關係數 $r_{xy}$ 。

其中：

　
: $s_{x}={\sqrt {{\frac {1}{N-1}}\sum _{i=1}^{N}(x_{i}-{\overline {x}})^{2}}},s_{y}={\sqrt {{\frac {1}{N-1}}\sum _{i=1}^{N}(y_{i}-{\overline {y}})^{2}}}$

 
那麼：

　
: $r_{xy}\quad {\overset {\underset {\mathrm {def} }{}}{=}}\quad {\frac {\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{(n-1)s_{x}s_{y}}}={\frac {\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sqrt {\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})^{2}\sum \limits _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}}},$

或寫成：

　
: $r_{xy}\quad {\overset {\underset {\mathrm {def} }{}}{=}}\quad {\frac {n}{n-1}}{\frac {1}{n}}\sum \limits _{i=1}^{n}{\frac {(x_{i}-{\bar {x}})}{s_{x}}}{\frac {(y_{i}-{\bar {y}})}{s_{y}}}$ ,

其中 ${\frac {n}{n-1}}$ 為貝塞爾校正。

## 參考文獻

## 參見

* 相關不蘊涵因果
* 相關係數