皮爾遜積矩相關係數

在統計學中，皮爾遜積矩相關係數（Pearson product-moment correlation coefficient，縮寫：PPMCC，或PCCs，有時簡稱相關係數）用於度量兩組數據的變量X和Y之間的線性相關的程度。它是兩個變量的協方差與其標準差的乘積之比；因此，它本質上是協方差的歸一化度量，因此結果始終具有介於-1和1之間的值。與協方差本身一樣，該度量只能反映變量的線性相關性，而忽略了許多其他類型的關係或相關性。舉個簡單的例子，可以預期高中青少年樣本的年齡和身高的皮爾遜積矩相關係數顯著大於0，但小於1（因為1表示不切實際的完美相關性）。

## 命名和歷史

它是由卡爾·皮爾遜從弗朗西斯·高爾頓在1880年代提出的一個相似卻又稍有不同的想法演變而來，並且其數學公式由奧古斯特·布拉菲(Auguste Bravais)於1844年推導出和發表。係數的命名因此是史蒂格勒名字由來法則的一個例子。

這個相關係數也稱作「皮爾森相關係數r」。

## 定義

兩個變量之間的皮爾遜相關係數定義為兩個變量的共變異數除以它們標準差的乘積：

$$\rho_{X,Y}={\mathrm{cov}(X,Y) \over \sigma_X \sigma_Y} ={E[(X-\mu_X)(Y-\mu_Y)] \over \sigma_X\sigma_Y}$$

上式定義了總體相關係數，常用希臘小寫字母 ρ (rho) 作為代表符號。估算樣本的共變異數和標準差，可得到樣本相關係數(樣本皮爾遜係數)，常用英文小寫字母 r 表示：

$$r = \frac{\sum\limits ^n _{i=1}(X_i - \overline{X})(Y_i - \overline{Y})}{\sqrt{\sum\limits ^n _{i=1}(X_i - \overline{X})^2} \sqrt{\sum\limits ^n _{i=1}(Y_i - \overline{Y})^2}}$$

r 亦可由$(X_i,Y_i)$樣本點的標準分數均值估算，得到與上式等價的表達式：

$$r = \frac{1}{n-1} \sum\limits ^n _{i=1} \left( \frac{X_i - \overline{X}}{\sigma_X} \right) \left( \frac{Y_i - \overline{Y}}{\sigma_Y} \right)$$

其中 $\frac{X_i - \overline{X}}{\sigma_X}$、$\overline{X}$ 及 $\sigma_X$ 分別是 $X_i$ 樣本的標準分數、樣本平均值和樣本標準差。

## 數學特性

總體和樣本皮爾遜係數的絕對值小於或等於1。如果樣本數據點精確的落在直線上，或者雙變量分布完全在直線上（計算總體皮爾遜係數的情況），則相關係數等於1或-1。皮爾遜係數是對稱的：corr(X,Y) = corr(Y,X)。

皮爾遜相關係數有一個重要的數學特性是，因兩個變量的位置和尺度的變化並不會引起該係數的改變，即它該變化的不變量 (由符號確定)。也就是說，我們如果把X移動到a + bX和把Y移動到c + dY，其中a、b、c和d是常數，並不會改變兩個變量的相關係數。我們發現更一般的線性變換則會改變相關係數：參見之後章節對該特性應用的介紹。

由於μX = E(X), σX2 = E(X − E(X))2 = E(X2) − E2(X)，Y也類似, 並且

$$E[(X-E(X))(Y-E(Y))]=E(XY)-E(X)E(Y),\,$$

故相關係數也可以表示成

$$\rho_{X,Y}=\frac{E(XY)-E(X)E(Y)}{\sqrt{E(X^2)-(E(X))^2}~\sqrt{E(Y^2)- (E(Y))^2}}.$$

對於樣本皮爾遜相關係數:

$$r_{xy}=\frac{\sum x_iy_i-n \bar{x} \bar{y}}{(n-1) s_x s_y}=\frac{n\sum x_iy_i-\sum x_i\sum y_i} {\sqrt{n\sum x_i^2-(\sum x_i)^2}~\sqrt{n\sum y_i^2-(\sum y_i)^2}}.$$

以上方程給出了計算樣本皮爾遜相關係數簡單的單流程演算法，但是其依賴於涉及到的數據，有時它可能是數值不穩定的。

## 解釋

皮爾遜相關係數的變化範圍為-1到1。係數的值為1意味著X和 Y可以很好的由直線方程來描述，所有的數據點都很好的落在一條直線上，且 Y 隨著 X 的增加而增加。係數的值為−1意味著所有的數據點都落在直線上，且 Y 隨著 X 的增加而減少。係數的值為0意味著兩個變量之間沒有線性關係。

更一般的, 我們發現，若且唯若 Xi 和 Yi 均落在他們各自的均值的同一側，則(Xi − X)(Yi − Y) 的值為正。也就是說，如果Xi 和 Yi 同時趨向於大於, 或同時趨向於小於他們各自的均值，則相關係數為正。如果 Xi 和 Yi 趨向於落在他們均值的相反一側，則相關係數為負。

### 幾何學角度的解釋

<image>

對於沒有進行中心化的數據, 相關係數與兩條可能的回歸線y=gx(x) 和 x=gy(y) 夾角的餘弦值一致。

對於中心化過的數據（也就是說, 數據移動一個樣本平均值以使其均值為0），相關係數也可以被視作由兩個隨機變量向量夾角$\ \theta$ 的餘弦值（見下方）。

從一個數據集中可以確定出非中心化的相關係數 (non-Pearson-compliant) 和中心化的相關係數二者。例如，有5個國家的國民生產總值分別為 10, 20, 30, 50 和 80 億美元。假設這5個國家 (順序相同) 的貧困百分比分別為 11%, 12%, 13%, 15%, 和 18%。令 x 和 y 分別等於包含上述5個數據的向量: x = (1, 2, 3, 5, 8) 和 y = (0.11, 0.12, 0.13, 0.15, 0.18)。

利用通常的方法計算兩個向量之間的夾角 $\ \theta$ (參見 數量積), 未中心化 的相關係數是:

$$\cos \theta = \frac { \mathbf{x} \cdot \mathbf{y} } { \left\| \mathbf{x} \right\| \left\| \mathbf{y} \right\| } = \frac { 2.93 } { \sqrt { 103 } \sqrt { 0.0983 } } = 0.920814711.$$

我們發現以上的數據特意選定為完全相關: y = 0.10 + 0.01 x。於是，皮爾遜相關係數應該等於1。將數據中心化 (通過E(x) = 3.8移動 x 和通過 E(y) = 0.138 移動 y ) 得到 x = (−2.8, −1.8, −0.8, 1.2, 4.2) 和 y = (−0.028, −0.018, −0.008, 0.012, 0.042), 從中。

$$\cos \theta = \frac { \mathbf{x} \cdot \mathbf{y} } { \left\| \mathbf{x} \right\| \left\| \mathbf{y} \right\| } = \frac { 0.308 } { \sqrt { 30.8 } \sqrt { 0.00308 } } = 1 = \rho_{xy},$$

### 對相關係數大小的解釋

相關性｜負｜正

無｜−0.09 to 0.0｜0.0 to 0.09

弱｜−0.3 to −0.1｜0.1 to 0.3

中｜−0.5 to −0.3｜0.3 to 0.5

強｜−1.0 to −0.5｜0.5 to 1.0

一些著作的作者給出了某些解釋相關係數的指南。然而, 所有這些標準從某種意義上說是武斷的和不嚴格的。對相關係數的解釋是依賴於具體的應用背景和目的的。例如，若是在運用高性能的儀器來驗證一個物理定律實驗這樣的應用背景下，0.9的相關係數可能是很低的。但如果是應用在社會科學中，由於社會科學受到各種複雜多變因素影響，0.9的相關係數是相當高的。

### 皮爾遜距離

皮爾遜距離度量的是兩個變量X和Y，它可以根據皮爾遜係數定義成

$$d_{X,Y}=1-\rho_{X,Y}.$$

我們可以發現，皮爾遜係數落在$[-1, 1]$，而皮爾遜距離落在$[0, 2]$。

## 統計推斷：顯著性檢驗與置信區間

<image>

基於皮爾遜相關係數的統計推斷通常關注以下兩個目標。

- 驗證零假設是否為真，即相關係數 ρ 是否等於 0, 該相關係數使用的是樣本相關係數 r。
- 在給定的置信水平α之下，構建一個圍繞r的置信區間。

### 隨機採樣方法

顯著性檢驗提供了一種假設檢驗和構造置信區間的直接方法。

對皮爾遜相關係數的顯著性檢驗包括以下兩個步驟：

- 隨機地將原始的數據對 (xi, yi)重新定義成數據集 (xi, yi′), 其中 i′ 表示數列 {1,...,n}。數列 i′ 的選取是隨機的, 以相同的機率落在 n! 種可能的數列中。這等價於隨機地"不可重複地"從數列{1,..., n}中選取 i′。一種相近的且合乎情理的方法（自助抽樣法）是「可重複地」從數列{1,..., n}中選取 i 和 i′
- 由隨機數據構造相關係數r。

為了完成顯著性檢驗，需要多次重複步驟(i)和(ii)。顯著性檢驗的P值是由測試數據除以步驟（ii）得到的r，其中r大於由原始數據計算出的皮爾遜相關係數。在這裡「大」可能是絕對值比較大或者是數值比較大，這取決於測試使用的是雙尾檢驗或者是單尾檢驗。

### 自助抽樣法

自助抽樣法可以被用來構造皮爾遜係數的置信區間。在"非參數"的自助抽樣法中，「可重複」地從觀測數據集n中重新採樣n 對的 (xi, yi) 數據，用來計算相關係數r。這個過程重複了大量次數,。重新採樣後數據的 r值的分布被用來估計統計學上的樣本分布。ρ的95%的置信區間可以被定義成重新採樣樣本 r值的%2.5到%97.5之間。

### 基於數學近似的方法

對於近似高斯分布的數據，皮爾遜相關係數的樣本分布近似於自由度為N − 2的t分布。特別地，如果兩個變量服從雙變量正態分布，變量

$$t = r\sqrt{\frac{n-2}{1 - r^2}}$$

也會服從不相關的t分布。如果樣本容量不是特別小，這個結論也大致成立，即便觀測數據不是正態分布的。如果需要構建置信區間和進行有力的分析，還需要採用如下的可逆變換

$$r = \frac{t}{\sqrt{n - 2 + t^2}}.$$

或者，也可以採用大量採樣數據的方法。

早期對樣本相關係數的研究得益於R. A. Fisher和A. K. Gayen.的工作。

另一篇早期的論文給出了在小樣本的情況下總體相關係數 ρ的圖表, 並討論了相關的計算方法。

### 準確服從高斯分布的數據

準確的雙變量樣本相關係數的分布是

$$f\left(r\right) = \frac{\left(n - 2\right)\, \mathbf{\Gamma}\left(n - 1\right) \left(1 - \rho^2\right)^{\frac{n - 1}{2}} \left(1 - r^2\right)^{\frac{n - 4}{2}}}{\sqrt{2\pi}\, \mathbf{\Gamma}\left(n - \frac{1}{2}\right) \left(1 - \rho r\right)^{n - \frac{3}{2}}} \,\mathbf{_2F_1}\left(\frac{1}{2}, \frac{1}{2}; \frac{2n - 1}{2}; \frac{\rho r + 1}{2}\right)$$

其中 $\mathbf{\Gamma}$是伽瑪函數，$\,\mathbf{_2F_1}(a,b;c;z)$ 是高斯超幾何函數。

注意到 $E\left(r\right) = \rho - \frac{\rho \left(1 - \rho^2\right)}{2 \left(n - 1\right)} + \cdots$, 因此 r 是$\,\rho$的一個有偏估計。一種獲得無偏估計的方法是解$\,\rho$的方程 $r = E\left(r\right) = \rho - \frac{\rho \left(1 - \rho^2\right)}{2 \left(n - 1\right)}$。然而，解 $\breve{\rho} = r \left[1 + \frac{1 - r^2}{2\left(n - 1\right)}\right]$是次優的。一種無偏估計, 可以從 n較大情況下的最小方差和有偏序列 $\frac{1}{n - 1}$, 通過最大化 $\log{f\left(r\right)}$, 也就是$\hat{\rho} = r \left[1 - \frac{1 - r^2}{2\left(n - 1\right)}\right]$獲得。

特殊情況下，當 $\,\rho = 0$時，分布可以被寫成

$$f\left(r\right) = \frac{\left(1 - r^2\right)^{\frac{n - 4}{2}}}{\mathbf{B}\left(\frac{1}{2}, \frac{n - 2}{2}\right)}$$

其中 $\mathbf{B}$是貝塔函數。

### 費雪轉換

實際應用中, 與ρ相關的置信區間和假設檢驗通常是通過費雪轉換獲得

$$F(r) = {1 \over 2}\ln{1 + r \over 1 - r} = \operatorname{arctanh}(r).$$

如果F(r)是r的費雪轉換，n 是樣本容量，那麼F(r)近似服從正態分布

$\text{mean} = F(\rho) = \operatorname{arctanh}(\rho)$ and standard error $\text{SE} = \frac{1}{\sqrt{n - 3}}.$

也就是Z-分數是

$$z = \frac{x - \text{mean}}{\text{SE}} = [F(r) - F(\rho_0)]\sqrt{n - 3}$$

對$\rho = \rho_0$ 進行零假設，可以設想樣本數據對是獨立同分布並且服從雙變量正態分布。因此P值估計可以從正態分布機率表中獲得。比如，如果觀測數據 z = 2.2，並且要用雙尾p值對 $\rho = 0$進行零假設檢驗，p值是 2·Φ(−2.2) = 0.028，其中Φ是正態分布的累積分布函數。

### 置信區間

為了獲得ρ的置信區間，首先，我們應該計算 F($\rho$)的置信區間：

$$100(1 - \alpha)\%\text{CI}: \operatorname{arctanh}(\rho) \in [\operatorname{arctanh}(r) \pm z_{\alpha/2}SE]$$

通過可逆Fisher變換可以獲得相關尺度上的區間。

$$100(1 - \alpha)\%\text{CI}: \rho \in [\operatorname{tanh}(\operatorname{arctanh}(r) - z_{\alpha/2}SE), \operatorname{tanh}(\operatorname{arctanh}(r) + z_{\alpha/2}SE)]$$

舉例來說，假設我們觀測到 r = 0.3，樣本容量 n=50，並且我們期望獲得ρ的95%的置信區間。變換後的值是artanh(r) = 0.30952，所以在變換尺度上的置信區間是 0.30952 ± 1.96/√47，或者 (0.023624, 0.595415)。變換回相關尺度上是 (0.024, 0.534)。

## 皮爾遜相關係數和最小方差回歸分析

樣本相關係數的平方，亦稱作決定係數，利用簡單線性回歸估計由X引起的Y的變化。一開始，Yi圍繞它們平均值上的變化可以分解成

$$\sum_i (Y_i - \bar{Y})^2 = \sum_i (Y_i-\hat{Y}_i)^2 + \sum_i (\hat{Y}_i-\bar{Y})^2,$$

其中 $\hat{Y}_i$ 是作回歸分析時的適應值。整理後得

$$1 = \frac{\sum_i (Y_i-\hat{Y}_i)^2}{\sum_i (Y_i - \bar{Y})^2} + \frac{\sum_i (\hat{Y}_i-\bar{Y})^2}{\sum_i (Y_i - \bar{Y})^2}.$$

兩個被加數是由X (右邊）引起的Y的變化和不是由X（左邊）引起的變化。

接下來, 我們利用最小方差回歸模型, 使 $\hat{Y}_i$ 和 $Y_i-\hat{Y}_i$ 的樣本協方差為0。於是, 觀測數據和適應值的樣本相關係數可以被寫成

$$\begin{align} r(Y,\hat{Y}) &= \frac{\sum_i(Y_i-\bar{Y})(\hat{Y}_i-\bar{Y})}{\sqrt{\sum_i(Y_i-\bar{Y})^2\cdot \sum_i(\hat{Y}_i-\bar{Y})^2}}\\ &= \frac{\sum_i(Y_i-\hat{Y}_i+\hat{Y}_i-\bar{Y})(\hat{Y}_i-\bar{Y})}{\sqrt{\sum_i(Y_i-\bar{Y})^2\cdot \sum_i(\hat{Y}_i-\bar{Y})^2}}\\ &= \frac{ \sum_i [(Y_i-\hat{Y}_i)(\hat{Y}_i-\bar{Y}) +(\hat{Y}_i-\bar{Y})^2 ]}{\sqrt{\sum_i(Y_i-\bar{Y})^2\cdot \sum_i(\hat{Y}_i-\bar{Y})^2}}\\ &= \frac{ \sum_i (\hat{Y}_i-\bar{Y})^2 }{\sqrt{\sum_i(Y_i-\bar{Y})^2\cdot \sum_i(\hat{Y}_i-\bar{Y})^2}}\\ &= \sqrt{\frac{\sum_i(\hat{Y}_i-\bar{Y})^2}{\sum_i(Y_i-\bar{Y})^2}}. \end{align}$$

於是

$$r(Y,\hat{Y})^2 = \frac{\sum_i(\hat{Y}_i-\bar{Y})^2}{\sum_i(Y_i-\bar{Y})^2}$$

是由X的線性方程引起的Y的平均變化。

## 數據分布的敏感度

### 存在性

總體皮爾遜相關係數被定義成 矩，因此任意的雙變量機率分布是非零的，也就是說是由總體協方差和邊緣總體方差定義的。一些機率分布，如柯西分布的方差未定義，因此若X或Y服從這種分布，ρ便是未定義的。在實際應用中，若有懷疑數據服從重尾分布，就需要重視這個條件。然而，相關係數的存在性通常無關緊要，例如若分布有界，則ρ必有意義。

### 大樣本的特性

在雙變量正態分布的案例中，只要邊緣均值和方差是已知的，總體相關係數描述的是便是聯合分布。在其他的雙變量分布中，這個結論並不正確。總之，不論兩個隨機變量的聯合分布是不是正態的，相關係數都對研究它們之間的線性依賴性有幫助。樣本相關係數是對兩個正態分布變量總體相關係數的最大似然估計，並且是漸進無偏和效率 (統計學)的。換言之，如果數據是遵循正態分佈，並且樣本容量不太小，就不可能構造出一個比樣本相關係數更準確的估計。對於非正態的數據，樣本相關係數大致上是無偏的，但有可能是無效的。只要樣本均值、方差和協方差是一致的（當大數定理可以應用的情況下），樣本相關係數是總體相關係數的一致估計。

### 穩健性

與其他常用的統計指標類似，樣本指標r不穩健。因此如果由離群值，這個指標是有誤導性的。特別地，PMCC既不是穩健分布的，也不是異常值穩健的（見穩健統計）。觀察X和Y的散點圖，可以認出是否缺乏穩健性，在這種情況下，採用的聯合的方法是比較明智的。注意到，雖然大多數穩健的估計量，都有某程度的統計依賴，但總括而言，在總體相關係數的尺度上都是可辨的。

基於皮爾遜相關係數的統計推斷，對數據分布敏感。如果數據大致是正態分布的，可以使用精確檢驗和基於費雪變換的漸進檢驗，但是它們可能有誤導性。在一些情況下，自助採樣可以用來構造置信區間。同時，重複抽樣可以應用在假設檢驗中。這些非參數化的方法在某些情況下，如不能保證是雙變量正態分布時，可能得出更有意義的結論。然而，這些方法的標準形式，依賴於數據要可交換隨機變量。這也就意味著要分析的數據沒有順序的和組別之分，否則可能會影響估計相關係數的特性。

分層分析是一種容許缺少雙變量正態性的方法，或者說是用來隔離相互關聯因素的關聯結果。如果W代表聚類成員或者其它需要控制的因素，則可以分離基於W的數據，然後可以再逐層計算相關係數。當控制變量W，便能在層的等級上估計與所有相關係數相關的各自的相關係數。

## 計算加權相關係數

假設我們要計算關聯性的觀測數據有著不同的重要程度，表示成權值向量 w。利用權值向量w (總長度 n)計算向量 x 和 y 的相關係數,

$$\operatorname{m}(x; w) = {\sum_i w_i x_i \over \sum_i w_i}.$$

- 加權協方差

$$\operatorname{cov}(x,y;w) = {\sum_i w_i (x_i - \operatorname{m}(x; w)) (y_i - \operatorname{m}(y; w)) \over \sum_i w_i }.$$

- 加權相關係數

$$\operatorname{corr}(x,y;w) = {\operatorname{cov}(x,y;w) \over \sqrt{\operatorname{cov}(x,x;w) \operatorname{cov}(y,y;w)}}.$$

## 去除相關性

我們總是可以通過一定的線性變換去除隨機變量之間的相關性, 即便變量間的關係是非線性的。Cox & Hinkley給出了在總體相關係數中的表達形式。

與此相應的，樣本相關係數也存在這樣的結論，使得樣本相關係數變為0。假設長度為 n 的隨機變量被隨機採樣 m 次。令 X 是一個矩陣，其中 $X_{i,j}$ 是第i次採樣的第 j個變量。令 $Z_{m,m}$ 是一個所有元素都為1的 m * m 的方陣。那麼 D 是變換後的數據，使得隨機變量的均值為0, 並且 T 是變換後的數據，使得所有的變量均值為0和與除自身外的其他變量的相關係數為0 - T的矩作為身份矩陣。為了得到單位方差，還需要除以標準差。雖然變換後的數據有可能不是獨立的，但他們一定是不相關的。

$$D = X -\frac{1}{m} Z_{m,m} X$$

$$T = D (D^T D)^{-\frac{1}{2}}$$

其中，指數-1/2表示矩陣置換後的矩陣方根。T的協方差被當做身份矩陣。如果新的樣本數據x是n個元素的向量, 那麼相同的變換可以應用到x中以獲得變換向量d和t：

$$d = x - \frac{1}{m} Z_{1,m} X$$

$$t = d (D^T D)^{-\frac{1}{2}}$$

這個去相關性的方法被應用到多變量的主成分分析中。

## 反射相關性

反射相關係數是皮爾遜相關係數的變體，數據並不是以他們的均值為中心。總體反射相關係數是

$$\text{Corr}_r(X,Y) = \frac{E[XY]}{\sqrt{EX^2\cdot EY^2}}.$$

反射相關係數是對稱的, 但在如下的變換中並不是不變的

$$\text{Corr}_r(X, Y) = \text{Corr}_r(Y, X) = \text{Corr}_r(X, bY) \neq \text{Corr}_r(X, a + b Y), \quad a \neq 0, b > 0.$$

樣本反射相關係數是

$$rr_{xy} = \frac{\sum x_i y_i}{\sqrt{(\sum x_i^2)(\sum y_i^2)}}.$$

樣本加權相關係數是

$$rr_{xy, w} = \frac{\sum w_i x_i y_i}{\sqrt{(\sum w_i x_i^2)(\sum w_i y_i^2)}}.$$

## 比例關係

規模的相關性是一個變種的皮爾森相關數據的範圍限制故意以受控的方式揭示時間序列之間的快速成分的相關性。比例相關的定義是在短數據段的平均相關性。

對於給定規模S，令K為可以適應信號的總長度的段數：

$$\mathbf{K}=\mathbf{Sound}\left( \frac{T}{s} \right)$$

比例相關的整個信號的rs的計算公式為

$$\overrightarrow{r_s}=\frac{1}{K}\sum_{k=1}^K r_k$$

rs為k的部分皮爾森相關係數。

通過對參數s的選擇，減少值的範圍和較長的時間尺度上的相關性被過濾掉，只有在很短的時間尺度上的相關性被發現。因此，慢分量的貢獻被刪除，快分量被保留。

## 強噪聲條件下

強噪聲條件下，提取相關係數兩個隨機變量之間的是平凡的，特別是在典型相關分析報告在退化的相關值的情況下，由於存在大量噪聲。一種概括的方法在其他地方給出。

## 外部連結

- 相關係數：使用皮爾森檢定與斯皮爾曼等級檢定的研究問題（中國醫藥大學，生物統計課程）
- 相關係數：資料型態與適用統計方法（中國醫藥大學，生物統計課程）