皮爾遜積矩相關係數

在統計學中，皮爾遜積矩相關係數（Pearson product-moment correlation coefficient，縮寫：PPMCC，或 PCCs，有時簡稱相關係數）用於度量兩組資料的變數 X 和 Y 之間的線性相關的程度。它是兩個變數的協方差與其標準差的乘積之比； 因此，它本質上是協方差的歸一化度量，因此結果始終具有介於 - 1 和 1 之間的值。與協方差本身一樣，該度量只能反映變數的線性相關性，而忽略了許多其他型別的關係或相關性。舉個簡單的例子，可以預期高中青少年樣本的年齡和身高的皮爾遜積矩相關係數顯著大於 0，但小於 1（因為 1 表示不切實際的完美相關性）。

命名和歷史

它是由卡爾・皮爾遜從弗朗西斯・高爾頓在 1880 年代提出的一個相似卻又稍有不同的想法演變而來，並且其數學公式由奧古斯特・布拉菲 (Auguste Bravais) 於 1844 年推匯出和發表 In the "Appendix" on page 532, Galton uses the term "reversion" and the symbol r.}}。係數的命名因此是史蒂格勒名字由來法則的一個例子。

這個相關係數也稱作 “皮爾森相關係數 r”。

定義

兩個變數之間的皮爾遜相關係數定義為兩個變數的協方差除以它們標準差的乘積：

上式定義了總體相關係數，常用希臘小寫字母 ρ (rho) 作為代表符號。估算樣本的協方差和標準差，可得到樣本相關係數 (樣本皮爾遜係數)，常用英文小寫字母 r 表示：

r 亦可由樣本點的標準分數均值估算，得到與上式等價的表示式：

其中 、 及 分別是 樣本的標準分數、樣本平均值和樣本標準差。

數學特性

總體和樣本皮爾遜係數的絕對值小於或等於 1。如果樣本資料點精確的落在直線上，或者雙變數分佈完全在直線上（計算總體皮爾遜係數的情況），則相關係數等於 1 或 - 1。皮爾遜係數是對稱的：corr (X,Y)=corr (Y,X)。

皮爾遜相關係數有一個重要的數學特性是，因兩個變數的位置和尺度的變化並不會引起該係數的改變，即它該變化的不變數 (由符號確定)。也就是說，我們如果把 X 移動到 a+bX 和把 Y 移動到 c+dY，其中 a、b、c 和 d 是常數，並不會改變兩個變數的相關係數。我們發現更一般的線性變換則會改變相關係數：參見之後章節對該特性應用的介紹。

由於 μX = E (X), σX2 = E (X−E (X)) 2 =E (X2)−E2 (X)，Y 也類似，並且

故相關係數也可以表示成

對於樣本皮爾遜相關係數:

以上方程給出了計算樣本皮爾遜相關係數簡單的單流程演算法，但是其依賴於涉及到的資料，有時它可能是數值不穩定的。

解釋

皮爾遜相關係數的變化範圍為 - 1 到 1。係數的值為 1 意味著 X 和 Y 可以很好的由直線方程來描述，所有的資料點都很好的落在一條直線上，且 Y 隨著 X 的增加而增加。係數的值為−1 意味著所有的資料點都落在直線上，且 Y 隨著 X 的增加而減少。係數的值為 0 意味著兩個變數之間沒有線性關係。

更一般的，我們發現，當且僅當 Xi 和 Yi 均落在他們各自的均值的同一側， 則 (Xi−X)(Yi−Y) 的值為正。 也就是說，如果 Xi 和 Yi 同時趨向於大於，或同時趨向於小於他們各自的均值，則相關係數為正。 如果 Xi 和 Yi 趨向於落在他們均值的相反一側，則相關係數為負。

4.1 幾何學角度的解釋

對於沒有進行中心化的資料，相關係數與兩條可能的迴歸線 y=gx (x) 和 x=gy (y) 夾角的餘弦值一致。

對於中心化過的資料（也就是說，資料移動一個樣本平均值以使其均值為 0），相關係數也可以被視作由兩個隨機變數向量夾角 的餘弦值（見下方）。

從一個數據集中可以確定出非中心化的相關係數 (non-Pearson-compliant) 和中心化的相關係數二者。例如，有 5 個國家的國民生產總值分別為 10, 20, 30, 50 和 80 億美元。 假設這 5 個國家 (順序相同) 的貧困百分比分別為 11%, 12%, 13%, 15%, 和 18% 。 令 x 和 y 分別等於包含上述 5 個數據的向量: x = (1, 2, 3, 5, 8) 和 y = (0.11, 0.12, 0.13, 0.15, 0.18)。

利用通常的方法計算兩個向量之間的夾角 (參見 數量積), 未中心化 的相關係數是:

我們發現以上的資料特意選定為完全相關: y = 0.10 + 0.01 x。 於是，皮爾遜相關係數應該等於 1。將資料中心化 (透過 E (x) = 3.8 移動 x 和透過 E (y) = 0.138 移動 y ) 得到 x = (−2.8, −1.8, −0.8, 1.2, 4.2) 和 y = (−0.028, −0.018, −0.008, 0.012, 0.042), 從中，

4.2 對相關係數大小的解釋

一些著作的作者 給出了某些解釋相關係數的指南。 然而，所有這些標準從某種意義上說是武斷的和不嚴格的。 對相關係數的解釋是依賴於具體的應用背景和目的的。 例如，若是在運用高效能的儀器來驗證一個物理定律實驗這樣的應用背景下，0.9 的相關係數可能是很低的。但如果是應用在社會科學中，由於社會科學受到各種複雜多變因素影響，0.9 的相關係數是相當高的。

4.3 皮爾遜距離

皮爾遜距離度量的是兩個變數 X 和 Y，它可以根據皮爾遜係數定義成

我們可以發現，皮爾遜係數落在，而皮爾遜距離落在。

統計推斷：顯著性檢驗與置信區間

基於皮爾遜相關係數的統計推斷通常關注以下兩個目標。

驗證零假設是否為真，即相關係數 ρ 是否等於 0, 該相關係數使用的是樣本相關係數 r。
在給定的置信水平 α 之下，構建一個圍繞 r 的置信區間。

5.1 隨機取樣方法

提供了一種假設檢驗和構造置信區間的直接方法。

對皮爾遜相關係數的顯著性檢驗包括以下兩個步驟：

隨機地將原始的資料對 (xi,yi) 重新定義成資料集 (xi,yi′), 其中 i′ 表示數列 {1,...,n}。 數列 i′ 的選取是隨機的，以相同的機率落在 n! 種可能的數列中。這等價於隨機地 "不可重複地" 從數列 {1,..., n} 中選取 i′。一種相近的且合乎情理的方法（自助抽樣法）是 “可重複地” 從數列 {1,..., n} 中選取 i 和 i′
由隨機資料構造相關係數 r。

為了完成顯著性檢驗，需要多次重複步驟 (i) 和 (ii) 。顯著性檢驗的 P 值是由測試資料除以步驟（ii）得到的 r，其中 r 大於由原始資料計算出的皮爾遜相關係數。在這裡 “大” 可能是絕對值比較大或者是數值比較大，這取決於測試使用的是或者是。

5.2 自助抽樣法

自助抽樣法可以被用來構造皮爾遜係數的置信區間。在 "非引數" 的自助抽樣法中，“可重複” 地從觀測資料集 n 中重新取樣 n 對的 (xi,yi) 資料，用來計算相關係數 r。這個過程重複了大量次數，。重新取樣後資料的 r 值的分佈被用來估計統計學上的。ρ 的 95% 的置信區間可以被定義成重新取樣樣本 r 值的 %2.5 到 %97.5 之間。

5.3 基於數學近似的方法

對於近似高斯分佈的資料，皮爾遜相關係數的近似於自由度為 N−2 的 t 分佈。特別地，如果兩個變數服從雙變數正態分佈，變數

也會服從不相關的 t 分佈。 如果樣本容量不是特別小，這個結論也大致成立，即便觀測資料不是正態分佈的。如果需要構建置信區間和進行有力的分析，還需要採用如下的可逆變換

或者，也可以採用大量取樣資料的方法。

早期對樣本相關係數的研究得益於 R. A. Fisher 和 A. K. Gayen. 的工作。

另一篇早期的論文 給出了在小樣本的情況下總體相關係數 ρ 的圖表，並討論了相關的計算方法。

5.4 準確服從高斯分佈的資料

準確的雙變數樣本相關係數的分佈是

其中 是伽瑪函式， 是高斯超幾何函式。

注意到，因此 r 是的一個有偏估計。一種獲得無偏估計的方法是解的方程 。 然而，解 是次優的。 一種無偏估計，可以從 n 較大情況下的最小方差和有偏序列，透過最大化，也就是獲得。

特殊情況下，當 時，分佈可以被寫成

其中 是貝塔函式。

5.5 費雪轉換

實際應用中，與 ρ 相關的置信區間和假設檢驗通常是透過費雪轉換獲得

如果 F (r) 是 r 的費雪轉換，n 是樣本容量，那麼 F (r) 近似服從正態分佈

and standard error

也就是 Z - 分數是

對 進行零假設，可以設想樣本資料對是獨立同分布並且服從雙變數正態分佈。因此 P 值估計可以從正態分佈機率表中獲得。比如，如果觀測資料 z=2.2，並且要用雙尾 p 值對 進行零假設檢驗，p 值是 2・Φ(−2.2) = 0.028， 其中 Φ 是正態分佈的累積分佈函式。

5.6 置信區間

為了獲得 ρ 的置信區間，首先，我們應該計算 F 的置信區間：

透過可逆 Fisher 變換可以獲得相關尺度上的區間。

舉例來說，假設我們觀測到 r=0.3，樣本容量 n=50，並且我們期望獲得 ρ 的 95% 的置信區間。變換後的值是 artanh (r)=0.30952，所以在變換尺度上的置信區間是 0.30952 ± 1.96/√47，或者 (0.023624,0.595415)。變換回相關尺度上是 (0.024,0.534)。

皮爾遜相關係數和最小方差迴歸分析

樣本相關係數的平方，亦稱作決定係數，利用簡單線性迴歸估計由 X 引起的 Y 的變化。一開始，Yi 圍繞它們平均值上的變化可以分解成

其中 是作迴歸分析時的適應值。 整理後得

兩個被加數是由 X (右邊）引起的 Y 的變化和不是由 X（左邊）引起的變化。

接下來，我們利用最小方差迴歸模型，使 和 的樣本協方差為 0。 於是，觀測資料和適應值的樣本相關係數可以被寫成

於是

是由 X 的線性方程引起的 Y 的平均變化。

資料分佈的敏感度

7.1 存在性

總體皮爾遜相關係數被定義成 矩，因此任意的雙變數機率分佈是非零的，也就是說是由總體協方差和邊緣總體方差定義的。一些機率分佈，如柯西分佈的方差未定義，因此若 X 或 Y 服從這種分佈，ρ 便是未定義的。在實際應用中，若有懷疑資料服從重尾分佈，就需要重視這個條件。然而，相關係數的存在性通常無關緊要，例如若分佈有界，則 ρ 必有意義。

7.2 大樣本的特性

在雙變數正態分佈的案例中，只要邊緣均值和方差是已知的，總體相關係數描述的是便是聯合分佈。在其他的雙變數分佈中，這個結論並不正確。總之，不論兩個隨機變數的聯合分佈是不是正態的，相關係數都對研究它們之間的線性依賴性有幫助。樣本相關係數是對兩個正態分佈變數總體相關係數的最大似然估計，並且是漸進無偏和的。換言之，如果資料是遵循正態分佈，並且樣本容量不太小，就不可能構造出一個比樣本相關係數更準確的估計。對於非正態的資料，樣本相關係數大致上是無偏的，但有可能是無效的。只要樣本均值、方差和協方差是一致的（當大數定理可以應用的情況下），樣本相關係數是總體相關係數的一致估計 。

7.3 穩健性

與其他常用的統計指標類似，樣本指標 r 不穩健 。因此如果由離群值，這個指標是有誤導性的。特別地，PMCC 既不是穩健分佈的，也不是異常值穩健的 （見穩健統計）。觀察 X 和 Y 的散點圖，可以認出是否缺乏穩健性，在這種情況下，採用的聯合的方法是比較明智的。注意到，雖然大多數穩健的估計量，都有某程度的統計依賴，但總括而言，在總體相關係數的尺度上都是可辨的。

基於皮爾遜相關係數的統計推斷，對資料分佈敏感。如果資料大致是正態分佈的，可以使用精確檢驗和基於費雪變換的漸進檢驗，但是它們可能有誤導性。在一些情況下，自助取樣可以用來構造置信區間。同時，重複抽樣可以應用在假設檢驗中。這些非引數化的方法在某些情況下，如不能保證是雙變數正態分佈時，可能得出更有意義的結論。然而，這些方法的標準形式，依賴於資料要。這也就意味著要分析的資料沒有順序的和組別之分，否則可能會影響估計相關係數的特性。

分層分析是一種容許缺少雙變數正態性的方法，或者說是用來隔離相互關聯因素的關聯結果。如果 W 代表聚類成員或者其它需要控制的因素，則可以分離基於 W 的資料，然後可以再逐層計算相關係數。當控制變數 W，便能在層的等級上估計與所有相關係數相關的各自的相關係數。

計算加權相關係數

假設我們要計算關聯性的觀測資料有著不同的重要程度，表示成權值向量 w。 利用權值向量 w (總長度 n) 計算向量 x 和 y 的相關係數，* 加權均值:

:

加權協方差

:

加權相關係數

:

去除相關性

我們總是可以透過一定的線性變換去除隨機變數之間的相關性，即便變數間的關係是非線性的。 Cox & Hinkley 給出了在總體相關係數中的表達形式。

與此相應的，樣本相關係數也存在這樣的結論，使得樣本相關係數變為 0。假設長度為 n 的隨機變數被隨機取樣 m 次。 令 X 是一個矩陣，其中 是第 i 次取樣的第 j 個變數。 令 是一個所有元素都為 1 的 m * m 的方陣。 那麼 D 是變換後的資料，使得隨機變數的均值為 0, 並且 T 是變換後的資料，使得所有的變數均值為 0 和與除自身外的其他變數的相關係數為 0 - T 的矩作為身份矩陣。 為了得到單位方差，還需要除以標準差。 雖然變換後的資料有可能不是獨立的，但他們一定是不相關的。

其中，指數 - 1/2 表示矩陣置換後的矩陣方根。T 的協方差被當做身份矩陣。如果新的樣本資料 x 是 n 個元素的向量，那麼相同的變換可以應用到 x 中以獲得變換向量 d 和 t：

這個去相關性的方法被應用到多變數的主成分分析中。

反射相關性

反射相關係數是皮爾遜相關係數的變體，資料並不是以他們的均值為中心。總體反射相關係數是

反射相關係數是對稱的，但在如下的變換中並不是不變的

樣本反射相關係數是

樣本加權相關係數是

比例關係

規模的相關性是一個變種的皮爾森相關資料的範圍限制故意以受控的方式揭示時間序列之間的快速成分的相關性。比例相關的定義是在短資料段的平均相關性。

對於給定規模 S，令 K 為可以適應訊號的總長度的段數：

比例相關的整個訊號的 rs 的計算公式為

rs 為 k 的部分皮爾森相關係數。

透過對引數 s 的選擇，減少值的範圍和較長的時間尺度上的相關性被過濾掉，只有在很短的時間尺度上的相關性被發現。因此，慢分量的貢獻被刪除，快分量被保留。

強噪聲條件下

強噪聲條件下，提取相關係數兩個隨機變數之間的是平凡的，特別是在典型相關分析報告在退化的相關值的情況下，由於存在大量噪聲。一種概括的方法在其他地方給出。