皮爾遜積矩相關係數

在統計學中，皮爾遜積矩相關係數。命名和歷史.它是由卡爾·皮爾遜從弗朗西斯·高爾頓在1880年代提出的一個相似卻又稍有不同的想法演變而來，並且其數學公式由奧古斯特·布拉菲(Auguste Bravais)於1844年推匯出和發表。係數的命名因此是Stigler名字由來法則的一個例子。這個相關係數也稱作“皮爾森相關係數r”。定義.兩個變數之間的皮爾遜相關係數定義為兩個變數的-{zh-hans:協方差; zh-hant:共變異數; zh-cn:協方差; zh-tw:共變異數; zh-hk:共變異數; zh-sg:協方差}-除以它們標準差的乘積：formula_1上式定義了總體相關係數，常用希臘小寫字母 "ρ" (rho) 作為代表符號。估算樣本的-{zh-hans:協方差; zh-hant:共變異數; zh-cn:協方差; zh-tw:共變異數; zh-hk:共變異數; zh-sg:協方差}-和標準差，可得到樣本相關係數(樣本皮爾遜係數)，常用英文小寫字母 r 表示：formula_2r 亦可由formula_3樣本點的標準分數均值估算，得到與上式等價的表示式：formula_4其中 formula_5、formula_6 及 formula_7 分別是 formula_8 樣本的標準分數、樣本平均值和樣本標準差。數學特性.總體和樣本皮爾遜係數的絕對值小於或等於1。如果樣本資料點精確的落在直線上，或者雙變數分佈完全在直線上，則相關係數等於1或-1。皮爾遜係數是對稱的：corr(X,Y) = corr(Y,X)。皮爾遜相關係數有一個重要的數學特性是，因兩個變數的位置和尺度的變化並不會引起該係數的改變，即它該變化的不變數 (由符號確定)。也就是說，我們如果把X移動到a + bX和把Y移動到c + dY，其中a、b、c和d是常數，並不會改變兩個變數的相關係數。我們發現更一般的線性變換則會改變相關係數：後章節對該特性應用的介紹。由於μX = E(X), σX2 = E[(X − E(X))2] = E(X2) − E2(X)，Y也類似, 並且formula_9故相關係數也可以表示成formula_10對於樣本皮爾遜相關係數:formula_11以上方程給出了計算樣本皮爾遜相關係數簡單的單流程演算法，但是其依賴於涉及到的資料，有時它可能是數值不穩定的。解釋.皮爾遜相關係數的變化範圍為-1到1。係數的值為1意味著"X"和 "Y"可以很好的由直線方程來描述，所有的資料點都很好的落在一條直線上，且 "Y" 隨著 "X" 的增加而增加。係數的值為−1意味著所有的資料點都落在直線上，且 "Y" 隨著 "X" 的增加而減少。係數的值為0意味著兩個變數之間沒有線性關係。更一般的, 我們發現，當且僅當 "X""i" 和 "Y""i" 均落在他們各自的均值的同一側， 則("X""i" − "X")("Y""i" − "Y") 的值為正。 也就是說，如果"X""i" 和 "Y""i" 同時趨向於大於, 或同時趨向於小於他們各自的均值，則相關係數為正。 如果 "X""i" 和 "Y""i" 趨向於落在他們均值的相反一側，則相關係數為負。幾何學角度的解釋.對於沒有進行中心化的資料, 相關係數與兩條可能的迴歸線y=gx(x) 和 x=gy(y) 夾角的餘弦值一致。對於中心化過的資料。一些人 傾向於使用非中心化的相關係數 (non-Pearson-compliant) 。 比較如下。例如，有5個國家的國民生產總值分別為 10, 20, 30, 50 和 80 億美元。 假設這5個國家 (順序相同) 的貧困百分比分別為 11%, 12%, 13%, 15%, 和 18% 。 令 x 和 y 分別等於包含上述5個數據的向量: x = (1, 2, 3, 5, 8) 和 y = (0.11, 0.12, 0.13, 0.15, 0.18)。利用通常的方法計算兩個向量之間的夾角 formula_12 (數量積), "未中心化" 的相關係數是:formula_14我們發現以上的資料特意選定為完全相關: "y" = 0.10 + 0.01 "x"。 於是，皮爾遜相關係數應該等於1。將資料中心化 (透過E(x) = 3.8移動 x 和透過 E(y) = 0.138 移動 y ) 得到 x = (−2.8, −1.8, −0.8, 1.2, 4.2) 和 y = (−0.028, −0.018, −0.008, 0.012, 0.042), 從中，formula_15對相關係數大小的解釋.一些著作的作者 給出了某些解釋相關係數的指南。 然而, 所有這些標準從某種意義上說是武斷的和不嚴格的。 對相關係數的解釋是依賴於具體的應用背景和目的的。 例如，若是在運用高效能的儀器來驗證一個物理定律實驗這樣的應用背景下，0.9的相關係數可能是很低的。但如果是應用在社會科學中，由於社會科學受到各種複雜多變因素影響，0.9的相關係數是相當高的。皮爾遜距離."皮爾遜距離"度量的是兩個變數X和Y，它可以根據皮爾遜係數定義成formula_16我們可以發現，皮爾遜係數落在formula_17，而皮爾遜距離落在formula_18。統計推斷：顯著性檢驗與置信區間.基於皮爾遜相關係數的統計推斷通常關注以下兩個目標。隨機取樣方法.提供了一種假設檢驗和構造置信區間的直接方法。對皮爾遜相關係數的顯著性檢驗包括以下兩個步驟：為了完成顯著性檢驗，需要多次重複步驟(i)和(ii) 。顯著性檢驗的P值是由測試資料除以步驟得到的"r"，其中"r"大於由原始資料計算出的皮爾遜相關係數。在這裡“大”可能是絕對值比較大或者是數值比較大，這取決於測試使用的是或者是。自助抽樣法.自助抽樣法可以被用來構造皮爾遜係數的置信區間。在"非引數"的自助抽樣法中，“可重複”地從觀測資料集"n"中重新取樣"n" 對的 ("x""i", "y""i") 資料，用來計算相關係數"r"。這個過程重複了大量次數,。重新取樣後資料的 "r"值的分佈被用來估計統計學上的。"ρ"的95%的置信區間可以被定義成重新取樣樣本 "r"值的%2.5到%97.5之間。基於數學近似的方法.對於近似高斯分佈的資料，皮爾遜相關係數的近似於自由度為"N" − 2的t分佈。特別地，如果兩個變數服從雙變數正態分佈，變數formula_19也會服從不相關的t分佈。 如果樣本容量不是特別小，這個結論也大致成立，即便觀測資料不是正態分佈的。如果需要構建置信區間和進行有力的分析，還需要採用如下的可逆變換formula_20或者，也可以採用大量取樣資料的方法。早期對樣本相關係數的研究得益於R. A. Fisher和A. K. Gayen.的工作。另一篇早期的論文 給出了在小樣本的情況下總體相關係數 "ρ"的圖表, 並討論了相關的計算方法。準確服從高斯分佈的資料.準確的雙變數樣本相關係數的分佈是formula_21其中 formula_22是伽瑪函式，formula_23 是高斯超幾何函式。注意到 formula_24, 因此 "r" 是formula_25的一個有偏估計。一種獲得無偏估計的方法是解formula_25的方程 formula_27 。 然而，解 formula_28是次優的。 一種無偏估計, 可以從 "n"較大情況下的最小方差和有偏序列 formula_29, 透過最大化 formula_30, 也就是formula_31獲得。特殊情況下，當 formula_32時，分佈可以被寫成formula_33其中 formula_34是貝塔函式。費雪轉換.實際應用中, 與ρ相關的置信區間和假設檢驗通常是透過費雪轉換獲得formula_35如果"F"("r")是"r"的費雪轉換，"n" 是樣本容量，那麼"F"("r")近似服從正態分佈formula_36    and standard error    formula_37也就是Z-分數是formula_38對formula_39 進行零假設，可以設想樣本資料對是獨立同分布並且服從雙變數正態分佈。因此P值估計可以從正態分佈機率表中獲得。比如，如果觀測資料 "z" = 2.2，並且要用雙尾p值對 formula_40進行零假設檢驗，p值是 2·Φ(−2.2) = 0.028， 其中"Φ"是正態分佈的累積分佈函式。置信區間.為了獲得"ρ"的置信區間，首先，我們應該計算 "F"("formula_41")的置信區間：formula_42透過可逆Fisher變換可以獲得相關尺度上的區間。formula_43舉例來說，假設我們觀測到 "r" = 0.3，樣本容量 "n"=50，並且我們期望獲得"ρ"的95%的置信區間。變換後的值是artanh("r") = 0.30952，所以在變換尺度上的置信區間是 0.30952 ± 1.96/√47，或者 (0.023624, 0.595415)。變換回相關尺度上是 (0.024, 0.534)。皮爾遜相關係數和最小方差迴歸分析.樣本相關係數的平方，亦稱作決定係數，利用簡單線性迴歸估計由"X"引起的"Y"的變化。一開始，"Y""i"圍繞它們平均值上的變化可以分解成formula_44其中 formula_45 是作迴歸分析時的適應值。 整理後得formula_46兩個被加數是由"X" (右邊）引起的"Y"的變化和不是由"X"引起的變化。接下來, 我們利用最小方差迴歸模型, 使 formula_45 和 formula_48 的樣本協方差為0。 於是, 觀測資料和適應值的樣本相關係數可以被寫成formula_49於是formula_50是由"X"的線性方程引起的"Y"的平均變化。資料分佈的敏感度.存在性.總體皮爾遜相關係數被定義成 矩，因此任意的雙變數機率分佈是非零的，也就是說是由總體協方差和邊緣總體方差定義的。一些機率分佈，如柯西分佈的方差未定義，因此若"X"或"Y"服從這種分佈，ρ便是未定義的。在實際應用中，若有懷疑資料服從重尾分佈，就需要重視這個條件。然而，相關係數的存在性通常無關緊要，例如若分佈有界，則ρ必有意義。大樣本的特性.在雙變數正態分佈的案例中，只要邊緣均值和方差是已知的，總體相關係數描述的是便是聯合分佈。在其他的雙變數分佈中，這個結論並不正確。總之，不論兩個隨機變數的聯合分佈是不是正態的，相關係數都對研究它們之間的線性依賴性有幫助。樣本相關係數是對兩個正態分佈變數總體相關係數的最大似然估計，並且是漸進無偏和#重定向穩健性.與其他常用的統計指標類似，樣本指標"r"不穩健 。因此如果由離群值，這個指標是有誤導性的。特別地，PMCC既不是穩健分佈的，也不是異常值穩健的 。觀察"X"和"Y"的散點圖，可以認出是否缺乏穩健性，在這種情況下，採用的聯合的方法是比較明智的。注意到，雖然大多數穩健的估計量，都有某程度的統計依賴，但總括而言，在總體相關係數的尺度上都是可辨的。基於皮爾遜相關係數的統計推斷，對資料分佈敏感。如果資料大致是正態分佈的，可以使用精確檢驗和基於費雪變換的漸進檢驗，但是它們可能有誤導性。在一些情況下，自助取樣可以用來構造置信區間。同時，重複抽樣可以應用在假設檢驗中。這些非引數化的方法在某些情況下，如不能保證是雙變數正態分佈時，可能得出更有意義的結論。然而，這些方法的標準形式，依賴於資料要。這也就意味著要分析的資料沒有順序的和組別之分，否則可能會影響估計相關係數的特性。分層分析是一種容許缺少雙變數正態性的方法，或者說是用來隔離相互關聯因素的關聯結果。如果"W"代表聚類成員或者其它需要控制的因素，則可以分離基於"W"的資料，然後可以再逐層計算相關係數。當控制變數"W"，便能在層的等級上估計與所有相關係數相關的各自的相關係數。計算加權相關係數.假設我們要計算關聯性的觀測資料有著不同的重要程度，表示成權值向量 "w"。 利用權值向量"w" (總長度 "n")計算向量 "x" 和 "y" 的相關係數,formula_51formula_52formula_53去除相關性.我們總是可以透過一定的線性變換去除隨機變數之間的相關性, 即便變數間的關係是非線性的。 Cox &amp; Hinkley給出了在總體相關係數中的表達形式。與此相應的，樣本相關係數也存在這樣的結論，使得樣本相關係數變為0。假設長度為 "n" 的隨機變數被隨機取樣 "m" 次。 令 "X" 是一個矩陣，其中 formula_54 是第"i"次取樣的第 "j"個變數。 令 formula_55 是一個所有元素都為1的 "m" * "m" 的方陣。 那麼 "D" 是變換後的資料，使得隨機變數的均值為0, 並且 "T" 是變換後的資料，使得所有的變數均值為0和與除自身外的其他變數的相關係數為0 - "T"的矩作為身份矩陣。 為了得到單位方差，還需要除以標準差。 雖然變換後的資料有可能不是獨立的，但他們一定是不相關的。formula_56formula_57其中，指數-1/2表示矩陣置換後的矩陣方根。T的協方差被當做身份矩陣。如果新的樣本資料x是n個元素的向量, 那麼相同的變換可以應用到x中以獲得變換向量d和t：formula_58formula_59這個去相關性的方法被應用到多變數的主成分分析中。反射相關性.反射相關係數是皮爾遜相關係數的變體，資料並不是以他們的均值為中心。總體反射相關係數是formula_60反射相關係數是對稱的, 但在如下的變換中並不是不變的formula_61樣本反射相關係數是formula_62樣本加權相關係數是formula_63比例關係.規模的相關性是一個變種的皮爾森相關資料的範圍限制故意以受控的方式揭示時間序列之間的快速成分的相關性。比例相關的定義是在短資料段的平均相關性。對於給定規模S，令K為可以適應訊號的總長度的段數：formula_64比例相關的整個訊號的rs的計算公式為formula_65rs為k的部分皮爾森相關係數。透過對引數s的選擇，減少值的範圍和較長的時間尺度上的相關性被過濾掉，只有在很短的時間尺度上的相關性被發現。因此，慢分量的貢獻被刪除，快分量被保留。強噪聲條件下.強噪聲條件下，提取相關係數兩個隨機變數之間的是平凡的，特別是在典型相關分析報告在退化的相關值的情況下，由於存在大量噪聲。一種概括的方法在其他地方給出。