皮尔逊积矩相关系数
在统计学中，皮尔逊积矩相关系数（，缩写PPMCC或PCCs）用于度量两个变量X和Y之间的相關程度（线性相关），其值介于-1与1之间。在自然科学领域中，该系数广泛用于度量两个变量之间的线性相关程度。它是由卡尔·皮尔逊从弗朗西斯·高尔顿在19世纪80年代提出的一个相似却又稍有不同的想法演变而来。这个相关系数也称作“皮尔森相关系数r”。
两个变量之间的皮尔逊相关系数定义为两个变量的-{zh-hans:协方差; zh-hant:共變異數; zh-cn:协方差; zh-tw:共變異數; zh-hk:共變異數; zh-sg:协方差}-除以它们标准差的乘积：
上式定义了总体相关系数，常用希腊小寫字母 "ρ" (rho) 作為代表符號。估算样本的-{zh-hans:协方差; zh-hant:共變異數; zh-cn:协方差; zh-tw:共變異數; zh-hk:共變異數; zh-sg:协方差}-和标准差，可得到样本相关系数(样本皮尔逊系数)，常用英文小寫字母 r 表示：
r 亦可由formula_3样本点的標準分數均值估算，得到與上式等價的表達式：
其中 formula_5、formula_6 及 formula_7 分别是 formula_8 样本的標準分數、样本平均值和样本标准差。
总体和样本皮尔逊系数的绝对值小于或等于1。如果样本数据点精确的落在直线上，或者双变量分布完全在直线上（计算总体皮尔逊系数的情况），则相关系数等于1或-1。皮尔逊系数是对称的：corr(X,Y) = corr(Y,X)。
皮尔逊相关系数有一个重要的数学特性是，因两个变量的位置和尺度的变化并不会引起该系数的改变，即它该变化的不变量 (由符号确定)。也就是说，我们如果把X移动到a + bX和把Y移动到c + dY，其中a、b、c和d是常数，并不会改变两个变量的相关系数。我们发现更一般的线性变换则会改变相关系数：参见之后章节对该特性应用的介绍。
由于μ = E(X), σ = E[(X − E(X))] = E(X) − E(X)，Y也类似, 并且
故相关系数也可以表示成
对于样本皮尔逊相关系数:
以上方程给出了计算样本皮尔逊相关系数简单的单流程算法，但是其依赖于涉及到的数据，有时它可能是数值不稳定的。
皮尔逊相关系数的变化范围为-1到1。 系数的值为1意味着"X" 和 "Y"可以很好的由直线方程来描述，所有的数据点都很好的落在一条 直线上，且 "Y" 随着 "X" 的增加而增加。系数的值为−1意味着所有的数据点都落在直线上，且 "Y" 随着 "X" 的增加而减少。系数的值为0意味着两个变量之间没有线性关系。
更一般的, 我们发现，当且仅当 "X" and "Y" 均落在他们各自的均值的同一侧， 则("X" − "X")("Y" − "Y") 的值为正。 也就是说，如果"X" 和 "Y" 同时趋向于大于, 或同时趋向于小于他们各自的均值，则相关系数为正。 如果 "X" 和 "Y" 趋向于落在他们均值的相反一侧，则相关系数为负。
对于没有进行中心化的数据, 相关系数与两条可能的回归线y=g(x) 和 x=g(y) 夹角的余弦值一致。
对于中心化过的数据 (也就是说, 数据移动一个样本平均值以使其均值为0), 相关系数也可以被视作由两个随机变量向量夹角formula_12 的余弦值（见下方）。
一些人 倾向于使用非中心化的相关系数 (non-Pearson-compliant) 。 比较如下。
例如，有5个国家的国民生产总值分别为 10, 20, 30, 50 和 80 亿美元。 假设这5个国家 (顺序相同) 的贫困百分比分别为 11%, 12%, 13%, 15%, 和 18% 。 令 x 和 y 分别等于包含上述5个数据的向量: x = (1, 2, 3, 5, 8) 和 y = (0.11, 0.12, 0.13, 0.15, 0.18)。
利用通常的方法计算两个向量之间的夹角 formula_12 (参见 数量积), "未中心化" 的相关系数是:
我们发现以上的数据特意选定为完全相关: "y" = 0.10 + 0.01 "x"。 于是，皮尔逊相关系数应该等于1。将数据中心化 (通过E(x) = 3.8移动 x 和通过 E(y) = 0.138 移动 y ) 得到 x = (−2.8, −1.8, −0.8, 1.2, 4.2) 和 y = (−0.028, −0.018, −0.008, 0.012, 0.042), 从中，
一些著作的作者 给出了某些解释相关系数的指南。 然而, 所有这些标准从某种意义上说是武断的和不严格的。 对相关系数的解释是依赖于具体的应用背景和目的的。 例如，若是在运用高性能的仪器来验证一个物理定律实验这样的应用背景下，0.9的相关系数可能是很低的。但如果是应用在社会科学中，由于社会科学受到各种复杂多变因素影响，0.9的相关系数是相当高的。
"皮尔逊距离"度量的是两个变量X和Y，它可以根据皮尔逊系数定义成 我们可以发现，皮尔逊系数落在formula_17，而皮尔逊距离落在formula_18。
基于皮尔逊相关系数的统计推断通常关注以下两个目标。
提供了一种假设检验和构造置信区间的直接方法。
对皮尔逊相关系数的显著性检验包括以下两个步骤：
为了完成显著性检验，需要多次重复步骤(i)和(ii) 。显著性检验的P值是由测试数据除以步骤（ii）得到的"r"，其中"r"大于由原始数据计算出的皮尔逊相关系数。在这里“大”可能是绝对值比较大或者是数值比较大，这取决于测试使用的是或者是。
自助抽样法可以被用来构造皮尔逊系数的置信区间。在"非参数"的自助抽样法中，“可重复”地从观测数据集"n"中重新采样"n" 对的 ("x", "y") 数据，用来计算相关系数"r"。这个过程重复了大量次数,。重新采样后数据的 "r"值的分布被用来估计统计学上的。"ρ"的95%的置信区间可以被定义成重新采样样本 "r"值的%2.5到%97.5之间。
对于近似高斯分布的数据，皮尔逊相关系数的近似於自由度为"N" − 2的t分布。特别地，如果两个变量服从双变量正态分布，变量
也會服从不相关的t分布。 如果样本容量不是特别小，这个结论也大致成立，即便观测数据不是正态分布的。如果需要构建置信区间和进行有力的分析，还需要采用如下的可逆变换
或者，也可以采用大量采样数据的方法。
早期对样本相关系数的研究得益于R. A. Fisher和A. K. Gayen.的工作。 另一篇早期的论文 给出了在小样本的情况下总体相关系数 "ρ"的图表, 并讨论了相关的计算方法。
准确的双变量样本相关系数的分布是
其中 formula_22是伽玛函数，formula_23 是高斯超几何函数。
注意到 formula_24, 因此 "r" 是formula_25的一个有偏估计。一种获得无偏估计的方法是解formula_25的方程 formula_27 。 然而，解 formula_28是次优的。 一种无偏估计, 可以从 "n"较大情况下的最小方差和有偏序列 formula_29, 通过最大化 formula_30, 也就是formula_31获得。
特殊情况下，当 formula_32时，分布可以被写成 其中 formula_34是贝塔函数。
实际应用中, 与ρ相关的置信区间和假设检验通常是通过費雪轉換获得
如果"F"("r")是"r"的費雪轉換，"n" 是样本容量，那么"F"("r")近似服从正态分布
也就是Z-分數是
对formula_39 进行零假设，可以设想样本数据对是独立同分布并且服从双变量正态分布。因此P值估计可以从正态分布概率表中获得。比如，如果观测数据 "z" = 2.2，并且要用双边p值对 formula_40进行零假设检验，p值是 2·Φ(−2.2) = 0.028， 其中"Φ"是正态分布的累积分布函数。
为了获得"ρ"的置信区间，首先，我们应该计算 "F"("formula_41")的置信区间：
通过可逆Fisher变换可以获得相关尺度上的区间。
举例来说，假设我们观测到 "r" = 0.3，样本容量 "n"=50，并且我们期望获得"ρ"的95%的置信区间。变换后的值是artanh("r") = 0.30952，所以在变换尺度上的置信区间是 0.30952 ± 1.96/√47，或者 (0.023624, 0.595415)。变换回相关尺度上是 (0.024, 0.534)。
样本相关系数的平方，亦称作决定系数, 利用简单线性回归估计由"X"引起的 "Y"的变化。 一开始, "Y" 围绕它们平均值上的变化可以分解成
其中 formula_45 是作回归分析时的适应值。 整理后得
两个被加数是由"X" (右边)引起的"Y"的变化和不是由"X" (左边) 引起的变化。
接下来, 我们利用最小方差回归模型, 使 formula_45 和 formula_48 的样本协方差为0。 于是, 观测数据和适应值的样本相关系数可以被写成
formula_49
于是
是由"X"的线性方程引起的 "Y" 的平均变化。
总体皮尔逊相关系数被定义成 矩，因此任意的双变量概率分布是非零的，也就是说是由总体协方差和边缘总体方差定义的。一些概率分布，如柯西分布的方差未定义，因此若"X"或"Y"服从这种分布，ρ便是未定义的。在实际应用中，若有懷疑数据服从重尾分布，就需要重视這个条件。然而，相关系数的存在性通常無關緊要，例如若分布有界，則ρ必有意义。
在双变量正态分布的案例中，只要边缘均值和方差是已知的，总体相关系数描述的是便是联合分布。在其他的双变量分布中，这个结论并不正确。总之，不论两个随机变量的联合分布是不是正态的，相关系数都對研究它们之间的线性依赖性有帮助。样本相关系数是对两个正态分布变量总体相关系数的最大似然估计，并且是渐进无偏和的。換言之，如果数据是遵循正态分佈，并且样本容量不太小，就不可能构造出一个比样本相关系数更准确的估计。对于非正态的数据，样本相关系数大致上是无偏的，但有可能是无效的。只要样本均值、方差和协方差是一致的（当大数定理可以应用的情况下），样本相关系数是总体相关系数的一致估计 。
与其他常用的统计指标類似，样本指标"r"不 。因此如果由，这个指标是有误导性的。特别地，PMCC既不是稳健分布的，也不是异常值稳健的 （見）。观察"X"和"Y"的散点图，可以認出是否缺乏稳健性，在这种情况下，采用的联合的方法是比较明智的。注意到，虽然大多数稳健的估计量，都有某程度的统计依赖，但总括而言，在总体相关系数的尺度上都是可辨的。
基于皮尔逊相关系数的统计推断，对数据分布敏感。如果数据大致是正态分布的，可以使用精确检验和基于费雪变换的渐进检验，但是它们可能有误导性。在一些情况下，自助采样可以用来构造置信区间。同时，重复抽样可以应用在假设检验中。这些非参数化的方法在某些情况下，如不能保证是双变量正态分布时，可能得出更有意义的结论。然而，这些方法的标准形式，依赖于数据要。这也就意味着要分析的数据没有顺序的和组别之分，否則可能会影响估计相关系数的特性。
分层分析是一种容许缺少双变量正态性的方法，或者说是用来隔离相互关联因素的关联结果。如果"W"代表聚类成员或者其它需要控制的因素，則可以分离基于"W"的数据，然后可以再逐层计算相关系数。当控制变量"W"，便能在层的等级上估计与所有相关系数相关的各自的相关系数。
假设我们要计算关联性的观测数据有着不同的重要程度，表示成权值向量 "w"。 利用权值向量"w" (总长度 "n")计算向量 "x" 和 "y" 的相关系数,
我们总是可以通过一定的线性变换去除随机变量之间的相关性, 即便变量间的关系是非线性的。 Cox & Hinkley给出了在总体相关系数中的表达形式。
与此相应的，样本相关系数也存在这样的结论，使得样本相关系数变为0。假设长度为 "n" 的随机变量被随机采样 "m" 次。 令 "X" 是一个矩阵，其中 formula_54 是第"i"次采样的第 "j"个变量。 令 formula_55 是一个所有元素都为1的 "m" * "m" 的方阵。 那么 "D" 是变换后的数据，使得随机变量的均值为0, 并且 "T" 是变换后的数据，使得所有的变量均值为0和与除自身外的其他变量的相关系数为0 - "T"的矩作为身份矩阵。 为了得到单位方差，还需要除以标准差。 虽然变换后的数据有可能不是独立的，但他们一定是不相关的。
其中，指数-1/2表示矩阵置换后的 矩阵方根。T的协方差被当做身份矩阵。如果新的样本数据x是n个元素的向量, 那么相同的变换可以应用到x中以获得变换向量d和t：
这个去相关性的方法被应用到多变量的主成分分析中。
反射相关系数是皮尔逊相关系数的变体，数据并不是以他们的均值为中心。总体反射相关系数是
反射相关系数是对称的, 但在如下的变换中并不是不变的
样本反射相关系数是
样本加权相关系数是
规模的相关性是一个变种的皮尔森相关数据的范围限制故意以受控的方式揭示时间序列之间的快速成分的相关性。比例相关的定义是在短数据段的平均相关性。 对于给定规模S，令K为可以适应信号的总长度的段数： 比例相关的整个信号的r的计算公式为 r为k的部分皮尔森相关系数。 通过对参数s的选择，减少值的范围和较长的时间尺度上的相关性被过滤掉，只有在很短的时间尺度上的相关性被发现。因此，慢分量的贡献被删除，快分量被保留。
强噪声条件下，提取相关系数两个随机变量之间的是平凡的，特别是在典型相关分析报告在退化的相关值的情况下，由于存在大量噪声。一种概括的方法在其他地方给出。