相关 (概率论)

相关 相关（Correlation），又称为相关性、关联，在概率论和统计学中，相关显示了两个或几个随机变量之间线性关系的强度和方向。在统计学中，相关的意义是：用来衡量两个变量相对于其相互独立的距离。在这个广义的定义下，有许多根据数据特点用来衡量数据相关性而定义的系数，称作 相关系数。通常使用相关系数来计量这些随机变量协同变化的程度，当随机变量间呈现同一方向的变化趋势时称为正相关，反之则称为负相关。 英国生物学家和统计学家弗朗西斯·高尔顿首先提出“相关”这一概念，英国数学家卡尔·皮尔逊在此基础上做出了进一步发展。 对于不同測量尺度的變數，有不同的相關系数可用： 皮尔逊相关系数（Pearson's r）：衡量兩個等距尺度或等比尺度變數之相關性。是最常見的，也是學習統計學時第一個接觸的相關係數。 淨相關（英語：partial correlation）：在模型中有多個自變數（或解釋變數）時，去除掉其他自變數的影響，只衡量特定一個自變數與因變數之間的相關性。自變數和因變數皆為連續變數。 相關比（英語：correlation ratio）：衡量兩個連續變數之相關性。 Gamma相關係數：衡量兩個次序尺度變數之相關性。 斯皮尔曼等级相关系数：衡量兩個次序尺度變數之相關性。 肯德尔等級相關係數（英语：Kendall rank correlation coefficient）：衡量兩個人為次序尺度變數（原始資料為等距尺度）之相關性。 肯德尔和諧係數：衡量兩個次序尺度變數之相關性。 Phi相關係數（英語：Phi coefficient）：衡量兩個真正名目尺度的二分變數之相關性。 列聯相關係數（英語：contingency coefficient）：衡量兩個真正名目尺度變數之相關性。 四分相關（英語：tetrachoric correlation）：衡量兩個人為名目尺度（原始資料為等距尺度）的二分變數之相關性。 Kappa一致性係數（英語：K coefficient of agreement）：衡量兩個名目尺度變數之相關性。 點二系列相關係數（英語：point-biserial correlation）：X變數是真正名目尺度二分變數。Y變數是連續變數。 二系列相關係數（英語：biserial correlation）：X變數是人為名目尺度二分變數。Y變數是連續變數。 ρ X , Y = c o v ( X , Y ) σ X σ Y = E ( ( X − μ X ) ( Y − μ Y ) ) σ X σ Y {\displaystyle \rho _{X,Y}={\mathrm {cov} (X,Y) \over \sigma _{X}\sigma _{Y}}={E((X-\mu _{X})(Y-\mu _{Y})) \over \sigma _{X}\sigma _{Y}}} ， 其中，E是数学期望，cov表示协方差， σ X {\displaystyle \sigma _{X}} 和 σ Y {\displaystyle \sigma _{Y}} 是標準差。 因为 μ X = E ( X ) {\displaystyle \mu _{X}=E(X)} ， σ X 2 = E ( X 2 ) − E 2 ( X ) {\displaystyle \sigma _{X}^{2}=E(X^{2})-E^{2}(X)} ，同样地，对于 Y {\displaystyle Y} ，可以写成 ρ X , Y = E ( X Y ) − E ( X ) E ( Y ) E ( X 2 ) − E 2 ( X )   E ( Y 2 ) − E 2 ( Y ) {\displaystyle \rho _{X,Y}={\frac {E(XY)-E(X)E(Y)}{{\sqrt {E(X^{2})-E^{2}(X)}}~{\sqrt {E(Y^{2})-E^{2}(Y)}}}}} 。 当两个变量的標準差都不为零，相关系数才有定义。从柯西-施瓦茨不等式可知，相关系数的絕對值不超过1。当两个变量的线性关系增强时，相关系数趋于1或-1。当一个变量增加而另一变量也增加时，相关系数大于0。当一个变量的增加而另一变量减少时，相关系数小于0。当两个变量独立时，相关系数为0，但反之并不成立。这是因为相关系数仅仅反映了两个变量之间是否线性相关。比如说，X是区间［－1，1］上的一个均匀分布的随机变量。Y = X2.那么Y是完全由X确定。因此Y和X不独立，但相关系数为0。或者说他们是不相关的。当Y和X服从联合正态分布时，其相互独立和不相关是等价的。 当一个或两个变量带有测量误差时，他们的相关性就受到削弱，这时，“反衰减”性（disattenuation）是一个更准确的系数。 对于居中的数据来说（何谓居中？也就是每个数据减去样本均值，居中后它们的平均值就为0），相关系数可以看作是两个随机变量中得到的样本集向量之间夹角的cosine函数。一些实际工作者更喜欢用非居中的相关系数（与皮尔逊系数不相兼容）。看下面的例子中有一个比较。例如，假设五个国家的国民生产总值分别是1、2、3、5、8（单位10亿美元），又假设这五个国家的贫困比例分别是11%、12%、13%、15%、18%。则我们现在有两个有序的包含5个元素的向量x、y：x =（1, 2, 3, 5, 8）、 y =（0.11, 0.12, 0.13, 0.15, 0.18） 使用一般的方法来计算向量间夹角（参考数量积），未居中的相关性系数如下： cos ⁡ θ = x ⋅ y ‖ x ‖ ‖ y ‖ = 2.93 103 0.0983 = 0.920814711 {\displaystyle \cos \theta ={\frac {\mathbf {x} \cdot \mathbf {y} }{\left\|\mathbf {x} \right\|\left\|\mathbf {y} \right\|}}={\frac {2.93}{{\sqrt {103}}{\sqrt {0.0983}}}}=0.920814711} 。 上面的数据实际上是故意选择了一个完美的线性关系：y = 0.10 + 0.01 x。因此皮尔逊相关系数应该就是1。把数据居中（x中数据减去E (x) = 3.8，y中数据减去E (y) = 0.138）后得到：x =（−2.8, −1.8, −0.8, 1.2, 4.2）、y =（−0.028, −0.018, −0.008, 0.012, 0.042），由此得到了预期结果： cos ⁡ θ = x ⋅ y ‖ x ‖ ‖ y ‖ = 0.308 30.8 0.00308 = 1 = ρ x y {\displaystyle \cos \theta ={\frac {\mathbf {x} \cdot \mathbf {y} }{\left\|\mathbf {x} \right\|\left\|\mathbf {y} \right\|}}={\frac {0.308}{{\sqrt {30.8}}{\sqrt {0.00308}}}}=1=\rho _{xy}} ， 对于样本对 ( X i , Y i ) {\displaystyle (X_{i},Y_{i})} ，相关系数的计算过程可表示为：将每个变量都通过减去平均值、再除以校正标准差后转化为标准单位，乘积的平均值，再经过贝塞尔校正（英语：Bessel's correction）即为相关系数。 两个变量的关系可以直观地用散点图表示，当其紧密地群聚于一条直线的周围时，变量间存在强相关。 一个散点图可以用五个统计量来概括：所有 x {\displaystyle x} 值的平均数 x ¯ {\displaystyle {\bar {x}}} ，所有 x {\displaystyle x} 值的校正标准差（即样本标准差） s x {\displaystyle s_{x}} ，所有 y {\displaystyle y} 值的平均数 y ¯ {\displaystyle {\bar {y}}} ，所有 y {\displaystyle y} 值的校正标准差 s y {\displaystyle s_{y}} ，相关系数 r x y {\displaystyle r_{xy}} 。 其中： s x = 1 N − 1 ∑ i = 1 N ( x i − x ¯ ) 2 , s y = 1 N − 1 ∑ i = 1 N ( y i − y ¯ ) 2 {\displaystyle s_{x}={\sqrt {{\frac {1}{N-1}}\sum _{i=1}^{N}(x_{i}-{\overline {x}})^{2}}},s_{y}={\sqrt {{\frac {1}{N-1}}\sum _{i=1}^{N}(y_{i}-{\overline {y}})^{2}}}} 那么： r x y = d e f ∑ i = 1 n ( x i − x ¯ ) ( y i − y ¯ ) ( n − 1 ) s x s y = ∑ i = 1 n ( x i − x ¯ ) ( y i − y ¯ ) ∑ i = 1 n ( x i − x ¯ ) 2 ∑ i = 1 n ( y i − y ¯ ) 2 , {\displaystyle r_{xy}\quad {\overset {\underset {\mathrm {def} }{}}{=}}\quad {\frac {\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{(n-1)s_{x}s_{y}}}={\frac {\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sqrt {\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})^{2}\sum \limits _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}}},} 或写成： r x y = d e f n n − 1 1 n ∑ i = 1 n ( x i − x ¯ ) s x ( y i − y ¯ ) s y {\displaystyle r_{xy}\quad {\overset {\underset {\mathrm {def} }{}}{=}}\quad {\frac {n}{n-1}}{\frac {1}{n}}\sum \limits _{i=1}^{n}{\frac {(x_{i}-{\bar {x}})}{s_{x}}}{\frac {(y_{i}-{\bar {y}})}{s_{y}}}} , 其中 n n − 1 {\displaystyle {\frac {n}{n-1}}} 为贝塞尔校正（英语：Bessel's correction）。 David Freedman; Robert Pisani, Roger Purves. Statistics. Norton & Company. 1998: 148. ISBN 9780393960433. 3 （英语）.  引文使用过时参数coauthors (帮助) David Freedman; Robert Pisani, Roger Purves. Statistics. Norton & Company. 1998: 156. ISBN 9780393960433. 3 （英语）.  引文使用过时参数coauthors (帮助) 相关不蕴涵因果 相关系数