协方差

在機率論與統計學中，共變異數（英語：Covariance）用於衡量随机变量間的相關程度。 定義 —  設 Ω {\displaystyle \Omega } 為样本空间， P {\displaystyle P} 是定義在 Ω {\displaystyle \Omega } 的事件族 Σ {\displaystyle \Sigma } 上的機率。（換句話說， ( Ω , Σ , P ) {\displaystyle (\Omega ,\,\Sigma ,\,P)} 是個機率空間） 若 X {\displaystyle X} 与 Y {\displaystyle Y} 是定義在 Ω {\displaystyle \Omega } 上的兩個实数随机变量， 期望值分别为： E ⁡ ( X ) = ∫ Ω X d P = μ {\displaystyle \operatorname {E} (X)=\int _{\Omega }X\,dP=\mu } E ⁡ ( Y ) = ∫ Ω Y d P = ν {\displaystyle \operatorname {E} (Y)=\int _{\Omega }Y\,dP=\nu } 則兩者間的协方差定义为： cov ⁡ ( X , Y ) = E ⁡ [ ( X − μ ) ( Y − ν ) ] {\displaystyle \operatorname {cov} (X,Y)=\operatorname {E} [(X-\mu )(Y-\nu )]} 根據測度積分的線性性質，上面的原始定義可以進一步簡化為： cov ⁡ ( X , Y ) = ∫ Ω ( X − μ ) ( Y − ν ) d P = ∫ Ω X ⋅ Y d P − μ ∫ Ω Y d P − ν ∫ Ω X d P + μ ν = E ⁡ ( X ⋅ Y ) − μ ν {\displaystyle {\begin{aligned}\operatorname {cov} (X,Y)&=\int _{\Omega }(X-\mu )(Y-\nu )\,dP\\&=\int _{\Omega }X\cdot Y\,dP-\mu \int _{\Omega }Y\,dP-\nu \int _{\Omega }X\,dP+\mu \nu \\&=\operatorname {E} (X\cdot Y)-\mu \nu \end{aligned}}} 协方差的定義可以推廣到兩列隨機變數之間 定義 —  設 ( Ω , Σ , P ) {\displaystyle (\Omega ,\,\Sigma ,\,P)} 是機率空間， X = { x i } i = 1 m {\displaystyle X=\{x_{i}\}_{i=1}^{m}} 与 Y = { y j } j = 1 n {\displaystyle Y=\{y_{j}\}_{j=1}^{n}} 是定義在 Ω {\displaystyle \Omega } 上的兩列实数随机变量序列（也可視為有序对或行向量） 若二者对应的期望值分别为： E ( x i ) = ∫ Ω x i d P = μ i {\displaystyle E(x_{i})=\int _{\Omega }x_{i}\,dP=\mu _{i}} E ( y j ) = ∫ Ω y j d P = ν j {\displaystyle E(y_{j})=\int _{\Omega }y_{j}\,dP=\nu _{j}} 則这两列隨機变量间的协方差定义成一個 m × n {\displaystyle m\times n} 矩阵 c o v ⁡ ( X , Y ) := [ cov ⁡ ( x i , y j ) ] m × n {\displaystyle \operatorname {\mathbf {cov} } (X,Y):={\left[\,\operatorname {cov} (x_{i},y_{j})\,\right]}_{m\times n}} 以上的定義，以矩形來表示就是： c o v ⁡ ( X , Y ) := [ cov ⁡ ( x 1 , y 1 ) … cov ⁡ ( x 1 , y n ) ⋮ ⋱ ⋮ cov ⁡ ( x m , y 1 ) … cov ⁡ ( x m , y n ) ] = [ E ⁡ ( x 1 y 1 ) − μ 1 ν 1 … E ⁡ ( x 1 y n ) − μ 1 ν n ⋮ ⋱ ⋮ E ⁡ ( x m y 1 ) − μ m ν 1 … E ⁡ ( x m y n ) − μ m ν n ] {\displaystyle \operatorname {\mathbf {cov} } (X,Y):={\begin{bmatrix}\operatorname {cov} (x_{1},y_{1})&\dots &\operatorname {cov} (x_{1},y_{n})\\\vdots &\ddots &\vdots \\\operatorname {cov} (x_{m},y_{1})&\dots &\operatorname {cov} (x_{m},y_{n})\end{bmatrix}}={\begin{bmatrix}\operatorname {E} (x_{1}y_{1})-\mu _{1}\nu _{1}&\dots &\operatorname {E} (x_{1}y_{n})-\mu _{1}\nu _{n}\\\vdots &\ddots &\vdots \\\operatorname {E} (x_{m}y_{1})-\mu _{m}\nu _{1}&\dots &\operatorname {E} (x_{m}y_{n})-\mu _{m}\nu _{n}\end{bmatrix}}} 定理 — 若隨機變數 X {\displaystyle X} 和 Y {\displaystyle Y} 是相互独立的，則 cov ⁡ ( X , Y ) = 0 {\displaystyle \operatorname {cov} (X,Y)=0} 如果 X {\displaystyle X} 与 Y {\displaystyle Y} 是实数随机变量， a {\displaystyle a} 与 b {\displaystyle b} 是常数，那么根据协方差的定义可以得到： cov ⁡ ( X , X ) = var ⁡ ( X ) {\displaystyle \operatorname {cov} (X,X)=\operatorname {var} (X)} ， cov ⁡ ( X , Y ) = cov ⁡ ( Y , X ) {\displaystyle \operatorname {cov} (X,Y)=\operatorname {cov} (Y,X)} ， cov ⁡ ( a X , b Y ) = a b cov ⁡ ( X , Y ) {\displaystyle \operatorname {cov} (aX,bY)=ab\,\operatorname {cov} (X,Y)} ， 对于随机变量序列 X 1 , … , X n {\displaystyle X_{1},\ldots ,X_{n}} 与 Y 1 , … , Y m {\displaystyle Y_{1},\ldots ,Y_{m}} ，有 cov ⁡ ( ∑ i = 1 n X i , ∑ j = 1 m Y j ) = ∑ i = 1 n ∑ j = 1 m cov ⁡ ( X i , Y j ) {\displaystyle \operatorname {cov} \left(\sum _{i=1}^{n}{X_{i}},\sum _{j=1}^{m}{Y_{j}}\right)=\sum _{i=1}^{n}{\sum _{j=1}^{m}{\operatorname {cov} \left(X_{i},Y_{j}\right)}}} ， 对于随机变量序列 X 1 , … , X n {\displaystyle X_{1},\ldots ,X_{n}} ，有 var ⁡ ( ∑ i = 1 n X i ) = ∑ i = 1 n var ⁡ ( X i ) + 2 ∑ i , j : i < j cov ⁡ ( X i , X j ) {\displaystyle \operatorname {var} \left(\sum _{i=1}^{n}X_{i}\right)=\sum _{i=1}^{n}\operatorname {var} (X_{i})+2\sum _{i,j\,:\,i<j}\operatorname {cov} (X_{i},X_{j})} 。 取决于协方差的相关性 η {\displaystyle \eta } η = cov ⁡ ( X , Y ) var ⁡ ( X ) ⋅ var ⁡ ( Y )   , {\displaystyle \eta ={\dfrac {\operatorname {cov} (X,Y)}{\sqrt {\operatorname {var} (X)\cdot \operatorname {var} (Y)}}}\ ,} 更准确地说是线性相关性，是一个衡量线性独立的无量纲数，其取值在 [ − 1 , 1 ] {\displaystyle [-1,1]} 之间。相关性 η = 1 {\displaystyle \eta =1} 时称为“完全线性相关”（相关性 η = − 1 {\displaystyle \eta =-1} 时称为“完全线性负相关”），此时将 Y i {\displaystyle Y_{i}} 对 X i {\displaystyle X_{i}} 作Y-X 散点图，将得到一组精确排列在直线上的点；相关性数值介于－1到1之间时，其绝对值越接近1表明线性相关性越好，作散点图得到的点的排布越接近一条直线。 相关性为0（因而协方差也为0）的两个随机变量又被称为是不相关的，或者更准确地说叫作“线性无关”、“线性不相关”，这仅仅表明 X {\displaystyle X} 与 Y {\displaystyle Y} 两随机变量之间没有线性相关性，并非表示它们之间一定没有任何内在的（非线性）函数关系，和前面所说的“ X {\displaystyle X} 、 Y {\displaystyle Y} 二者并不一定是统计独立的”说法一致。 變異數 自协方差 协方差矩阵 协方差函数 误差传播