协方差矩阵

在统计学与概率论中，协方差矩阵（也称离差矩阵、方差-协方差矩阵）是一个方阵，其 i, j 位置的元素是第 i 个与第 j 个之间的协方差。这是从标量随机变量到高维度随机向量的自然推广。

定义 
假设是以个随机变量组成的行向量，

并且是的期望值，即, 。协方差矩阵的第項（第項是一个协方差）被定义为如下形式：

 

而协方差矩阵为：

矩阵中的第个元素是与的共變異數。这个概念是对于标量随机变量方差的一般化推广。

术语与符号分歧
共變異數矩阵有不同的术语。有些统计学家，沿用了概率学家威廉·费勒的说法，把这个矩阵称之为随机向量的變異數（Variance of random vector X），这是从一维随机变量方差到高维随机向量的自然推广。另外一些则把它称为共變異數矩阵（Covariance matrix），因为它是随机向量里头每个标量元素的协方差的矩阵（或者说它是多维随机变量各维度两两之间的协方差组合而成的矩阵）。不幸的是，这两种术语带来了一定程度上的冲突：

随机向量的方差（Variance of random vector X）定义有如下两种形式：

协方差矩阵'''（Covariance matrix）定义如下：
 
第一个记号可以在威廉·费勒的广受推崇的两册概率论及其应用的书中找到。两个术语除了记法之外并没有不同。

性质
 与 满足下边的基本性质：
 
 是半正定的和对称的矩阵。
 
 
 
 
 
 若 ，則有
 
 若 与 是独立的，則有
 

其中  与 是随机向量,  是随机向量,  是 向量,  与 是 矩阵。

尽管共變異數矩阵很简单，可它却是很多领域里的非常有力的工具。它能导出一个变换矩阵，这个矩阵能使数据完全去相关(decorrelation)。从不同的角度看，也就是说能够找出一组最佳的基以紧凑的方式来表达数据。(完整的证明请参考瑞利商)。
这个方法在统计学中被称为主成分分析(principal components analysis)，在图像处理中称为Karhunen-Loève 变换(KL-变换)。

複随机向量
均值为的複随机标量变量的方差定义如下（使用共轭複数）：

其中复数的共轭记为。

如果 是一个复列向量,则取其共轭转置，得到一个方阵:

其中为共轭转置, 它对于标量也成立，因为标量的转置还是标量。

估计
多元正态分布的共變異數矩阵的估计的推导非常精致. 它需要用到谱定义以及为什么把标量看做矩阵的迹更好的原因。参见共變異數矩阵的估计。

外部链接
Covariance Matrix at Mathworld

共變異數与相关性
X