典型相关

在统计学中，典型相关分析（）是对互协方差矩阵的一种理解。如果我们有两个随机变量向量 X = (X1, ..., Xn) 和 Y = (Y1, ..., Ym) 并且它们是相關的，那么典型相关分析会找出 Xi 和 Yj 的相互相关最大的线性组合。T·R·Knapp指出“几乎所有常见的参数测试的意义可视为特殊情况的典型相关分析，这是研究两组变量之间关系的一般步骤。” 这个方法在1936年由哈罗德·霍特林首次引入。

给定两个随机向量和，我们可以定义互协方差矩阵  为  的矩阵，其中  是协方差 。实际上，我们可以基于  和  的采样数据来估计协方差矩阵。(如从一对数据矩阵)。

典型相关分析求出向量  和  使得随机变量  和  的相關性  最大。随机变量  和  是 第一对典型变量。然后寻求一个依然最大化相关但与第一对典型变量不相关的向量；这样就得到了 第二对典型变量。 这个步骤会进行  次。

计算

推导
设  和 。需要最大化的参数为

第一步是定义一个基变更以及

因此我们有

根据柯西-施瓦茨不等式，我们有

如果向量  和  共线，那么上式相等。此外，如果  是矩阵  (见Rayleigh quotient) 最大特征值对应的特征向量，那么就可以得到相关的最大值。随后的典型变量对可以通过减少特征值的量级来得到。正交性保证了相关矩阵的对称性。

解法
因此解法是：
  是  的一个特征向量。
  是  的比例项。

相反地，也有：
  是  的一个特征向量。
  是  的比例项。

把坐标反过来，我们有
  是  的一个特征向量。
  是  的一个特征向量。
  是  的比例项。
  是  的比例项。

那么相关变量定义为：

实现
典型相关分析可以用一个相关矩阵的奇异值分解来解决。 以下是它在一些语言中的函数 

MATLAB as canoncorr 
R as cancor   or in FactoMineR 
SAS as The CANCORR Procedure 
Scikit-Learn, Python as Cross decomposition

假设检验
每一行可以用下面的方法检测其重要性。由于相关是排好序的，也就是说行  为 0 意味着所有后续的相关都为 0。如果我们在一个样本中有  个独立观测，对 ， 是其估计相关。对第  行，测试统计为：

上面渐近为一个对大  有  个自由度的卡方分布。 由于所有从  到  的相关从逻辑上来说都是 0，所以在这一点之后的乘积都是不相关的。

实际运用

例子

与principal angles的连接

参见
Generalized Canonical Correlation
Multilinear subspace learning
RV coefficient
Principal angles
主成分分析
Regularized canonical correlation analysis
奇异值分解
Partial least squares regression

参考文献

外部链接
 
A note on the ordinal canonical-correlation analysis of two sets of ranking scores  (Also provides a FORTRAN program)- in J. of Quantitative Economics 7(2), 2009, pp. 173-199
Representation-Constrained Canonical Correlation Analysis: A Hybridization of Canonical Correlation and Principal Component Analyses (Also provides a FORTRAN program)- in J. of Applied Economic Sciences 4(1), 2009, pp. 115-124

协方差与相关性
多重变量分析