主成分分析 在多變量分析中主成分分析英語Principal components analysis縮寫PCA是一種統計分析簡化數據集的方法它利用正交变换来对一系列可能相关的变量的观测值进行线性变换从而投影为一系列线性不相关变量的值这些不相关变量称为主成分Principal Components具体地主成分可以看做一个线性方程其包含一系列线性系数来指示投影方向PCA对原始数据的正则化或预处理敏感相对缩放 基本思想 将坐标轴中心移到数据的中心然后旋转坐标轴使得数据在C轴上的方差最大即全部n个数据个体在该方向上的投影最为分散意味着更多的信息被保留下来C成为第一主成分 C第二主成分找一个C使得C与C的协方差相关系数为以免与C信息重叠并且使数据在该方向的方差尽量最大 以此类推找到第三主成分第四主成分第p个主成分p个随机变量可以有p个主成分 主成分分析经常用于减少数据集的维数同时保留数据集當中对方差贡献最大的特征这是通过保留低維主成分忽略高維主成分做到的这样低維成分往往能够保留住数据的最重要部分但是这也不是一定的要视具体应用而定由于主成分分析依赖所给数据所以数据的准确性对分析结果影响很大 主成分分析由卡尔皮尔逊於年發明用於分析數據及建立數理模型在原理上与主轴定理英语Principal axis theorem相似之后在年左右由哈罗德霍特林独立发展并命名依据应用领域的不同在信号处理中它也叫做离散KL 转换discrete KarhunenLoève transform KLT其方法主要是通過對共變異數矩陣進行特征分解以得出數據的主成分即特征向量與它們的權值即特征值PCA是最簡單的以特征量分析多元統計分布的方法其結果可以理解為對原數據中的方差做出解釋哪一個方向上的數據值對方差的影響最大換而言之PCA提供了一種降低數據維度的有效辦法如果分析者在原數據中除掉最小的特征值所對應的成分那麼所得的低維度數據必定是最優化的也即這樣降低維度必定是失去訊息最少的方法主成分分析在分析複雜數據時尤為有用比如人臉識別 PCA是最简单的以特征量分析多元统计分布的方法通常这种运算可以被看作是揭露数据的内部结构從而更好地展現数据的變異度如果一个多元数据集是用高维数据空间之坐标系來表示的那么PCA能提供一幅较低维度的图像相當於数据集在讯息量最多之角度上的一個投影这样就可以利用少量的主成分讓数据的维度降低了 PCA 跟因子分析密切相关因子分析通常包含更多特定領域底層結構的假設並且求解稍微不同矩陣的特徵向量 PCA 也跟典型相關分析CCA有關CCA定義的坐標系可以最佳地描述兩個數據集之間的互協方差而PCA定義了新的正交坐標系能最佳地描述單個數據集當中的變異數