主成分分析

在多元統計分析中 ， 主成分分析  是一種統計分析 、 簡化數據集的方法 。 它利用正交變換來對一系列可能相關的變量的觀測值進行線性變換 ， 從而投影爲一系列線性不相關變量的值 ， 這些不相關變量稱爲主成分 （ Principal Components ） 。 具體地 ， 主成分可以看做一個線性方程 ， 其包含一系列線性係數來指示投影方向 。 PCA對原始數據的正則化或預處理敏感 （ 相對縮放 ） 。 基本思想 ： 將座標軸中心移到數據的中心 ， 然後旋轉座標軸 ， 使得數據在C1軸上的方差最大 ， 即全部n個數據個體在該方向上的投影最爲分散 。 意味着更多的信息被保留下來 。 C1成爲第一主成分 。 C2第二主成分 ： 找一個C2 ， 使得C2與C1的協方差 （ 相關係數 ） 爲0 ， 以免與C1信息重疊 ， 並且使數據在該方向的方差儘量最大 。 以此類推 ， 找到第三主成分 ， 第四主成分 … … 第p個主成分 。 p個隨機變量可以有p個主成分 。 主成分分析經常用於減少數據集的維數 ， 同時保留數據集當中對方差貢獻最大的特徵 。 這是通過保留低維主成分 ， 忽略高維主成分做到的 。 這樣低維成分往往能夠保留住數據的最重要部分 。 但是 ， 這也不是一定的 ， 要視具體應用而定 。 由於主成分分析依賴所給數據 ， 所以數據的準確性對分析結果影響很大 。 主成分分析由卡爾 · 皮爾遜於1901年發明 ， 用於分析數據及建立數理模型 ， 在原理上與相似 。 之後在1930年左右由哈羅德 · 霍特林獨立發展並命名 。 依據應用領域的不同 ， 在信號處理中它也叫做離散K - L 轉換 （ discrete Karhunen – Loève transform ( KLT ) ） 。 其方法主要是通過對共變異數矩陣進行特徵分解 ， 以得出數據的主成分 （ 即特徵向量 ） 與它們的權值 （ 即特徵值 ） 。 PCA是最簡單的以特徵量分析多元統計分佈的方法 。 其結果可以理解爲對原數據中的方差做出解釋 ： 哪一個方向上的數據值對方差的影響最大 ？ 換而言之 ， PCA提供了一種降低數據維度的有效辦法 ； 如果分析者在原數據中除掉最小的特徵值所對應的成分 ， 那麼所得的低維度數據必定是最優化的 （ 也即 ， 這樣降低維度必定是失去訊息最少的方法 ） 。 主成分分析在分析複雜數據時尤爲有用 ， 比如人臉識別 。 PCA是最簡單的以特徵量分析多元統計分佈的方法 。 通常 ， 這種運算可以被看作是揭露數據的內部結構 ， 從而更好地展現數據的變異度 。 如果一個多元數據集是用高維數據空間之座標系來表示的 ， 那麼PCA能提供一幅較低維度的圖像 ， 相當於數據集在訊息量最多之角度上的一個投影 。 這樣就可以利用少量的主成分讓數據的維度降低了 。 PCA 跟因子分析密切相關 。 因子分析通常包含更多特定領域底層結構的假設 ， 並且求解稍微不同矩陣的特徵向量 。 PCA 也跟典型相關分析 （ CCA ） 有關 。 CCA定義的座標系可以最佳地描述兩個數據集之間的互協方差 ， 而PCA定義了新的正交座標系 ， 能最佳地描述單個數據集當中的變異數 。