主成分迴歸

統計學中，主成分迴歸的迴歸分析方法。更確切地說，PCR用於估計標準線性迴歸模型中的未知引數。PCR不是直接將因變數與解釋變數進行迴歸，而是將解釋變數的主成分作為迴歸量。一般只使用所有主成分的一個子集用於迴歸，因此PCR是一種正則化過程，也是一種收縮估計量。方差更高的主成分被選為迴歸量。不過，要預測結果，低方差的主成分可能也很重要，在某些情況下甚至更重要。PCR的主要用途之一是克服多重共線性問題，這是說多個解釋變數接近共線。PCR可在迴歸步驟中排除一些低方差主成分，從而恰當地處理這種情況。另外，由於通常只對所有主成分的一個子集進行迴歸，PCR可大幅降低基礎模型的引數數，從而降維。這在使用高維協變數時尤為有用。透過適當選擇用於迴歸的主成分，PCR還可根據假定模型有效地預測輸出。原理.PCR法可總結為三步：1. formula_1對解釋變數的測得設計矩陣進行PCA，得到主成分，然後根據一些適當標準，從獲得的主成分中選擇子集，供進一步使用。2. formula_1用普通最小二乘法，在選定主成分上線性迴歸輸出的測得向量，得到估計迴歸係數向量。3. formula_1用PCA負載，以估計表徵原始模型的迴歸係數。方法細節.資料表示：令formula_4表示觀測的輸出，formula_5表示測得協變數對應的設計矩陣，其中formula_6、formula_7表示測得樣本的大小和協變數數量。formula_8的每行formula_6表示formula_10維協變數的一組觀測值，formula_11的相應項表示相應的觀測結果。資料預處理：假設formula_11及formula_8的formula_10列已經中心化，經驗均值均為0。中心化這步至關重要，因為PCR將對formula_8使用的PCA on formula_8對資料是否中心化十分敏感。基礎模型：在中心化之後，對formula_8上的formula_11的標準高斯-馬爾可夫線性迴歸模型可表為：formula_20其中formula_21表示迴歸係數的未知引數向量，formula_22表示隨機誤差向量，formula_23、formula_24則表示未知方差引數formula_25目標：主要目標是根據資料，為引數formula_26獲得有效估計量formula_27。一種常用方法是普通最小二乘法，假設formula_8的列滿秩，從而有formula_29的無偏估計量：formula_30。PCR是另一種估計formula_29的方法。PCA步驟：PCR首先要對中心化矩陣formula_8進行PCA。為此，令formula_33表示formula_8的奇異值分解，其中formula_35表示formula_8的非負奇異值，formula_37、formula_38都是正交規範集向量，列向量分別表示formula_8的左右奇異向量。主成分：formula_40給出了formula_41的譜分解，其中formula_42表示formula_41的非負特徵值。衍生協變數：formula_51，記formula_52為formula_53矩陣，其正交列包含formula_44的前formula_55列。記formula_56為以前formula_55個主成分為列的formula_58矩陣。formula_59可看做是用變換後的協變數formula_60得到的設計矩陣，而非原始協變數formula_61。PCR估計量：記formula_62表示 響應向量formula_11在設計矩陣formula_64上用普通最小二乘法得到的估計迴歸係數向量。那麼，formula_51都有基於前formula_55個主成分的formula_29的最終PCR估計量：formula_68PCR估計量的基本特徵與應用.兩個基本性質.得到PCR估計量的擬合過程包括將響應向量在匯出設計矩陣formula_64上回歸。後者formula_51都有正交列，因為主成分互相正交。因此在迴歸中，對作為協變數的formula_55個選定主成分聯合進行多元線性迴歸，相當於對作為協變數的formula_55個選定主成分分別進行獨立單變數線性迴歸。當選擇所有主成分迴歸，PCR估計量便等同於普通最小二乘法估計量。因此formula_74。從formula_75和formula_44是正交矩陣的觀測事實，不難看出這點。方差降低.formula_77，formula_78的方差由下式給出：formula_79特別地：formula_80因此formula_81都有：formula_82因此formula_83都有：formula_84其中formula_85，表明對稱方陣formula_86是非負定的。於是，與普通最小二乘估計的線性形式相比，任何給定PCR估計量的線性形式都有更低的方差。解決多重共線性問題.多重共線性條件下，指多個協變數高度相關，因此可從其他協變數以非平凡的精度進行線性預測。因此，設計矩陣formula_8與這些協變數對應的列趨於線性相關，於是formula_8趨於秩虧，失去列滿秩結構。更定量地講，這時formula_89的較小特徵值會非常接近formula_90。上述方差表示式表明，極小特徵值對最小二乘估計量產生最大的方差擴大效應，因此在接近0時會嚴重破壞估計量的穩定性。這可以透過排除極小特徵值對應的主成分得到的PCR估計，得到有效解決。降維.PCR也可用於降維：記formula_91為任意列正交的formula_92矩陣。假設現在我們想透過秩formula_55線性變換formula_94來近似每個協變數觀測值formula_96，那麼可以證明formula_97在formula_98時取最小值。因此formula_99維主成分提供了觀測設計矩陣formula_8的秩為formula_55的最佳線性近似，對應的重建誤差為formula_105因此，可透過選擇formula_55值，透過對formula_107的特徵值累積和進行適當閾值處理，實現降維。由於較小特徵值對累積和的貢獻並不大，因此只要不超過所需的閾值限制，便可放棄相應的主成分。同樣標準也可用於解決多重共線性問題：只要保持閾值限制，就可忽略較小特徵值對應的主成分。正則化效應.由於PCR估計量通常只使用一部分主成分進行迴歸，因此可視作某種正則化。更具體地說，formula_108，PCR估計量formula_109都可表示以下約束最小化問題的正則化解：formula_110約束可等價寫作formula_111其中formula_112因此，當擇一部分主成分迴歸時，所得PCR估計量是基於硬形式的正則化，將所得解約束在選定主成分方向的列空間，因此限制其與被排除方向正交。一類正則化估計量中PCR的最優性.給定如上述的約束最小化問題，考慮下面的推廣：formula_113其中formula_114表示任何階為formula_115的列滿秩矩陣。令formula_116表示對應的解，則formula_117則約束矩陣formula_118的最優選擇就是相應估計量formula_119達到最小預測誤差：formula_120其中formula_121很明顯，由此得到的最優估計量formula_122就是基於前formula_55個主成分的PCR估計量formula_124。效率.由於普通最小二乘估計量對formula_29無偏，所以有formula_126其中MSE表示均方誤差。現在，若對某個formula_127，我們還有formula_128，那麼對應的formula_109也將是formula_130的無偏估計量，就有formula_131我們已經知道formula_132這就意味著對特定的formula_99有：formula_134所以，用均方誤差為標準的話，對應的formula_135是比formula_136更有效的formula_137的估計量。另外，與formula_138的相同線性形式相比，對應formula_135的任何給定線性形式的均方誤差也更小。現在假設，對給定的formula_140，那麼對應的formula_109對formula_29就是有偏的。但由於formula_143formula_144仍然是可能的，尤其是當formula_55使被排除主成分對應較小特徵值時，從而導致較小的偏。為確保PCR作為formula_146估計值的效率與效能，Park (1981) 提出了以下用於迴歸的主成分選擇標準：當且僅當formula_147時，排除第formula_47個主成分。在實際應用中，還需要估計未知的模型引數formula_149與formula_29。總的來說，可以用從原始完整模型得到的無約束最小二乘法進行估計。Park (1981)提供了一套稍加修改的估計值，可能更適合這一目的。與基於formula_151特徵值累積和的標準不同，上述標準可能更適合解決多重共線性問題與降維，實際上是試圖讓輸出和協變數都參與到迴歸的主成分選擇之中，以提高PCR估計值的預測與估計效率。其他目的相似的選擇主成分方法基於交叉驗證，或馬洛斯CP值等。通常，主成分的選擇還基於其與輸出的相關程度。PCR的收縮效應.總的來說，PCR本質上是收縮估計量，通常保留了高方差主成分。這就對低方差成分產生了分離收縮，清除了其在原始模型中的貢獻。相對地，嶺迴歸估計量則透過其構造中固有的正則化引數，產生平滑收縮。雖然它不會捨棄任何一個成分，但會以連續的方式對所有成分產生收縮效應，因此低方差成分的收縮程度高於高方差成分。Frank &amp; Friedman (1993)認為，就預測本身而言，與具有離散收縮效應的PCR估計量相比，嶺估計量具有平滑收縮效應，可能是更好的選擇。此外，主成分是從formula_8的特徵分解中得到的，只涉及解釋變數的觀測值。因此，以這些主成分為協變數得到的PCR估計量不一定具有令人滿意的預測效能。偏最小二乘迴歸估計量與之比較相似，試圖透過自身的構造解決這問題。PLS也用低維的衍生協變數，但是在輸出和協變數中獲得的。PCR在協變數空間中尋找高方差方向，而PLS則尋找對預測結果最有用的方向。2006年，有人提出了經典PCR的一種變體，即監督PCR。這種方法的精神與PLS類似，試圖根據結果和協變數標準，獲得低維衍生協變數。首先進行簡單線性迴歸供進一步使用。然後進行上述傳統PCR，但只基於與選定協變數觀測值對應的formula_158設計矩陣。使用的協變數數：formula_156及隨後使用的主成分數：formula_160一般透過交叉驗證選擇。核設定的推廣.上述經典PCR法基於經典PCA，並考慮了根據協變數的線性迴歸結果預測模型。這方法可以很容易地推廣到核機設定，即迴歸函式不一定是協變數的線性函式，而可以屬於與任意對稱正定核有關的再⽣核希爾伯特空間。核函式選為線性核時便有線性迴歸模型，是這種設定的特例。總的來說，在核機設定下，協變數向量首先被對映到所選核函式的高維給出。但核技巧實際上可以讓我們在特徵空間中操作，而無需明確計算特徵對映。事實證明，只需計算觀測協變數向量的特徵對映之間的逐對內積即可，是由在相應協變數向量對上估值的核函式值簡單給出的。因此，得到的逐對內積可用formula_161對稱非負定矩陣表示。核機設定中的PCR現在可用以下方式實現：首先將核矩陣與響應所選特徵向量一起用於預測未來的觀測結果。機器學習中，這技巧也被稱為“譜迴歸”。顯然，核PCR對K'的特徵向量具有離散收縮，與前面討論過的經典PCR對主成分的離散收縮十分相似。然而，與核相關的特徵對映可能是無限維的，因此相應的主成分及其方向也可能是無限維的。所以，在核機設定下，這些量實際上往往難以處理。核PCR基本上是基於相關核矩陣的譜分解，以考慮等效的對偶表述，來解決這一問題。線上性迴歸模型下核，由於相關特徵對映可能的無限維，這種原始公式可能會變得難以處理。因此，這時經典PCR實際上不可行，但基於對偶表示的核PCR仍有效，且在計算上可推廣。