主成分分析
}
このことから、新たな負荷量ベクトルは対称行列 XX の固有ベクトルであり、右辺の括弧内の量の最大値は対応する固有値を与えることが分かる。したがって、すべての負荷量ベクトルは XX の固有ベクトルである。
データ点 xi の第 k 主成分は主成分得点 tk(i) = xi · wk として負荷量ベクトルを基底とする表示が与えられ、また対応するベクトルは主成分得点に対応する基底ベクトルをかけた (xi · wk) wk となる。ここで wk は行列 XX の第 k 固有ベクトルである。
X の完全な主成分分解は以下のように表わすことができる。
T = X W {\displaystyle \mathbf {T} =\mathbf {X} \mathbf {W} }
ここで W は p × p の正方行列であり、各列ベクトルは行列の XX の固有ベクトルであり単位ベクトルである。
T の各列は X の左特異ベクトルに対応する特異値をかけたものとして表わされることが分かる。この結果は T の極分解(英語版)によっても得られる。
主成分分析の実装として、X の特異値分解のアルゴリズムがしばしば利用される。
n × L に次元削減された主成分得点行列 TL は、固有値分解の場合と同様に、寄与の大きい最初の L 個の特異値とそれに対応する左特異ベクトルだけを残すことによっても得られる:
T L = U L Σ L = X W L . {\displaystyle \mathbf {T} _{L}=\mathbf {U} _{L}\mathbf {\Sigma } _{L}=\mathbf {X} \mathbf {W} _{L}.}
特異値分解から寄与の小さな特異値を除いて TL を作るということは、元の行列とのフロベニウスノルムで測った差を最小化するような階数 L の行列を選ぶことに相当する。この結果はエッカート・ヤング定理として知られる。