主成分分析
XX はデータセット Xから与えられる経験的な標本共分散行列に比例する。
データセット X に対する、2つの異なる主成分の間の標本共分散 Q は以下のようにして得られる:
Q ( P C j , P C k ) ∝ ( X w j ) T ⋅ ( X w k ) = w j T X T X w k = ( ∗ ) w j T λ k w k ( X T X w k = λ k w k ) = λ k ‖ w k ‖ 2 . {\displaystyle {\begin{aligned}Q(\mathrm {PC} _{j},\mathrm {PC} _{k})&\propto (\mathbf {X} \mathbf {w} _{j})^{\mathrm {T} }\cdot (\mathbf {X} \mathbf {w} _{k})\\&=\mathbf {w} _{j}^{\mathrm {T} }\mathbf {X} ^{\mathrm {T} }\mathbf {X} \mathbf {w} _{k}\\&~{\overset {(\ast )}{=}}\mathbf {w} _{j}^{\mathrm {T} }\lambda _{k}\mathbf {w} _{k}\qquad (\mathbf {X} ^{\mathrm {T} }\mathbf {X} \mathbf {w} _{k}=\lambda _{k}\mathbf {w} _{k})\\&=\lambda _{k}\Vert \mathbf {w} _{k}\Vert ^{2}.\end{aligned}}}
線型変換 T = XW はデータ点 xi を元の p 次元の空間から、与えられたデータセットに対して各成分が互いに無相関になるような p 次元の空間へ写すが、一部の主成分だけを残すような変換も考えることができる。第一主成分から順に、各主成分に関するデータの分散が単調減少するように負荷量ベクトルが得られるため、最初の L 個の負荷量ベクトルだけを残し、残りの説明能力の低い負荷量ベクトルを無視すると、次のような変換が得られる。
T L = X W L {\displaystyle \mathbf {T} _{L}=\mathbf {X} \mathbf {W} _{L}}
WL は p × L の行列であり、TL は n × L の行列である。上記の変換はデータ点 x ∈ R に対する変換として、t = Wx (t ∈ R) と書くこともできる。つまり、主成分分析は p 個の特徴量を持つデータ点 x を L 個の互いに無相関な特徴量を持つ主成分得点 t へ写す線型変換 W : R → R を学習する手法であるといえる。 データ行列を変換することで得られる主成分得点行列は、元のデータセットの分散を保存し、二乗再構成誤差 (reconstruction error) の総和、