主成分分析は正準相関分析とも関わりがある。正準相関分析は二つのデータセット間の相互共分散に基いて座標系を定める手続きだが、主成分分析は単一のデータセットの分散に基いて座標系を選択する手法である。詳細.数学的には主成分分析はデータの基底に対し直交変換(回転)を行い、新たな座標系を得ることであり、新しい座標系はその第一成分(第一主成分と呼ばれる)から順に、データの各成分に対する分散が最大になるように選ばれる。主成分分析は次元ベクトルによってデータ行列の各行を主成分得点のベクトルに変換することであり、主成分得点はデータ点と負荷量ベクトルの内積によって与えられる。負荷量ベクトルは単位ベクトルであり、各主成分得点の分散を第一主成分から順に最大化するように選ばれる。負荷量ベクトルの個数(つまり主成分の数)は、元の指標の数に等しいか、より小さい数が選ばれる()。負荷量ベクトルの個数、つまり新しいデータ空間の次元を元の空間の次元より少なくとることで、次元削減をすることができる(#次元削減を参照)。主成分分析による次元削減は、データの分散に関する情報を残すように行われる。第一主成分.第一主成分に対応する負荷量ベクトルは以下の条件を満たす。さらに変数が単位ベクトルという制約を除けば、上述の条件は次の等価な条件に簡約化することができる。右辺の最大化される量はに対するレイリー商と見ることができる。は対称行列だから、レイリー商の最大値は行列の最大固有値となり、それに伴い負荷量ベクトルは対応する固有ベクトルとなる。第一負荷量ベクトルが得られれば、データ点に対応する主成分得点、あるいは対応するベクトルが得られる。他の主成分.番目の主成分は番目までの主成分をデータ行列から取り除くことで得られる:負荷量ベクトルは新たなデータ行列に対して主成分得点の分散が最大となるようなベクトルとして与えられる。このことから、新たな負荷量ベクトルは対称行列の固有ベクトルであり、右辺の括弧内の量の最大値は対応する固有値を与えることが分かる。したがって、すべての負荷量ベクトルはの固有ベクトルである。