主成分分析は正準相関分析 とも関わりがある。正準相関分析は二つのデータセット間の相互共分散に基いて座標系を定める手続きだが、主成分分析は単一のデータセットの分散に基いて座標系を選択する手法である。
詳細.
数学的には主成分分析はデータの基底に対し直交変換（回転）を行い、新たな座標系を得ることであり、新しい座標系はその第一成分（第一主成分と呼ばれる）から順に、データの各成分に対する分散が最大になるように選ばれる。
主成分分析は 次元ベクトル によってデータ行列 の各行 を主成分得点のベクトル に変換することであり、主成分得点 はデータ点 と負荷量ベクトル の内積によって与えられる。
負荷量ベクトル は単位ベクトルであり、各主成分得点の分散を第一主成分から順に最大化するように選ばれる。負荷量ベクトルの個数（つまり主成分の数） は、元の指標の数 に等しいか、より小さい数が選ばれる ()。負荷量ベクトルの個数、つまり新しいデータ空間の次元を元の空間の次元より少なくとることで、次元削減をすることができる（#次元削減を参照）。主成分分析による次元削減は、データの分散に関する情報を残すように行われる。
第一主成分.
第一主成分に対応する負荷量ベクトル は以下の条件を満たす。
さらに変数 が単位ベクトルという制約を除けば、上述の条件は次の等価な条件に簡約化することができる。
右辺の最大化される量は に対するレイリー商と見ることができる。 は対称行列だから、レイリー商の最大値は行列の最大固有値となり、それに伴い負荷量ベクトルは対応する固有ベクトルとなる。
第一負荷量ベクトル が得られれば、データ点 に対応する主成分得点 、あるいは対応するベクトル が得られる。
他の主成分.
 番目の主成分は 番目までの主成分をデータ行列 から取り除くことで得られる：
負荷量ベクトルは新たなデータ行列に対して主成分得点の分散が最大となるようなベクトルとして与えられる。
このことから、新たな負荷量ベクトルは対称行列 の固有ベクトルであり、右辺の括弧内の量の最大値は対応する固有値を与えることが分かる。したがって、すべての負荷量ベクトルは の固有ベクトルである。