回帰分析でも次元削減は有効である。回帰分析において、説明変数の数を増やすほど特定のデータに対して過剰適合したモデル、すなわち他のデータセットに対して誤った結果を与えるモデルを得がちである。モデル生成に使ったデータに対してモデルが過剰適合しないためには、説明変数の個数を適当に制限する必要があり、一つのアプローチとして、互いに強い相関を持つ説明変数を削減し、より少数の主成分によって回帰分析を行う方法がある。この方法をと呼ぶ。
次元削減はノイズの大きなデータを分析する上でも適切であることが多い。データ行列の各列、つまりそれぞれの特徴量に対して独立同分布なガウシアンノイズが含まれる場合、変換されたデータ行列 の列にも同様に独立同分布なガウシアンノイズが含まれる（座標軸の回転操作 に対して独立同分布なガウス分布は不変であるため）。しかしながら、最初の少数の主成分に関しては、全体の分散に比べてノイズに由来する分散が小さくなるため、シグナル・ノイズ比を高めることができる。主成分分析は主要な情報を少数の主成分に集中させるため、次元削減によってノイズが支配的な成分だけを捨て、データ構造を反映した有用な成分を取り出すことができる。
特異値分解.
主成分変換は行列の特異値分解とも結び付けられる。行列 の特異値分解は以下の形式で与えられる。
ここで、 は の矩形対角行列であり、対角成分 が正の行列である。 の対角成分を行列 の特異値という。 は の正方行列であり、各列が互いに直交する 次元の単位ベクトルとなる行列（つまり直交行列）である。各々の単位ベクトルは行列 の左特異ベクトルと呼ばれる。同様に は、各列が互いに直交する 次元の単位ベクトルとなる の正方行列である。こちらの単位ベクトルは行列 の右特異ベクトルと呼ばれる。
 の特異値分解に基づいて を表わせば、以下のようになる。
前節で示した の固有値分解と見比べると、 の右特異ベクトルの組 はまた の固有ベクトルの組でもあり、 の特異値 は の固有値 の平方根に等しいことが分かる。
特異値分解を主成分得点行列 に対して行うと、以下のような分解が得られる。
 の各列は の左特異ベクトルに対応する特異値をかけたものとして表わされることが分かる。この結果は のによっても得られる。