回帰分析でも次元削減は有効である。回帰分析において、説明変数の数を増やすほど特定のデータに対して過剰適合したモデル、すなわち他のデータセットに対して誤った結果を与えるモデルを得がちである。モデル生成に使ったデータに対してモデルが過剰適合しないためには、説明変数の個数を適当に制限する必要があり、一つのアプローチとして、互いに強い相関を持つ説明変数を削減し、より少数の主成分によって回帰分析を行う方法がある。この方法をと呼ぶ。次元削減はノイズの大きなデータを分析する上でも適切であることが多い。データ行列の各列、つまりそれぞれの特徴量に対して独立同分布なガウシアンノイズが含まれる場合、変換されたデータ行列の列にも同様に独立同分布なガウシアンノイズが含まれる(座標軸の回転操作に対して独立同分布なガウス分布は不変であるため)。しかしながら、最初の少数の主成分に関しては、全体の分散に比べてノイズに由来する分散が小さくなるため、シグナル・ノイズ比を高めることができる。主成分分析は主要な情報を少数の主成分に集中させるため、次元削減によってノイズが支配的な成分だけを捨て、データ構造を反映した有用な成分を取り出すことができる。特異値分解.主成分変換は行列の特異値分解とも結び付けられる。行列の特異値分解は以下の形式で与えられる。ここで、はの矩形対角行列であり、対角成分が正の行列である。の対角成分を行列の特異値という。はの正方行列であり、各列が互いに直交する次元の単位ベクトルとなる行列(つまり直交行列)である。各々の単位ベクトルは行列の左特異ベクトルと呼ばれる。同様には、各列が互いに直交する次元の単位ベクトルとなるの正方行列である。こちらの単位ベクトルは行列の右特異ベクトルと呼ばれる。の特異値分解に基づいてを表わせば、以下のようになる。前節で示したの固有値分解と見比べると、の右特異ベクトルの組はまたの固有ベクトルの組でもあり、の特異値はの固有値の平方根に等しいことが分かる。特異値分解を主成分得点行列に対して行うと、以下のような分解が得られる。の各列はの左特異ベクトルに対応する特異値をかけたものとして表わされることが分かる。この結果はのによっても得られる。