リッジ回帰

リッジ回帰（リッジかいき、Ridge regression）は、独立変数が強く相関している場合に、重回帰モデルの係数を推定する方法。計量経済学、化学、工学などの分野で使用されている。
この理論は、1970年に Hoerl と ケナード が "Technometrics" の論文「RIDGE regressions: biased estimation of nonorthogonal problems」と「RIDGE regressions: applications in nonorthogonal problems」で初めて紹介した。これは、リッジ分析の分野における 10 年間の研究の結果だった。
リッジ回帰は、線形回帰モデルに多重共線性がある（強く相関する独立変数がある）場合に最小二乗推定量が不正確になることを解決するために開発された。リッジ回帰推定量は、最小二乗推定量よりも精度が高い。
数学的詳細.
formula_1 の列ベクトル formula_2 は formula_3 の計画行列 formula_4（通常はformula_5）の列空間に射影され、その列は高度に相関しているものとする。正射影 formula_6 を得るための係数 formula_7 の最小二乗推定量 formula_8 は
それに対して、リッジ回帰推定量 formula_10 は
ここで、formula_12 は formula_13 の単位行列であり、formula_14 は小さい値である。