リッジ回帰

リッジ回帰（リッジかいき、Ridge regression）は、独立変数が強く相関している場合に、重回帰モデルの係数を推定する方法。計量経済学、化学、工学などの分野で使用されている。

この理論は、1970年に Hoerl と ケナード が Technometrics の論文「RIDGE regressions: biased estimation of nonorthogonal problems」と「RIDGE regressions: applications in nonorthogonal problems」で初めて紹介したHoerl, Arthur E., and Robert W. Kennard. “Ridge Regression: Biased Estimation for Nonorthogonal Problems.” Technometrics, vol. 12, no. 1, 1970, pp. 55–67. [www.jstor.org/stable/1267351 JSTOR]. Accessed 13 March 2021.  Hoerl, Arthur E., and Robert W. Kennard. “Ridge Regression: Applications to Nonorthogonal Problems.” Technometrics, volume 12, number 1, 1970, pp. 69–82. [www.jstor.org/stable/1267352 JSTOR]. Accessed 13 March 2021. 。これは、リッジ分析の分野における 10 年間の研究の結果だった。

リッジ回帰は、線形回帰モデルに多重共線性がある（強く相関する独立変数がある）場合に最小二乗推定量が不正確になることを解決するために開発された。リッジ回帰推定量は、最小二乗推定量よりも精度が高い。

 数学的詳細 
 の列ベクトル  は  の計画行列 （通常は）の列空間に射影され、その列は高度に相関しているものとする。正射影  を得るための係数  の最小二乗推定量  は



それに対して、リッジ回帰推定量  は



ここで、 は  の単位行列であり、 は小さい値である。

 脚注 

Category:回帰分析
Category:統計モデル
Category:数学に関する記事