リッジ回帰
n × 1 {\textstyle n\times 1} の列ベクトル y {\textstyle y} は n × p {\textstyle n\times p} の計画行列 X {\textstyle X} (通常は p ≪ n {\textstyle p\ll n} )の列空間に射影され、その列は高度に相関しているものとする。正射影 X β {\textstyle X\beta } を得るための係数 β ∈ R p × 1 {\textstyle \beta \in \mathbb {R} ^{p\times 1}} の最小二乗推定量 β ^ {\displaystyle {\widehat {\beta }}} は
β ^ = ( X ′ X ) − 1 X ′ y {\displaystyle {\widehat {\beta }}=(X'X)^{-1}X'y}
それに対して、リッジ回帰推定量 β ^ ridge {\displaystyle {\widehat {\beta }}_{\text{ridge}}} は
β ^ ridge = ( X ⊤ X + k I p ) − 1 X ⊤ y {\displaystyle {\widehat {\beta }}_{\text{ridge}}=(X^{\top }X+kI_{p})^{-1}X^{\top }y}
ここで、 I p {\textstyle I_{p}} は p × p {\textstyle p\times p} の単位行列であり、 k > 0 {\textstyle k>0} は小さい値である。