局所回帰
ここで、 W {\displaystyle W} は N × N {\displaystyle N\times N} の対角行列であり、 その成分は w i ( x ) {\displaystyle w_{i}(x)} である。 A {\displaystyle A} に関して微分した値をゼロとすることで
A X ^ W ( x ) X ^ T = Y W ( x ) X ^ T . {\displaystyle A{\hat {X}}W(x){\hat {X}}^{T}=YW(x){\hat {X}}^{T}.}
さらに、正方行列 X ^ W ( x ) X ^ T {\displaystyle {\hat {X}}W(x){\hat {X}}^{T}} が可逆行列であるとき、損失関数 RSS x  ( A ) {\displaystyle \operatorname {RSS} _{x}(A)} は下記で最小値を取る。
A ( x ) = Y W ( x ) X ^ T ( X ^ W ( x ) X ^ T ) − 1 . {\displaystyle A(x)=YW(x){\hat {X}}^{T}({\hat {X}}W(x){\hat {X}}^{T})^{-1}.}
w ( x , z ) {\displaystyle w(x,z)} として、主にガウス関数が選択される。
w ( x , z ) = exp  ( − ‖ x − z ‖ 2 2 α 2 ) {\displaystyle w(x,z)=\exp \left(-{\frac {\|x-z\|^{2}}{2\alpha ^{2}}}\right)}