バックフィッティングアルゴリズム
以下の2乗誤差の期待値を最小化したいとする。
min E [ Y − ( α + ∑ j = 1 p f j ( X j ) ) ] 2 {\displaystyle \min E[Y-(\alpha +\sum _{j=1}^{p}f_{j}(X_{j}))]^{2}}
次で与えられる射影理論によりユニークな解が存在する。
f i ( X i ) = E [ Y − ( α + ∑ j ≠ i p f j ( X j ) ) | X i ] {\displaystyle f_{i}(X_{i})=E[Y-(\alpha +\sum _{j\neq i}^{p}f_{j}(X_{j}))|X_{i}]} for i = 1, 2, ..., p.
これは、次の行列表現を与える。
( I P 1 ⋯ P 1 P 2 I ⋯ P 2 ⋮ ⋱ ⋮ P p ⋯ P p I ) ( f 1 ( X 1 ) f 2 ( X 2 ) ⋮ f p ( X p ) ) = ( P 1 Y P 2 Y ⋮ P p Y ) {\displaystyle {\begin{pmatrix}I&P_{1}&\cdots &P_{1}\\P_{2}&I&\cdots &P_{2}\\\vdots &&\ddots &\vdots \\P_{p}&\cdots &P_{p}&I\end{pmatrix}}{\begin{pmatrix}f_{1}(X_{1})\\f_{2}(X_{2})\\\vdots \\f_{p}(X_{p})\end{pmatrix}}={\begin{pmatrix}P_{1}Y\\P_{2}Y\\\vdots \\P_{p}Y\end{pmatrix}}}