バックフィッティングアルゴリズム
ここで、 P i ( ⋅ ) = E ( ⋅ | X i ) {\displaystyle P_{i}(\cdot )=E(\cdot |X_{i})} である。この文脈において、平滑化行列 S i {\displaystyle S_{i}} を考えることができ、それは P i {\displaystyle P_{i}} を推定し(approximate)、 E ( Y | X ) {\displaystyle E(Y|X)} の推定値(estimate) S i Y {\displaystyle S_{i}Y} を与える。
( I S 1 ⋯ S 1 S 2 I ⋯ S 2 ⋮ ⋱ ⋮ S p ⋯ S p I ) ( f 1 f 2 ⋮ f p ) = ( S 1 Y S 2 Y ⋮ S p Y ) {\displaystyle {\begin{pmatrix}I&S_{1}&\cdots &S_{1}\\S_{2}&I&\cdots &S_{2}\\\vdots &&\ddots &\vdots \\S_{p}&\cdots &S_{p}&I\end{pmatrix}}{\begin{pmatrix}f_{1}\\f_{2}\\\vdots \\f_{p}\end{pmatrix}}={\begin{pmatrix}S_{1}Y\\S_{2}Y\\\vdots \\S_{p}Y\end{pmatrix}}}
f ^ 2 ( i ) = S 2 ∑ α = 0 i − 1 ( S 1 S 2 ) α ( I − S 1 ) Y + S 2 ( S 1 S 2 ) i − 1 S 1 f ^ 2 ( 0 ) {\displaystyle {\hat {f}}_{2}^{(i)}=S_{2}\sum _{\alpha =0}^{i-1}(S_{1}S_{2})^{\alpha }(I-S_{1})Y+S_{2}(S_{1}S_{2})^{i-1}S_{1}{\hat {f}}_{2}^{(0)}}
α {\displaystyle \alpha } をゼロと仮定し、 f ^ 2 ( 0 ) = 0 {\displaystyle {\hat {f}}_{2}^{(0)}=0} とすると、以下を得る。
f ^ 1 ( i ) = [ I − ∑ α = 0 i − 1 ( S 1 S 2 ) α ( I − S 1 ) ] Y {\displaystyle {\hat {f}}_{1}^{(i)}=[I-\sum _{\alpha =0}^{i-1}(S_{1}S_{2})^{\alpha }(I-S_{1})]Y}
f ^ 2 ( i ) = [ S 2 ∑ α = 0 i − 1 ( S 1 S 2 ) α ( I − S 1 ) ] Y {\displaystyle {\hat {f}}_{2}^{(i)}=[S_{2}\sum _{\alpha =0}^{i-1}(S_{1}S_{2})^{\alpha }(I-S_{1})]Y}
これは ‖ S 1 S 2 ‖ < 1 {\displaystyle \|S_{1}S_{2}\|<1} のときに収束する。