バックフィッティングアルゴリズム
加法モデルは次の形のノンパラメトリックな回帰モデルのクラスである。
Y i = α + ∑ j = 1 p f j ( X i j ) + ε i {\displaystyle Y_{i}=\alpha +\sum _{j=1}^{p}f_{j}(X_{ij})+\epsilon _{i}}
ここで、 X 1 , X 2 , ... , X p {\displaystyle X_{1},X_{2},\ldots ,X_{p}} は p {\displaystyle p} 次元予測子(p-dimensional predictor) X {\displaystyle X} 中の変数であり、 Y {\displaystyle Y} は結果変数(outcome variable)である。 ε {\displaystyle \epsilon } は固有誤差(inherent error)であり、平均がゼロであると仮定する。 f j {\displaystyle f_{j}} は単一の X j {\displaystyle X_{j}} の詳細不明な滑らかな関数(smooth functions)を表す。 f j {\displaystyle f_{j}} の柔軟性が与えられたことにより、典型的にはユニークな解を持たない。
または省略系で : S ^ f = Q Y {\displaystyle {\hat {S}}f=QY\ } とする。
大きい np に対する正確な解を計算するのは実行不可能である。そのため、バックフィッティングによる反復解法が使用される。初期値 f i ( 0 ) {\displaystyle f_{i}^{(0)}} および f i ( j ) {\displaystyle f_{i}^{(j)}} の更新をしていく。
f i ^ ( j ) ← Smooth [ { y i − α ^ − ∑ k ≠ j f k ^ ( x i k ) } 1 N ] {\displaystyle {\hat {f_{i}}}^{(j)}\leftarrow {\text{Smooth}}[\lbrace y_{i}-{\hat {\alpha }}-\sum _{k\neq j}{\hat {f_{k}}}(x_{ik})\rbrace _{1}^{N}]}
省略形を見ることで、バックフィッティングアルゴリズムが平滑化演算子 S のガウス=ザイデル法に等しいということが簡単にわかる。