局所回帰
重み関数は、説明変数空間において推定点に近いデータ点に最も大きな重みを与え、最も遠いデータ点に最も小さな重みを与える。
伝統的には三次元重み関数が用いられる。
w ( x ) = ( 1 − | d | 3 ) 3 {\displaystyle w(x)=(1-|d|^{3})^{3}}
ここで、dはデータポイント間の距離で、0から1の範囲にスケーリングされる。
ターゲット空間 R m {\displaystyle \mathbb {R} ^{m}} 上の計量 w ( x , z ) {\displaystyle w(x,z)} x , z ∈ R n {\displaystyle x,z\in \mathbb {R} ^{n}} による線形回帰の一般化を考える。 x ↦ x ^ := ( 1 , x ) {\displaystyle x\mapsto {\hat {x}}:=(1,x)} により n {\displaystyle n} 個の入力パラメータを R n + 1 {\displaystyle \mathbb {R} ^{n+1}} に埋め込んで、次の損失関数を考える。
RSS x  ( A ) = ∑ i = 1 N ( y i − A x ^ i ) T w i ( x ) ( y i − A x ^ i ) . {\displaystyle \operatorname {RSS} _{x}(A)=\sum _{i=1}^{N}(y_{i}-A{\hat {x}}_{i})^{T}w_{i}(x)(y_{i}-A{\hat {x}}_{i}).
LOESSの重み付き最小二乗法によるフィッティングに使用されるデータの部分集合は最近傍アルゴリズムによって決定される。平滑化パラメータ α {\displaystyle \alpha } は、各局所多項式を適合させるために、どのくらいの割合のデータを使用するかを決定する。
k次の多項式のフィッティングにはk + 1 以上のポイントが必要であるため、平滑化パラメータ α {\displaystyle \alpha } は、 ( λ + 1 ) / n {\displaystyle \left(\lambda +1\right)/n} と1の間にある必要がある。ここで、 λ {\displaystyle \lambda } は局所多項式の次数を示す。 α {\displaystyle \alpha } が小さいほど回帰関数がデータに近くなるが、データの変動に伴うブレが大きくなる。