局所回帰

<templatestyles src="Module:Sidebar/styles.css"></templatestyles>
局所回帰（きょくしょかいき、）または局所多項式回帰（きょくしょたこうしきかいい、）は、移動回帰（いどうかいき、）とも呼ばれ、移動平均や多項式回帰を一般化したものである。
概要.
局所回帰の最も一般的な方法がLOESS (locally estimated scatterplot smoothing) およびLOWESS (locally weighted scatterplot smoothing) であり、いずれも と発音される。いずれもノンパラメトリック回帰の手法であり、多数の回帰モデルをK近傍法に基づくメタモデルで組み合わせる。
LOESSは、線形最小二乗回帰の単純さと非線形回帰の柔軟性の多くを兼ね備えている。グローバルな関数を指定する必要はなく、データの局所的部分集合localized subsets of dataに単純なモデルを当てはめればよい。最小二乗回帰と比較すると計算量は膨大である。この統計手法で得られる滑らかな曲線は、loess曲線ないしlowess曲線と呼ばれる。
モデルの定義.
1964年、SavitskyとGolayがLOESSと等価な手法を提案し、Savitzky–Golayフィルタと呼ばれるようになった。1979年、William S. Clevelandがこの手法を再発見し、別の名前を付けた。1988年、ClevelandとSusan J. Devlinが、この手法をさらに発展させた。
データセットの範囲内の各ポイントで、低次の局所多項式がデータの部分集合にフィットされる。多項式は、応答が推定されるポイントに近くのポイントに重みを与える、重み付き最小二乗法を用いてフィットされる。各データ点のそれぞれについて回帰関数の値が計算されたところで、LOESSのフィットが完了する。
データの局所的部分集合.
LOESSの重み付き最小二乗法によるフィッティングに使用されるデータの部分集合は最近傍アルゴリズムによって決定される。平滑化パラメータformula_1は、各局所多項式を適合させるために、どのくらいの割合のデータを使用するかを決定する。
"k"次の多項式のフィッティングには"k" + 1 以上のポイントが必要であるため、平滑化パラメータformula_1は、formula_3と1の間にある必要がある。ここで、formula_4は局所多項式の次数を示す。formula_1が小さいほど回帰関数がデータに近くなるが、データの変動に伴うブレが大きくなる。
局所多項式の次数.
局所多項式は、ほとんどの場合、1次か2次である。より高次の多項式は理論的には有効であるが、「どんな関数も局所では低次の多項式で近似できる」というLOESS の精神にはそぐわないし、過剰適合のリスクがある。
重み関数.
重み関数は、説明変数空間において推定点に近いデータ点に最も大きな重みを与え、最も遠いデータ点に最も小さな重みを与える。
伝統的には三次元重み関数が用いられる。
ここで、"d"はデータポイント間の距離で、0から1の範囲にスケーリングされる。
ターゲット空間formula_7上の計量formula_8 formula_9による線形回帰の一般化を考える。formula_10 により formula_11個の入力パラメータをformula_12に埋め込んで、次の損失関数を考える。
ここで、formula_14は formula_15 の実行列であり、formula_16と定義される。添え字"i"は訓練データの入出力のベクトルを示す。formula_17は計量なので対称な正定値行列であり、formula_18を満たす対称行列formula_19が存在する。損失関数は次のように変形できる。formula_20ベクトルformula_21をformula_22型の行列formula_23、ベクトルformula_24 formula_25型の行列formula_26とすることで、損失関数は次のように変形できる。
ここで、formula_28はformula_29の対角行列であり、 その成分はformula_30である。formula_14に関して微分した値をゼロとすることで
さらに、正方行列formula_33が可逆行列であるとき、損失関数formula_34は下記で最小値を取る。
formula_8として、主にガウス関数が選択される。
利点.
平滑化パラメータと局所多項式の次数を与えるだけで、モデルをサンプルデータに柔軟に適合させることができる。
欠点.
局所的なデータ構造に基づいてフィッティングするため、充分な大きさの標本が必要である。また、数式で簡単に表現できる回帰関数を生成しないため、分析結果を他者に伝えることが困難である。また、他の最小二乗法と同様に、外れ値の影響を受けやすい。