多項式回帰
多項式回帰は、2つの量の関係を何らかの基底関数(この場合は独立変数の有限個のべき乗)で表現する回帰手法の一例である。難点は、べき乗項の非線形性から、ある点 x 0 {\displaystyle x_{0}} での予測値が遠く離れた点 x {\displaystyle x} でのサンプルデータの影響を強く受けてしまうことである。近年では、多項式回帰に別の基底関数、例えば、スプライン、放射基底関数、ウェーブレット等を組み合わせることもある。こうした関数族を使うことで、より少ない関数だけから多様なデータに当てはまる回帰関数を作れることがある。
多項式回帰の目的は独立変数と従属変数の間の非線形な関係をモデル化することである。これは非線形な回帰関係を捉えようとするノンパラメトリック回帰(英語版)の目標とも重なるところがあり、ノンパラメトリック回帰での平滑化(英語版)等の手法は多項式回帰の有力な代替になり得る。これらの手法の中には、局所的な形式での多項式回帰を利用するものもある。従来型の多項式回帰の長所は、推測のフレームワークが活用できることである(これは他の基底関数、例えばスプラインを使う場合にも当てはまる)。
残る代替手法として、カーネル法によるもの(例えば、多項式カーネル(英語版)を用いたサポートベクターマシンによる回帰)がある。