多項式回帰

統計学における多項式回帰（たこうしきかいき、）とは、従属変数 formula_1 を独立変数 formula_2 の formula_3 次多項式でモデル化する回帰分析の一手法である。多項式回帰は、従属変数と独立変数とが非線形的な関係で表現されるような場合に適しており、例えば神経組織の成長、湖底堆積物中の炭素同位体の分布、感染症の拡大の記述に用いられてきた。多項式回帰ではデータに非線形なモデルを当てはめるが、においては線形の問題に分類される。というのも、推定される関数が未知母数の1次式だからである。この意味で、多項式回帰は重回帰分析の特別な場合とみなされる。
"ベースライン"変数 formula_2 のべき乗によって得られる説明変数（独立変数）は高次項と呼ばれる。このような項は統計的分類の問題にも現れることがある。
歴史.
多項式回帰では、普通最小二乗法を用いてモデルの当てはめが行われ、これにより偏回帰係数の最小分散不偏推定量が求まる（ガウス＝マルコフの定理）。最小二乗法は1805年にルジャンドル、1809年にガウスによって発表された。多項式回帰を用いた最初の実験計画の例がの1815年の論文に見られる。20世紀になって回帰分析が発達し、実験計画法や推定の理論の問題が重要視される中で、多項式回帰は大きな役割を果たしてきた。
定義と例.
回帰分析の目的は、従属変数 formula_1 を独立変数 formula_2 で説明するモデルを作ることである。ではモデルは
となる。ここで formula_8 は平均が0になるような偶然誤差。このモデルでは、変数 formula_2 が1単位増加するのに伴って formula_1 は formula_11 だけ増加する。
多くの場面で、このような線形の関係は成り立たなくなる。例えば、化学合成における収率と温度との関係を調べると、温度1単位の上昇に伴い収率が加速度的に向上することがある。この場合、モデルに2次式を用いることが考えられる。
このモデルでは、温度が formula_2 から formula_14 に1単位上昇すると、収率は平均して formula_15 だけ増加し（ formula_2 
を formula_14 で置き換えて差し引く）、また微小変動 formula_18 による formula_1 の全変動は formula_20 である。収率の変化量が formula_2 に依存しているのは非線形性の現れである。
より一般には "n"次多項式を用いることができ、これが多項式回帰のモデルである。
行列を用いた記法と推定値の計算.
多項式モデル
は、計画行列 formula_24、従属変数ベクトル formula_25、母数ベクトル formula_26、誤差ベクトル formula_27 を使って行列の形で表現できる。formula_24 の第 formula_29 行目と formula_25 の第 formula_29 成分は、第 formula_29 番目のサンプルデータにおける formula_2 と formula_1 の値から成っている。全体としては次のように1次方程式の系として書ける：
行列だけで書くと次のようになる。
ここで、相異なる formula_37 個（＝未知母数の個数）以上の formula_2 に対するサンプルが得られているとする（ formula_39 ）。このとき行列 formula_24 はヴァンデルモンドの行列式を与える正方行列を小行列として持つため、階数は最大値である formula_37 となる。行列の一般論から formula_42 の階数も formula_37 になり（QR分解を参照）、formula_42 は逆行列を持つ。
よって最小二乗法の一般論から、回帰係数の推定量は
と一意的に求められる。
解釈.
多項式回帰は技術的には重回帰の一種ではあるが、当てはめられた多項式の解釈にはやや異なった視点が必要である。formula_46 は強く相関しているため、それらの回帰係数を個別に解釈するのは難しいことが多い。例えば formula_2 と formula_48 は、formula_2 が区間 (0, 1) 上の一様分布に従っているなら相関係数が 0.97 である。直交多項式を使うことで相関を減少させることもできるが、当てはめた関数を全体として捉えるほうが示唆的である。各点での信頼区間・同時信頼区間は回帰関数の不確かさを表す。
代替するアプローチ.
多項式回帰は、2つの量の関係を何らかの基底関数（この場合は独立変数の有限個のべき乗）で表現する回帰手法の一例である。難点は、べき乗項の非線形性から、ある点 formula_50 での予測値が遠く離れた点 formula_2 でのサンプルデータの影響を強く受けてしまうことである。近年では、多項式回帰に別の基底関数、例えば、スプライン、放射基底関数、ウェーブレット等を組み合わせることもある。こうした関数族を使うことで、より少ない関数だけから多様なデータに当てはまる回帰関数を作れることがある。
多項式回帰の目的は独立変数と従属変数の間の非線形な関係をモデル化することである。これは非線形な回帰関係を捉えようとするの目標とも重なるところがあり、ノンパラメトリック回帰での等の手法は多項式回帰の有力な代替になり得る。これらの手法の中には、局所的な形式での多項式回帰を利用するものもある。従来型の多項式回帰の長所は、推測のフレームワークが活用できることである（これは他の基底関数、例えばスプラインを使う場合にも当てはまる）。
残る代替手法として、カーネル法によるもの（例えば、を用いたサポートベクターマシンによる回帰）がある。