多項式回帰

統計学における多項式回帰（たこうしきかいき、英: polynomial regression）とは、従属変数 y {\displaystyle y} を独立変数 x {\displaystyle x} の n {\displaystyle n} 次多項式でモデル化する回帰分析の一手法である。多項式回帰は、従属変数と独立変数とが非線形的な関係で表現されるような場合に適しており、例えば神経組織の成長、湖底堆積物中の炭素同位体の分布、感染症の拡大の記述に用いられてきた。多項式回帰ではデータに非線形なモデルを当てはめるが、推定理論（英語版）においては線形の問題に分類される。というのも、推定される関数が未知母数の1次式だからである。この意味で、多項式回帰は重回帰分析の特別な場合とみなされる。 "ベースライン"変数 x {\displaystyle x} のべき乗によって得られる説明変数（独立変数）は高次項と呼ばれる。このような項は統計的分類の問題にも現れることがある。 多項式回帰では、普通最小二乗法を用いてモデルの当てはめが行われ、これにより偏回帰係数の最小分散不偏推定量が求まる（ガウス＝マルコフの定理）。最小二乗法は1805年にルジャンドル、1809年にガウスによって発表された。多項式回帰を用いた最初の実験計画の例がジョセフ・ディエ・ジェルゴンヌ（英語版、フランス語版）の1815年の論文に見られる。20世紀になって回帰分析が発達し、実験計画法や推定の理論の問題が重要視される中で、多項式回帰は大きな役割を果たしてきた。 回帰分析の目的は、従属変数 y {\displaystyle y} を独立変数 x {\displaystyle x} で説明するモデルを作ることである。単回帰（英語版）ではモデルは y = β 0 + β 1 x + ε {\displaystyle y=\beta _{0}+\beta _{1}x+\varepsilon } となる。ここで ε {\displaystyle \varepsilon } は平均が0になるような偶然誤差。このモデルでは、変数 x {\displaystyle x} が1単位増加するのに伴って y {\displaystyle y} は β 1 {\displaystyle \beta _{1}} だけ増加する。 多くの場面で、このような線形の関係は成り立たなくなる。例えば、化学合成における収率と温度との関係を調べると、温度1単位の上昇に伴い収率が加速度的に向上することがある。この場合、モデルに2次式を用いることが考えられる。 y = β 0 + β 1 x + β 2 x 2 + ε {\displaystyle y=\beta _{0}+\beta _{1}x+\beta _{2}x^{2}+\varepsilon } このモデルでは、温度が x {\displaystyle x} から x + 1 {\displaystyle x+1} に1単位上昇すると、収率は平均して β 1 + β 2 ( 2 x + 1 ) {\displaystyle \beta _{1}+\beta _{2}(2x+1)} だけ増加し（ x {\displaystyle x} を x + 1 {\displaystyle x+1} で置き換えて差し引く）、また微小変動 Δ x {\displaystyle \Delta x} による y {\displaystyle y} の全変動は ( β 1 + 2 β 2 x ) Δ x {\displaystyle (\beta _{1}+2\beta _{2}x)\Delta x} である。収率の変化量が x {\displaystyle x} に依存しているのは非線形性の現れである。 より一般には n次多項式を用いることができ、これが多項式回帰のモデルである。 y = β 0 + β 1 x + β 2 x 2 + β 3 x 3 + ⋯ + β n x n + ε {\displaystyle y=\beta _{0}+\beta _{1}x+\beta _{2}x^{2}+\beta _{3}x^{3}+\cdots +\beta _{n}x^{n}+\varepsilon } 多項式モデル y i = β 0 + β 1 x i + β 2 x i 2 + ⋯ + β n x i n + ε i   ( i = 1 , 2 , … , m ) {\displaystyle y_{i}\,=\,\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\cdots +\beta _{n}x_{i}^{n}+\varepsilon _{i}\ (i=1,2,\dots ,m)} は、計画行列 X {\displaystyle \mathbf {X} } 、従属変数ベクトル y → {\displaystyle {\vec {y}}} 、母数ベクトル β → {\displaystyle {\vec {\beta }}} 、誤差ベクトル ε → {\displaystyle {\vec {\varepsilon }}} を使って行列の形で表現できる。 X {\displaystyle \mathbf {X} } の第 i {\displaystyle i} 行目と y → {\displaystyle {\vec {y}}} の第 i {\displaystyle i} 成分は、第 i {\displaystyle i} 番目のサンプルデータにおける x {\displaystyle x} と y {\displaystyle y} の値から成っている。全体としては次のように1次方程式の系として書ける： [ y 1 y 2 y 3 ⋮ y m ] = [ 1 x 1 x 1 2 … x 1 n 1 x 2 x 2 2 … x 2 n 1 x 3 x 3 2 … x 3 n ⋮ ⋮ ⋮ ⋱ ⋮ 1 x m x m 2 … x m n ] [ β 0 β 1 β 2 ⋮ β n ] + [ ε 1 ε 2 ε 3 ⋮ ε m ] {\displaystyle {\begin{bmatrix}y_{1}\\y_{2}\\y_{3}\\\vdots \\y_{m}\end{bmatrix}}={\begin{bmatrix}1&x_{1}&x_{1}^{2}&\dots &x_{1}^{n}\\1&x_{2}&x_{2}^{2}&\dots &x_{2}^{n}\\1&x_{3}&x_{3}^{2}&\dots &x_{3}^{n}\\\vdots &\vdots &\vdots &\ddots &\vdots \\1&x_{m}&x_{m}^{2}&\dots &x_{m}^{n}\end{bmatrix}}{\begin{bmatrix}\beta _{0}\\\beta _{1}\\\beta _{2}\\\vdots \\\beta _{n}\end{bmatrix}}+{\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\varepsilon _{3}\\\vdots \\\varepsilon _{m}\end{bmatrix}}} 行列だけで書くと次のようになる。 y → = X β → + ε → {\displaystyle {\vec {y}}=\mathbf {X} {\vec {\beta }}+{\vec {\varepsilon }}} ここで、相異なる n + 1 {\displaystyle n+1} 個（＝未知母数の個数）以上の x {\displaystyle x} に対するサンプルが得られているとする（ m ≥ n + 1 {\displaystyle m\geq n+1} ）。このとき行列 X {\displaystyle \mathbf {X} } はヴァンデルモンドの行列式を与える正方行列を小行列として持つため、階数は最大値である n + 1 {\displaystyle n+1} となる。行列の一般論から X T X {\displaystyle \mathbf {X} ^{\mathsf {T}}\mathbf {X} } の階数も n + 1 {\displaystyle n+1} になり（QR分解を参照）、 X T X {\displaystyle \mathbf {X} ^{\mathsf {T}}\mathbf {X} } は逆行列を持つ。 よって最小二乗法の一般論から、回帰係数の推定量は β →