多項式回帰
多項式モデル
y i = β 0 + β 1 x i + β 2 x i 2 + ⋯ + β n x i n + ε i ( i = 1 , 2 , ... , m ) {\displaystyle y_{i}\,=\,\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\cdots +\beta _{n}x_{i}^{n}+\varepsilon _{i}\ (i=1,2,\dots ,m)}
は、計画行列 X {\displaystyle \mathbf {X} } 、従属変数ベクトル y → {\displaystyle {\vec {y}}} 、母数ベクトル β → {\displaystyle {\vec {\beta }}} 、誤差ベクトル ε → {\displaystyle {\vec {\varepsilon }}} を使って行列の形で表現できる。 X {\displaystyle \mathbf {X} } の第 i {\displaystyle i} 行目と y → {\displaystyle {\vec {y}}} の第 i {\displaystyle i} 成分は、第 i {\displaystyle i} 番目のサンプルデータにおける x {\displaystyle x} と y {\displaystyle y} の値から成っている。全体としては次のように1次方程式の系として書ける:
[ y 1 y 2 y 3 ⋮ y m ] = [ 1 x 1 x 1 2 .
y → = X β → + ε → {\displaystyle {\vec {y}}=\mathbf {X} {\vec {\beta }}+{\vec {\varepsilon }}}
ここで、相異なる n + 1 {\displaystyle n+1} 個(=未知母数の個数)以上の x {\displaystyle x} に対するサンプルが得られているとする( m ≥ n + 1 {\displaystyle m\geq n+1} )。このとき行列 X {\displaystyle \mathbf {X} } はヴァンデルモンドの行列式を与える正方行列を小行列として持つため、階数は最大値である n + 1 {\displaystyle n+1} となる。行列の一般論から X T X {\displaystyle \mathbf {X} ^{\mathsf {T}}\mathbf {X} } の階数も n + 1 {\displaystyle n+1} になり(QR分解を参照)、 X T X {\displaystyle \mathbf {X} ^{\mathsf {T}}\mathbf {X} } は逆行列を持つ。
よって最小二乗法の一般論から、回帰係数の推定量は
β → ^ = ( X T X ) − 1 X T y → {\displaystyle {\widehat {\vec {\beta }}}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\;\mathbf {X} ^{\mathsf {T}}{\vec {y}}}
と一意的に求められる。