質問: 2次の最小二乗法 1次(ax+b)の最小二乗法は、 http://szksrv.isc.chubu.ac.jp/lms/lms1.html に載っている通りに求めるのですが、 2次(ax^2+bx+c)のa,b,cを求める式はどうなるのですか?
回答: モデル y = ax^2 + bx + c をデータ(x[i], y[i]) (i=1,2,...,n)にあてはめる話ですね。この式はa,b,cを変数、x,yを定数と見ると一次式です。だから、線形最小二乗法が素直に使えます。 残差ε[i]を ε[i] = ax[i]^2 + bx[i] + c - y[i] として、その二乗の総和e e = σ(ε[i]^2) (σはi=1,2,...,nについての総和) を最小化するために、 ∂e/∂a = 0 ∂e/∂b = 0 ∂e/∂c = 0 という連立方程式を解きます。それぞれ左辺の偏微分を計算すると、 ∂e/∂a = 2σ(ax[i]^2 + bx[i] + c-y[i])(x[i]^2) ∂e/∂b = 2σ(ax[i]^2 + bx[i] + c-y[i])x[i] ∂e/∂c = 2σ(ax[i]^2 + bx[i] + c-y[i]) 右辺を展開して ∂e/∂a = 2aς(xi]^4) + 2bς(x[i]^3) + 2cς(x[i]^2)-2σ(y[i) ∂e/∂b = 2aς(x[i]^3) + 2bς(x[i]^2)+ 2cσx[i]-2σ(y[i]x[i]) ∂e/∂c = 2aς(x[i]^2 )+ 2bσx[i] + 2cς1-2σy[i] 従って、 aς(xi]^4) + bς(x[i]^3) + cς(x[i]^2) = σ(y[i) aς(x[i]^3) + bς(x[i]^2)+ cσx[i] = σ(y[i]x[i]) aς(x[i]^2 )+ bσx[i] + cς1 = σy[i] ここで、σの部分は全部データから計算できる定数です。(なお、σ1=nです。)だからこれは、a,b,cを未知数とする3元連立一次方程式になっています。後はがんばって解くだけ。(もちろん3元連立一次方程式を解くための公式もありますが。)