曲線あてはめ
最小二乗法は最も一般的な方法である。
ここで、なぜ近似ではなく多項式の次数を高くして正確に当てはめようとしないのかという疑問が生じる。それには、以下のような理由がある。
正確な一致が存在するとしても、それを計算できるとは限らない。使用しているアルゴリズムによっては計算が発散してしまって解を求められなかったり、非常に時間がかかることがある。
データそのものに誤差がある場合、各点を正確に通る曲線よりも近似的な曲線の方が好ましい場合がある。
ルンゲ現象が起きやすい。n次多項式曲線の変曲点の数は最大 n-2 である。したがって、一般に次数が低いほうが曲線はより滑らかになる。次数が高くても滑らかな曲線にすることは可能だが、次数が低い方が簡単である。
ここまで、多項式の次数が制約数より少ない場合を述べてきたが、逆に多項式の次数が制約数より大きい場合はどうなるだろうか。上述の高次多項式の問題が全て生じることになるだけでなく、解が一意に定まらないという問題も生じる。そこから1つの曲線を選択するのはソフトウェアや人間の役割となる。このため、近似でよい場合は次数をなるべく低く設定するのが一般に最善とされている。
例えば、最適な a {\displaystyle {\textbf {a}}} が無限遠に存在する可能性もある。
(1-1)のSを最小とするようなフッティングパラメータ a 0 {\displaystyle {\textbf {a}}_{0}} が得られた場合には、以下の g ( x ) {\displaystyle g({\textbf {x}})} を、最適関数(xがスカラーの場合には、最適曲線)という。
g ( x ) = f ( x , a 0 ) {\displaystyle g({\textbf {x}})=f({\textbf {x}},{\textbf {a}}_{0})} (1-2)
このgは、説明変数 x {\displaystyle {\textbf {x}}} と目的変数yの間に1つの関数関係を与えている。つまり、このgは、 x {\displaystyle {\textbf {x}}} とyの関数であり、フィッティングパラメータは定数ベクトルと考える。
一般には、「必ず ( y , x ) = ( 0 , 0 ) {\displaystyle (y,{\textbf {x}})=(0,{\textbf {0}})} を通る」といった付帯条件が付いている場合がある。このような場合には、ラグランジュの未定乗数法が最適なフィッティングパラメータを探る上で手掛かりを与える。
なお、付帯条件のある場合、ない場合共に、実際の数値計算では、Levenberg-Marquardt algorithm(レーベンバーグ・マルカート法)が用いられることが多い。