非線形最小二乗法

非線形最小二乗法（ひせんけいさいしょうにじょうほう、）とは、観測データに対するカーブフィッティング手法の一つであり、最小二乗法を非線形なモデル関数に拡張したものである。非線形最小二乗法は、未知パラメータ（フィッティングパラメータ）を非線形の形で持つ関数モデルを用いて、観測データを記述すること、すなわち、データに最も当てはまりの良いフィッティングパラメータを推定することを目的とする。
最小二乗法の主張.
formula_1 個のデータポイント formula_2 からなるセットに対し、formula_3 個のフィッティングパラメータ formula_4 を持つモデル関数
をあてはめる場合を考える。ここで、それぞれのデータ formula_6 において、formula_7 は説明変数とし、formula_8 は目的変数とする。formula_9 は、前記の formula_3 個のフィッティングパラメータ formula_11 からなる実数ベクトルとする。
また、以下で定まる残差
のそれぞれは、それぞれ、期待値 formula_13、標準偏差 formula_14 の正規分布に従うとする。また、話を簡単にするため、formula_7 それぞれは、いずれも誤差を持たないとする。
このとき、考えるべき問題は、もっとも当てはまりのよい formula_16 を見つけ出すことである。
非線形最小二乗法では、以下の残差平方和（より正確に言えば、標準化された残差平方和）
を最小とするような formula_16 が、もっとも当てはまりの良い formula_19 を与えるフィッティングパラメータと考える。
この考え方は、数多ある考え方の一つに過ぎない。他の考え方としては、例えば
等があり得る。これらの考え方で”最適”となったフッティングパラメータは、最小二乗法では”最適”とは限らない。
ただし、最小二乗法の考え方は、確率論的に尤もらしさが裏付けられている。このことについては、次節にて論じる。
最小二乗法の尤もらしさ.
最小二乗法は、正規分布に対応したフィッティングパラメータの最尤推定法である。ここでは最小二乗法の尤もらしさについて、確率論を援用して検討する。すなわち、残差 formula_22 それぞれが、期待値 formula_23、標準偏差 formula_24 の正規分布に従う確率変数であり、かつ、formula_25 からなる確率変数の族は、独立試行と考え、確率論を援用する。
仮定より、残差 formula_25 それぞれは、いずれも、期待値 formula_13、標準偏差 formula_14 の正規分布に従うため、あるデータセット formula_29 において、その測定値が formula_8 となる確率 formula_31 は、
となる。
今、データの測定は（数学的に言えば残差 formula_22 それぞれが）独立試行と考えられるため、formula_34 個のデータポイントのセット formula_35 が得られる確率 formula_36 は、
となる。ここで、formula_38は、連乗積を表す。
上式において、正規分布の単峰性より、確率 formula_39 は、
が最小（最も formula_13 に近いとき）において、最大（最尤）となる。すなわち、最尤法の教えるところによれば、このとき、もっとも当てはまりがよいと考えるのが妥当だろうということになる。
勾配方程式への帰着.
我々が考えるべき問題は、標準化された残差平方和
を最小とするようなパラメータ formula_43 を見つけることである。
このような formula_43 において、formula_45 の勾配 grad formula_45 は formula_13 になる（必要条件）。したがって、このような formula_43 は、以下の連立方程式の解となる。
数値解法.
線形の最小二乗法では、式(3-2)は未知パラメータ formula_43 についての連立一次方程式になるため、行列を用いて容易に解くことができるが、非線形最小二乗法では反復解法を用いる必要がある。解法には以下のような方法が知られている。