ガウス・ニュートン法
ここでは例として、ガウス・ニュートン法を使ってデータとモデルによる予測値の間の残差平方和を最小化し、データにモデルをフィットさせる。
生物実験において、酵素媒介反応における基質濃度[S] と反応率v の関係として次表のようなデータが得られたとする(右図の赤点)。
これらのデータに対し、次の形のモデル曲線(ミカエリス・メンテン式)のパラメータVmax とKM を、最小二乗の意味で最もよくフィットするように決定したい:
v = V m a x [ S ] K M + [ S ] {\displaystyle v={\frac {V_{\mathrm {max} }[\mathrm {S} ]}{K_{\mathrm {M} }+[\mathrm {S} ]}}}
xi とyi (i = 1, ... , 7) で [S] とv のデータを表す。また、β1 = Vmax 、β2 = KM とする。残差
r i = y i − β 1 x i β 2 + x i ( i = 1 , ... , 7 ) {\displaystyle r_{i}=y_{i}-{\frac {\beta _{1}x_{i}}{\beta _{2}+x_{i}}}\quad (i=1,\dots ,7)}
の平方和を最小化するβ1 とβ2 を見つけることが目的となる。
未知パラメータβに関する残差ベクトルr のヤコビアンJr は7×2の行列で、i 番目の行は次の要素を持つ:
最適な縮小因子αが 0 に近いような場合、発散を回避する別の方法はレーベンバーグ・マルカート法(信頼領域法)を使うことである。増分ベクトルが最急降下方向に向くように正規方程式は修正される。
( J T J + λ D ) Δ = J T r , {\displaystyle (J^{\mathrm {T} }J+\lambda D)\Delta =J^{\mathrm {T} }{\boldsymbol {r}},}
ここでD は正定値対角行列である。λが 0 から増大するにつれて増分ベクトルΔは長さが単調に減少し、かつ方向は最急降下方向に近づくため、λを十分大きくすれば必ずより小さいS の値を見出せることが保証されている。
いわゆるマルカートパラメータλは直線探索により最適化されるが、λが変わるたびに毎回シフトベクトルの再計算をしなければならないため非効率的である。より効率的な方法は、発散が起きた時にλをS が減少するまで増加させる。そしてその値を1回の反復から次まで維持する、しかしλを 0 に設定することができるときにもしカットオフ値に届くまで可能なら減少させる。このときS の最小値は標準のガウス・ニュートン法の最小化になる。