ガウス・ニュートン法
ガウス・ニュートン法は関数ri を並べたベクトルの線形近似で与えられる。テイラーの定理を用いれば、各反復において次式が成り立つ:
r ( β ) ≈ r ( β s ) + J r ( β s ) Δ . {\displaystyle {\boldsymbol {r}}({\boldsymbol {\beta }})\approx {\boldsymbol {r}}({\boldsymbol {\beta }}^{s})+J_{r}({\boldsymbol {\beta }}^{s}){\boldsymbol {\Delta }}.}
ここで Δ = β - β である。右辺の残差平方和を最小化するΔを見つけること、すなわち
( ∂ r i ∂ β 1 , ∂ r i ∂ β 2 ) = ( − x i β 2 + x i , β 1 x i ( β 2 + x i ) 2 ) . {\displaystyle {\begin{pmatrix}{\dfrac {\partial r_{i}}{\partial \beta _{1}}},&{\dfrac {\partial r_{i}}{\partial \beta _{2}}}\end{pmatrix}}={\begin{pmatrix}-{\dfrac {x_{i}}{\beta _{2}+x_{i}}},&{\dfrac {\beta _{1}x_{i}}{\left(\beta _{2}+x_{i}\right)^{2}}}\end{pmatrix}}.}
初期推定値としてβ1 = 0.9、β2 = 0.2から始め、ガウス・ニュートン法による5回の反復計算を行うと、最適値 β ^ 1 = 0.362 , β ^ 2 = 0.556 {\displaystyle {\hat {\beta }}_{1}=0.362,{\hat {\beta }}_{2}=0.556} が得られる。残差平方和は5回の反復計算で初期の1.445から0.00784まで減少する。右図はこれらの最適パラメータを用いたモデルで決まる曲線と、実験データとの比較を示す。