準ニュートン法
∇ f ( x k + Δ x ) ≈ ∇ f ( x k ) + B Δ x {\displaystyle \nabla f({\boldsymbol {x}}_{k}+\Delta {\boldsymbol {x}})\approx \nabla f({\boldsymbol {x}}_{k})+{\boldsymbol {B}}\Delta {\boldsymbol {x}}}
この勾配が0になると仮定するとニュートン・ステップが次の式で計算される。
Δ x = − B − 1 ∇ f ( x k ) {\displaystyle \Delta {\boldsymbol {x}}=-{\boldsymbol {B}}^{-1}\nabla f({\boldsymbol {x}}_{k})}
そこでヘッセ行列の近似 B {\displaystyle {\boldsymbol {B}}} は次の式を満たすように行われる。
∇ f ( x k + Δ x ) = ∇ f ( x k ) + B Δ x {\displaystyle \nabla f({\boldsymbol {x}}_{k}+\Delta {\boldsymbol {x}})=\nabla f({\boldsymbol {x}}_{k})+{\boldsymbol {B}}\Delta {\boldsymbol {x}}}
この方程式はセカント方程式と呼ばれる。 f {\displaystyle f} が多次元空間上で定義される関数のとき、この式から B {\displaystyle {\boldsymbol {B}}} を求める問題は劣決定問題になる(式の数よりも未知数の数が多い問題のこと)。このとき B {\displaystyle {\boldsymbol {B}}} を求めて、ニュートン・ステップにより解を更新するという処理はセカント方程式を解くことに帰着される。