準ニュートン法
アルゴリズムをまとめると以下のようになる。
Δ x k = − α B k − 1 ∇ f ( x k ) {\displaystyle \Delta {\boldsymbol {x}}_{k}=-\alpha {\boldsymbol {B}}_{k}^{-1}\nabla f({\boldsymbol {x}}_{k})}
x k + 1 = x k + Δ x k {\displaystyle {\boldsymbol {x}}_{k+1}={\boldsymbol {x}}_{k}+\Delta {\boldsymbol {x}}_{k}}
新しい点での勾配 ∇ f ( x k + 1 ) {\displaystyle \nabla f({\boldsymbol {x}}_{k+1})} を計算し y k = ∇ f ( x k + 1 ) − ∇ f ( x k ) {\displaystyle {\boldsymbol {y}}_{k}=\nabla f({\boldsymbol {x}}_{k+1})-\nabla f({\boldsymbol {x}}_{k})} とする
y k {\displaystyle {\boldsymbol {y}}_{k}} を用いてヘッセ行列の逆行列 B k + 1 − 1 {\displaystyle {\boldsymbol {B}}_{k+1}^{-1}} を直接近似する。近似の式は各手法ごとに以下のリストの通り。