BFGS法
B k + 1 = B k + y k y k T y k T s k − B k s k s k T B k s k T B k s k {\displaystyle B_{k+1}=B_{k}+{\frac {\mathbf {y} _{k}\mathbf {y} _{k}^{\mathrm {T} }}{\mathbf {y} _{k}^{\mathrm {T} }\mathbf {s} _{k}}}-{\frac {B_{k}\mathbf {s} _{k}\mathbf {s} _{k}^{\mathrm {T} }B_{k}}{\mathbf {s} _{k}^{\mathrm {T} }B_{k}\mathbf {s} _{k}}}}
f ( x ) {\displaystyle f(\mathbf {x} )} は最小化の対象となる関数である。勾配のノルム | | ∇ f ( x k ) | | {\displaystyle ||\nabla f(\mathbf {x} _{k})||} を監視することにより収束判定を行う。 B 0 {\displaystyle B_{0}} を B 0 = I {\displaystyle B_{0}=I} のように初期化した場合、最初のステップは最急降下法と同等となるが、それ以降のステップでは近似ヘッシアン B k {\displaystyle B_{k}} の改善に伴って改善される。