BFGS法
初期推定値 x 0 {\displaystyle \mathbf {x} _{0}} と初期近似ヘッセ行列 B 0 {\displaystyle B_{0}} から始め、次のステップを反復することにより、 x k {\displaystyle \mathbf {x} _{k}} は解に収束する。
方向 p k {\displaystyle \mathbf {p} _{k}} を B k p k = − ∇ f ( x k ) {\displaystyle B_{k}\mathbf {p} _{k}=-\nabla f(\mathbf {x} _{k})} を解くことにより求める。
1次最適化(直線探索)によりステップサイズ α k = arg  min f ( x k + α p k ) {\displaystyle \alpha _{k}=\arg \min f(\mathbf {x} _{k}+\alpha \mathbf {p} _{k})} を求める。
s k = α k p k {\displaystyle \mathbf {s} _{k}=\alpha _{k}\mathbf {p} _{k}} とし、 x k + 1 = x k + s k {\displaystyle \mathbf {x} _{k+1}=\mathbf {x} _{k}+\mathbf {s} _{k}} により推定値を更新する。
y k = ∇ f ( x k + 1 ) − ∇ f ( x k ) {\displaystyle \mathbf {y} _{k}={\nabla f(\mathbf {x} _{k+1})-\nabla f(\mathbf {x} _{k})}}
Avriel, Mordecai (2003), Nonlinear Programming: Analysis and Methods, Dover Publishing, ISBN 0-486-43227-0
Bonnans, J. Frédéric; Gilbert, J. Charles; Lemaréchal, Claude; Sagastizábal, Claudia A. (2006), Numerical optimization: Theoretical and practical aspects, Universitext (Second revised ed. of translation of 1997 French ed.), Berlin: Springer-Verlag, pp. xiv+490, doi:10.1007/978-3-540-35447-5, ISBN 3-540-35445-X, MR2265882, https://www.springer.com/mathematics/applications/book/978-3-540-35445-1 French Original: Optimisation numérique: Aspects théoriques et pratiques ISBN 3-540-63183-6
Broyden, C. G.