L-BFGS法
上の疑似コードは、最小化問題の探索方向、z = −Hkgkを推定する。最大化問題を解く際は代わりに−zを使えばよい。逆ヘッセ行列の初期推定値H0kは、数値的効率性のために、対角行列または単位行列の実数倍とされる。
逆ヘッセ行列の初期推定値をγkにより適切にスケールすることにより、探索方向がwell scaledであることが保証されるため、ほとんどの反復でステップ長は1としてよい。曲率条件が満たされておりBFGS更新が安定であることを保証するためには、ウルフの直線探索(英語版)が用いられる。一部のソフトウェア実装では、Armijoバックトラッキング直線探索(英語版)が用いられるが、曲率条件yksk > 0が満たされるためのステップ長が1以上となる場合があるため曲率条件が保証されないことに注意が必要である。ykskが負かゼロに近すぎる場合はBFGS更新を行わない実装もあるが、更新が頻繁にスキップされてヘッセ行列の近似が重要な曲率情報を捉えられない可能性があるため、一般的には推奨されない。
この2ループ更新法は、逆ヘッセ行列の推定にのみ対応できる。逆ヘッセ行列を近似する他のアプローチも開発されている他、ヘッセ行列Bkを直接近似するアプローチも開発されている。