L-BFGS法
記憶制限BFGS法(きおくせいげんBFGSほう)またはL-BFGS法(英: Limited-memory BFGS method)とは、準ニュートン法に分類される最適化アルゴリズムであり、BFGS法をより小さな記憶容量を用いて近似的に実行する。機械学習におけるパラメーター推定に広く用いられる。L-BFGS法が解く対象は、実数ベクトルxの関数f(x)の非制約最適化問題である。
元になったBFGS法と同様、L-BFGS法は逆ヘッセ行列の推定値を使用して変数空間を探索するが、BFGS法では逆ヘッセ行列の近似値をn×n密行列(nは対象問題の変数の数)として記憶するのに対し、L-BFGS法では少数のベクトルのみを記憶し逆ヘッセ行列の近似値はこれらにより暗黙的に表現される。結果としてメモリ使用量のスケーリングは問題サイズの2乗から1乗ヘ低下するため、多くの変数が関わる最適化問題に特に適する。L-BFGS法では逆ヘッセ行列Hkの代わりに、位置xと勾配∇f(x)の過去m回の更新の履歴を記憶する(多くの場合m < 10)。これらの情報から、Hkとのベクトル積を必要とする操作を暗黙的に実行する。