最適化問題
目的関数や制約条件に非線型なものが含まれる場合。
導関数が必要なアルゴリズムを勾配法という。以下は、勾配法のアルゴリズム。
直線探索と信頼領域 - 勾配法における2つの主要な反復法の枠組み
最急降下法 - 最も単純な勾配法 確率的勾配降下法 - 最急降下法のオンライン学習版(ニューラルネットワークなどで使用) AdaGrad - 学習率の自動調整を行う RMSProp Adam
共役勾配法 双共役勾配法 非線形共役勾配法
ニュートン法
準ニュートン法 DFP法 BFGS法 BHHH法 SR1法 記憶制限準ニュートン法 - 大規模(高次元)問題に対応した物 L-BFGS L-BFGS-B - L-BFGSに定義域の境界を指定できるようにした物 OWL-QN - L-BFGSにおいて目的関数にL1正則化項がついた形に対応できるようにした物
ガウス・ニュートン法 - 非線形最小二乗法の問題(平方和の最適化問題)を解く レーベンバーグ・マーカート法
内点法
MathematicaのFindMinimumのデフォルトの設定は、制約条件付きは内点法、目的関数が平方和の場合はレーベンバーグ・マーカート法を使い、そうで無い場合はBFGS法を使い、250次元以上の場合L-BFGS法を使う。