非線形共役勾配法
}
Dai–Yuan:
β n D Y = − Δ x n T Δ x n s n − 1 T ( Δ x n − Δ x n − 1 ) {\displaystyle \beta _{n}^{DY}=-{\frac {\Delta x_{n}^{T}\Delta x_{n}}{s_{n-1}^{T}(\Delta x_{n}-\Delta x_{n-1})}}}
これらの公式は2次関数に対しては全て同一となるが、非線形最適化問題に際してはヒューリスティクスもしくは好みにもとづいて選ばれる。 β = max { 0 , β P R } {\displaystyle \displaystyle \beta =\max\{0,\beta ^{PR}\}} のように選ぶと、自動的に降下方向のリセットも行われるため普及している。
ニュートン法に基くアルゴリズムはより急速に収束する可能性がある。それらのアルゴリズムは勾配とヘッセ行列の厳密値(ニュートン法の場合)もしくは推定値(準ニュートン法の場合)を用いてステップ方向とステップ長の両方を線形方程式系を解いて求める。しかし、高次元の問題においてはヘッセ行列の厳密値の計算は実行不可能なほど計算コストが高く、また推定値でさえその格納には O ( N 2 ) {\displaystyle O(N^{2})} のメモリを要するため格納すら難しい場合がある。