レーベンバーグ・マルカート法
最良の減衰係数λを選ぶ方法としては、様々な議論があるが、大なり小なりヒューリスティックなものである。それらの選び方がなぜ局所最小点への収束を保証するかを示す理論的な議論はあるが、大域最小点へ収束するような選び方をすると最急降下法の望ましくない特質、とくに収束が遅いという側面が表われてしまう。
どんな選び方をしても、パラメータの大きさはもとの問題がどれほど良くスケールするかに依存する。マーカートは次のような選び方を推奨している。まず初期値λ = λ0を選んで最初のステップを実行し、残差S(β)が最初の点よりも減った場合はν > 1なる係数を用いて次のステップはλ = λ0 / νとする。残差が増えてしまった場合は、減るようになるまで繰り返しνを掛けλ0νを用いて計算をする。
減衰係数λ/νを用いた結果が二乗残差を減少させたなら、これをλの新しい値とし(かつλ/νを用いた結果を採用し)、プロセスを続行する。もしλ/νを用いた残差がλを用いた残差よりも大きくなったならば、λの値を変えず、λを用いた結果を採用する。
delayed gratificationと呼ばれる減衰係数の効果的な制御方法がある。この方法では、上り坂のステップごとに係数を少しずつ増やし、下り坂のステップごとにパラメーターを大幅に減らす。この戦略は、最適化の開始時に坂を下りすぎ、後に使用できるステップが制限されて、収束が遅くなることを防ぐことを主眼においている。 ほとんどの場合、増加時には2倍、減少時には3分の1を採用すればうまくいくことが示されているが、大規模な問題の場合は、増加時は1.5倍、減少時は5分の1というより極端な値を用いる方がよいことが知られている。