確率的勾配降下法
1951年に Herbert Robbins と Sutton Monro が発表。学習率をイテレーション回数の逆数で減衰させる方法。Robbins-Monro法とも言われる。
η t = η 0 t {\displaystyle \eta _{t}={\frac {\eta _{0}}{t}}}
パラメータ w {\displaystyle w} の初期値はなんらかの確率分布からランダムに選ぶ。どの確率分布を使うかは、最小値の近傍に収束する確率に影響がある。しかし、何が適切な確率分布かはモデル次第である。ニューラルネットワークの場合についてはバックプロパゲーションの項目を参照。
2014年に Jascha Sohl-Dickstein らが発表した方法。確率的勾配降下法と記憶制限準ニュートン法の L-BFGS を組み合わせた方法。二次収束するようになり、収束が AdaGrad などよりも速くなった。