確率的勾配降下法
1986年にデビッド・ラメルハートらがバックプロパゲーションと共に提案した方法。
Δ w := η ∇ Q i ( w ) + α Δ w w := w − Δ w {\displaystyle {\begin{aligned}\Delta w&:=\eta \nabla Q_{i}(w)+\alpha \Delta w\\w&:=w-\Delta w\end{aligned}}}
2019年のICLRでLiangchen Luoらが発表した方法。 Adamに学習率の制限(Bound)を加え、ステップごとにSGDへ連続的に変化させることによって、Adamの収束速度とSGDの汎化性能の両立を目指した。論文中でのハイパーパラメータと学習率の下限・上限は α = 0.001 , β 1 = 0.9 , β 2 = 0.999 , η l ( t ) = 0.1 − 0.1 ( 1 − β 2 ) t + 1 , η u ( t ) = 0.1 + 0.1 ( 1 − β 2 ) t {\displaystyle \alpha =0.001,\beta _{1}=0.9,\beta _{2}=0.999,\eta _{l}(t)=0.1-{\frac {0.1}{(1-\beta _{2})t+1}},\eta _{u}(t)=0.1+{\frac {0.1}{(1-\beta _{2})t}}} であり、Adamと同様にt=1から始める。