確率的勾配降下法
1–25. doi:10.1007/PL00011414. ISSN 0025-5610
↑ Robbins, Herbert; Siegmund, David O. (1971). “A convergence theorem for non negative almost supermartingales and some applications”. In Rustagi, Jagdish S.. Optimizing Methods in Statistics. Academic Press
↑ Herbert Robbins; Sutton Monro (1951). “A Stochastic Approximation Method”. Ann. Math. Statist. 22 (3): 400-407. doi:10.1214/aoms/1177729586.
↑ Yurii Nestero (1983). “A method of solving a convex programming problem with convergence rate O(1/k)”. Soviet Mathematics Doklady 27: 372–376.
↑ Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (8 October 1986). “Learning representations by back-propagating errors”. Nature 323 (6088): 533–536. doi:10.
1038/323533a0.
↑ David Ruppert (1988). “Efficient estimations from a slowly convergent Robbins-Monro process”. Technical Report (Cornell University Operations Research and Industrial Engineering) 781. https://ecommons.cornell.edu/handle/1813/8664.
↑ John Langford; Lihong Li; Tong Zhang (2009). “Sparse Online Learning via Truncated Gradient”. Journal of Machine Learning Research 10: 777-801. http://www.jmlr.org/papers/volume10/langford09a/langford09a.pdf.
↑ Lin Xiao (2009). “Dual Averaging Method for Regularized Stochastic Learning and Online Optimization”. In Advances in Neural Information Processing Systems 23. http://papers.nips.cc/paper/3882-dual-averaging-method-for-regularized-stochastic-learning-and-online-optimization.pdf.
2012年に Tijmen Tieleman らが発表した方法。AdaGrad の変形。勾配の2乗の指数移動平均を取るように変更。 β = 0.9 {\displaystyle \beta =0.9} などを使用。
r t = β r t − 1 + ( 1 − β ) ∇ Q i ( w ) ∘ ∇ Q i ( w ) η t = η 0 r t + ε w t + 1 = w t − η t ∘ ∇ Q i ( w ) {\displaystyle {\begin{aligned}r_{t}&=\beta r_{t-1}+(1-\beta )\nabla Q_{i}(w)\circ \nabla Q_{i}(w)\\\eta _{t}&={\frac {\eta _{0}}{\sqrt {r_{t}+\epsilon }}}\\w_{t+1}&=w_{t}-\eta _{t}\circ \nabla Q_{i}(w)\end{aligned}}}
2011年に John Duchi らが発表した方法。 ∘ {\displaystyle \circ } はアダマール積(要素ごとの積)。下記計算、全てパラメータごと(要素ごと)に計算する。 ε {\displaystyle \epsilon } は無限大に発散させないための正の小さな定数。
r 0 = ε r t = r t − 1 + ∇ Q i ( w ) ∘ ∇ Q i ( w ) η t = η 0 r t w t + 1 = w t − η t ∘ ∇ Q i ( w ) {\displaystyle {\begin{aligned}r_{0}&=\epsilon \\r_{t}&=r_{t-1}+\nabla Q_{i}(w)\circ \nabla Q_{i}(w)\\\eta _{t}&={\frac {\eta _{0}}{\sqrt {r_{t}}}}\\w_{t+1}&=w_{t}-\eta _{t}\circ \nabla Q_{i}(w)\end{aligned}}}
2009年に John Langford らが発表した方法。L1 正則化を含む場合、確率的勾配降下法だとパラメータが 0 になりにくいが、K 回毎にパラメータの大きさが θ 以下であれば、0にする方法。
学習データがリアルタイムで手に入るなど、事前に平均0分散1に調整できない場合のために、2013年に Stephane Ross らが正規化オンライン学習を発表している。データの絶対値の最大値を追跡して、それを元に調整する。
基本的な確率的勾配降下法に対して多くの改良が提案されている。特に、機械学習において、ステップサイズ(学習率)の調整は重要問題として認識されている。学習率を大きくしすぎると発散し、小さくしすぎると収束まで遅くなる。