確率的勾配降下法
2012年に Matthew D. Zeiler が発表した方法。AdaGrad や RMSProp の変形。初期学習率のハイパーパラメータがなくなっている。
r t = β r t − 1 + ( 1 − β ) ∇ Q i ( w ) ∘ ∇ Q i ( w ) v t = s t + ε r t + ε ∘ ∇ Q i ( w ) s t + 1 = β s t + ( 1 − β ) v t ∘ v t w t + 1 = w t − v t {\displaystyle {\begin{aligned}r_{t}&=\beta r_{t-1}+(1-\beta )\nabla Q_{i}(w)\circ \nabla Q_{i}(w)\\v_{t}&={\frac {{\sqrt {s_{t}}}+\epsilon }{{\sqrt {r_{t}}}+\epsilon }}\circ \nabla Q_{i}(w)\\s_{t+1}&=\beta s_{t}+(1-\beta )v_{t}\circ v_{t}\\w_{t+1}&=w_{t}-v_{t}\end{aligned}}}
下記の和の形の目的関数を最小化する問題を扱う。
Q ( w ) = ∑ i = 1 n Q i ( w ) {\displaystyle Q(w)=\sum _{i=1}^{n}Q_{i}(w)}
パラメータ w ∗ {\displaystyle w^{*}} はQ(w) を最小化するように推定する。典型的には、 Q i {\displaystyle Q_{i}} は i 番目の訓練データ。
古典的な統計学において、和の最小化問題は、最小二乗問題や最尤推定問題などにあらわれる。一般的なケースでは、和を最小化する推定量はM推定量と呼ぶ。しかしながら、Thomas S. Fergusonの例などで示されるように、いくつかの最尤推定の問題において、最小解ではなく局所解を要求するだけでも制限が厳しすぎると長い間認識され続けてきた。それゆえ、現代の統計理論家は最尤関数の停留点(微分がゼロになる点)を考慮する事が多くなった。
和の最小化問題は経験損失最小化(英語版)の問題にも現れる。