確率的勾配降下法
正則化双対平均化法と AdaGrad を組み合わせる方法が、AdaGrad の発表と共に2011年に出ている。
u := u + ∇ Q ( w ) r := r + ∇ Q i ( w ) ∘ ∇ Q i ( w ) w i := { 0 if | u i | / t ≤ λ , − sgn  ( u i ) η t r i ( | u i | t − λ ) otherwise. {\displaystyle {\begin{aligned}u&:=u+\nabla Q(w)\\r&:=r+\nabla Q_{i}(w)\circ \nabla Q_{i}(w)\\w_{i}&:={\begin{cases}0&{\text{if }}|u_{i}|/t\leq \lambda ,\\-\operatorname {sgn}(u_{i}){\dfrac {\eta t}{\sqrt {r_{i}}}}\left({\dfrac {|u_{i}|}{t}}-\lambda \right)&{\text{otherwise.}}\end{cases}}\end{aligned}}}