確率的勾配降下法
L1 正則化と L2 正則化を
Q ( w ) + λ ‖ w ‖ 1 + σ 2 ‖ w ‖ 2 2 {\displaystyle Q(w)+\lambda \|w\|_{1}+{\frac {\sigma }{2}}\|w\|_{2}^{2}}
の形で混ぜる場合は、このようになる。
w i := { 0 if | g ̄ t , i | ≤ λ , − 1 σ ( g ̄ t , i − λ sgn  ( g ̄ t , i ) ) otherwise. {\displaystyle w_{i}:={\begin{cases}0&{\text{if }}|{\overline {g}}_{t,i}|\leq \lambda ,\\-{\dfrac {1}{\sigma }}\left({\overline {g}}_{t,i}-\lambda \operatorname {sgn}({\overline {g}}_{t,i})\right)&{\text{otherwise.}}\end{cases}}}
以下のように、 λ {\displaystyle \lambda } を少しずつ大きくしていくと、疎になる度合いを徐々に高めていける。
λ = λ 0 + ρ / t {\displaystyle \lambda =\lambda _{0}+\rho /{\sqrt {t}}}
確率的勾配降下法(かくりつてきこうばいこうかほう、英: stochastic gradient descent, SGD)は、連続最適化問題に対する勾配法の乱択アルゴリズム。バッチ学習である最急降下法をオンライン学習に改良したアルゴリズムである。目的関数が微分可能な和の形であることを必要とする。
1988年に David Ruppert が提案した方法。
w ̄ = 1 t ∑ i = 1 t w i {\displaystyle {\bar {w}}={\frac {1}{t}}\sum _{i=1}^{t}w_{i}}
を計算し、最終的にパラメータの平均値を学習結果とする。