確率的勾配降下法
Q i ( w ) {\displaystyle Q_{i}(w)} の値が i 番目の訓練データであるならば、Q(w) が経験損失である。
上記の関数 Q を最小化する際、標準的な最急降下法(バッチ学習)では、下記の反復を繰り返す。
w := w − η ∇ Q ( w ) = w − η ∑ i = 1 n ∇ Q i ( w ) {\displaystyle w:=w-\eta \nabla Q(w)=w-\eta \sum _{i=1}^{n}\nabla Q_{i}(w)}
η {\displaystyle \eta } はステップサイズと呼ばれる。機械学習においては学習率(英語版)とも呼ばれる。
確率分布がパラメータが一つの指数型分布族などで、勾配の総和の計算が、小さな計算量で出来てしまう事もあるが、一つ一つの勾配を計算して総和を取らないといけない事も多い。そのような場合、和の全体ではなく、和の一部分だけを計算する事で、1回の反復の計算量を小さくする事ができる。これは大規模な機械学習の問題で効果的である。