Penurunan gradien stokastik

Penurunan gradien stokastik ( biasa disingkat SGD) adalah sebuah metode iteratif yang digunakan untuk mengoptimasi fungsi objektif dengan sifat smoothness yang sesuai (misal diferensiabel atau subdiferensiabel). SGD dapat dianggap sebagai aproksimasi stokastik dari optimasi penurunan gradien karena SGD menggantikan gradien aktual yang dihitung dari keseluruhan himpunan data dengan gradien perkiraan yang dihitung dari subset data yang dipilih secara acak. Terutama dalam masalah optimasi berdimensi tinggi, SGD dapat mengurangi kompleksitas komputasional yang sangat tinggi dan mencapai iterasi yang lebih cepat sebagai gantinya untuk tingkat konvergensi yang lebih rendah.

Referensi

Bacaan lanjutan

Pranala luar
 Menggunakan SGD dalam C++, Boost, Ublas untuk regresi linear
 Algoritma pemelajaran mesin

  Makalah interaktif yang menjelaskan konsep momentum.