Penurunan gradien

Diketahui suatu fungsi formula_1 yang merupakan fungsi yang dapat diturunkan dengan turunan formula_2. Kemudian fungsi dimulai dengan menginisiasi suatu titik formula_3 dan mencari nilai gradiennya formula_4 sehingga titik yang lebih minimum dari formula_3 (sebut saja formula_6) dapat dicari dengan menghitung formula_7 dimana formula_8 merupakan nilai skalar yang disebut "kecepatan belajar" ("learning rate") yang semakin besar nilainya dapat menyebabkan nilai formula_6 turun lebih cepat namun rawan terhadap "loncatan". Algoritme ini dijalankan secara terus menerus selama beberapa langkah hingga mencapai titik dimana gradien bernilai 0 atau dalam kata lain titik berada di tengah-tengah lembah.