Jabarkan Definisi dari Penurunan gradien

Diketahui suatu fungsi  yang merupakan fungsi yang dapat diturunkan dengan turunan . Kemudian fungsi dimulai dengan menginisiasi suatu titik  dan mencari nilai gradiennya  sehingga titik yang lebih minimum dari  (sebut saja ) dapat dicari dengan menghitung  di mana  merupakan nilai skalar yang disebut "kecepatan belajar" (learning rate) yang semakin besar nilainya dapat menyebabkan nilai  turun lebih cepat namun rawan terhadap "loncatan". Algoritme ini dijalankan secara terus menerus selama beberapa langkah hingga mencapai titik di mana gradien bernilai 0 atau dalam kata lain titik berada di tengah-tengah lembah.