Gradientinis nusileidimas

Gradientinis nusileidimas – optimizavimo metodas, besiremiantis tuo, kad skaliarinio lauko gradientas visada rodo greičiausio lauko augimo kryptį, o antigradientas – greičiausio mažėjimo kryptį.

Naudojant gradientinio nusileidimo metodą kartojamas žingsnis, nusakomas formule

 

Čia  – ankstesnė parametro, pagal kurį optimizuojama, reikšmė,  – nauja šio parametro reikšmė,  – tikslo funkcija, o  – žingsnio dydis, kuris gali būti arba pastovus, arba keičiamas kiekviename žingsnyje.

Matematika