Gradientinis nusileidimas

Gradientinis nusileidimas – optimizavimo metodas, besiremiantis tuo, kad skaliarinio lauko gradientas visada rodo greičiausio lauko augimo kryptį, o antigradientas – greičiausio mažėjimo kryptį.

Naudojant gradientinio nusileidimo metodą kartojamas žingsnis, nusakomas formule



Čia  – ankstesnė parametro, pagal kurį optimizuojama, reikšmė,  – nauja šio parametro reikšmė,  – tikslo funkcija, o  – žingsnio dydis, kuris gali būti arba pastovus, arba keičiamas kiekviename žingsnyje.

 Taikymas 
Gradientinio nusileidimo algoritmas yra plačiai naudojamas apmokyti mašininio mokymosi modelius ir neuroninius tinklus.

 Šaltiniai 

Kategorija:Matematika