Zbritja stokastike e gradientit

Zbritja stokastike e gradientit (shpesh e shkurtuar SGD/ZSG ) është një metodë iterative për optimizimin e një funksioni të humbjes me vetitë e përshtatshme të lëmueshmërisë (p.sh. i diferencueshëm ose i nëndiferencueshëm ). Mund të konsiderohet si një përafrim stokastik i optimizimit të zbritjes së gradientit, pasi zëvendëson gradientin e tanishëm (të llogaritur nga i gjithë grupi i të dhënave ) nga një vlerësim i tij (i llogaritur nga një nëngrup i të dhënave i zgjedhur rastësisht). 

Sidomos në problemet e optimizimit me dimensione të larta, kjo zvogëlon ngarkesën shumë të lartë llogaritëse, duke arritur përsëritje më të shpejta në këmbim të një norme më të ulët konvergjence. 

 Metoda përsëritëse 
djathtas|parapamje| Luhatjet në funksionin total objektiv janë marrë si hapa gradienti në lidhje me mini-grumbujt.
Në zbritjen stokastike të gradientit (ose "on-line"), gradienti i vërtetë i  përafrohet me një gradient në një kampion të vetëm:



 Shembull 
Supozoni se duam të përshtasim një vijë të drejtë  në një grup trajnimi me vëzhgime  dhe përgjigjet përkatëse të vlerësuara  duke përdorur katrorët më të vegjël . Funksioni objektiv që duhet minimizuar është



Rreshti i fundit në pseudokodin e mësipërm për këtë problem specifik do të bëhet:



Vini re se në çdo hap të përsëritjes ose përditësimit, gradienti vlerësohet vetëm në një   të vetme. Ky është ndryshimi kryesor midis zbritjes stokastike të gradientit dhe zbritjes së gradientit me grumbuj.