در گرادیان نزولی و هر روشی که برای بهینه‌سازی و تعیین پارامترها استفاده شود، هدف بهتر کردن مقدار تابع هزینه است که در نهایت، منجر به بهتر شدن عملکرد کلی مدل، البته روی داده‌های آموزشی (Trainning Data) خواهد شد.