Algoritme Gauss-Newton

Metode lain untuk menyelesaikan masalah kuadrat terkecil hanya menggunakan derivative pertama adalah gradient descent. Bagaimanapun, metode ini tidak memasukkan nilai/perhitungan derivative kedua dengan perkiraan yang sama. Karenanya, metode ini terlalu in-efisien untuk fungsi-fungsi tertentu, seperti fungsi Rosenbrock.