Limits: Journal of Mathematics and Its Applications E-ISSN: 2579-8936 P-ISSN: 1829-605X Vol. 18, No. 2, Nopember 2021, 155-167
DOI: http://dx.doi.org/10.12962/limits.v18i2.8297

## Penentuan Nilai Awal Iterasi pada Masalah Pendugaan Parameter Regresi Taklinier
Mohammad Jamhuri 1,2 , Subiono 1
1 Departemen Matematika Fakultas Sains dan Analitika Data, ITS Surabaya Indonesia 2 Jurusan Matematika Fakultas Sains dan Teknologi, UIN Maulana Malik Ibrahim Malang Indonesia e-mail: m.jamhuri@live.com 1 , subiono2008@matematika.its.ac.id 2
Diajukan: 31 Desember 2020, Diperbaiki: 27 Mei 2021, Diterima: 6 September 2021

## Abstrak
Paper ini membahas tentang pendugaan parameter model regresi tak linier menggunakan metode Newton, Gauss-Newton, steepest descent , dan homotopi. Metode-metode tersebut tidak senantiasa dapat memberikan hasil sebagaimana yang diharapkan, sebab hasil yang diperoleh sangat bergantung pada nilai awal yang diberikan. Keberhasilan metode-metode tersebut juga tidak ditentukan oleh seberapa dekat nilai awal terhadap solusi yang diharapkan, tetapi lebih kepada berhingga atau tidaknya elemen-eleman matrik Jacobi  dari  hampiran  sistem persamaan tak liniernya.  Selanjutnya, nilai awal diperoleh  dengan cara membangkitkan bilangan random pada rentang tertentu dan dipilih yang dapat menghasilkan matriks Jacobi dengan elemen-elemen berhingga.
Kata Kunci : regresi tak linier, metode Newton, Gauss-Newton, steepest descent , homotopi.

## Abstract
This paper discusses the estimation of nonlinear regression model parameters using Newton, Gauss- Newton, steepest descent, and homotopy methods.  These  methods  do  not always produce the expected results because they depend on the given initial values. The success of these methods is not determined by the proximity of the initial value to the expected solution but determined by whether the elements of the Jacobian matrix obtained from the approximation of the system of nonlinear equations are finite or not. Furthermore, the initial value is obtained by generating random numbers in a specific range and selecting a Jacobian matrix with finite elements.
Keywords : non-linear regression, Newton method, Gauss-Newton, steepest descent, homotopy.

## 1  Pendahuluan
Persamaan regresi secara umum dapat dituliskan sebagai
𝑦𝑦 = 𝑓𝑓 ( 𝑥𝑥 ; 𝜃𝜃 ) + 𝜖𝜖 (1)
dengan 𝑦𝑦 merupakan  variabel respon dari data 𝑥𝑥 = ( 𝑥𝑥 1 , … , 𝑥𝑥 𝑚𝑚 ) ,  sedangkan 𝜃𝜃 = �𝜃𝜃 1 , … , 𝜃𝜃 𝑝𝑝 � adalah parameter-parameter regresi yang harus ditentukan. Fungsi 𝑓𝑓 dalam persamaan (1) disebut sebagai fungsi regresi, dan dikatakan linier jika 𝑓𝑓 linier terhadap 𝜃𝜃 dan taklinier jika sebaliknya. Pembahasan terkait pendugaan parameter model linier sudah dianggap cukup lengkap dan tidak

## 156 Penentuan Nilai Awal Iterasi pada Masalah Pendugaan Parameter Regresi Taklinier
terlalu ada masalah lagi, sebaliknya untuk model taklinier masih banyak masalah yang belum dapat diselesaikan [1].
Masalah utama dalam metode-metode penyelesaian tak linier adalah bagaimana memilih nilai tebakan awal yang baik untuk suatu  iterasi.  Nilai awal yang  sudah ditentukan  dapat menyebabkan iterasi akhir menjauhi atau mendekati solusi yang diharapkan. Nilai awal dengan iterasi akhir mendekati solusi merupakan masalah yang masih terbuka untuk diteliti sampai saat ini [2].
Untuk fungsi dengan  satu peubah, pemilihan nilai awal dapat dilakukan dengan cara menggambar fungsinya terlebih dahulu, kemudian dapat diperkirakan secara grafik letak akar atau solusinya, tetapi untuk fungsi dengan lebih dari dua peubah, hal ini sulit untuk dilakukan. Beberapa penulis menyarankan penggunaan metode steepest descent , homotopi, atau metode-metode dengan tingkat konvergensi rendah lainnya sebagai metode awal untuk memilih tebakan awal  [2], [3].  Metode-metode dengan tingkat konvergensi rendah dikenal lambat dalam mendekati solusi, tetapi dapat memberikan hasil yang baik meskipun nilai tebakan awal yang diberikan cukup jauh dari solusi sebenarnya  [4].
Metode Newton dan Gauss-Newton adalah metode-metode iterasi yang juga membutuhkan nilai tebakan awal untuk memulai iterasi. Kedua metode sama-sama menggunakan deret Taylor sebagai pendekatan terhadap fungsi regresinya. Perbedaan antara keduanya terletak pada bagaimana pendekatan linier dilakukan terhadap fungsi regresinya. Pada metode Gauss-Newton, pendekatan linier terhadap fungsi dilakukan di awal, yaitu dengan mengubah fungsi regresinya dengan fungsi pendekatan linier menggunakan deret Taylor   [4],  [5]. Sedangkan pada metode Newton, pendekatan linier dilakukan pada penyelesaian sistem yang diperoleh dari proses meminimalkan jumlah kuadrat eror model regresinya [6].
Dalam pembahasan, terlebih dahulu akan diberikan contoh-contoh pendugaan model regresi tak linier  dengan dua parameter menggunakan metode Newton dan metode Gauss-Newton. Beberapa nilai awal akan di uji cobakan ke dalam metode-metode pendugaan parameter tersebut dan hasilnya akan disajikan dalam bentuk tabel. Kemudian pada percobaan selanjutnya, nilai-nilai tebakan awal yang gagal mendekati solusi sebenarnya akan dipakai sebagai tebakan awal dalam metode steepest descent maupun metode homotopi untuk menyelesaikan sistem persamaan tak liniernya, dan berikutnya parameter-parameter yang diperoleh dari metode stepest descent akan digunakan lagi sebagai tebakan awal baik untuk metode Newton maupun metode Gauss-Newton.

## 157

## 2  Metode Penelitian
Bagian ini menjelaskan tentang teori yang akan digunakan, beserta langkah-langkah dalam melakukan pembahasan. Juga akan disajikan algoritma metode Newton, metode Gauss-Newton, metode steepest descent , dan metode homotopi untuk penyelesaian sistem persamaan tak linier.

## 2.1   Regresi Tak Linier
Jika diberikan data berpasangan {( 𝑥𝑥 1 , 𝑦𝑦 1 ), … , ( 𝑥𝑥 𝑚𝑚 , 𝑦𝑦 𝑚𝑚 )} , model empiris untuk data ini dapat dinyatakan ke dalam bentuk model regresi dengan dua parameter berikut [4]:
𝑦𝑦 = 𝑓𝑓 ( 𝑥𝑥 ; 𝜃𝜃 1 , 𝜃𝜃 2 ) + 𝜖𝜖 (2)
Hubungan antara data 𝑥𝑥 𝑖𝑖 dan 𝑦𝑦 𝑖𝑖 dapat dituliskan sebagai 𝑦𝑦 𝑖𝑖 = 𝑓𝑓 ( 𝑥𝑥 𝑖𝑖 ; 𝜃𝜃 1 , 𝜃𝜃 2 ) + 𝜖𝜖 𝑖𝑖 (3)
dengan 𝜖𝜖 𝑖𝑖 adalah residu dari hasil pendugaan model dengan data ke- 𝑖𝑖 , sedangkan 𝜃𝜃 1 dan 𝜃𝜃 2 adalah parameter-parameter tak diketahui yang harus diestimasi atau diduga. Persamaan (2) dikatakan sebagai regresi linier jika fungsi 𝑓𝑓 linier terhadap 𝜃𝜃 1 dan 𝜃𝜃 2 , dan disebut regresi tak linier jika fungsi 𝑓𝑓 tak linier terhadap 𝜃𝜃 1 dan 𝜃𝜃 2 . Berdasarkan Persamaan (2), dapat didefinisikan jumlah error kuadrat sebagai berikut
𝑠𝑠 ( 𝜃𝜃 1 , 𝜃𝜃 2 ) = � [ 𝑦𝑦 𝑖𝑖 − 𝑓𝑓 ( 𝑥𝑥 𝑖𝑖 ; 𝜃𝜃 1 , 𝜃𝜃 2 )] 2 𝑚𝑚 𝑖𝑖=1 (4)
Untuk meminimalkan jumlah error kuadrat, Persamaan (4) diturunkan terhadap 𝜃𝜃 1 dan 𝜃𝜃 2 , sehingga diperoleh
𝜕𝜕𝑠𝑠 𝜕𝜕𝜃𝜃 1 = − 2 � [ 𝑦𝑦 𝑖𝑖 − 𝑓𝑓 ( 𝑥𝑥 𝑖𝑖 ; 𝜃𝜃 1 , 𝜃𝜃 2 )] 𝑚𝑚 𝑖𝑖=1 𝜕𝜕𝑓𝑓 ( 𝑥𝑥 𝑖𝑖 , 𝜃𝜃 1 , 𝜃𝜃 2 ) 𝜕𝜕𝜃𝜃 1 (5)
𝜕𝜕𝑠𝑠 𝜕𝜕𝜃𝜃 2 = − 2 � [ 𝑦𝑦 𝑖𝑖 − 𝑓𝑓 ( 𝑥𝑥 𝑖𝑖 ; 𝜃𝜃 1 , 𝜃𝜃 2 )] 𝑚𝑚 𝑖𝑖=1 𝜕𝜕𝑓𝑓 ( 𝑥𝑥 𝑖𝑖 , 𝜃𝜃 1 , 𝜃𝜃 2 ) 𝜕𝜕𝜃𝜃 2 (6)
dengan 𝜕𝜕𝑓𝑓 / 𝜕𝜕𝜃𝜃 1 dan 𝜕𝜕𝑓𝑓 / 𝜕𝜕𝜃𝜃 2 secara berturut-turut menyatakan turunan 𝑓𝑓 terhadap 𝜃𝜃 1 dan turunan 𝑓𝑓 terhadap 𝜃𝜃 2 . Persamaan (4) minimum jika nilai 𝜃𝜃 1 dan 𝜃𝜃 2 memenuhi persamaan berikut
� [ 𝑦𝑦 𝑖𝑖 − 𝑓𝑓 ( 𝑥𝑥 𝑖𝑖 ; 𝜃𝜃 1 , 𝜃𝜃 2 )] 𝑚𝑚 𝑖𝑖=1 𝜕𝜕𝑓𝑓 ( 𝑥𝑥 𝑖𝑖 , 𝜃𝜃 1 , 𝜃𝜃 2 ) 𝜕𝜕𝜃𝜃 1 = 0 � [ 𝑦𝑦 𝑖𝑖 − 𝑓𝑓 ( 𝑥𝑥 𝑖𝑖 ; 𝜃𝜃 1 , 𝜃𝜃 2 )] 𝑚𝑚 𝑖𝑖=1 𝜕𝜕𝑓𝑓 ( 𝑥𝑥 𝑖𝑖 , 𝜃𝜃 1 , 𝜃𝜃 2 ) 𝜕𝜕𝜃𝜃 2 = 0. (7)
Nilai 𝜃𝜃 1 dan 𝜃𝜃 2 pada Persamaan (7) dapat diperoleh dengan menyelesaikan sistem persamaan tersebut secara simultan. Karena sistem Persamaan (7) tak linier, maka untuk menentukan 𝜃𝜃 1 dan

## 158 Penentuan Nilai Awal Iterasi pada Masalah Pendugaan Parameter Regresi Taklinier
𝜃𝜃 2 dapat digunakan cara-cara penyelesaian sistem persamaan taklinier, diantaranya dengan metode Newton, metode Gauss-Newton, metode steepest descent ,  atau  metode homotopi. Sistem Persamaan (7) dapat ditulis secara ringkas menjadi
𝐹𝐹 1 ( 𝑥𝑥 𝑖𝑖 , 𝑦𝑦 𝑖𝑖 ; 𝜃𝜃 1 , 𝜃𝜃 2 ) = 0
𝐹𝐹 2 ( 𝑥𝑥 𝑖𝑖 , 𝑦𝑦 𝑖𝑖 , 𝜃𝜃 1 , 𝜃𝜃 2 ) = 0 (8)
dengan
𝐹𝐹 1 ( 𝑥𝑥 𝑖𝑖 , 𝑦𝑦 𝑖𝑖 ; 𝜃𝜃 1 , 𝜃𝜃 2 ) = � [ 𝑦𝑦 𝑖𝑖 − 𝑓𝑓 ( 𝑥𝑥 𝑖𝑖 ; 𝜃𝜃 1 , 𝜃𝜃 2 )] 𝑚𝑚 𝑖𝑖=1 𝜕𝜕𝑓𝑓 ( 𝑥𝑥 𝑖𝑖 , 𝜃𝜃 1 , 𝜃𝜃 2 ) 𝜕𝜕𝜃𝜃 1
dan
𝐹𝐹 2 ( 𝑥𝑥 𝑖𝑖 , 𝑦𝑦 𝑖𝑖 ; 𝜃𝜃 1 , 𝜃𝜃 2 ) = � [ 𝑦𝑦 𝑖𝑖 − 𝑓𝑓 ( 𝑥𝑥 𝑖𝑖 ; 𝜃𝜃 1 , 𝜃𝜃 2 )] 𝑚𝑚 𝑖𝑖=1 𝜕𝜕𝑓𝑓 ( 𝑥𝑥 𝑖𝑖 , 𝜃𝜃 1 , 𝜃𝜃 2 ) 𝜕𝜕𝜃𝜃 2 .
Matrik Jacobian dari 𝐹𝐹 1 ( 𝑥𝑥 𝑖𝑖 , 𝑦𝑦 𝑖𝑖 ; 𝜃𝜃 1 , 𝜃𝜃 2 ) dan 𝐹𝐹 2 ( 𝑥𝑥 𝑖𝑖 , 𝑦𝑦 𝑖𝑖 ; 𝜃𝜃 1 , 𝜃𝜃 2 ) sangat penting dalam melakukan perhitungan iterasi pada metode Newton, yaitu
𝐽𝐽 = � 𝐹𝐹 1𝜃𝜃 1 𝐹𝐹 1𝜃𝜃 2 𝐹𝐹 2𝜃𝜃 1 𝐹𝐹 2𝜃𝜃 2 � (9)
dengan 𝐹𝐹 1𝜃𝜃 𝑗𝑗 = 𝜕𝜕𝐹𝐹 1 𝜕𝜕 𝜃𝜃𝑗𝑗 dan 𝐹𝐹 2𝜃𝜃 𝑗𝑗 = 𝜕𝜕𝐹𝐹 2 𝜕𝜕 𝜃𝜃𝑗𝑗 , 𝑗𝑗 = 1,2 .

## 2.2  Metode Newton
Metode Newton untuk penyelesaian sistem persamaan tak linier sebagaimana yang terdapat dalam [2] dapat dinyatakan dalam bentuk algoritma berikut:

## Algoritma 1. Metode Newton untuk Penyelesaian Sistem Persamaan
Metode Newton digunakan untuk mencari solusi dari sistem persamaan tak linier 𝑭𝑭 ( 𝒙𝒙 ) = 𝟎𝟎 dengan nilai awal 𝒙𝒙 𝟎𝟎 = �𝒙𝒙 𝟏𝟏 𝟎𝟎 , … , 𝒙𝒙 𝒏𝒏 𝟎𝟎 � , dimana 𝒙𝒙 = ( 𝒙𝒙 𝟏𝟏 , … , 𝒙𝒙 𝒏𝒏 ) dan 𝑭𝑭 = �𝒇𝒇 𝟏𝟏 ( 𝒙𝒙 ), … , 𝒇𝒇 𝒏𝒏 ( 𝒙𝒙 ) � .
Input nilai awal 𝒙𝒙 𝟎𝟎 = �𝒙𝒙 𝟏𝟏 𝟎𝟎 , … , 𝒙𝒙 𝒏𝒏 𝟎𝟎 � ; toleransi TOL; banyak iterasi maksimal 𝑁𝑁 . Output Solusi aproksimasi 𝒙𝒙 = ( 𝑥𝑥 1 , … , 𝑥𝑥 𝑛𝑛 ) atau pesan bahwa toleransi TOL sudah dilampaui.

## Step 1
Atur 𝑘𝑘 = 1 . Step 2 While ( 𝑘𝑘 ≤ 𝑁𝑁 ) lakukan step 3-5. Step 3 Hitung
𝒙𝒙 𝑘𝑘 = 𝒙𝒙 𝑘𝑘−1 − �𝑱𝑱�𝒙𝒙 𝑘𝑘−1 �� −1 𝑭𝑭�𝒙𝒙 𝑘𝑘−1 �
dengan 𝑱𝑱 adalah matriks jacobian dari fungsi 𝑭𝑭 . Step 4 Jika �𝒙𝒙 𝑘𝑘 − 𝒙𝒙 𝑘𝑘−1 � < 𝑇𝑇𝑇𝑇𝑇𝑇 maka OUTPUT( 𝒙𝒙 ) Prosedur berhasil Stop
Step 5 Atur 𝑘𝑘 = 𝑘𝑘 + 1
159

## Step 6
OUTPUT(‘iterasi maksimal sudah dilampaui’);

## (prosedur tidak menghasilkan solusi yang diharapkan)

## 2.3  Metode Gauss-Newton
Metode Gauss-Newton untuk pendugaan parameter model regresi tak linier (2) sebagaimana yang terdapat dalam [7]  dapat  diperoleh dengan melakukan pelinieran  terhadap fungsi 𝑓𝑓 berdasarkan dalam [4] menjadi:
𝑓𝑓 𝑘𝑘 �𝑥𝑥 ; 𝜃𝜃 1 𝑘𝑘 , 𝜃𝜃 2 𝑘𝑘 � ≈ 𝑓𝑓 𝑘𝑘−1 �𝑥𝑥 ; 𝜃𝜃 1 𝑘𝑘−1 , 𝜃𝜃 2 𝑘𝑘−1 � + �𝑓𝑓 𝜃𝜃 1 𝑘𝑘−1 �𝑥𝑥 ; 𝜃𝜃 1 𝑘𝑘−1 , 𝜃𝜃 2 𝑘𝑘−1 ���𝜃𝜃 1 𝑘𝑘 − 𝜃𝜃 1 𝑘𝑘−1 �
+ �𝑓𝑓 𝜃𝜃 2 𝑘𝑘−1 �𝑥𝑥 ; 𝜃𝜃 1 𝑘𝑘−1 , 𝜃𝜃 2 𝑘𝑘−1 ���𝜃𝜃 2 𝑘𝑘 − 𝜃𝜃 2 𝑘𝑘−1 � , 𝑘𝑘 = 1,2, …
(10)
fungsi 𝑓𝑓 𝜃𝜃 1 𝑘𝑘−1 , 𝑓𝑓 𝜃𝜃 2 𝑘𝑘−1 pada Persamaan (10) adalah
𝜕𝜕𝑓𝑓 ( 𝑥𝑥 , 𝜃𝜃 1 , 𝜃𝜃 2 ) 𝜕𝜕𝜃𝜃 1 � 𝜃𝜃 1 =𝜃𝜃 1 𝑘𝑘−1 𝜃𝜃 2 =𝜃𝜃 2 𝑘𝑘−1 , dan 𝜕𝜕𝑓𝑓 ( 𝑥𝑥 ; 𝜃𝜃 1 , 𝜃𝜃 2 ) 𝜕𝜕𝜃𝜃 2 � 𝜃𝜃 1 =𝜃𝜃 1 𝑘𝑘−1 𝜃𝜃 2 =𝜃𝜃 2 𝑘𝑘−1 .
Berikutnya dengan mensubstitusikan bagian kanan dari (10) pada 𝑓𝑓 dalam Persamaan (2), diperoleh
𝑦𝑦 = 𝑓𝑓 𝑘𝑘−1 �𝑥𝑥 ; 𝜃𝜃 1 𝑘𝑘−1 , 𝜃𝜃 2 𝑘𝑘−1 � + �𝑓𝑓 𝜃𝜃 1 𝑘𝑘−1 �𝑥𝑥 ; 𝜃𝜃 1 𝑘𝑘−1 , 𝜃𝜃 2 𝑘𝑘−1 ���𝜃𝜃 1 𝑘𝑘 − 𝜃𝜃 1 𝑘𝑘−1 � + �𝑓𝑓 𝜃𝜃 2 𝑘𝑘−1 �𝑥𝑥 ; 𝜃𝜃 1 𝑘𝑘−1 , 𝜃𝜃 2 𝑘𝑘−1 ���𝜃𝜃 2 𝑘𝑘 − 𝜃𝜃 2 𝑘𝑘−1 � + 𝜖𝜖 . (11)
Jika setiap data ke- 𝑖𝑖 disubstitusikan pada Persamaan (11) diperoleh
𝑦𝑦 1 = 𝑓𝑓 𝑘𝑘−1 �𝑥𝑥 1 ; 𝜃𝜃 1 𝑘𝑘−1 , 𝜃𝜃 2 𝑘𝑘−1 � + �𝑓𝑓 𝜃𝜃 1 𝑘𝑘−1 �𝑥𝑥 1 ; 𝜃𝜃 1 𝑘𝑘−1 , 𝜃𝜃 2 𝑘𝑘−1 ���𝜃𝜃 1 𝑘𝑘 − 𝜃𝜃 1 𝑘𝑘−1 � + �𝑓𝑓 𝜃𝜃 2 𝑘𝑘−1 �𝑥𝑥 1 ; 𝜃𝜃 1 𝑘𝑘−1 , 𝜃𝜃 2 𝑘𝑘−1 ���𝜃𝜃 2 𝑘𝑘 − 𝜃𝜃 2 𝑘𝑘−1 � + 𝜖𝜖 1 𝑦𝑦 2 = 𝑓𝑓 𝑘𝑘−1 �𝑥𝑥 2 ; 𝜃𝜃 1 𝑘𝑘−1 , 𝜃𝜃 2 𝑘𝑘−1 � + �𝑓𝑓 𝜃𝜃 1 𝑘𝑘−1 �𝑥𝑥 2 ; 𝜃𝜃 1 𝑘𝑘−1 , 𝜃𝜃 2 𝑘𝑘−1 ���𝜃𝜃 1 𝑘𝑘 − 𝜃𝜃 1 𝑘𝑘−1 �
+ �𝑓𝑓 𝜃𝜃 2 𝑘𝑘−1 �𝑥𝑥 2 ; 𝜃𝜃 1 𝑘𝑘−1 , 𝜃𝜃 2 𝑘𝑘−1 ���𝜃𝜃 2 𝑘𝑘 − 𝜃𝜃 2 𝑘𝑘−1 � + 𝜖𝜖 2 ⋮ 𝑦𝑦 𝑚𝑚 = 𝑓𝑓 𝑘𝑘−1 �𝑥𝑥 𝑚𝑚 ; 𝜃𝜃 1 𝑘𝑘−1 , 𝜃𝜃 2 𝑘𝑘−1 � + �𝑓𝑓 𝜃𝜃 1 𝑘𝑘−1 �𝑥𝑥 𝑚𝑚 ; 𝜃𝜃 1 𝑘𝑘−1 , 𝜃𝜃 2 𝑘𝑘−1 ���𝜃𝜃 1 𝑘𝑘 − 𝜃𝜃 1 𝑘𝑘−1 � + �𝑓𝑓 𝜃𝜃 2 𝑘𝑘−1 �𝑥𝑥 𝑚𝑚 ; 𝜃𝜃 1 𝑘𝑘−1 , 𝜃𝜃 2 𝑘𝑘−1 ���𝜃𝜃 2 𝑘𝑘 − 𝜃𝜃 2 𝑘𝑘−1 � + 𝜖𝜖 𝑚𝑚 (12)
Selanjutnya untuk meringkas penulisan, masing-masing 𝑓𝑓 𝑘𝑘−1 �𝑥𝑥 𝑖𝑖 ; 𝜃𝜃 1 𝑘𝑘−1 , 𝜃𝜃 2 𝑘𝑘−1 � , 𝑓𝑓 𝜃𝜃 1 𝑘𝑘−1 �𝑥𝑥 𝑚𝑚 ; 𝜃𝜃 1 𝑘𝑘−1 , 𝜃𝜃 2 𝑘𝑘−1 � dan 𝑓𝑓 𝜃𝜃 2 𝑘𝑘−1 �𝑥𝑥 𝑚𝑚 ; 𝜃𝜃 1 𝑘𝑘−1 , 𝜃𝜃 2 𝑘𝑘−1 � ditulis sebagai 𝑓𝑓 𝑖𝑖 𝑘𝑘−1 , 𝑓𝑓 𝜃𝜃 1 , 𝑖𝑖 𝑘𝑘−1 dan 𝑓𝑓 𝜃𝜃 2 , 𝑖𝑖 𝑘𝑘−1 , 𝑖𝑖 = 1, … , 𝑚𝑚 . Sehingga sistem Persamaan (12) bisa dituliskan menjadi
� 𝑦𝑦 1 𝑦𝑦 2 ⋮ 𝑦𝑦 𝑚𝑚 � =
⎣ ⎢ ⎢ ⎡𝑓𝑓 1 𝑘𝑘−1 𝑓𝑓 2 𝑘𝑘−1 ⋮ 𝑓𝑓 𝑚𝑚 𝑘𝑘−1 ⎦ ⎥ ⎥ ⎤ + ⎣ ⎢ ⎢ ⎢ ⎡𝑓𝑓 𝜃𝜃 1 , 1 𝑘𝑘−1 𝑓𝑓 𝜃𝜃 2 , 1 𝑘𝑘−1
𝑓𝑓 𝜃𝜃 1 , 2 𝑘𝑘−1 𝑓𝑓 𝜃𝜃 2 , 2 𝑘𝑘−1 ⋮ ⋮ 𝑓𝑓 𝜃𝜃 1 , 𝑚𝑚 𝑘𝑘−1 𝑓𝑓 𝜃𝜃 2 , 𝑚𝑚 𝑘𝑘−1 ⎦ ⎥ ⎥ ⎥ ⎤ �𝜃𝜃 1 𝑘𝑘 − 𝜃𝜃 1 𝑘𝑘−1 𝜃𝜃 2 𝑘𝑘 − 𝜃𝜃 2 𝑘𝑘−1 � + � 𝜖𝜖 1 𝜖𝜖 2 ⋮ 𝜖𝜖 𝑚𝑚 � , (13)
atau

## 160 Penentuan Nilai Awal Iterasi pada Masalah Pendugaan Parameter Regresi Taklinier
� 𝜖𝜖 1 𝜖𝜖 2 ⋮ 𝜖𝜖 𝑚𝑚 � = � 𝑦𝑦 1 𝑦𝑦 2 ⋮ 𝑦𝑦 𝑚𝑚 � − ⎣ ⎢ ⎢ ⎡𝑓𝑓 1 𝑘𝑘−1 𝑓𝑓 2 𝑘𝑘−1 ⋮ 𝑓𝑓 𝑚𝑚 𝑘𝑘−1 ⎦ ⎥ ⎥ ⎤ − ⎣ ⎢ ⎢ ⎢ ⎡𝑓𝑓 𝜃𝜃 1 , 1 𝑘𝑘−1 𝑓𝑓 𝜃𝜃 2 , 1 𝑘𝑘−1 𝑓𝑓 𝜃𝜃 1 , 2 𝑘𝑘−1 𝑓𝑓 𝜃𝜃 2 , 2 𝑘𝑘−1 ⋮ ⋮ 𝑓𝑓 𝜃𝜃 1 , 𝑚𝑚 𝑘𝑘−1 𝑓𝑓 𝜃𝜃 2 , 𝑚𝑚 𝑘𝑘−1 ⎦ ⎥ ⎥ ⎥ ⎤ �𝜃𝜃 1 𝑘𝑘 − 𝜃𝜃 1 𝑘𝑘−1 𝜃𝜃 2 𝑘𝑘 − 𝜃𝜃 2 𝑘𝑘−1 � , (14)
Persamaan (14) bisa ditulis ulang menjadi
� 𝜖𝜖 1 𝜖𝜖 2 ⋮ 𝜖𝜖 𝑚𝑚 � = ⎣ ⎢ ⎢ ⎡𝑦𝑦 1 − 𝑓𝑓 1 𝑘𝑘−1 𝑦𝑦 1 − 𝑓𝑓 2 𝑘𝑘−1 ⋮ 𝑦𝑦 1 − 𝑓𝑓 𝑚𝑚 𝑘𝑘−1 ⎦ ⎥ ⎥ ⎤ − ⎣ ⎢ ⎢ ⎢ ⎡𝑓𝑓 𝜃𝜃 1 , 1 𝑘𝑘−1 𝑓𝑓 𝜃𝜃 2 , 1 𝑘𝑘−1 𝑓𝑓 𝜃𝜃 1 , 2 𝑘𝑘−1 𝑓𝑓 𝜃𝜃 2 , 2 𝑘𝑘−1 ⋮ ⋮ 𝑓𝑓 𝜃𝜃 1 , 𝑚𝑚 𝑘𝑘−1 𝑓𝑓 𝜃𝜃 2 , 𝑚𝑚 𝑘𝑘−1 ⎦ ⎥ ⎥ ⎥ ⎤ �𝜃𝜃 1 𝑘𝑘 𝜃𝜃 2 𝑘𝑘 � + ⎣ ⎢ ⎢ ⎢ ⎡𝑓𝑓 𝜃𝜃 1 , 1 𝑘𝑘−1 𝑓𝑓 𝜃𝜃 2 , 1 𝑘𝑘−1 𝑓𝑓 𝜃𝜃 1 , 2 𝑘𝑘−1 𝑓𝑓 𝜃𝜃 2 , 2 𝑘𝑘−1 ⋮ ⋮ 𝑓𝑓 𝜃𝜃 1 , 𝑚𝑚 𝑘𝑘−1 𝑓𝑓 𝜃𝜃 2 , 𝑚𝑚 𝑘𝑘−1 ⎦ ⎥ ⎥ ⎥ ⎤ �𝜃𝜃 1 𝑘𝑘−1 𝜃𝜃 2 𝑘𝑘−1 � . (15)
Dengan memisalkan
𝐸𝐸 = � 𝜖𝜖 1 𝜖𝜖 2 ⋮ 𝜖𝜖 𝑚𝑚 � , 𝐶𝐶 =
⎣ ⎢ ⎢ ⎡𝑦𝑦 1 − 𝑓𝑓 1 𝑘𝑘−1 𝑦𝑦 2 − 𝑓𝑓 2 𝑘𝑘−1 ⋮ 𝑦𝑦 𝑚𝑚 − 𝑓𝑓 𝑚𝑚 𝑘𝑘−1 ⎦ ⎥ ⎥ ⎤ , 𝐴𝐴 = ⎣ ⎢ ⎢ ⎢ ⎡𝑓𝑓 𝜃𝜃 1 , 1 𝑘𝑘−1 𝑓𝑓 𝜃𝜃 2 , 1 𝑘𝑘−1 𝑓𝑓 𝜃𝜃 1 , 2 𝑘𝑘−1 𝑓𝑓 𝜃𝜃 2 , 2 𝑘𝑘−1 ⋮ ⋮ 𝑓𝑓 𝜃𝜃 1 , 𝑚𝑚 𝑘𝑘−1 𝑓𝑓 𝜃𝜃 2 , 𝑚𝑚 𝑘𝑘−1 ⎦ ⎥ ⎥ ⎥ ⎤ , Θ 𝑘𝑘 = �𝜃𝜃 1 𝑘𝑘 𝜃𝜃 2 𝑘𝑘 � , Θ 𝑘𝑘−1 = �𝜃𝜃 1 𝑘𝑘−1 𝜃𝜃 2 𝑘𝑘−1 � , (16)
di dapat
𝐸𝐸 = 𝐵𝐵 − 𝐴𝐴Θ 𝑘𝑘 , dengan 𝐵𝐵 = 𝐶𝐶 + 𝐴𝐴Θ 𝑘𝑘−1 . (17)
Persamaan (17) minimum jika
‖𝐸𝐸‖ = ‖𝐵𝐵 − A Θ 𝑘𝑘 ‖ (18)
Persamaan (18) juga minimum, proses ini membawa pada solusi masalah kuadrat terkecil dari ( 𝐵𝐵 − 𝐴𝐴Θ 𝑘𝑘 = 𝟎𝟎 ) [8], yaitu
Θ 𝑘𝑘 = [ 𝐴𝐴′𝐴𝐴 ] −1 [ 𝐴𝐴 ′ 𝐵𝐵 ], (19)
dimana 𝐴𝐴′ adalah transpose dari 𝐴𝐴 .
Untuk memperoleh Θ 𝑘𝑘 yang optimal, perhitungan Persamaan (19)  dilakukan secara berulang, sampai kondisi pada persamaan (20) berikut terpenuhi
‖Θ 𝑘𝑘 − Θ 𝑘𝑘−1 ‖ ≤ 𝜀𝜀 (20)
dengan 𝜀𝜀 adalah batas toleransi yang diberikan.

## Algoritma 2. Metode Gauss-Newton untuk Pendugaan Parameter Regresi Tak Linier
Menduga parameter 𝜽𝜽 𝟏𝟏 dan 𝜽𝜽 𝟐𝟐 untuk persamaan regresi tak linier 𝒚𝒚 = 𝒇𝒇 ( 𝒙𝒙 ; 𝜽𝜽 𝟏𝟏 , 𝜽𝜽 𝟐𝟐 ) .
Input Nilai awal ( 𝜃𝜃 1 0 , 𝜃𝜃 2 0 ) , data ( 𝑥𝑥 𝑖𝑖 , 𝑦𝑦 𝑖𝑖 ) , banyak data 𝑚𝑚 ; toleransi TOL; banyak iterasi maksimal 𝑁𝑁 . Output Parameter    aproksimasi  ( 𝜃𝜃 1 , 𝜃𝜃 2 ) atau pesan bahwa banyak iterasi maksimal sudah dilampaui.

## Step 1
Atur 𝑘𝑘 = 2 Step 2 while 𝑘𝑘 ≤ 𝑁𝑁 lakukan step 3-6 berikut

## 161
Step 3 Hitung 𝐴𝐴 dan 𝐵𝐵 sebagaimana yang telah didefinisikan pada Persamaan (16) dan (17).
Step 4 Hitung Θ 𝑘𝑘 = [ 𝐴𝐴′𝐴𝐴 ] − 1 𝐴𝐴′𝐵𝐵
Step 5 Jika �Θ 𝑘𝑘 − Θ 𝑘𝑘−1 � ≤ 𝑇𝑇𝑇𝑇𝑇𝑇 maka Hentikan iterasi Output ( 𝜃𝜃 1 , 𝜃𝜃 2 ) Stop Step 6 Atur 𝑘𝑘 = 𝑘𝑘 + 1
Step 7 output (‘maksimum iterasi telah dicapai’)
(prosedur tidak menghasilkan solusi yang diharapkan) stop

## 2.4  Metode steepest descent
Metode steepest descent untuk penyelesaian sistem Persamaan  (8)  sebagaimana yang terdapat dalam [2] dapat dinyatakan dalam bentuk algoritma berikut:

## Algoritma 3. Metode Steepest Descent
Metode ini digunakan untuk mencari nilai hampiran 𝒑𝒑 pada masalah meminimalkan 𝑔𝑔 ( 𝑝𝑝 ) = min 𝑥𝑥∈ℝ 𝑛𝑛 𝑔𝑔 ( 𝑥𝑥 )
Dengan 𝒈𝒈 ( 𝒙𝒙 ) = 𝒇𝒇 𝟏𝟏 𝟐𝟐 + ⋯ + 𝒇𝒇 𝒏𝒏 𝟐𝟐 nilai awal 𝒙𝒙 𝟎𝟎 .
Input Banyaknya peubah ( 𝑛𝑛 ); nilai tebakan awal 𝑥𝑥 = ( 𝑥𝑥 1 0 , … , 𝑥𝑥 𝑛𝑛 0 ) ′ ; batas toleransi kesalahan TOL; banyaknya iterasi maksimal 𝑁𝑁 .
Output Solusi aproksimasi 𝑥𝑥 = ( 𝑥𝑥 1 , … , 𝑥𝑥 𝑛𝑛 ) ′ atau pesan kesalahan.
Step 1 Atur 𝑘𝑘 = 1 Step 2 while ( 𝑘𝑘 ≤ 𝑁𝑁 ) lakukan step 3-15:
Step 3 atur 𝑔𝑔 1 = 𝑔𝑔 ( 𝑥𝑥 1 , … , 𝑥𝑥 𝑛𝑛 ) 𝑧𝑧 = ‖∇𝑔𝑔 ( 𝑥𝑥 1 , … , 𝑥𝑥 𝑛𝑛 ) ‖ 2 Step 4 Jika 𝑧𝑧 0 = 0 maka Output(‘Zero gradient’) Output ( 𝑥𝑥 1 , … , 𝑥𝑥 𝑛𝑛 , 𝑔𝑔 1 ) Stop Step 5 Atur 𝑧𝑧 = 𝑧𝑧 / 𝑧𝑧 0 𝛼𝛼 1 = 0 𝛼𝛼 2 = 0 𝛼𝛼 3 = 𝑔𝑔 ( 𝑥𝑥 − 𝛼𝛼 3 𝑧𝑧 )
Step 6
While ( 𝑔𝑔 3 ≥ 𝑔𝑔 1 ) lakukan step 7 dan 8 Step 7
Atur 𝛼𝛼 3 = 𝛼𝛼 3 /2 𝑔𝑔 3 = 𝑔𝑔 ( 𝑥𝑥 − 𝛼𝛼 3 𝑧𝑧 ) Step 8 If 𝛼𝛼 3 < 𝑇𝑇𝑇𝑇𝑇𝑇 2 maka Output(‘tidak ada perbaikan’) Output ( 𝑥𝑥 1 , … , 𝑥𝑥 𝑛𝑛 , 𝑔𝑔 1 ) Stop

## 162 Penentuan Nilai Awal Iterasi pada Masalah Pendugaan Parameter Regresi Taklinier

## Step 9
Atur 𝛼𝛼 2 = 𝛼𝛼 3 2 𝑔𝑔 2 = 𝑔𝑔 ( 𝑥𝑥 − 𝛼𝛼 2 𝑧𝑧 )
Step 10 Atur ℎ 1 = 𝑔𝑔 2 −𝑔𝑔 1 𝛼𝛼 2 ℎ 2 = 𝑔𝑔 3 −𝑔𝑔 2 𝛼𝛼 3 −𝛼𝛼 2 ℎ 3 = ℎ 2 −ℎ 1 𝛼𝛼 3 (Catatan: Metode Newton divided difference digunakan untuk menentukan interpolasi kuadratik 𝑃𝑃 ( 𝛼𝛼 ) = 𝑔𝑔 1 + ℎ 1 𝛼𝛼 + ℎ 3 𝛼𝛼 ( 𝛼𝛼 − 𝛼𝛼 2 ) yang menginterpolasi ℎ ( 𝛼𝛼 ) pada 𝛼𝛼 = 0, 𝛼𝛼 = 𝛼𝛼 2 , 𝛼𝛼 = 𝛼𝛼 3 .) Step 11 Atur 𝛼𝛼 0 = 0.5 �𝛼𝛼 2 − ℎ 1 ℎ 3 � 𝑔𝑔 0 = 𝑔𝑔 ( 𝑥𝑥 − 𝛼𝛼 0 𝑧𝑧 ) Step 12 tentukan 𝛼𝛼 dari { 𝛼𝛼 0 , 𝛼𝛼 3 } so that 𝑔𝑔 = 𝑔𝑔 ( 𝑥𝑥 − 𝛼𝛼𝑧𝑧 ) = min{ 𝑔𝑔 0 , 𝑔𝑔 3 }
Step 13 atur 𝑥𝑥 = 𝑥𝑥 − 𝛼𝛼𝑧𝑧
Step 14 jika | 𝑔𝑔 − 𝑔𝑔 1 | < 𝑇𝑇𝑇𝑇𝑇𝑇 maka Output ( 𝑥𝑥 1 , … , 𝑥𝑥 𝑛𝑛 , 𝑔𝑔 ) Stop Step 15 Atur 𝑘𝑘 = 𝑘𝑘 + 1 Step 16 output (‘maksimum iterasi telah dicapai’) Prosedur tidak sukses alias gagal stop

## 2.5  Metode Homotopi
Metode homotopi untuk penyelesaian sistem persamaan tak linier (8) sebagaimana yang terdapat dalam [2] dapat dinyatakan dalam bentuk algoritma berikut:

## Algoritma 4. Metode Homotopi
Tujuan untuk mencari solusi hampiran dari system persamaan taklinier 𝑭𝑭 ( 𝚯𝚯 ) = 𝟎𝟎 dengan 𝑭𝑭 = ( 𝑭𝑭 𝟏𝟏 , 𝑭𝑭 𝟐𝟐 ) dan 𝚯𝚯 = ( 𝜽𝜽 𝟏𝟏 , 𝜽𝜽 𝟐𝟐 ) nilai tebakan awal 𝚯𝚯 𝟎𝟎 = �𝜽𝜽 𝟏𝟏 𝟎𝟎 , 𝜽𝜽 𝟐𝟐 𝟎𝟎 � . Input
nilai awal 𝚯𝚯 𝟎𝟎 = �𝜽𝜽 𝟏𝟏 𝟎𝟎 , 𝜽𝜽 𝟐𝟐 𝟎𝟎 � . output
Solusi aproksimasi 𝚯𝚯 = ( 𝜽𝜽 𝟏𝟏 , 𝜽𝜽 𝟐𝟐 )
Step 1 Atur ℎ = 1 𝑁𝑁 , dengan 𝑁𝑁 adalah bilangan bulat positif sehingga 0 < ℎ < 1 . 𝑏𝑏 = −ℎ𝐹𝐹 ( Θ ) Step 2 untuk 𝑖𝑖 = 0,1, … , ( 𝑁𝑁 − 1) lakukan Langkah 3-7, yaitu Step 3 atur 𝐴𝐴 = 𝐽𝐽 ��𝜃𝜃 1 𝑖𝑖 𝜃𝜃 2 𝑖𝑖 ��
selesaikan system linier 𝐴𝐴𝑘𝑘 1 = 𝑏𝑏 Step 4 atur 𝐴𝐴 = 𝐽𝐽 ��𝜃𝜃 1 𝑖𝑖 𝜃𝜃 2 𝑖𝑖 � + 1 2 𝑘𝑘 1 �
selesaikan system linier 𝐴𝐴𝑘𝑘 2 = 𝑏𝑏 Step 5 atur 𝐴𝐴 = 𝐽𝐽 ��𝜃𝜃 1 𝑖𝑖 𝜃𝜃 2 𝑖𝑖 � + 1 2 𝑘𝑘 2 �

## 163
selesaikan system linier 𝐴𝐴𝑘𝑘 3 = 𝑏𝑏
Step 6 atur 𝐴𝐴 = 𝐽𝐽 ��𝜃𝜃 1 𝑖𝑖 𝜃𝜃 2 𝑖𝑖 � + 𝑘𝑘 3 �
selesaikan system linier 𝐴𝐴𝑘𝑘 4 = 𝑏𝑏
Step 7 atur �𝜃𝜃 1 𝑖𝑖+1 𝜃𝜃 2 𝑖𝑖+1 � = �𝜃𝜃 1 𝑖𝑖 𝜃𝜃 2 𝑖𝑖 � + 𝑘𝑘 1 +2𝑘𝑘 2 +2𝑘𝑘 3 +𝑘𝑘 4 6 Step 8
output ( 𝜃𝜃 1 , 𝜃𝜃 2 ) stop

## 3  Diskusi dan Pembahasan
Pada bagian ini dibahas penerapan metode-metode penyelesaian sistem persamaan taklinier (8) untuk menentukan parameter dari model regresi tak linier (2).

## 3.1  Percobaan 1
Sebagai contoh, akan dilakukan pendugaan parameter 𝜃𝜃 1 dan 𝜃𝜃 2 dari model regresi taklinier berikut
𝑓𝑓 ( 𝑥𝑥 ; 𝜃𝜃 1 , 𝜃𝜃 2 ) = 𝜃𝜃 1 � 1 − 𝑒𝑒 −𝜃𝜃 2 𝑥𝑥 � (21)
menggunakan data pada Tabel 1 berikut:
Tabel 1. Data hasil observasi
𝒙𝒙 0.25  0.75  1.25  1.75  2.25
𝒚𝒚 0.28  0.57  0.68  0.74  0.79
serta nilai awal untuk parameter 𝜃𝜃 1 0 dan 𝜃𝜃 2 0 (sumber: [4]).
Untuk  melakukan  pendugaan parameter model regresi tak linier  (21) menggunakan Algoritma 1 (metode Newton),  Algoritma 3 (metode steepest descent ), Algoritma 4 (metode homotopi), terlebih dahulu didefinisikan jumlah error kuadrat berikut
𝑠𝑠 ( 𝑥𝑥 𝑖𝑖 , 𝑦𝑦 𝑖𝑖 ; 𝜃𝜃 1 , 𝜃𝜃 2 ) = ��𝑦𝑦 𝑖𝑖 − 𝜃𝜃 1 � 1 − 𝑒𝑒 −𝜃𝜃 2 𝑥𝑥 𝑖𝑖 �� 5 𝑖𝑖=1
. (22)
Agar 𝑠𝑠 ( 𝑥𝑥 𝑖𝑖 , 𝑦𝑦 𝑖𝑖 ; 𝜃𝜃 1 , 𝜃𝜃 2 ) minimum, dapat  dikonstruksi sistem persamaan tak linier
𝐹𝐹 1 ( 𝑥𝑥 𝑖𝑖 , 𝑦𝑦 𝑖𝑖 ; 𝜃𝜃 1 , 𝜃𝜃 2 ) = 0 𝐹𝐹 2 ( 𝑥𝑥 𝑖𝑖 , 𝑦𝑦 𝑖𝑖 ; 𝜃𝜃 1 , 𝜃𝜃 2 ) = 0 (23)
dengan
𝐹𝐹 1 ( 𝑥𝑥 𝑖𝑖 , 𝑦𝑦 𝑖𝑖 ; 𝜃𝜃 1 , 𝜃𝜃 2 ) = 𝜕𝜕𝑠𝑠 ( 𝑥𝑥 𝑖𝑖 , 𝑦𝑦 𝑖𝑖 ; 𝜃𝜃 1 , 𝜃𝜃 2 ) 𝜕𝜕𝜃𝜃 1 , 𝐹𝐹 2 ( 𝑥𝑥 𝑖𝑖 , 𝑦𝑦 𝑖𝑖 ; 𝜃𝜃 1 , 𝜃𝜃 2 ) = 𝜕𝜕𝑠𝑠 ( 𝑥𝑥 𝑖𝑖 , 𝑦𝑦 𝑖𝑖 ; 𝜃𝜃 1 , 𝜃𝜃 2 ) 𝜕𝜕𝜃𝜃 2 Selanjutnya parameter 𝜃𝜃 1 dan 𝜃𝜃 2 yang memenuhi sistem  Persamaan (21) dapat dihitung menggunakan Algoritma 1, Algoritma 3, dan Algoritma 4.

## 164 Penentuan Nilai Awal Iterasi pada Masalah Pendugaan Parameter Regresi Taklinier
Untuk menentukan parameter 𝜃𝜃 1 dan 𝜃𝜃 2 menggunakan Algoritma (Gauss-Newton), dilakukan pelinieran Persamaan (21) sebagaimana pada Persamaan (10), sehingga diperoleh
𝑓𝑓�𝑥𝑥 ; 𝜃𝜃 1 𝑘𝑘 , 𝜃𝜃 2 𝑘𝑘 � ≈ 𝜃𝜃 1 𝑘𝑘−1 � 1 − 𝑒𝑒 −𝜃𝜃 2 𝑘𝑘−1 𝑥𝑥 � + � 1 − 𝑒𝑒 −𝜃𝜃 2 𝑘𝑘−1 � �𝜃𝜃 1 𝑘𝑘 − 𝜃𝜃 1 𝑘𝑘−1 �
+ 𝜃𝜃 1 𝑘𝑘−1 𝑥𝑥𝑒𝑒 −𝜃𝜃 2 𝑘𝑘−1 𝑥𝑥 �𝜃𝜃 2 𝑘𝑘 − 𝜃𝜃 2 𝑘𝑘−1 � . (24)
Berdasarkan persamaan (16) dan (17) dapat dikonstruksi matriks 𝐴𝐴 dan 𝐶𝐶 berikut:
𝐴𝐴 = ⎣ ⎢ ⎢ ⎢ ⎡ 1 − 𝑒𝑒 −𝜃𝜃 2 𝑘𝑘−1 𝑥𝑥 1 𝜃𝜃 1 𝑘𝑘−1 𝑥𝑥𝑒𝑒 −𝜃𝜃 2 𝑘𝑘−1 𝑥𝑥 1 1 − 𝑒𝑒 −𝜃𝜃 2 𝑘𝑘−1 𝑥𝑥 2 𝜃𝜃 1 𝑘𝑘−1 𝑥𝑥𝑒𝑒 −𝜃𝜃 2 𝑘𝑘−1 𝑥𝑥 1 ⋮ ⋮ 1 − 𝑒𝑒 −𝜃𝜃 2 𝑘𝑘−1 𝑥𝑥 𝑚𝑚 𝜃𝜃 1 𝑘𝑘−1 𝑥𝑥𝑒𝑒 −𝜃𝜃 2 𝑘𝑘−1 𝑥𝑥 1 ⎦ ⎥ ⎥ ⎥ ⎤ , 𝐶𝐶 = ⎣ ⎢ ⎢ ⎢ ⎢ ⎡ 𝑦𝑦 1 − 𝜃𝜃 1 𝑘𝑘−1 � 1 − 𝑒𝑒 −𝜃𝜃 2 𝑘𝑘−1 𝑥𝑥 1 � 𝑦𝑦 2 − 𝜃𝜃 1 𝑘𝑘−1 � 1 − 𝑒𝑒 −𝜃𝜃 2 𝑘𝑘−1 𝑥𝑥 2 � ⋮ 𝑦𝑦 𝑚𝑚 − 𝜃𝜃 1 𝑘𝑘−1 � 1 − 𝑒𝑒 −𝜃𝜃 2 𝑘𝑘−1 𝑥𝑥 𝑚𝑚 �⎦ ⎥ ⎥ ⎥ ⎥ ⎤ . (25)
Selanjutnya parameter 𝜃𝜃 1 𝑘𝑘 dan 𝜃𝜃 2 𝑘𝑘 menggunakan persamaan (19).
Berikut ini adalah tabel hasil pendugaan parameter  Persamaan (21) menggunakan data pada Tabel 1 dan beberapa nilai awal dengan batas toleransi 𝜖𝜖 = 1 × 10 −8 .
Tabel 2. Konvergensi beberapa nilai awal dan metode pendugaan parameter terhadap solusi dari persamaan regresi (21).
Percobaan Metode 𝜃𝜃 1 , 0 𝜃𝜃 2 , 0 Newton Gauss- Newton Steepest Descent Homotopi 1 1 1 sukses sukses sukses sukses 2 1 2 sukses sukses sukses gagal 3 1 3 gagal
sukses sukses gagal 4 2 1 gagal sukses sukses sukses 5 2 2 sukses sukses sukses gagal 6 2 3
gagal
sukses sukses gagal 7 3 1 gagal sukses sukses sukses 8 3 2 sukses sukses sukses sukses 9 3 3 sukses sukses sukses sukses 10 10 -10 gagal
gagal sukses gagal 11 -10 10 gagal gagal gagal gagal 12 -100  100 gagal gagal gagal gagal 13 100  -100 gagal gagal gagal gagal
Adapun  perbandingan antara model regresi hasil pendugaan dengan data hasil observasi yang optimum dapat dilihat pada gambar berikut:
Gambar 1. Perbandingan antara model regresi hasil pendugaan parameter dengan data hasil observasi

## 3.2  Percobaan 2
Pada bagian  ini, akan dilakukan pendugaan parameter 𝜃𝜃 1 dan 𝜃𝜃 2 dari model regresi taklinier dengan 𝑓𝑓 berikut:
𝑓𝑓 ( 𝑥𝑥 ; 𝜃𝜃 1 , 𝜃𝜃 2 ) = 𝜃𝜃 1 𝑒𝑒 −𝜃𝜃 2 𝑥𝑥 (26)
menggunakan data pada Tabel 3 berikut:
Tabel 3. Contoh data hasil observasi
𝒙𝒙 1 2 3 4 5 6 𝒚𝒚 10  5.49  0.89  -0.14  -1.07  0.84 serta nilai awal untuk parameter 𝜃𝜃 1 0 dan 𝜃𝜃 2 0 (sumber: [7]).
Untuk melakukan pendugaan parameter model regresi tak linier (26) menggunakan Algoritma 1 (metode Newton), Algoritma 3 (metode steepest descent ), Algoritma 4 (metode homotopi), terlebih dahulu didefinisikan jumlah error kuadrat berikut
𝑠𝑠 ( 𝑥𝑥 𝑖𝑖 , 𝑦𝑦 𝑖𝑖 ; 𝜃𝜃 1 , 𝜃𝜃 2 ) = ��𝑦𝑦 𝑖𝑖 − 𝜃𝜃 1 𝑒𝑒 −𝜃𝜃 2 𝑥𝑥 �
6 𝑖𝑖=1
. (27)
Agar 𝑠𝑠 ( 𝑥𝑥 𝑖𝑖 , 𝑦𝑦 𝑖𝑖 ; 𝜃𝜃 1 , 𝜃𝜃 2 ) minimum, dapat konstruksi sistem persamaan tak linier
𝐹𝐹 1 ( 𝑥𝑥 𝑖𝑖 , 𝑦𝑦 𝑖𝑖
; 𝜃𝜃 1 , 𝜃𝜃 2 ) = 0 𝐹𝐹 2 ( 𝑥𝑥 𝑖𝑖 , 𝑦𝑦 𝑖𝑖 ; 𝜃𝜃 1 , 𝜃𝜃 2 ) = 0 (28)
dengan
𝐹𝐹 1 ( 𝑥𝑥 𝑖𝑖 , 𝑦𝑦 𝑖𝑖 ; 𝜃𝜃 1 , 𝜃𝜃 2 ) = 𝜕𝜕𝑠𝑠 ( 𝑥𝑥 𝑖𝑖 , 𝑦𝑦 𝑖𝑖 ; 𝜃𝜃 1 , 𝜃𝜃 2 ) 𝜕𝜕𝜃𝜃 1 , 𝐹𝐹 2 ( 𝑥𝑥 𝑖𝑖 , 𝑦𝑦 𝑖𝑖 ; 𝜃𝜃 1 , 𝜃𝜃 2 ) = 𝜕𝜕𝑠𝑠 ( 𝑥𝑥 𝑖𝑖 , 𝑦𝑦 𝑖𝑖 ; 𝜃𝜃 1 , 𝜃𝜃 2 ) 𝜕𝜕𝜃𝜃 2

## 166 Penentuan Nilai Awal Iterasi pada Masalah Pendugaan Parameter Regresi Taklinier
Selanjutnya parameter 𝜃𝜃 1 dan 𝜃𝜃 2 yang memenuhi sistem Persamaan (27) dapat dihitung menggunakan Algoritma 1, Algoritma 3, dan Algoritma 4.
Untuk menentukan parameter 𝜃𝜃 1 dan 𝜃𝜃 2 menggunakan Algoritma (Gauss-Newton), dilakukan pelinieran Persamaan (26) sebagaimana pada Persamaan (10), sehingga diperoleh
𝑓𝑓�𝑥𝑥 ; 𝜃𝜃 1 𝑘𝑘 , 𝜃𝜃 2 𝑘𝑘 � ≈ 𝜃𝜃 1 𝑘𝑘−1 𝑒𝑒 −𝜃𝜃 2 𝑘𝑘−1 𝑥𝑥 + 𝑒𝑒 −𝜃𝜃 2 𝑘𝑘−1 𝑥𝑥 �𝜃𝜃 1 𝑘𝑘 − 𝜃𝜃 1 𝑘𝑘−1 � + 𝜃𝜃 1 𝑘𝑘−1 𝑥𝑥𝑒𝑒 −𝜃𝜃 2 𝑘𝑘−1 𝑥𝑥 �𝜃𝜃 2 𝑘𝑘 − 𝜃𝜃 2 𝑘𝑘−1 � . (29)
Berdasarkan persamaan (16) dan (17) dapat dikonstruksi matriks 𝐴𝐴 dan 𝐶𝐶 berikut:
𝐴𝐴 = ⎣ ⎢ ⎢ ⎢ ⎡𝑒𝑒 −𝜃𝜃 2 𝑘𝑘−1 𝑥𝑥 1 𝜃𝜃 1 𝑘𝑘−1 𝑥𝑥𝑒𝑒 −𝜃𝜃 2 𝑘𝑘−1 𝑥𝑥 1 𝑒𝑒 −𝜃𝜃 2 𝑘𝑘−1 𝑥𝑥 2 𝜃𝜃 1 𝑘𝑘−1 𝑥𝑥𝑒𝑒 −𝜃𝜃 2 𝑘𝑘−1 𝑥𝑥 2 ⋮ ⋮ 𝑒𝑒 −𝜃𝜃 2 𝑘𝑘−1 𝑥𝑥 𝑚𝑚 𝜃𝜃 1 𝑘𝑘−1 𝑥𝑥𝑒𝑒 −𝜃𝜃 2 𝑘𝑘−1 𝑥𝑥 𝑚𝑚 ⎦ ⎥ ⎥ ⎥ ⎤ , 𝐶𝐶 = ⎣ ⎢ ⎢ ⎢ ⎡ 𝑦𝑦 1 − 𝜃𝜃 1 𝑘𝑘−1 𝑒𝑒 −𝜃𝜃 2 𝑘𝑘−1 𝑥𝑥 1 𝑦𝑦 2 − 𝜃𝜃 1 𝑘𝑘−1 𝑒𝑒 −𝜃𝜃 2 𝑘𝑘−1 𝑥𝑥 2 ⋮ 𝑦𝑦 𝑚𝑚 − 𝜃𝜃 1 𝑘𝑘−1 𝑒𝑒 −𝜃𝜃 2 𝑘𝑘−1 𝑥𝑥 𝑚𝑚 ⎦ ⎥ ⎥ ⎥ ⎤ . (30)
Selanjutnya parameter 𝜃𝜃 1 𝑘𝑘 dan 𝜃𝜃 2 𝑘𝑘 menggunakan Persamaan (19).
Berikut ini adalah tabel hasil pendugaan parameter  Persamaan (26) menggunakan data pada Tabel 3 dan beberapa nilai awal dengan batas toleransi 𝜖𝜖 = 1 × 10 −8 .
Tabel 4. Konvergensi beberapa nilai awal dan metode pendugaan parameter terhadap solusi persamaan regresi (26).
Percobaan 2 Metode 𝜃𝜃 1 , 0 𝜃𝜃 2 , 0 Newton Gauss- Newton Steepest Descent Homotopi 1 25 0.9 sukses sukses sukses sukses 2 1 1 gagal gagal gagal gagal 3 1 2 gagal gagal gagal gagal 4 1 3 gagal gagal gagal gagal 5 2 1 gagal gagal gagal gagal 6 2 2 gagal gagal gagal gagal 7 2 3 gagal gagal gagal gagal 8 3 1 gagal gagal gagal gagal 9 3 2 gagal gagal gagal gagal 10 3 3 gagal gagal gagal gagal 11 10 -10 gagal gagal gagal gagal 12 -10 10 gagal gagal gagal gagal 13 -100 100 gagal gagal gagal gagal 14 100 -100 gagal gagal gagal Gagal 15 0.1848 0.1848 sukses sukses sukses sukses 16 0.8852 0.9133 Sukses Sukses Sukses Sukses 17 0.9037 0.9037 Sukses Sukses Sukses Sukses 18 0.4799 0.4799 Sukses Sukses Sukses Sukses 19 0.1078 0.9063 Sukses Sukses Sukses Sukses 20 -49.4456 0.0261 Sukses Sukses Sukses Sukses 21 -110.3384  0.6503 sukses sukses sukses sukses
Pada percobaan ke-15 sampai ke-19, nilai awal dibangkitkan menggunakan bilangan random antara 0 sampai 1. Sedangkan pada percobaan ke-20 digunakan bilangan random antara -50 sampai 50 dan pada percobaan ke-21 digunakan bilangan random antara -500 sampai 500.

## 4  Simpulan
Kesimpulan yang diperoleh dari beberapa kali percobaan yang telah dilakukan diatas adalah penggunaan metode iterasi, baik metode Newton maupun Gauss-Newton memerlukan tebakan awal yang baik agar solusi yang diharapkan bisa diperoleh. Tetapi bagaimana cara mendapatkan tebakan awal yang baik itu tidak mudah, karena sampai saat ini belum ada algoritma maupun metode yang bisa menentukan nilai tebakan awal yang baik.
Konvergensi metode tidak bergantung pada jauh atau dekatnya nilai awal dengan solusi, tetapi bergantung pada nilai awal yang menyebabkan nilai-nilai pada  matrik Jacobi berhingga. Jika    nilai awal yang dipilih menyebabkan nilai-nilai pada matrik  Jacobi  tak  berhingga, maka solusinya tidak ada.

## 5  Daftar Pustaka
[1]  H. Bunke, “18 Parameter estimation in nonlinear regression models,” Handb. Stat. , vol. 1, pp. 593–615, 1980.
[2]  R. L. Burden and J. D. Faires, “Numerical analysis 8th ed,” Thomson Brooks/Cole , 2005.
[3]  T. L. Zhang, “Solving non-linear equation based on steepest descent method,” Proc. - 4th Int. Conf. Inf. Comput. ICIC 2011 , pp. 216–218, 2011, doi: 10.1109/ICIC.2011.107.
[4]  S. C. Chapra and R. P. Canale, “Numerical methods for engineers,” pp. 722–733, 1998.
[5]  D. Constales, G. S. Yablonsky, D. R. D’hooge, J. W. Thybaut, and G. B. Marin, “Experimental Data Analysis,” Adv. Data Anal. Model. Chem. Eng. , pp. 285–306, 2017, doi: 10.1016/b978-0-444-59485-3.00009-6.
[6]  H.-H. Huang and S.-Y. Huang, “Nonlinear regression analysis,” Int. Encycl. Educ. , pp. 339– 346, 2010.
[7]  W. H. Lai, S. L. Kek, and K. G. Tay, “Solving Nonlinear Least Squares Problem Using Gauss-Newton Method,” Int. J. Innov. Sci. Eng. Technol. , vol. 4, no. 1, pp. 258–262, 2017.
[8]  B. Jacob, Linear Algebra. W. H, Freeman And Company, New York . 1990.