Vol. 7, No.1,  39-48,  Juli  2010
Penaksiran Parameter Regresi Nonlinier dengan Algoritma Gauss-Newton dan Tafsiran Geometris Least Squares
M. Saleh AF 

## Abstrak
Algoritma  Gauss-Newton  atau  disebut  juga  metode  linierisasi  adalah  suatu  prosedur  iterasi yang  digunakan  untuk  memecahkan  masalah  kuadrat  terkecil  ( least-squre )  pada  fungsi jumlah kuadrat untuk meminimumkan suatu fungsi obyektif dengan syarat orde pertama ( first orde  condition ).  Dalam  tulisan  ini  akan  dibahas  secara  teoritis  penaksiran  parameter  regresi nonlinier  menggunakan  algoritma  Gauss-Newton  (GN)  yang  akan  memecahkan    masalah unconstrained least-squares . Pembahasan toritis dan implementasinya  memanfaatkan  model fungsi nonlinier kontinu
yang tergantung pada vektor parameter berdimensi p , fungsi residual , matriks  turunan  parsial D berukuran , Jacobian  dari  fungsi  residu dan nilai awal , serta vektor koefisien regresi yang merupakan taksiran least-square tanpa  intercept . Algoritma  GN  dimulai  dengan  ekspansi  linier  deret  Taylor  orde  pertama untuk  aproksimasi  terhadap fungsi disekitar nilai awal , yaitu ( ) ( ) ( ) . Fungsi aproksimasi tersebut dimanfaatkan  untuk memperoleh solusi dari minimisasi  masalah  kuadrat  terkecil  linier:
‖ ( )‖ ,  sehingga diperoleh algoritma Gauss Newton: ,  dengan ( ) . Dalam  praktek,  bentuk sangat sulit  diperoleh,  sehingga dapat  diperoleh  melalui penyelesaian linier least squares yaitu ‖ ‖ .
Kata Kunci: Algoritma Gauss-Newton, model regresi nonlinear, nonlinear Least- Squares.

## 1.   Pendahuluan
Penaksiran parameter pada sebagian masalah nonlinier seringkali dilakukan dengan  cara memecahkan  persamaan  normal  ( solution  of  Normal  Equation ),  namun  cara  ini    seringkali menimbulkan  kesulitan  dalam  pemecahannya,  bahkan  terkadang  tidak  tercapai  solusi  analitik sebagaimana  yang  diharapkan  (Kutner et  al. ,  2004).  Kenyataan  ini  mengharuskan  ditempuh metode  iteratif  untuk  menaksir  parameter  regresi  nonlinier.  Seber  dan  Wild  (1989)  menuliskan beberapa  metode  iteratif  antara  lain  metode  Gauss-Newton,  metode  Levenberg-Marquardt, metode  Powell’s  Hybrid,  dan  lain-lain.  Algoritma  Gauss-Newton  merupakan  modifikasi  dari metode  Newton  untuk  mengoptimalkan  suatu  fungsi  obyektif,  yaitu  meminimumkan  fungsi jumlah kuadrat ( sum of squares function ). Algoritma Gauss-Newton merupakan prosedur iterasi dan  hanya  dapat  digunakan  untuk  meminimumkan  fungsi jumlah  kuadrat
.  Prosedur  iterasi
 Program Studi Statistika, Jurusan Matematika, Fakultas Matematika dan Ilmu Pengetahuan Alam, Universitas Hasanuddin

## M. Saleh AF
mengharuskan  ditetapkannya  taksiran  sebuah  nilai  awal  ( initial  or  starting    value )    yang dinotasikan untuk  vektor  parameter  regresi  nonlinier berdimensi p .  Algoritma  Gauss- Newton dimulai dengan ekspansi deret Taylor linier (orde pertama) untuk melakukan aproksimasi terhadap  fungsi  regresi di  sekitar  nilai  awal
,  yaitu ( ) ( ) ( ) , yang akan mengantar pada minimisasi  linear least-square problem :
‖     ( ) | ( )‖ dan  pada  akhirnya  mengantar  pada  algoritma  Gauss-Newton  (GN): , ( ) dengan | dan D adalah  matriks  turunan  parsial berukuran . Tetapi  bentuk  terakhir  tersebut  masih  diluar  konteks  nonlinier  least  squares regression,  sehingga  analisis  numerik  dengan  melibatkan  gradien    dan    Hessian  lebih  menarik
sebagai  pilihan,  sehingga  diperoleh ( ) atau ‖ ‖ .

## 2.   Penaksiran Kuadrat Terkecil
2.1.   Kuadrat  Terkecil Nonlinier ( Nonlinear Least-Squares )
Jika  terdapat n pasangan  observasi
dari  model fixed-regressor nonlinier  dengan  hubungan  fungsional nonlinier,  maka  bentuk  umum  model  regresi  nonlinier dinyatakan sebagai:
, (1) dimana , adalah  vektor  berukuran ,  dan    vektor  parameter berukuran
, .  Penaksir  least  squares  untuk  parameter dinotasikan  dengan ̂ yang meminimumkan “Jumlah Kuadrat Galat ” ( error sum of squares )
∑ [ ] ∑ [ ] (2)
[ ] [ ] ‖     ‖ . Bila setiap terdiferensiabel terhadap dan ̂ , maka ̂ memenuhi
| ̂ (3.a) ∑ { ̂ } | ̂ ∑ { ̂ } | ̂ (3.b) Dalam bentuk matriks, persamaan (3.b) dituliskan sebagai ( ̂) (     ( ̂)} (4)
( ̂)  ̂
dimana
( ) (5.a) (5.b) *( )+ (5.c) (5.d) dengan adalah matriks turunan parsial berukuran
. Persamaan (3.b) dan (4)  disebut persamaan  normal  model  regresi  nonlinier.  Dalam  kebanyakan  model  nonlinier,  persamaan normal ini tidak dapat diselsaikan secara analitik atau secara langsung, sehingga  metode iteratif menjadi pilihan, yang salah satunya akan dibahas berikut.

## 2.2.   Algoritma  Gauss-Newton
Metode Gauss-Newton, dimulai dengan sebuah nilai awal ( initial or starting value ) untuk paramater [ ] yang dinotasikan dengan * + .
Nilai-nilai  awal mungkin  saja  merupakan  dugaan  kasar,  atau  dugaan  yang  berdasarkan informasi yang tersedia (misalnya perkiraan berdasarkan informasi awal yang diperoleh, atau dari perhitungan  yang  diperkirakan  benar  oleh  peneliti  berdasarkan trial dan error .  Misalkan adalah sebuah aproksimasi pada penduga model nonlinier dengan least squares ̂ . Dan misalkan pula dekat  ( small  neighborhood )  pada ,  maka  ekspansi  deret  Taylor  orde  pertama  untuk mean respon adalah
( )   ∑ | ( ) (6.a)
atau
( )   ∑ (6.b)
dimana
| (6.c) dan (6.d)
Sehingga aproksimasi model regresi nonlinier (1)  adalah:
( )   ∑ (7) ( )   ∑ . Dengan  menuliskan  suku  ruas  kiri ( ) sebagai ,  diperoleh  model    aproksimasi linier:
∑ , . (8)

## M. Saleh AF
Dalam bentuk matriks, model aproksimasi linier (8), dapat dituliskan sebagai:
(9)
dimana
⏟ [ ( )
( ) ] ⏟ [
] [ ]   [ ]
[ ] . (10)
Matriks turunan parsial D pada model aproksimasi linier (9) sekarang memegang peranan penting terhadap    matriks  regressor X (tetapi  tanpa  kolom  pertama  untuk  intersep).  Selanjutnya  dapat dilakukan penaksiran vektor parameter pada persamaan (10)  melalui OLS diperoleh
( ) . (11) Dengan demikian vektor akan meminimumkan jumlah kuadrat ∑ * ( )   ∑ + . (12)
Dengan  program  komputer  dapat  diperoleh  penaksir dengan  spesifikasi  tanpa  intersep ( Kutner et al. , 2004). Dengan menggunakan hasil penaksir least squares , diperoleh penaksir koefisien regresi melalui mean dari (6.d):
(13)
dimana adalah penaksir yang direvisi pada akhir iterasi pertama.  Dalam bentuk matriks, proses revisi dituliskan sebagai:
(14)
Selanjutnya  penaksir untuk  vektor  parameter  yang    dihasilkan  oleh  proses  pengulangan iterasi melalui hubungan:
, (15.a)

## M. Saleh AF

## Secara umum algoritma Gauss-Newton dituliskan sebagai
(15.b) dengan ( ) . (15.c)
Perlu  dicatat  bahwa  kriteria  least  squares pada  persamaan  (2)  digunakan  untuk mengevaluasi nilai  awal koefisien regresi
melalui , yaitu
∑ [ ( )] ∑ ( ) . (16)
Pada akhir iterasi pertama, penaksir koefisien regresi yang telah direvisi adalah dan  kriteria
least  squares  mengevaluasi  tahapan  ini, yang sekarang dinotasikan sebagai , yaitu ∑ [ ( )] ∑ ( ) . (17)
Jika  metode  Gauss-Newton  bekerja  efektif  pada  iterasi  pertama, akan  lebih  kecil  dari , dan penaksir koefisien regresi yang telah direvisi
akan menjadi penaksir yang lebih
baik dari yang sebelumnya.
Proses  iteratif  ini  dilanjutkan  sampai    diperoleh  solusi  konvergen,  dengan  kata  lain sampai pada langkah iterasi dan berlaku | | , (18)
dimana bilangan positif yang telah ditetapkan sebelumnya (misalnya
.  Pada  setiap  iterasi  sebaiknya
dihitung  untuk  melihat  apakah  terjadi penurunan nilai. Bila  gradien dan Hessian dari
berturut-turut dinyatakan  sebagai berikut:
Gradien:
∑ , (19) dimana Jacobian [( )] , (20) merupakan matriks berukuran dengan kolom ke- j adalah .
Dan Hessian:
∑ ∑ } (21) dimana ∑ dan adalah matriks Hessiaan berukuran . Jadi langkah Newton adalah ( ) ( ) . (22)
Karena , maka , sehingga (15.c) menjadi ( ) (23)
Jadi algoritma Gauss-Newton diperoleh dari algoritma Newton (N) dengan mengabaikan bagian Hessian dari persamaan (21). Dalam prakteknya, suku tidak pernah diperoleh, sehingga diperoleh melalui pemecahan/penyelesaian linier least squares, yaitu
‖ ‖ , (24)
menggunakan metode kestabilan numeric ( numerically stable ) yang didasarkan pada penggunaan faktorisasi  dari . Faktorisasi  tersebut  dapat  berbentuk  faktorisasi  orthogonal  (QR)  atau dekomposisi nilai singular.

## 3.   Contoh Penerapan
Rumah  sakit  ingin  mengembangkan  sebuah  model  regresi  untuk  memprediksi  derajat kesembuhan  pasien  (the  degree  of  long-term  recovery)  setelah  menjalani  perawatan  di  rumah sakit (after discharge from the hospital). Variabel prediktornya adalah jumlah hari perawatan  di rumah  sakit  ( X ),  dan  variabel  respon  adalah  indeks  prognostic  for  long-term  recovery  ( Y ).  Data diberikan pada Tabel 1.
Tabel 1. Data Pasien.
2 5 7 10 14 19 26 31 34 38 45 52 53 60 65 54 50 45  37 35 25 20
16 18 13
8 11 8 4
6 Sumber: Kutner et al. (2004).
Model yang dihipotesiskan berbentuk:
(25)
dengan  fungsi  respon f
yang  dapat  dilinierisasi  melalui  transformasi logaritma natural:
[ ] , (26)
sehingga  model  regresi linier  dengan  transformasi  variabel yang  akan  difitkan  ( fitted )  dengan nilai awal untuk suatu penghampiran (aproksimasi) model eksponensial, adalah
, (27) dimana , , . Dengan menerapkan metode Kuadrat Terkecil ( Least Squares ),  diperoleh  taksiran  koefisien  regresi  linier,  yaitu ̂
dan ̂ , sebagaimana yang diberikan pada Tabel 2.

## M. Saleh AF
Tabel 2. ANAVA.
Koefisien Standard Error Stat- t Intersep 4.037158866 0.084103145 48.0024718 Variabel X -0.037974181 0.002284209 -16.624655
Dengan demikian, dugaan nilai  awal ( initial starting value ) untuk iterasi adalah
̂ { ̂ ̂
Nilai-nilai  awal  parameter ̂ dan ̂ ini  diterapkan    pada    setiap  pengamatan.  Untuk pengamatan  pertama,
; ,  diperoleh ( ̂ ) ̂ ( ̂ )
, dan  deviasi  mean respon adalah .
Turunan parsial fungsi respon (26) terhadap parameternya adalah
dan , sehingga * + ̂ ( ̂ ) * + ̂ ̂ ( ̂ )
.
Selanjutnya, terapkan metode kuadrat terkecil  untuk menduga koefisien regresi antar respon pada dua variabel X dalam matriks tanpa intersep, dan diperoleh hasil dalam Tabel 3.
Tabel 3. Kofisien Regresi Linier Tanpa Intersep.
Koefisien Standard Error Intersep 0 #N/A Variabel D 0 (0) 1.892878164 1.448095231 Variabel D 1 (0 ) -0.001559049 0.001681719 Sehingga vektor penduga koefisien regresi tanpa intersep adalah [ ]   * +
Dengan persamaan (14) diperoleh penduga parameter yang direvisi,
̂ ̂ * +   * +   * +

## M. Saleh AF
Dalam  hal  ini, ̂
dan ̂ merupakan  taksiran  parameter  yang sudah direvisi pada iterasi pertama. Revisi residual dari fungsi regresi eksponensial dan turunan parsial  pertama,  didasarkan  pada  penduga  parameter  yang  sudah  direvisi  di  atas.  Untuk pengamatan 1, dengan dan , diperoleh:
. ( ̂ ) . ̂ ( ̂ ) .
Hasil  selengkapnya  ditunjukkan  dalam  Tabel  4.  Selanjutnya,  regresikan
dan untuk mendapatkan penduga koefisien regresi
, diperoleh hasil dalam            Tabel 5.
Tabel 4. Koefisien regresi (tanpa intercept). Koefisien Standard Error Intersep 0 #N/A Variabel D 0 (0) 0.047482676 1.471306632 Variabel D 1 (0 ) -5.1696E-05 0.001709776 Jadi [ ]   * + ,
sehingga
̂ ̂ * +   * +   * +
Proses dilanjutkan, hingga tercapai kestabilan solusi. Hasil setelah iterasi ke-5 ditunjukkan dalam Tabel 6. Setelah iterasi ke-5, solusi mencapai konvergen, sehingga diperoleh taksiran parameter regresi nonlinier:
̂   [ ̂ ̂ ]   * +   * +
Jadi persamaan regresi nonlinier adalah
. Grafik regresi nonlinier dan plot data dapat dilihat dalam Gambar 1.
Gambar 1. Grafik Fungsi Regresi Nonlinier dan Plot Data Observasi.

## M. Saleh AF
Tabel 5. Hasil Perhitungan Matriks dan . [ ] -0.1063643 1.94468138 0.59789765 -2.4363436 1.33173109 -2.6296872 -0.9504436 -1.192871 2.72991297 -0.0366395 -1.885142 3.50450766 0.79504619 -1.463217 1.51663976 0.92397894 0.82064472 0.75825844 0.67345776 0.57495586 0.4718345 0.35777249 0.29360411 0.26076856 0.22262779 0.1688094 0.12800115 0.1230396 0.09329582 0.07656272 108.212729 240.276593 310.814716 394.363436 471.355765 524.964057 544.711533 532.979 519.182959 495.392302 444.831389 389.765602 381.862552 327.793023 291.418416 0.01131336 3.78178568 0.3574816 5.93577033 1.77350769 6.91525487 0.90334296 1.42294111 7.45242483 0.00134246 3.55376024 12.2815739 0.63209845 2.14100412 2.30019617 49.463798
Tabel 6. Hasil Lengkap Setelah Iterasi ke-5.
Iterasi ̂ ̂ SSE 0 1 49.46380 2         58.60549 49.45930 3 4
5

## 4.   Kesimpulan dan Saran
Beberapa  kesimpulan  yang  dihasilkan  dari  tulisan  ini  adalah  bahwa  penggunaan persamaan  normal  dalam  menaksir  parameter  model  nonlinier  sangat  sulit  prosesnya,  dan kebanyakan  tidak  dapat  ditentukan  solusi  analitiknya.  Dalam  kasus-kasus  tertentu,  pada  proses linierisasi  dengan  metode  Gauss-Newton,  dapat  terjadi  kekonvergenan  yang  berjalan  lambat, dengan kata lain dibutuhkan sejumlah besar iterasi sebelum solusi mencapai kestabilan/kekonvergena.  Bahkan  mungkin  saja  kekonvergenan  tidak  dapat  tercapai,  sehingga perlu ditetapkan jumlah maksimum yang iterasi yang harus digunakan pada model.

## Daftar Pustaka
Kutner et al. , 2004. Applied Linier Regression Models . Mc Graw Hill, Printed in Singapore.
Ryan, T.P., 1997. Modern Regression Method . John Wiley & Sons, New York.
Draper,  N.  dan  Smith,  H.,  1992. Applied  Regression  Analysis , Second  Edition .  John  Wiley  & Sons Inc., New York..