Vol .15, No. 2, 20-24, January 2019
1 Jurusan Matematika, Fakultas Matematika dan Ilmu Pengetahuan Alam, Universitas Jember Jalan Kalimantan 37 Kampus Tegal Boto, Jember 68121, Indonesia.
1 E-Mail: budi.fmipa@unej.ac.id
2,3 Departemen Matematika, Fakultas Sains dan Teknologi, Universitas Airlangga, Surabaya, Jalan Mulyorejo Kampus C UNAIR, Surabaya 60115 Indonesia.

## Estimasi Fungsi Regresi Dalam Model Regresi Nonparametrik Birespon Menggunakan Estimator Smoothing Spline dan Estimator Kernel
1 Budi Lestari, 2 Nur Chamidah, dan 3 Toha Saifudin

## Abstract
Regression  model  of  bi-respond  nonparametric  is  a  regression  model  which  is  illustrating  of  the connection pattern between respond variable and one or more predictor variables, where between first  respond  and  second  respond  have  correlation  each  other.  In  this  paper,  we  discuss  the estimating  functions  of  regression  in  regression  model  of  bi-respond  nonparametric  by  using different two estimation techniques, namely, smoothing spline and kernel. This study showed that for  using  smoothing  spline  and  kernel,  the  estimator  function  of  regression  which  has  been obtained  in  observation  is  a  regression  linier.  In  addition,  both  estimators  that  are  obtained  from those two techniques are systematically only different on smoothing matrices.
Keywords: kernel  estimator,  smoothing  spline  estimator,  regression  function,  bi-respond nonparametric regression model.

## Abstrak
Model  regresi  nonparametrik  birespon  adalah  suatu  model  regresi  yang  menggambarkan  pola hubungan  antara  dua  variabel  respon  dan  satu  atau  beberapa  variabel  prediktor  dimana  antara respon pertama dan respon kedua berkorelasi. Dalam  makalah ini dibahas estimasi fungsi regresi dalam    model  regresi  nonparametrik  birespon  menggunakan  dua  teknik  estimasi  yang  berbeda, yaitu  smoothing  spline  dan  kernel.  Hasil  studi  ini  menunjukkan  bahwa,  baik  menggunakan smoothing  spline  maupun  menggunakan  kernel,  estimator  fungsi  regresi  yang  didapatkan merupakan  fungsi  linier  dalam  observasi.  Selain  itu,  kedua  estimator  fungsi  regresi  yang didapatkan  dari  kedua  teknik  estimasi  tersebut  secara  matematis  hanya  dibedakan  oleh  matriks penghalusnya.
Kata  Kunci  : Estimator  Kernel,  Estimator  Smoothing  Spline,  Fungsi  Regresi,  Model  Regresi Nonparametrik Birespon.

## 1.  Pendahuluan
Misal  diberikan  pasangan  data ) , ( ki ki t y , 1, 2. k  ; 1, 2,..., k i n  mengikuti  model regresi nonparametrik birespon sebagai berikut:
ki ki k ki ) t ( f y    , k k k b t a   (1)
dengan k adalah  menyatakan  banyaknya  respon,  dan  bentuk  fungsi  regresi 1 f dan 2 f tidak  diketahui  dan  diasumsikan  mulus  termuat  dalam  ruang  Sobolev ] , [ 2 k k m b a W ,  serta
ki  ( 1, 2. k  ; 1, 2,..., k i n  )  adalah  error  random  independent  dengan  mean  nol  dan
variansi 2 ki  (Lestari et al ., 2012). Tujuan mendasar dari regresi nonparametrik birespon adalah untuk mengestimasi fungsi regresi yang tidak diketahui, 2 [ , ] m k k k f W a b  , dalam model (1).
Dalam makalah ini diperhatikan kembali model regresi nonparametrik birespon yang dibahas  oleh  Wang et  al .,  (2000).  Selanjutnya  berdasarkan  model  tersebut,  dibahas estimasi  fungsi  regresi  berdasarkan  dua  estimator  berbeda,  yakni  estimator  smoothing spline  dan  estimator  kernel.  Chamidah  dan  Lestari  (2016)  menggunakan  pendekatan estimator  spline  untuk  mengestimasi  fungsi  regresi,  tetapi  untuk  kasus  variansi  sama (homoskedastik).  Meskipun  Aydin  (2007)  telah  membahas  tentang  dua  teknik  estimasi fungsi regresi, yakni estimator smoothing spline dan estimator kernel, tetapi Aydin (2007) menggunakan  estimator  smoothing  spline  and  estimator  kernel  tersebut  hanya  untuk mengestimasi  fungsi  regresi  dalam  model  regresi  nonparametrik  unirespon  saja.  Jadi Aydin (2007) belum membahas kedua tenik estimasi fungsi regresi tersebut untuk model regresi  nonparametrik  birespon.  Sedangkan  Wang et  al .,  (2000)  belum  membahas estimator  kernel  untuk  mengestimasi  fungsi  regresi  dalam  model  regresi  nonparametric birespon.  Oleh  karena  itu,  dalam  makalah  ini  akan  dibahas  dua  teknik  estimasi  fungsi regresi,  yakni  estimator  smoothing  spline  dan  estimator  kernel,  dalam  model  regresi nonparametrik  birespon  untuk  kasus  variansi  tidak  sama  (yakni, 2 ki  , 1, 2,..., k i n  ; 1, 2 i  ).  Pembahasan  estimasi  fungsi  regresi  dalam  model  (1)  menggunakan  estimator smoothing spline dan estimator kernel berturut-turut disajikan dalam bab 2 dan bab 3.

## 2.    Estimasi  Fungsi  Regresi  Berdasarkan  Estimator  Smoothing
Spline.
Misalkan 1 2 ( , ) y y y   , 1 2 ( , ) f f f   , 1 2 ( , )      ,  dan 1 2 ( , ) t t t   dengan
1 2 ( , ,..., ) k k k k kn y y y y   , 1 2 ( ( ), ( ),..., ( )) k k k k k k k kn f f t f t
f t   , 1 2 ( , ,..., ) k k k k kn       ,
1 2 ( , ,..., ) k k k k kn t t t t   , 1, 2 k  ; 1, 2,..., k i n  .  Oleh  karena  itu,  model  (1)  dapat dinyatakan dalam notasi vektor sebagai berikut:
y f    (2)
dengan ( ) 0 E   ,  dan
2 1 ( ) [ ( )] Cov W     2 2 1 1 2 2 ( ( ), ( )) diag W
W    (Lestari et  al .  (2012), dan  Lestari et  al .  (2017)).    Estimasi  fungsi f dalam  model  (2)  berdasarkan  estimator smoothing  spline  diperoleh  dari  penyelesaian  masalah  meminimumkan    penalized weighted least-square (PWLS), yakni menentukan ˆ f yang meminimumkan PWLS:
1 2 2 2 1 1 1 1 1 1 2 2 2 2 2 , 1 {( ) ( ) ( ) ( ) ( ) k f f W k Min n y f W y f y f W y f             1 2 1 2 (2) 2 (2) 2 1 1 2 2 ( ( )) ( ( )) } b b a a f t dt f t dt      (3)
untuk nilai
1 2 ( , ) 0       . Komponen pertama dalam (3) menyatakan jumlah kuadrat residual  yang  merupakan  ukuran goodness  of  fit ,  sedangkan  komponen  dalam  (3)  yang diboboti oleh  , menyatakan ukuran kemulusan ( smoothness ) estimasi fungsi regresi f . Nilai k  ( 1, 2) k  dalam  (3)  dikenal  sebagai  parameter  penghalus  ( smoothing parameter ). Jika nilai k  bervariasi dari 0 sampai  , maka solusi juga bervariasi dari interpolasi  ke  suatu  model  linier.  Untuk k    ,  penalty  kemulusan  mendominasi dalam  (3),  dan  estimasi  spline  mendekati  konstan.  Untuk 0 k   ,  penalty  kemulusan tidak  muncul  dalam  (3),  dan  estimasi  spline  menginterpolasi  data.  Jadi  parameter
penghalus k  memainkan peranan penting dalam mengontrol trade-off () antara goodness of fit yang dinyatakan oleh:
2 1 1 1 1 1 1 2 2 2 2 2 1 ( ) ( ) ( ) ( ) ( ) k k n y f W y f y f W y f           dan kemulusan estimasi diukur dengan: 1 2 1 2 (2) 2 (2) 2 1 1 2 2 ( ( )) ( ( )) b b a a f t dt f t dt      .
Selesaian  berdasarkan  smoothing  spline  untuk  masalah  meminimumkan  (3)  adalah dikenal sebagai “ natural cubic spline ” dengan knots 1 2 , ,...,
k n t t t ( 1, 2) k  . Bertolak dari hal ini, suatu interpolasi spline terstruktur khusus yang bergantung pada suatu nilai yang dipilih k  merupakan  suatu  pendekatan  yang  sesuai  untuk  fungsi-fungsi k f ( 1, 2) k 
dalam  model  regresi  nonparametric  birespon  (1).  Selanjutnya,  misalkan
1 2 ( , ) f f f   dengan 1 2 ( ( ), ( ),..., ( )) k k k k k k k kn f f t f t f t   , 1, 2 k  adalah  vektor  dari  nlai-nilai  fungsi
k f ( 1, 2) k  pada  titik-titik  knot 1 2 , ,..., k n t t t ( 1, 2) k  .  Estimator  smoothing  spline ˆ f  dari vektor atau nilai estimasi untuk data
1 2 ( , ) y y y   dengan 1 2 ( , ,..., ) k k k k kn y y y y   , 1, 2 k  dapat diperoleh dari Lestari et al . (2012), dan Lestari et al . (2017):
1 2 1, 2, ˆ ˆ ˆ ( ) ˆ f f y H y f                (4)
dengan ˆ f  adalah suatu natural cubic spline dengan knot-knot pada 1 2 , ,...,
k n t t t ( 1, 2) k  untuk  suatu  parameter  penghalus 1 2 ( , ) 0       ,  dan ( ) H  dikenal  sebagai  matriks penghalus  definit-positif  (simetri)  yang  bergantung  pada  dan  titik-titik  knot 1 2 , ,..., k n t t t ( 1, 2) k  ,  tetapi  tidak bergatung  pada y .  Untuk  referensi  umum  tentang smoothing spline, dapat ditemukan pada Wahba (1990), Green dan Silverman (1994), dan Eubank (1999).

## 3.  Estimasi Fungsi Regresi Berdasarkan Estimator Kernel.
Filosofi  utama  dari  model  regresi  nonparametrik  adalah  untuk  mengestimasi  fungsi regresi f menggunakan  suatu  rata-rata  terbobot  dari  data  mentah  dimana  bobot- bobotnya merupakan suatu fungsi dari jarak dalam ruang- t . Secara khusus, bobot tersebut adalah suatu fungsi turun dari jarak. Untuk model regresi nonparametrik unirespon, suatu skema  pembobotan  dari  tipe  ini  diberikan  oleh  Nadaraya-Watson  (1964)  yakni  bobot yang  berkaitan  dengan  observasi j y ,  untuk  prediksi  di i t diberikan  oleh  persamaan sebagai berikut:
1 1 ( ) ( ) i j ij n n i j j j t t K h K u w t t K u K h                     (5)
dengan ( ) K u adalah  suatu  fungsi  turun  dari u ,  dan 0 h  disebut bandwidth atau parameter penghalus. ( ) K u , fungsi kernel yang didapatkan merupakan fungsi kepadatan probabilitas, misal Gaussian. Fungsi kernel tersebut adalah simetris (Yatchew,  2003 dan Wand & Jones, 1995).
Selanjutnya,  berdasarkan  persamaan  (5)  dan  dengan  memperhatikan  model  regresi nonparametrik  birespon  yang  diberikan  dalam  (1),  maka  bobot  berkaitan  dengan observasi dari respon ke- k , kj y , untuk prediksi di ki t diberikan oleh:
( ) 1 1 ( ) ( ) k k ki kj k k k k ij n n ki kj k k j j k t t K h K u w t t K u K h                    
, 1, 2 k  .                                           (6)
Berdasarkan  pada  persamaan  (6),  diperoleh  estimasi kernel  dari  fungsi f dalam  model regresi nonparametrik birespon (1) pada suatu titik pengepasan ki t sebagai berikut:
( ) 1 ˆ ˆ ( ) k n k ki ki k ij kj kj k j f t y w y w y       , 1, 2,..., k i n  , 1, 2 k  .                        (7)
Setiap n titik-titik  data  diberikan  suatu  bobot  berbeda ( ) k ij w , 1, 2,..., k j n  untuk sembarang  titik  pengepasan ki t .  Dalam  notasi  matriks,  persamaan  (7)  dapat  dinyatakan sebagai berikut:
ˆ f Wy  (8) dengan
  1 2 , ,..., k k k kn W diag W W W  , and ( )11 ( )12 ( )1 ( )21 ( )22 ( )2 ( ) 1 ( ) 2 ( ) k k k k k k k k k n k k k n ki k n k n k n n w w w w w w
W
w w w    
           , 1, 2 k  .
Matrix W menotasikan kernel  hat atau  matriks  penghalus  kernel.  Seperti  halnya  pada ordinary least square (OLS) dimana hat matrix digunakan untuk mentransformasikan j y ke  ˆ i y , hat matrix kernel digunakan untuk mentransformasikan j y ke  ˆ i y . Prediksi kernel pada  suatu  titik, ki t ,  diperoleh  dengan  menggunakan  persamaan  (7),  dan  dengan penggantian  “ ki ”  dengan  “ k 1  ”.  Jadi  prediksi  kernel  pada  suatu  titik ki t dapat  ditulis sebagai berikut:
  1 2 1 1 ( )11 ( )12 ( )1 ˆ ( ) , ,..., k k k k k k k k k k k n kn y y f t w y w w w y                  , 1, 2 k  .                            (9)
Akhirnya, dengan cara sama seperti pada estimasi smoothing spline dalam persamaan (4), dan denga memperhatikan persamaan (8) dan (9), maka estimasi fungsi regresi dari model regresi nonparametrik birespon dalam (1) berdasarkan estimator kernel diberikan oleh:
1 1 1 1 2 2 2 2 0 0 ˆ ( ) 0
0 ˆ ˆ ( ) 0 0 k k k kn W f t y W f y f t W    
                           , 1, 2 k  .                              (10)

## 4.  Kesimpulan
Berdasarkan  persamaan  (4)  dan  (10),  estimator  smoothing  spline  ( ˆ f  ),  dan  estimator kernel ( ˆ f ) adalah estimator-estimator yang linier dalam observasi, dan kedua estimator tersebut  adalah  bias  untuk f .  Hasil  estimasi  yang  diperoleh  dengan  menggunakan estimator smoothing spline and estimator kernel secara tampilan formula atau persamaan memiliki  kemiripan,  sedangkan  secara  matematis  keduanya  hanya  dibedakan  oleh matriks-matriks  penghalusnya,  yakni  oleh  suatu  matriks  penghalus  definit-positif (simetri)  yang  bergantung  pada  dan  pada  titik-titik  knot  untuk  pendekatan  estimator smoothing  spline,  dan  suatu hat  matrix kernel  atau  matriks  penghalus  kernel  untuk pendekatan estimator kernel.

## Ucapan Terima Kasih
Makalah  ini  merupakan  sebagian  dari  hasil  penelitian  PDUPT  (Penelitian  Dasar Unggulan Perguruan Tinggi) Lanjutan (Tahun ke-2 dari rencana 2 tahun). Untuk itu kami mengucapkan  terima  kasih  kepada  Direktur  DRPM-DIKTI  yang  telah  mendanai penelitian ini melalui Hibah Penelitian PDUPT (Lanjutan) Tahun Anggaran 2018.

## Daftar Pustaka
[1].  Aydin,  D.,  2007.  A  comparison  of  the  nonparametric  regression  models  using smoothing  spline  and  kernel regression. World  Acad.  Sci.  Eng.  Technol ., 26 ,  730- 734.
[2].  Chamidah,  N.  dan  Lestari,B.,  2016.  Spline  Estimator  in  Homoscedastic  Multi- Response  Nonparametric  Regression  Model  in  Case  of  Unbalanced  Number  of Observations. Far  East  Journal  of  Mathematical  Sciences ( FJMS ), 100 (9),  1433- 1453.
[3].  Eubank,  R.L.,  1999. Nonparametric  Regression  and  Smoothing  Spline ,  Marcel Deker, New York.
[4].  Green, P.J. dan Silverman, B.W. 1994. Nonparametric Regression and Generalized Linear Models . Chapman Hall. New York.
[5].  Hardle, W., 1991. Applied Nonparametric Regression . Cambridge University Press. Cambridge.
[6].  Lestari, B., Budiantara, I.N., Sunaryo, S., dan Mashuri, M., 2012. Spline smoothing for multi-response nonparametric regression model in case of heteroscedasticity of variance. J. Math. and Stat . 8 , 377-384.
[7].  Lestari,  B.,  Fatmawati,  dan  Budiantara,  I.  N.,    2017.  Estimasi  Fungsi  Regresi Nonparametrik  Multirespon  Menggunakan  Reproducing  Kernel  Hilbert  Space Berdasarkan  Estimator  Smoothing  Spline. Proceeding  of  National  Seminar  on Mathematics  and  Its  Applications  (SNMA)  2017 ,  Airlangga  University,  Surabaya, pp. 243-250.
[8].  Nadaraya, E. A., 1964. On Estimating Regression. Theory Prob. Applications , 10 , 186-190.
[9].  Schimek, M. G., 2000. Smoothing and Regression . John Wiley & Sons, New York.
[10].  Wand, M. P. dan Jones, M.C., 1995. Kernel Smoothing. Chapman Hall, New York.
[11].  Wang,  Y.,  W.  Guo  dan  Brown,  W.B.,  2000.  Spline  smoothing  for  bivariate  data with applications to association between hormones. Staistica Sinica . 10 , 377-397.
[12].  Watson, G. S., 1964. Smooth Regression Analysis. Sankhya Series A. 26 , 359-372.
[13].  Yatcchew,  A.,  2003. Semiparametric  Regression  for  the  Applied  Econometrician . Cambridge University Press, Cambridge.