## KOREKSI BIAS ESTIMATOR KERNEL DENGAN BOOTSTRAP
Oleh :  Zulfikar Alumni Magister Statistika ITS Surabaya Dosen STMIK Bahrul Ulum Jombang

## Abstrak
Algoritma  resampling  merupakan  metode  praktis  dan  simpel  untuk  mengatasi  bias pada  regresi  kernel  seperti  pada  kernel Nadaraya-Watson dan Locally  Linear order  dua.
Penelitian  ini  berfokus  untuk  mendapatkan  estimator  kernel  dengan  menetapkan  polinomial lokal    dan  estimasi  digunakan least  square terbobot.  Pada  metode  yang  sama  juga  akan didapatkan persamaan bias, variansi dan Mean Square Error ( MSE) .
Aplikasi kernel pada data penelitian Canadian Males oleh Murphy dan Welch (1990) menunjukkan bahwa dengan estimasi bootstrap akan menurunkan nilai bias, variansi dan MSE serta dengan improved bootstrap akan lebih memperkecil nilai–nilai tersebut . Kurva regresi yang dibentuk dari estimasi bootstrap akan membentuk permukaan yang smooth.
Kata Kunci dan Phrasa: Estimasi Nonparametrik, Improved Bootstrap dan Polinomial Lokal.

## Pendahuluan
Dalam  proses  estimasi  nonparametrik,  estimator  kernel  menghasilkan  bias  yang sangat  menggganggu  inferensi.    Bias  tersebut  memiliki  dua  tipe,  yaitu  tipe  bias  yang ditunjukkan  sebagai  kurva  bias  dan  tipe  kedua  yang  ditunjukkan  sebagai boundary  bias (Racine,  1990).    Kurva  bias  bisa  terlihat  pada  kernel  order  ke- p setelah  diestimasi  biasnya meningkat  saling  berkaitan  dengan  order  berikutnya.    Sedangkan boundary  bias dimana kecepatan  konvergensi  menjadi  lambat  dan  memiliki  bias  yang  tinggi  dekat boundary pada interval.
Sejumlah  pendekatan  reduksi  bias  yang  dikenal  yaitu:  reduksi  bias  yang  bertumpu pada ekspansi asimtotik, penggunaan kernel order tinggi, metode resampling dan reduksi bias boundary .    Pendekatan  reduksi  bias  tersebut  memiliki  kelemahan  dimana  hanya  mereduksi bias  tetapi  tidak  merubah  bias.    Hardle  dan  Bowman  (1988)  menunjukkan  bahwa  ekspansi asimtotik  untuk  reduksi  bias  hanya  menggunakan  ekspansi  dan  tidak  menggunakan  order lebih kecil. Pendekatan reduksi bias terkoreksi dengan bootstrap untuk estimator kernel yang dilakukan  Hardle  dan  Marron  (1991)  hanya  sebatas  mereduksi  bias dan  tidak  merubah  bias. Bartlett  (1963)  memperkenalkan  reduksi  bias  kernel  order  tinggi  bermasalah  bila  syarat densitas  (integral  bernilai  satu,  non  negatif)  tidak  terpenuhi  pada  pemilihan  bandwidth  dan diskontinuitas pada estimasi.  Gasser dan Muller (1979) dan Rice (1984) menunjukkan bahwa estimator  kernel  Nadaraya-Watson  memiliki  kecepatan  konvergensi  yang  lambat  dan  bias
yang tinggi pada batas interval.  Gasser dan Muller (1979) menunjukkan bahwa pada  batas interval mendominasi perilaku asimtotik secara global dan pengaruhnya menjadi buruk untuk kernel order tinggi.
Dalam  penelitian  ini  digunakan  algoritma  resampling  yang  diperbaiki  ( improved bootstrap )  untuk  uji  bias  regersi  kernel  menggunakan  kernel  order  dua  dan  dapat diaplikasikan  pada  estimator  kernel  Nadaraya-Watson  dan Locally  Linear .    Metode  ini memberikan  alternatif  praktis  dan  simpel  untuk  pendekatan  mereduksi  bias  dan  dapat merubah bias untuk memperoleh estimasi bias terkoreksi pada kurva regresi yang smooth .

## Estimator Kernel pada Fungsi Regresi
Asumsi dasar regresi nonparametrik adalah keberadaan fungsi penghalus m ( . ) dari hubungan respon y dan prediktor x , yaitu :
n i x m Y i i i ,..., 2 , 1 , ) (     (1)
dimana )) ( , ( ~ 2 x N i     dan   2   2 ) (  x sebuah konstanta.
Fungsi  regresi ) ( i x m pada  model  regresi  nonparametrik  dapat  diestimasi  dengan pendekatan  kernel  yang  didasarkan  pada  fungsi  densitas  kernel,  serta  penghalus  dengan pendekatan  kernel  ini  selanjutnya  dikenal  sebagai  penghalus  kernel  ( smoothing kernel )(Hardle (1991)).
Untuk  menduga  kurva  regresi ) ( i x m dapat  digunakan  pendekatan  kernel.    Dua estimator  kernel  terkenal  adalah  estimator  Nadaraya-Watson  dan Locally  Linear .    Metode yang digunakan adalah dengan penetapan polinomial lokal.  Metode ini menetapkan estimasi least square terbobot :
β =   T p    ,..., , 1 0
(2)
dengan koefisien polinomial p + 1 pada dejarat p dengan meminimumkan :            n i i h p i p i i x x K x x x x Y 1 2 1 0 ) ( ) ( ... ) (   
(3)
dimana ) ( x x K i h  sebagai pembobot kernel.  Solusi standar adalah estimator
( p + 1) x 1:
  ˆ ( X T x W x X x , ) -1 X T x W x Y
(4)
dalam bentuk matrik singular, dimana Y = T n Y Y ) ,..., ( 1 adalah vektor respon,
X x =
                    . ) ( . . . 1 . . . . . . . . . . . . ) ( . . . 1 1 1 P n n P x x x x x x x x
adalah sebuah bentuk matrik n x (p + 1) dan W x =   ) ( ),..., ( 1 x x K x x K diag n h h  
merupakan  matrik  diagonal n  x  n pada  pembobot.      Ketika  estimator  pada m ( x )  adalah koefisien intercept diperoleh :
 ) , ; ( ˆ h p x m e T 1 (X T x W x X x , ) -1 X T x W x Y (5)
dimana e 1 adalah  vektor  ( p  +  1 ) x  1 bernilai 1  dalam  masukan  pertama  dan  nol  untuk  yang lainnya.    Zulfikar  (2005)  menyatakan  bahwa  ketika p =  0  secara  eksplisit  akan  membentuk formula  estimator  Nadaraya-Watson  dan p =  1  akan  membentuk  estimator Locally  Linear . Untuk p = 0 diperoleh estimasi :
        n i n i i h i i h NW x x K Y x x K n h x m 1 1 1 ) ( / ) ( ) , 0 ; ( ˆ
(6)
sebagai bentuk estimator kernel Nadaraya-Watson.  Sedangkan untuk p = 1 diperoleh estimasi  ) , 1 ; ( ˆ h x m LL    
                        ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( 2 2 1 x x K x x x x K x x x x K x x x x K x x K x x x x K x x x x K x x x x K Y n i h i i h i i h i i h i h i i h i i h i i h i
(7)
Jika      2 , 1 ), ( ) ( ˆ j x x K x x s i h j i j maka diperoleh estimator kernel Locally Linear
              1 2 1 2 1 ˆ ) ( ˆ ) ( ˆ ) ( ˆ ) ( ) , 1 , ( ˆ s x x s x x K Y s x x s x x K n h x m i i h i i i h LL
(8)
Untuk mendapatkan persamaan bias, dan variansi maka dibuat asumsi sebagai berikut :
(i)  Fungsi m , m‟ dan '' m kontinu dalam [0,1].
(ii) Kernel K simetris sekitar nol.
Sehingga diperoleh bias dan variansi sebagai berikut :
Tabel 1. Bias dan Varisnsi Estimator  Kernel Order Dua.
Kernel Bias Variansi Nadaraya -Watson          dz z K z x f x f x m x m h x m Bias n ) ( ) ( ) ( ' ) ( ' ) ( '' 2 1 )} ( ˆ { 2 2   dz z K nh x x m Var n ) ( ) ( )} ( ˆ { 2 2  Locally Linear   2 2 '' )! 2 ( 1 } ) ( { )} ( ˆ { h m dz z K z x m Bias   nh x dz z K x m Var ) ( ) ( )} ( ˆ { 2 2 

## Koresksi Bias dengan Bootstrap
Mendapatkan bias terkoreksi dengan algoritma bootstrap sebagai berikut:
a. Dapatkan ) ( ˆ i x m . b. Dapatkan persamaan residual
. ,..., 2 , 1 ), ( ˆ ˆ n i x m y i i     c. Dapatkan rasio n i y x m i i ,..., 2 , 1 , ) ( ˆ    ,.
d. Resampling  dengan  pengembalian,  kemudian  transformasi i i y y . *   dan i i x x . *   , untuk i = 1,2,…,n.
e. Definisikan
sampel bootstrap n i x y i i ,..., 2 , 1 }, , { * *  dengan
. ,..., 2 , 1 , ) ( ˆ * * n i x m y i i i    
f. Lakukan  aplikasi  pada  estimator  kernel  untuk  mendapatkan ), ( ˆ * i x m dan  proses  ini diulang sebanyak B kali dan menghasilkan . ,..., 2 , 1 ), ( ˆ ),..., ( ˆ * * 1 n i x m x m i B i  g. Lakukan estimasi bootstrap pada bias yang diberikan oleh
. ,..., 2 , 1 ), ( ˆ ) ( ˆ )] ( ˆ [
1 * 1 ^ n i x m x m B x m bias i i B j j i            
h. Lakukan estimasi bias terkoreksi yang diberikan oleh
. ,..., 2 , 1 )], ( ˆ [ ) ( ˆ ) ( ˆ ^ n i x m bias x m x m i i i C   
i. Untuk improved bootstrap
1. Lakukan resampling mean dalam  model probablititas p [i] pada titik x [i] untuk setiap x  dan probablitias bernilai nol untuk yang lainnya.
2.  Dapatkan  resampling  rasio  untuk  menghitung  estimator  rasio  data    mean  ( x )  dan mean ( y )  selanjutnya kembali ke langkah e.

## Aplikasi Kernel dengan Koreksi Bias
Untuk  mengaplikasikan  estimator  kernel Nadaraya-Watson dan Locally  Linear dengan  koreksi  bias  digunakan  data  penelitian  Canadian  Males  oleh    Murphy  dan  Weclh (1990)  dengan  melihat  hubungan  antara  pengalaman  kerja  ( experience )( x )  dan  penghasilan ( Income )( y ).  Bandwidth  optimum  diperoleh  sebesar  7,2  dengan  menggunakan Generalized Cross Validation (GCV).
Tabel  2.    Perbandingan  Nilai,  Bias,    Variance,  MSE  dan  Koreksi  Bias  antara  Dua Estimator
Kernel Bias Variance MSE Koreksi NW Bias Ord 2 6,7.10 -3 6,75.10 -2 6,75.10 -2 Boot 8,9.10 -5 9,3.10 -6 9,3.10 -6 9,3.10 -6 I.Boot 9,1.10 -6 8,8.10 -6 8,8.10 -6 8,8.10 -6 LL Ord 2 8,2.10 -2 8,0.10 -2 8,7.10 -2 Boot 7,7.10 -5 9,2.10 -6 9,2.10 -6 9,2.10 -6 IBoot 8,5.10 -6 8,5.10 -6 8,5.10 -6 8,5.10 -6
Dari  tabel  di  atas  terlihat  bahwa  nilai  bias,  variansi  dan MSE kernel  order  dua  lebih  besar dibandingkan dengan bootstrap, dan dengan estimasi improved bootstrap terlihat nilai tersebut semakin  kecil.    Ini  berarti  metode  estimasi  bootstrap  sangat  efektif  mengatasi  bias  pada estimator kernel.
Untuk  melihat  sejauh  mana  metode  bootstrap  dapat  menjadikan  kurva  regresi  lebih smooth ditunjukkan  pada gambar berikut:
Gambar 1.  Kernel Nadaraya-Watson   dengan Bias Terkoreksi   Bootstrap Pada Gambar 1 terlihat bahwa kurva regresi kernel Nadaraya-Watson dengan bias terkoreksi bootstrap lebih smooth dibandingkan dengan estimasi kernel order dua.  Hal yang sama juga terlihat pada estimator kernel Locally Linear seperti terlihat pada gambar berikut:
20 30 40 50 60 Experience 12 13 14 15 ln Y (I n c o m e ) locally linear locally linear bias terkoreksi
Gambar 2. Kurva Kernel Locally Linear dengan Bias Terkoreksi

## Kesimpulan
1. Estimator kernel Nadaraya-Watson dan Locally Linear bisa diperoleh dengan menggunakan polinomial lokal, dengan  metode yang sama juga didapatkan    persamaan bias, variansi dan MSE dari    kedua estimator.
2. Estimator kernel dengan bias terkoreksi  bootstrap akan memperkecil nilai bias, variansi dan MSE baik pada kernel Nadaraya-Watson maupun kernel Locally  linear .
20 30 40 50 60 Experience 12 13 14 15 ln Y (I n c o m e ) kernel NW NW bias terkoreksi
3. Kurva regresi yang dibentuk oleh  estimator kernel bias terkoreksi bootstrap  memiliki permukaan   kurva  yang smooth dibandingkan   kurva  regresi yang dibentuk dari estimator  kernel Nadaraya-Watson maupun Locally  Linear order dua.

## Daftar Pustaka
Bartlett, M. S. (1963),  Statistical Estimation  of Density Functions, Sankhya 25 ,  245-254. Gasser, T and Muller, H. G(1979), Kernel   estimation of Regression Functions, in  Smoothing Techniques for Curve   estimation , Springer-Verlag, Berlin, Heildleberg, New York, pp. 23-68. Hardle, W.  (1991), Applied Nonparametric Regression ,  Cambridge University Press, Cambridge.
Hardle,  W.  and  Bowman,  S.  (1988),  Bootstrapping  in  Nonparametric  Regression  Local Adaptive Smoothing and Confidence Bounds, Journal of the American Statistics Assosiation 83 , 102-110.
Hardle, W. and Maron, S. (1991), Bootstrapping Simultaneous ErrorBar for Nonparametric regression. Annals of Statistics 19 , 778-796. Murphy, K. M. dan Welch, F. (1990), Empirical Age- Earning Profiles, Journal of Labour Economics 8 (2),  202-229. Racine, J. (1998), Bias-Corrected Kernel  Regression , Department of Economics, University of South Florida, Tampa, FL., USA 33620.
Rice, J. A. (1984),  Boundary Modification for Kernel Regression, Communication in Statistics 13 , 893-900.
Zulfikar (2005), Bias, Variance and MSE  Component of Kernel Estimation on Nonparametric  Regression, (Thesis), Department of Statistica Science, ITS, Surabaya.