## KONSISTENSI KOEFISIEN DETERMINASI SEBAGAI
UKURAN KESESUAIAN MODEL PADA REGRESI ROBUST
Harmi Sugiarti ( harmi@ut.ac.id ) Andi Megawarni Jurusan Statistika FMIPA Universitas Terbuka

## ABSTRACT
In statistics, the coefficient of determination can be used to assess the suitability of a model with the data. If there are outliers in the data, the coefficient of determination obtained by the OLS method is not consistent. The purpose of this study was to compare the coefficient of determination of regression lines obtained by the OLS, the M and the LMS methods as a measure of the suitability model. The result showed that when the data contains no-outlier, the LMS method is as consistent as the OLS and the M methods concerning the coefficient of determinations. When the data contain outliers, the LMS method is more consistent than the OLS and the M methods. This result was based on real data with 9.1% outliers.
Keywords:  LMS estimator, M estimator, outlier data, robust regression, The Consistency of Coefficient of Determination

## ABSTRAK
Dalam statistik, koefisien determinasi dapat digunakan untuk menilai kesesuaian model dengan data. Jika ada outlier pada data, koefisien determinasi yang diperoleh dengan metode OLS tidak konsisten. Tujuan dari penelitian ini adalah untuk membandingkan koefisien determinasi dari garis regresi yang diperoleh melalui metode OLS, M dan metode LMS sebagai ukuran model kesesuaian. Hasil penelitian menunjukkan bahwa ketika data tidak mengandung-outlier, metode LMS adalah konsisten, serupa dengan metode  OLS dan metode M terkait dengan koefisien determinasi. Ketika data mengandung outlier, metode LMS lebih konsisten daripada metode OLS dan metode M. Hasil ini berdasarkan ujicoba pada data nyata dengan outlier 9,1%.
Kata kunci:  data outlier, konsistensi koefisien determinasi, LMS estimator, M estimator, regresi robust
Sebelum melakukan inferensi parameter model regresi, dianggap perlu untuk mengetahui apakah model yang diperoleh sudah sesuai dengan data yang ada. Ketidaksesuaian model regresi yang dibangun dapat juga disebabkan karena data tidak memenuhi asumsi, misalnya data mengandung pencilan (outlier), yaitu pengamatan dengan sisaan yang cukup besar. Penolakan begitu saja suatu pencilan bukanlah prosedur yang bijaksana, karena adakalanya pengamatan pencilan memberikan informasi yang cukup berarti, misalnya karena pencilan muncul dari kombinasi keadaan yang tidak biasa yang mungkin saja sangat penting dan perlu diselidiki lebih lanjut. Pengamatan pencilan dapat merupakan pengamatan yang berpengaruh, artinya pengamatan yang
dapat mempengaruhi hasil pendugaan koefisien regresi, sehingga tindakan membuang pengamatan yang berpengaruh akan mengubah secara berarti persamaan regresi serta kesimpulannya (Draper & Smith, 1981).
Menurut Myers (1990), keberadaan pengamatan yang berpengaruh dapat diperiksa dengan melihat perbedaan dugaan peubah tak bebas terbakukan (DFFITS) yang dirumuskan sebagai:
, ˆ ˆ ( ) i i i i i ii y y DFFITS s h     dengan ˆ i y  nilai pendugaan i y , , ˆ i i y   nilai pendugaan i y tanpa pengamatan ke- i ,   i s dugaan simpangan baku tanpa pengamatan ke-i dan  ii h unsur ke- i dari diagonal matriks topi. Jika p menyatakan banyaknya parameter dan n menyatakan banyaknya pengamatan, maka suatu pengamatan akan merupakan pengamatan berpengaruh dalam persamaan regresi apabila mempunyai nilai
2 ( ) . i DFFITS p n 
Ada beberapa ukuran yang dapat dipergunakan untuk mengetahui apakah model yang diperoleh sudah sesuai dengan data, diantaranya adalah koefisien determinasi, biasanya dinyatakan dengan 2 R yang menunjukkan proporsi variasi variabel dependen yang dijelaskan oleh variasi variabel independen. Selain memberikan penaksir parameter 0 1 2 , , ,..., p     yang bersifat tak bias linear terbaik dari model regresi       0 1 1 2 2 ... , i i i p pi i y x x x       1, 2,..., i n , metode OLS (ordinary least square) memberikan ukuran 2 R yang sangat diperlukan dalam pemodelan, yakni:
  2 2 1 2 1 ˆ 1 1 ( ) n i i i OLS n i i y y JKR JKS
R JKT JKT y y        
  
dengan JKR menyatakan jumlah kuadrat regresi, JKS
menyatakan jumlah kuadrat sisaan, dan JKT menyatakan jumlah kuadrat total. Koefisien
determinasi bernilai 2 0 1 OLS R   .
Apabila terdapat asumsi yang tidak dipenuhi, khususnya jika dalam data terdapat pencilan, maka patut dicoba metode yang bersifat tidak sensitif terhadap pelanggaran asumsi-asumsi, yakni regresi robust. Beberapa metode pendugaan/penaksiran koefisien garis regresi yang bersifat robust telah dikembangkan, diantaranya adalah metode pendugaan parameter regresi berdasarkan pada penduga M (maximum likelihood estimators) dan penduga LMS (least median of square estimators).
Menurut Staudte dan Sheather (1990), jika hubungan linear antara satu peubah respons dengan peubah-peubah bebasnya dimodelkan sebagai:    i i i y x   dengan  i x menyatakan baris ke-i dari matriks rancangan X ,  menyatakan parameter model dan i  menyatakan suku galat. Nilai ˆ i y dan sisaan ( ) i e masing-masing didefinisikan sebagai   ˆ ii i y x  dan      ˆ i i ii i i e y y y x  . Penduga M untuk model dengan p parameter ˆ ( ) M  diperoleh dengan cara meminimumkan fungsi konveks   , x e  yakni:     ˆ min , min , i i i i i M i i x e x y x
        atau mencari penyelesaian dari
persamaan:
       ˆ , 0 i i i i M i x x y x  , dengan        , , x e x e  untuk berbagai fungsi konveks
  , x e  yang dapat diturunkan dan memenuhi   , 0 0   x . Penduga ˆ M  yang diperoleh bukan merupakan skala invariant, yaitu jika sisaannya      ˆ i i i M e y x  digandakan dengan suatu
konstanta akan diperoleh penyelesaian yang tidak sama seperti sebelumnya. Skala invariant dapat diperoleh dengan menggunakan nilai i e  sebagai pengganti i e dan  adalah faktor skala yang juga perlu diduga, sehingga persamaan yang ada menjadi:
  ˆ ˆ , , 0 i i M i i i i i i i i M i i i i y x e x x x x x y x w 
                             dengan fungsi pembobot                 
  , ˆ , i i i i M i i i e x y x w w x
e    
yang bernilai antara 0 dan 1.  Secara umum fungsi pembobot
dirumuskan sebagai                    ˆ ( ) , ( ) i i M i i i i i i y x x e w w x e x      dengan  adalah influence
function, ( ) i x  adalah suatu fungsi yang tidak diketahui dan tergantung pada x melalui nilai leverage.  Nilai pembobot i w merupakan kombinasi nilai leverage dan studentized residual melalui DFFITS yang diperoleh dengan memilih fungsi  Huber  yang berbentuk:
                , jika
( ) , jika , jika e c c e e e c e c c     
dan menentukan nilai   (1 ) ( ) ii i ii h x h  serta  ( ) ˆ i s  . Fungsi Huber  dan fungsi pembobot Huber w masing-masing dapat digambar seperti Gambar 1 dan Gambar 2. Secara singkat nilai pembobot
i w dinyatakan dalam bentuk:
                          ˆ
2 / , , min , 1 i i M i i i i p n y x e w x w x DFFITS    . Dengan
demikian persamaan       ˆ 0 i i M i i i y x w x  dapat dituliskan dalam bentuk matriks    X WX X WY  yang dikenal sebagai persamaan normal kuadrat terkecil tertimbang dengan W adalah matriks diagonal yang berisi pembobot. Solusi persamaan normal tersebut akan memberikan dugaan untuk  yaitu         1 ˆ M X WX
X WY  dan penduga-M untuk  diperoleh dengan cara melakukan iterasi sampai diperoleh suatu hasil yang konvergen. Cara ini biasa dikenal sebagai metode kuadrat terkecil tertimbang secara iteratif (iteratively reweighted least square).
- c - c c  e/  c e/  -  c                                        c 0 1 w( e/  e/ 
Gambar 1. Fungsi Huber                                 Gambar 2. Fungsi Pembobot Huber
Berdasarkan pembobot i w dan ˆ M  , matriks varians-kovarians untuk ˆ M  yakni  n dapat didekati
dengan persamaan:               1 1 1 2 1 1 n X D X
X D X X D X n p dengan 1 D menyatakan matriks
diagonal yang elemen-elemen diagonalnya adalah         ( ) i i e v x  dan 2 D menyatakan matriks diagonal dengan elemen-elemen diagonalnya 2 2 i i w e (Staudte & Sheather,1990).
Maronna, dkk (2006) mengusulkan koefisien determinasi dapat dihitung dengan rumus
sebagai berikut: 1 2 1 ˆ ˆ 1 ˆ ˆ n i i M i M n i i y x R y            
                 dengan ˆ  merupakan penaksir M untuk ( ) E y yakni solusi dari
         1 min ˆ n i i y    , serta ˆ M  dan ˆ  masing-masing adalah penaksir M untuk  dan  yang diperoleh berdasarkan fungsi  .
Metode lain yang bersifat robust untuk penaksiran koefisien garis regresi adalah metode LMS (least median square). Metode ini mempunyai keuntungan untuk mengurangi pengaruh dari sisaan. Menurut Rousseeuw dan Leroy (2003), penduga LMS diperoleh dengan mencari model regresi yang meminimumkan median dari h kuadrat sisaan 2 ( ) i e atau didefinisikan sebagai
 2 ˆ arg min LMS i i median e   dengan       2 2 ; 1, 2,..., i i i e y x i n  .
Ukuran sebaran dari galat dapat ditaksir dengan cara menentukan dulu nilai awal
0 2 5 ˆ 1, 4826 1 ( ) ( ) i LMS i s median e n p  
        . Faktor    1 1 1, 4826 (0,75) digunakan  karena
  1 (0,75) i i median z merupakan penaksir konsisten untuk  jika i z berdistribusi   2 0, N  . Selanjutnya nilai awal 0 s digunakan untuk menentukan pembobot i w untuk setiap pengamatan, yaitu:
  
     0 0 1 jika 2, 5 0 jika 2,5 i i i e s w e s
Berdasarkan pembobot i w , maka nilai akhir taksiran  untuk regresi LMS didefinisikan sebagai: 2 1 1 ˆ n n i i i i i w e w p        
        
  dan koefisien determinasi untuk metode LMS adalah:
  2 2 2 ˆ 1
1 ( ) i i LMS i LMS i i j i j med y x med e R mad y med y med y                             Rousseeuw dan Leroy (2003)
Pada penelitian pendahuluan diperoleh hasil bahwa untuk data yang tidak mengandung pencilan, metode regresi robust dengan penduga LMS kurang efisien dibanding metode M, sedangkan untuk data yang mengandung pencilan, metode regresi robust dengan penduga LMS lebih efisien dibanding metode M (Sugiarti & Megawarni, 2010).
Jika koefisien determinasi untuk model dihitung berdasarkan metode OLS, metode M, dan metode LMS maka diharapkan diperoleh informasi yang lebih detil tentang hubungan yang ada di antara variabel independen dan variabel dependen dalam model regresi. Dengan kata lain penentuan koefisien determinasi diharapkan dapat digunakan sebagai indikator untuk mengetahui apakah model yang diperoleh sudah sesuai dengan data. Tulisan ini bertujuan mengkaji konsistensi koefisien determinasi sebagai ukuran kesesuaian model garis regresi yang diperoleh dengan metode OLS, metode M, dan metode LMS untuk data yang mengandung pencilan maupun tidak.

## METODE
Ada dua jenis data yang digunakan dalam kajian ini, yaitu data simulasi berupa data bangkitan yang diperoleh dengan bantuan program MINITAB versi 13.1, serta data terapan berupa nilai Tugas Tutorial Online (Tuton), Nilai Partisipasi Tuton, dan nilai Ujian Akhir Semester (UAS) mata kuliah Metode Statistik I masa ujian 2008.1-2010.1. Adapun langkah-langkah yang dilakukan adalah: (1) membangkitkan sebanyak 40 pasang data sebagai peubah bebas 1 2 ( ,   ) x x dan data galat ( ) 
dengan 2 ~ (0, ) NIID 
 , (2) menentukan peubah tak bebas ( ) y dengan asumsi nilai   0 1 2 , ,    tertentu untuk model 0 1 1 2 2 i i i i y x x         , (3) mendapatkan pengamatan pencilan dengan mengganti sejumlah tertentu pengamatan y dengan nilai ekstrim sedemikian sehingga diperoleh pengamatan pencilan yang berpengaruh, (4) mencari penaksir OLS, M, LMS untuk koefisien garis regresi untuk data simulasi dengan atau tanpa pencilan, (5) menentukan koefisien determinasi 2 OLS R , 2 M R , dan 2 LMS R untuk data simulasi dengan atau tanpa pencilan, (6) mencari penaksir OLS, M, LMS untuk koefisien garis regresi untuk data terapan, dan (7) menentukan koefisien determinasi
2 OLS R , 2 M R , dan 2 LMS R untuk data terapan.

## HASIL  DAN PEMBAHASAN
Sebanyak empat puluh galat berdistribusi Normal dengan mean 0 dan variansi 1 dibangkitkan secara random dengan paket program MINITAB. Jika asumsikan 0 1 2 1       , simulasi memberikan empat puluh pasang data 1 2 ( , ,   ) y x x . Penaksir koefisien garis regresi ˆ ( )  dan koefisien determinasi 2 ( ) R untuk data simulasi tanpa pencilan dapat dilihat pada Tabel 1.
Tabel  1.  Penaksir Koefisien Garis Regresi dan Koefisien Determinasi untuk Data Tanpa Pencilan Koefisien OLS M LMS 0  0,510 0,526 1,107* 1  0,973* 0,972* 0,969* 2  1,130* 1,129* 0,969* 2 R 0,961 0,994 0,982  Signifikan pada   5%
Pada data tanpa pencilan, ketiga metode memberikan nilai koefisien determinasi yang tidak jauh berbeda, yaitu metode OLS memberikan koefisien determinasi 2 0, 961  OLS R artinya 96,1% variabilitas dalam y dapat dijelaskan oleh 1 x dan 2 x . Metode M memberikan koefisien determinasi 2 0, 994  M R artinya 99,4% variabilitas dalam y dapat dijelaskan oleh 1 x dan 2 x serta metode LMS memberikan koefisien determinasi 2 0, 982  M R artinya 98,2% variabilitas dalam y dapat dijelaskan oleh 1 x dan 2 x .  Hal ini menunjukkan bahwa metode OLS, metode M, dan metode LMS menyatakan model regresi linear sesuai untuk data, sehingga inferensi tentang koefisien garis regresi dapat dilakukan.
Penaksir koefisien garis regresi dan koefisien determinasi untuk data simulasi yang mengandung 5% pencilan dapat dilihat pada Tabel 2. Metode  OLS memberikan koefisien determinasi 2 0, 616  OLS R ,  metode M  memberikan koefisien determinasi 2 0,846  M R dan metode LMS memberikan koefisien determinasi 2 0, 983  LMS R . Nilai koefisien determinasi yang diperoleh dengan metode OLS dan metode M menjadi lebih kecil, sedangkan nilai koefisien determinasi yang diperoleh dengan metode LMS tidak berubah. Hal ini menunjukkan bahwa metode LMS masih konsisten dalam memberikan nilai koefisien determinasi dibanding metode OLS dan metode M. Pada Tabel 2 juga dapat dilihat adanya perubahan signifikansi koefisien 0  untuk metode M, yakni menjadi signifikan pada data dengan 5% pencilan.
Tabel  2.  Penaksir Koefisien Garis Regresi dan Koefisien Determinasi untuk Data  dengan 5%
Pencilan Koefisien OLS M LMS 0  2,659 1,252* 0,994* 1  0,805* 0,905* 0,925* 2  0,969* 1,094* 1,017* 2 R 0,616 0,846 0,983  Signifikan pada   5%
Penaksir koefisien garis regresi dan koefisien determinasi untuk data simulasi dengan 10% pencilan dapat dilihat pada Tabel 3.  Metode OLS memberikan koefisien determinasi 2 0, 445  OLS R ,
metode M memberikan koefisien determinasi 2 0, 588  M R dan metode LMS memberikan koefisien determinasi 2 0, 979  LMS R .
Tabel  3.  Penaksir Koefisien Garis Regresi dan Koefisien Determinasi untuk Data dengan 10%
Pencilan Koefisien OLS M LMS 0  4,015* 2,700* 2,137* 1  0,774* 0,862* 0,866* 2  0,829* 0,956* 0,885* 2 R 0,445 0,663 0,979  Signifikan pada   5%
Jika dilihat dari konsistensi nilai koefisien determinasi untuk masing-masing metode menunjukkan bahwa 2 LMS R lebih konsisten dibanding 2 OLS R dan 2 M R . Hal ini menunjukkan bahwa pada data tanpa pencilan, data mengandung 5% pencilan, dan data mengandung 10% pencilan, ukuran koefisien determinasi yang diberikan oleh metode LMS lebih konsisten dibanding metode OLS dan metode M. Demikian juga dengan signifikansi koefisien regresi, metode LMS lebih konsisten dibanding metode OLS dan metode M. Hasil ini sedikit berbeda dengan hasil kajian sebelumnya yang menunjukkan bahwa metode LMS kurang efisien dibanding metode M untuk data yang tidak mengandung pencilan, tetapi metode LMS lebih efisien dibanding metode M dalam menaksir koefisien garis regresi untuk data yang mengandung pencilan (Sugiarti & Megawarni, 2010).
Koefisien determinasi untuk data terapan dapat dilihat pada Tabel 4, metode OLS memberikan koefisien determinasi 2 0, 042  OLS R artinya 4,2% variabilitas dalam nilai UAS dapat dijelaskan oleh nilai Tugas 1, Tugas 2, Tugas 3, dan nilai partisipasi mahasiswa. Metode M memberikan koefisien determinasi 2 0,879  M R dan metode LMS memberikan koefisien determinasi
2 0, 709  LMS R .
Tabel  4.  Penaksir Koefisien Garis Regresi dan Koefisien Determinasi untuk Data Terapan
Koefisien OLS M LMS Konstanta 35,510 * 35,314* 29,678* Tugas 1 0,092 -0,001 0,064 Tugas 2 0,005 0,004 -0,048 Tugas 3 0,003 -0,054 -0,079* Partisipasi -0,057 0,100 0,160* 2 R 0,042 0,879 0,709  Signifikan pada   5%
Berdasarkan hasil simulasi, metode LMS dianggap lebih konsisten memberikan ukuran koefisien determinan dibanding metode OLS dan metode M, sehingga penaksir koefisien garis regresi yang diperoleh dengan metode LMS menunjukkan bahwa nilai Tugas 3 dan Partisipasi cukup signifikan mempunyai pengaruh linear terhadap nilai UAS mahasiswa. Namun, karena penaksir koefisien garis regresi untuk nilai Tugas 3 bernilai negatif    3 ˆ ( 0,079) , materi Tugas 3 perlu ditinjau kembali. Demikian juga untuk Tugas 1 dan Tugas 2, karena penaksir koefisien garis regresi yang diperoleh tidak cukup signifikan mempunyai pengaruh linear terhadap nilai UAS mahasiswa
maka materi Tugas 1 dan Tugas 2 perlu revisi sehingga pemberian materi Tugas 1, Tugas 2, Tugas 3, dan partisipasi mahasiswa mempunyai pengaruh linear yang signifikan dalam meningkatkan nilai UAS mahasiswa.

## KESIMPULAN
Secara umum dapat disimpulkan bahwa metode  OLS, metode M, dan metode LMS memberikan nilai koefisien determinasi yang hampir sama pada data yang tidak mengandung pencilan. Pada data yang mengandung pencilan, metode LMS memberikan nilai koefisien determinasi yang tidak jauh berbeda dengan data yang tidak mengandung pencilan, tetapi metode OLS dan metode M memberikan nilai koefisien determinasi yang jauh lebih kecil. Dengan kata lain, metode LMS lebih konsisten dibanding metode OLS dan metode M dalam memberikan nilai koefisien determinasi. Pada data terapan yang mengandung pencilan, metode LMS lebih konsisten dibanding metode OLS dan metode M dalam memberikan nilai koefisien determinasi.

## REFERENSI
Draper, N.R. & Smith, H. (1981). Applied regression analysis (2 nd ed). New York: Wiley. Maronna, R.A., Martin, R.D., & Yohai, V.J. (2006). Robust statistics: Theory and Methods. Chichester, West Sussex, UK: Wiley. Myers, R.H. (1990).  Classical and modern regression with applications (2 nd ed). Boston: PWS- Kent. Rousseeuw,P.J. & Leroy,A.M. (2003). Robust regression and outlier detection. New York: Wiley. Staudte, R.G. & Sheather, S.J. (1990). Robust estimation and testing. New York: Wiley. Sugiarti, H. & Megawarni, A. (2010). Tingkat efisiensi penaksir M terhadap penaksir LMS dalam menaksir koefisien garis regresi. Jurnal Matematika, Sains, dan Teknologi, 11(2), 90-98.