PENGGUNAAN KRITERIA rc P PADA PEMILIHAN PEUBAH BEBAS TERBAIK JIKA TERDAPAT MULTIKOLINEARITAS
Harmi Sugiarti (harmi@mail.ut.ac.id) Universitas Terbuka

## ABSTRACT
Some procedures can be used for selecting independent variables, one of them is the procedure of all possible regression with robust C p (RC p ) criterion. This statistic is not sensitive with multicollinearity in model and outlier residuals. The aim of this article is to investigate the use of RC p criterion in selecting independent variables. The result of the simulation experimental data shows that the RC p criterion fits enough to select independent variables.
Keywords: independent variables selection, robust, multicolinearity
Masalah pemilihan peubah bebas yang sesuai sering merupakan masalah yang kompleks, hal ini disebabkan karena peubah-peubah bebas yang kita miliki belum tentu merupakan peubah- peubah bebas yang diperlukan untuk pemodelan. Tidak adanya prosedur matematis yang dapat menghasilkan sebuah penyelesaian yang baik untuk permasalahan pemilihan peubah, mengakibatkan prosedur yang tersedia hanya merupakan metode untuk menerangkan struktur data yang ada atau eksplorasi (Montgomery & Peck, 1992).
Salah satu prosedur yang dapat digunakan adalah prosedur semua kemungkinan regresi yang memuat peubah bebas potensial dan memilih persamaan terbaik dengan kriteria - p C Mallows (Draper & Smith, 1981). Prosedur ini dilakukan pada kondisi ideal, yakni antara lain dipenuhinya asumsi tidak adanya korelasi diantara peubah-peubah bebas (multikolinearitas) dalam model regresi linear berganda.
Asumsi tidak adanya multikolinearitas diperlukan oleh metode kuadrat terkecil (Ordinary Least Square, OLS) untuk mendapatkan penaksir parameter yang bersifat tak bias linear terbaik (Best Linear Unbiased Estimator, BLUE) dari model regresi linear berganda
0 1 1 2 2 ... , i i i p pi i Y X X X            1,2,..., i n  dengan i Y adalah nilai peubah respons pada pengamatan ke-i, i X adalah nilai peubah bebas pada pengamatan ke-i dan 0 1 , , ..., p    adalah koefisien regresi yang tidak diketahui nilainya.
Meskipun nilai penduga 2 ˆ  kecil, adanya multikolinearitas mengakibatkan masalah pendugaan parameter regresi, yakni besarnya nilai variansi penduga ˆ j    ˆ var( ) j  , sehingga keadaan ini akan menyebabkan uji statistik secara parsial untuk koefisien garis regresi tidak signifikan.
Indikasi adanya masalah kolinearitas ditunjukkan dengan suatu diagnostik terhadap besarnya nilai variance inflation factor (VIF) dari ˆ j  . VIF adalah suatu faktor yang mengukur
seberapa besar kenaikan variansi dari penduga ˆ j  dibandingkan terhadap peubah bebas lain yang saling orthogonal atau bebas. Misalkan 2 j R adalah nilai koefisien determinasi dari peubah bebas j X jika diregresikan terhadap semua peubah bebas X yang lainnya, maka nilai VIF dinyatakan sebagai
2 1 1 j VIF R   . Nilai VIF yang besar   10 VIF  bisa digunakan sebagai petunjuk adanya multikolinearitas (Neter & Wasserman, 1990).
Penanganan kasus multikolinearitas dalam model, kadangkala diikuti munculnya penyimpangan asumsi lainnya, diantaranya munculnya pengamatan pencilan (outlier) dalam data. Adanya pengamatan pencilan dalam data, dapat mengakibatkan penaksir koefisien garis regresi yang diperoleh tidak tepat. Namun demikian tindakan membuang (menolak) begitu saja suatu pengamatan pencilan bukanlah tindakan yang bijaksana, karena adakalanya pengamatan pencilan memberikan informasi yang cukup berarti.
Dalam hal tidak dipenuhinya asumsi tidak ada multikolinearitas, salah satu metode alternatif yang dapat dicoba adalah prosedur semua kemungkinan regresi yang memuat peubah bebas potensial, dan memilih persamaan terbaik dengan menggunakan kriteria   p p RC robust C (Sommer & Huggins, 1996).
Menurut Staudte & Sheather (1990), jika hubungan linear antara satu peubah respon dengan peubah-peubah bebasnya dimodelkan sebagai T i i i Y X     , dimana T i X menyatakan baris ke-i dari matriks rancangan X ,  menyatakan parameter model dan i  menyatakan suku galat. Penduga kemungkinan maksimum (M-estimator) ˆ p  untuk model dengan p parameter diperoleh dengan cara meminimumkan     ˆ , , T i i i i i i i x e x y x 
       atau mencari penyelesaian dari
persamaan   ˆ , 0 T i i i i i x x y x       , dengan     , , x e x e     untuk berbagai fungsi konveks
  , x e  yang dapat diturunkan dan memenuhi   ,0 0 x   . Karena penduga ˆ p  yang diperoleh ini bukan merupakan skala invariant , yaitu jika sisaannya   ˆ T i i i e y x    digandakan dengan suatu konstanta akan diperoleh penyelesaian yang tidak sama seperti sebelumnya. Sehingga untuk mendapatkan skala invariant , digunakan nilai i e  sebagai pengganti i e , dengan  adalah faktor skala yang juga perlu diduga. Dengan demikian persamaan yang ada menjadi:
  ˆ ˆ , , 0 T i i T i i i i i i i i i i i i y x e x x x x x y x w                               dengan fungsi pembobot , ˆ , i T i i i i i i e x y x w w x
e                        yang bernilai antara 0 dan 1.  Secara
umum fungsi pembobot ditulis sebagai berikut.
ˆ ( ) , , ( ) T i i i i i i i i c i i y x e x e w w x w x e x                                  ,
dengan c  adalah influence function dan   i x  adalah suatu fungsi yang tergantung pada x melalui leverage -nya.  Dalam hal ini ditentukan nilai (1 ) ( ) ii i ii h x h    dan ( ) ˆ i s   serta fungsi Huber dengan bentuk:
, jika
( ) , jika , jika c e c c e e e c e c c                     
Perhatikanlah grafik fungsi ( ) c e   pada Gambar 1. -   c -   c c   e /   c e / 
Gambar 1.  Fungsi Huber
Nilai pembobot i w menjadi tergantung pada kombinasi besarnya leverage dan studentized residual melalui difference in the fitted value-standardized (DFFITS) . Secara singkat nilai pembobot i w dapat dinyatakan dalam bentuk:
ˆ 2 / , , min , 1 T i i i i i i y x p n e w x w x DFFITS                              Perhatikanlah grafik fungsi , i i e w x        pada Gambar 2. -     c                                                                                 c 0 1 w( e/   e/ 
Gambar 2 . Fungsi Pembobot Huber
Jadi, persamaan   ˆ 0 T i i i i i y x w x      dapat dituliskan dalam bentuk matriks
T T
X WX X WY   yang kita kenal sebagai persamaan normal kuadrat terkecil tertimbang dengan W adalah matriks diagonal yang berisi pembobot. Solusi persamaan normal tersebut akan memberikan dugaan untuk  yaitu   1 ˆ T T X WX X WY
   dan penduga-M untuk  diperoleh dengan cara melakukan iterasi sampai diperoleh suatu hasil yang kovergen, cara ini biasa dikenal sebagai  metode kuadrat terkecil tertimbang secara iteratif (iteratively reweighted least square). Ronchetti & Staudte (1994) memberikan statistik p RC sebagai kriteria dalam masalah pemilihan persamaan regresi terbaik berdasarkan pembobot ˆ i w dan penduga-M parameter ˆ p  . Statistik p RC untuk persamaan regresi P adalah:
2 ( ) ˆ p p p p W RC U V     dengan   2 2 2 2 ˆ ˆ ˆ T p i i i i i p i i W w e w y x           ˆ ˆ ˆ var var T p i i i i i p i i U w e w y x             ˆ ˆ var T p i p i V w x          2 ˆ full full W U   & p p U V dihitung dengan asumsi bahwa submodel P benar dan 1   . Untuk memilih suatu persamaan regresi terbaik dapat dilakukan dengan melihat plot antara p RC dan p V . Model dengan dengan nilai p RC dibawah persamaan garis p p RC V  dapat dipilih sebagai model terbaik. Jika penduga yang diperoleh merupakan penduga bentuk Huber, nilai p V akan mendekati p .
Tulisan ini bertujuan untuk mengkaji penggunaan kriteria p RC dalam menentukan peubah bebas terbaik jika terdapat multikolinearitas dalam model regresi linear berganda.

## METODOLOGI
Data yang dipergunakan dalam penelitian ini terdiri dari data simulasi , yaitu data yang dibangkitkan dengan bantuan program MINITAB. Sebanyak 40 pasang data yang dibangkitkan adalah data peubah bebas   1 2 3 4 , , , X X X X , data galat    dan data peubah tak bebas   Y yang diperoleh melalui asumsi model 0 1 1 2 2 i i i i Y X X         , 0 5   , 1 1   , 2 1   . Guna menunjang pemahaman, digunakan data eksperimen , yaitu data kadar tar   1 X , nicotine   2 X , carbon monoxide   Y dalam rokok, dan berat rokok   3 X . Kadar tar , nicotine , dan carbon monoxide diukur dalam mg, dan berat rokok dalam g (McClave & Sincich, 2003). Berdasarkan data yang ada, ditentukan peubah tak bebas terbaik dalam model regresi linear berganda dengan kriteria - p C Mallows dan p RC serta,  selanjutnya membandingkan hasil yang diperoleh.

## HASIL DAN PEMBAHASAN
Hasil simulasi memberikan empat puluh pasang data   1 2 3 4 , , , , Y X X X X dengan hasil analisis variansi dan analisis regresi dapat dilihat pada Tabel 1 berikut ini.
Tabel 1. Analisis Regresi dan Analisis Variansi untuk Data Simulasi
Regression Analysis The regression equation is y = 5.32 + 0.996 x1 + 1.05 x2 - 0.0521 x3 - 0.00456 x4
Predictor       Coef       StDev          T        P       VIF Constant      5.3156      0.6015       8.84    0.000 x1          0.995980    0.006687     148.93    0.000       1.1 x2           1.05404     0.03376      31.22    0.000      28.7 x3          -0.05213     0.03347      -1.56    0.128      28.3 x4         -0.004563    0.006513      -0.70    0.488       1.0
S = 1.177       R-Sq = 99.9%     R-Sq(adj) = 99.9%

## Analysis of Variance
Source       DF          SS          MS         F        P Regression    4       53002       13250   9559.28    0.000 Error        35          49           1 Total        39       53050
Source       DF      Seq SS x1            1       19730 x2            1       33268 x3            1           3 x4            1           1 Durbin-Watson statistic = 1.73
Selain dari besarnya nilai koefisien determinasi   2 0,999
R  , secara simultan uji F
memberikan nilai   9559,28 F  yang sangat signifikan dengan   0,00 p value   , sehingga
dapat dikatakan bahwa model regresi linear sudah sesuai untuk data yang ada. Secara parsial, uji t memberikan nilai yang tidak signifikan   1,56 ; 0,128 t p value     untuk peubah bebas 3 X
dan   0,70 ; 0, 488
t p value     untuk peubah bebas 4 X .  Hal ini kemungkinan disebabkan karena peubah 2 X berkorelasi positif dengan peubah bebas 3 X , yakni dengan koefisien korelasi sebesar 23 0,982 r  . Adanya multikolinearitas juga dapat dilihat dari nilai faktor pembesar variansi
  10 VIF  , dimana peubah bebas 2 X mempunyai nilai 28,7
VIF  dan peubah bebas 3 X mempunyai nilai 28,3 VIF  .
Nilai statistik -
p C Mallows dan p RC untuk berbagai kombinasi peubah bebas dapat dilihat pada Tabel 2. Statistik - p C Mallows memberikan rekomenda-si bahwa persamaan regresi dengan peubah bebas   1 2 , X X ,   1 2 3 , , X X X , atau   1 2 4 , , X X X merupakan persamaan regresi terbaik, meskipun persamaan regresi dengan peubah bebas   1 2 , X X atau   1 2 4 , , X X X mempunyai bias sedikit lebih besar. Hal ini dapat dilihat dari nilai - p C Mallows yang mendekati nilai p , namun nilai - p C Mallows berada di atas garis p C p  (Gambar 3).
Tabel 2.  Statistik - p C Mallows dan p RC untuk Data Simulasi
Variabel p - p C Mallows p RC
X 1 2 2E+04 23923,7785 X 2 2 2E+04 22776,5362 X 3 2 2E+04 22063,2951 X 4 2 4E+04 39276,5874 X 1 , X 2 3 3,8 4,5585 X 1 , X 3 3 977,8 962,3766 X 1 , X 4 3 2E+04 24701,4574 X 2 , X 3 3 2E+04 22188,6034 X 2 , X 4 3 2E+04 23585,6904 X 3 , X 4 3 2E+04 22887,2803 X 1 , X 2 , X 3 4 3,5 3,9893 X 1 , X 2 , X 4 4 5,4 4,0350 X 1 , X 3 , X 4 4 977,7 941,4830 X 2 , X 3 , X 4 4 2E+04 22444,6311 X 1 , X 2 , X 3 , X 4 5 5,0 4,9174 Statistik p RC memberikan hasil yang tidak terlalu berbeda dengan statistik - p C Mallows , yakni selain memberikan rekomendasi persamaan regresi dengan peubah bebas   1 2 , X X atau   1 2 3 , , X X X sebagai persamaan regresi terbaik, statistik p RC juga memberikan rekomendasi bahwa persamaan regresi dengan peubah bebas   1 2 4 , , X X X merupakan persamaan regresi terbaik. Seperti halnya pada statistik - p C Mallows , persamaan regresi dengan peubah bebas
  1 2 , X X mempunyai bias sedikit lebih besar. Hal ini dapat dilihat dari nilai p RC yang meskipun mendekati nilai p , namun nilai p RC berada di atas garis p RC p  (Gambar 4). 0 1 2 3 4 5 0 10000 20000 30000 40000 p C p X1 X2 X3 X4 X1, X2 X1, X3 X1, X4 X2, X3 X2, X4 X3, X4 X1, X2, X3 X1, X2, X4 X1, X3, X4 X2, X3, X4 X1, X2, X3, X4
Gambar 3 . Plot Statistik C p terhadap p untuk Data Simulasi
0 1 2 3 4 5 0 10000 20000 30000 40000 p R C p X1 X2 X3 X4 X1, X2 X1, X3 X1, X4 X2, X3 X2, X4 X3, X4 X1, X2, X3 X1, X2, X4 X1, X3, X4 X2, X3, X4 X1, X2, X3, X4
Gambar 4 . Plot Statistik RC p terhadap p untuk Data Simulasi
Analisis lebih jauh menunjukkan bahwa untuk persamaan regresi dengan dua peubah bebas di dalamnya, statistik - p C Mallows lebih baik dibanding statistik p RC dalam memberikan rekomendasi tentang peubah bebas yang masuk dalam model.
Sedangkan pada model dengan menggunakan tiga peubah bebas, statistik p
RC
memberikan rekomendasi yang lebih baik dibanding statistik - p C Mallows . Hal ini dapat dilihat dari nilai - p C Mallows yang lebih memilih peubah bebas   1 2 3 , , X X X dibanding peubah bebas   1 2 4 , , X X X , di mana kehadiran peubah bebas 2 X dan 3 X dalam model secara bersama-sama tidak diharapkan karena terdapat korelasi yang cukup tinggi antara peubah bebas 2 X dan 3 X . Berdasarkan data eksperimen berukuran 25 tentang kadar tar   1 X , nicotine   2 X , carbon monoxide   Y dalam rokok, dan berat rokok   3 X diperoleh hasil analisis variansi dan analisis regresi seperti pada Tabel 3.
Karena nilai koefisien determinasi besar   2 0,919
R  dan secara simultan uji F memberikan nilai yang cukup signifikan   78,98 F  dengan   0,00 p value 
 , maka dapat dikatakan bahwa
model regresi linear sudah sesuai untuk data yang ada. Secara parsial, uji t memberikan nilai yang tidak signifikan   0,67 ; 0,507 t p value     untuk peubah bebas nicotine   2 X dan   0,03; 0,974 t p value     untuk peubah bebas berat rokok   3 X .

## Tabel 3.  Analisis Regresi dan Analisis Variansi untuk Data Hasil Eksperimen

## REGEGRESSION ANALYSIS
The regression equation is CO = 3.20 + 0.963 Tar - 2.63 Nicotine - 0.13 Berat
Predictor       Coef       StDev          T        P       VIF
Constant       3.202       3.462       0.93    0.365 Tar           0.9626      0.2422       3.97    0.001      21.6
Nicotine      -2.632       3.901      -0.67    0.507      21.9 Berat         -0.130       3.885      -0.03    0.974       1.3
S = 1.446       R-Sq = 91.9%     R-Sq(adj) = 90.7%

## ANALYSIS OF VARIANCE
Source       DF          SS          MS         F        P Regression    3      495.26      165.09     78.98    0.000 Error        21       43.89        2.09 Total        24      539.15
Source       DF      Seq SS Tar           1      494.28 Nicotine      1        0.97 Berat         1        0.00
Unusual Observations Obs       Tar         CO        Fit  StDev Fit   Residual    St Resid 3      29.8     23.500     26.393      1.030     -2.893   -2.85RX R denotes an observation with a large standardized residual
X denotes an observation whose X value gives it large influence. Durbin-Watson statistic = 2.86
Jika dilihat besarnya koefisien korelasi antara peubah bebas tar   1 X dan bebas nicotine   2 X yakni 12 0,977 r  , maka tidak signifikannya uji t secara parsial mungkin disebabkan karena adanya multikolinearitas, yang juga dapat dilihat dari nilai faktor pembesar variansi   10 VIF  , dimana peubah bebas 1 X mempunyai nilai 21,6 VIF  dan peubah bebas 2 X mempunyai nilai 21,9 VIF  .
Selain adanya multikolinearitas dalam model, Tabel 3 juga menunjukkan adanya gejala pencilan (outlier) yakni pengamatan ke-3. Nilai statistik - p C Mallows dan p RC untuk berbagai kombinasi peubah bebas dapat dilihat pada Tabel 4 sebagai berikut.
Tabel 4.  Statistik - p C Mallows dan p RC untuk Data Hasil Eksperimen
Variabel
p - p C Mallows p RC
X 1 2 0,5 1,9322 X 2 2 15,8 24,2161 X 3 2 181,4 247,1458 X 1 , X 2 3 2,0 4,0064 X 1 , X 3 3 2,5 1,3482 X 2 , X 3 3 17,8 23,3001 X 1 , X 2 , X 3 4 4,0 3,7432
Statistik - p C Mallows memberikan rekomendasi bahwa persamaan regresi dengan peubah bebas   1 X ,   1 2 , X X , atau   1 3 , X X merupakan persamaan regresi terbaik. Hal ini dapat dilihat dari nilai - p C Mallows yang mendekati nilai p (Gambar 5).
4 3 2 1 0 200 100 0 p C p X1, X2, X3 X2, X3 X1, X3 X1, X2 X3 X2 X1 Gambar 5 . Plot Statistik C p terhadap p untuk Data Hasil Eksperimen
0 1 2 3 4 0 50 100 150 200 250 p R C p X1 X2 X3 X1, X2 X1, X3 X2, X3 X1, X2, X3
Gambar 6 . Plot Statistik RC p terhadap p untuk Data Hasil Eksperimen
Statistik p RC memberikan hasil yang sedikit berbeda dengan statistik - p C Mallows , yakni statistik p RC hanya memberikan rekomendasi persamaan regresi dengan peubah bebas   1 X atau
  1 3 , X X sebagai persamaan regresi terbaik, hal ini dapat dilihat dari nilai p RC yang mendekati nilai p dan nilai p RC berada di bawah garis p
RC p  (Gambar 6).
Analisis lebih jauh menunjukkan bahwa untuk persamaan regresi dengan dua peubah bebas di  dalamnya,  statistik p RC lebih  baik  dibanding  statistik - p C Mallows dalam  memberikan rekomendasi  tentang  peubah  bebas  yang  masuk  dalam  model.  Hal  ini  dapat  dilihat  dari  peubah bebas  yang  direkomendasikan,  dimana  statistik - p C Mallows merekomendasikan  persamaan regresi dengan peubah bebas   1 2 , X X padahal diketahui bahwa koefisien korelasi peubah bebas tar   1 X berkorelasi  positif  dengan  peubah  bebas nicotine   2 X ,  yakni  dengan  sebesar 12 0,977 r  .  Sehingga  kehadiran  peubah bebas 1 X dan 2 X dalam  model  secara bersama-sama tidak diharapkan.
KESIMPULAN Secara keseluruhan dapat disimpulkan bahwa statistik p RC memberikan rekomendasi yang tidak jauh berbeda dengan statistik - p C Mallows tentang peubah bebas yang masuk dalam model, jika  terdapat  multikolinearitas  dalam  model  regresi  linear  berganda.  Statistik p RC memberikan rekomendasi  yang  lebih  baik  dibandingkan  dengan  statistik - p C Mallows tentang  peubah  bebas yang masuk dalam model jika terdapat multikolinearitas dan pencilan (outlier) dalam model regresi linear berganda.
REFERENSI Draper,N.R. & Smith,H. (1981). Applied regression analysis . 2 nd ed. New York: Wiley. McClave, J.T. &  Sincich,T. (2003). Statistics . 9 th ed. New Jersey: Prentice-Hall. Montgomery, D.C. & Peck, E.A. (1992). Introduction to linear regression analysis . 2 nd ed. New York:
Wiley.
Neter, J. & Wasserman,W. (1990). Applied linear statistical models . 3 rd ed. Homewood, Illinois: Irwin. Ronchetti, E. & Staudte, R.G. (1994). A robust version of Mallow’s p C . J.Am. Statist.Ass ., 89, 550-
559.
Sommer,S. & Huggins,R.M. (1996). Variables selection using the wald test and a robust Cp . Appl. Statist. , 45, 15-29.
Staudte,R.G. & Sheather,S.J. (1990). Robust estimation and testing . New York: Wiley.