## ESTIMASI PARAMETER DAN UJI HIPOTESIS PADA MODEL LINEAR MULTIVARIAT DENGAN METODE LDL
Makkulau  (makkulau@statistika.its.ac.id) Jurusan Matematika, FMIPA Universitas Haluoleo, Kendari
Susanti Linuwih, Purhadi, Muhammad Mashuri Jurusan Statistika, Institut Teknologi Sepuluh Nopember
Rahmawati Pane Jurusan Matematika, FMIPA Universitas Sumatera Utara, Medan

## ABSTRACT
Outliers are observations (data) that lies in an abnormal distance from other observations. Outliers can be distinguished into outliers of univariate or multivariate observation and outliers of univariate or multivariate linear models. Multivariate linear model is a linear model with more than one dependent (response) variables. This research studied parameter estimation and hypothesis test for multivariate linear model using Likelihood Displacement Statistic-Lagrange Method called as LDL method for detecting outlier observations in multivariate linear models with the LDL Am statistical test.
Keywords :  estimation of parameter, likelihood displacement statistic-lagrange, multivariate linear models, outlier detection.
Pencilan ( outlier ) dibedakan atas outlier pada pengamatan (data) univariat atau multivariat dan outlier pada model linear univariat atau multivariat. Pendeteksian outlier pada pengamatan telah dilakukan antara lain oleh Hawkins (1980), Barnett dan Lewis (1994), Peña dan Prieto (2001), Filzmoser (2005), dan lain-lain. Pendeteksian outlier pada model linear telah dilakukan antara lain oleh Cook (1977), Rousseeuw (1984), Peña dan Guttman (1993), Srivastava dan von Rosen (1998), Diaz-Garcia, Gonzalez-Farias, dan Alvarado-Castro (2007), dan lain-lain. Outlier yang merupakan pengamatan yang menyimpang sedemikian jauh dari pengamatan lain, dapat mempunyai efek bagi pengambilan suatu kesimpulan atau keputusan pada penelitian.
Xu, Abraham, dan  Steiner (2005) mengembangkan jarak univariat Cook untuk mendeteksi outlier pada model linear multivariat dengan Metode Likelihood Displacement Statistic disingkat Metode LD, seperti pada Makkulau, Linuwih, Purhadi, dan Mashuri (2007a), prosedurnya dapat dilihat pada Makkulau, Linuwih, S., Purhadi, & Mashuri, M. (2008) dan aplikasinya dapat dilihat pada Makkulau, Linuwih, Purhadi, dan Mashuri (2009); Metode lain yang digunakannya adalah Metode Likelihood Ratio Statistic for a Mean Shift disingkat Metode LR, seperti pada Makkulau, Linuwih, S., Purhadi, & Mashuri, M. (2007b); dan Metode Multivariate Leverage yang menggunakan elemen dari the average diagonal m A Q disingkat ADQ untuk mengukur keekstriman dari m pengukuran pada variabel independen. Xu, Abraham, dan Steiner (2005) dalam mengestimasi parameter dengan Metode LD dan Metode LR dari model linear multivariat tidak menggunakan fungsi pengganda Lagrange . Penelitian ini mengkaji estimasi parameter dan uji hipotesis pada model linear multivariat dengan  Metode LDL.

## Model Linear Multivariat
Misalkan 1 2 , , , p X X
X adalah variabel independen (variabel prediktor) dan
1 2 , , , q Y Y Y adalah variabel dependen (variabel respon), jika dilakukan n pengamatan yang diambil pada setiap variabel dependen yang ditulis 1 2 , , , i i iq y y y dimana , , , 2 , 1 n i   atau
0 1 1 2 2 ε iq h h i h i ph ip h y X X X           dimana 1, 2, , , h q  dan misalkan   1 2 , , , T h h h nh Y y y y  , maka dapat ditulis sebagai β ε , h h h h Y   X dimana:
1 2 0 0 0 0 0 0 h q                X X X X adalah matriks berukuran n x( p +1)
0 1 2 β , , , , T h h h h ph          adalah vektor parameter berukuran ( p +1)x1 dan
  1 2 ε , , , T h h h nh    
Model linear multivariat yang terdiri dari q model linear secara simultan dapat ditulis sebagai:
  Y XB E (1)
Dengan
1 2 , , , , nxq q Y Y Y      Y   1 2 1 1, , , , , p nx p X X X       X   0 1 2 1 β ,β , β , , β , q p xq       B dan 1 2 ε , ε , , ε . nxq q      E
Estimasi Parameter  dan Uji Hipotesis Model Linear Multivariat Pada model linear multivariat matriks error [ ] nxq ih   E merupakan matriks acak, dimana
1, 2, , i n  dan 1, 2, , . h q 
Dengan mengestimasi parameter B pada (1), maka diperoleh
  1 ˆ T T   B X X X Y (2)
Estimasi dari parameter Σ adalah:     1 ˆ ˆ ˆ T n    Σ
Y XB Y XB ; ˆ Σ merupakan estimator bias untuk Σ .
    1 ˆ ˆ rank( ) T n     S
Y XB Y XB
X ; S merupakan estimator tak bias untuk Σ .
Vektorisasi matriks variabel dependen pada (1) ditulis Vec( Y ) (Christensen, 1991) adalah
        Vec
Vec Vec q    Y I X B E : dimana:  adalah perkalian Kronecker
    Vec ~ , p n N  E 0 Σ I dan         Vec ~ Vec , nq q n N  
Y I X B Σ I . (3)
Dengan menggunakan sifat hasil kali kronecker diperoleh:                -1 1 ˆ Vec Vec
Vec( )
T T T T q q q q        B I X I X I X Y I X X X Y
dan distribusi   ˆ Vec B adalah           1 1 ˆ Vec ~ Vec , T q p N   
B B X X Σ .
Prosedur uji hipotesis parameter pada model linear multivariat adalah:
0 : 0 T H   B terhadap 1 : 0 T H   B dimana T T   P X dan P adalah matriks ortogonal (Christensen, 1991). Hipotesis nol ditolak jika nilai maksimum dari likelihood di bawah 0 H lebih besar dari nilai maksimum keseluruhan. Statistik uji rasio likelihood sering diarahkan pada Wilk’s  .
Metode Pendeteksian Outlier pada Model Linear Multivariat Outlier adalah pengamatan yang menyimpang sedemikian jauh dari pengamatan lain (Hawkins, 1980). Outlier dapat dibedakan atas outlier pada pengamatan univariat atau multivariat dan outlier pada model linear univariat atau multivariat. Outlier pada model linear multivariat dapat dibagi atas 3 kategori, yaitu outlier terhadap nilai X ( leverage outlier ); outlier terhadap nilai Y ( residual outlier ); dan outlier terhadap nilai X dan Y ( outlier berpengaruh). Rousseeuw dan Hubert (1997) mengklasifikasikan outlier ke dalam empat kelompok berdasarkan penyebabnya, yaitu observasi umum ( regular observations );  titik leverage baik ( good leverage points ); outlier vertikal ( vertical outliers ); dan titik leverage jelek ( bad leverage points atau X- Y - outliers ). Untuk mendeteksi outlier pada model linear multivariat, Xu, Abraham, dan Steiner, (2005) mengembangkan jarak univariat Cook. Metode yang digunakan adalah Metode LD, yaitu suatu metode yang menghilangkan pengamatan yang diduga outlier pada model seperti pada Makkulau, Linuwih, Purhadi, dan Mashuri (2007a) prosedurnya dapat dilihat pada Makkulau, Linuwih, Purhadi, dan Mashuri (2008) dan aplikasinya dapat dilihat pada Makkulau, Linuwih, Purhadi, dan Mashuri (2009); Metode LR, yaitu suatu metode dengan cara pergeseran rata-rata pada model seperti pada Makkulau, Linuwih, Purhadi, dan Mashuri (2007b); dan Metode Multivariate Leverage yang menggunakan elemen dari the average diagonal m A Q disingkat ADQ untuk mengukur keekstriman dari m pengukuran pada variabel independen. Fungsi likelihood dalam model linear multivariat ditulis sebagai berikut (Christensen, 1991 serta Rencher dan Schaalje, 2008):
          1 1 2 2 1 2 exp tr . 2 n nq T L         
     B,Σ Σ Σ Y XB Y XB (4)
Pendeteksian outlier pada model linear multivariat dengan Metode LD dilakukan dengan cara menghilangkan pengamatan yang diduga outlier pada model. Misalkan ada m pengamatan dikumpulkan pada himpunan tertentu, dengan m pengamatan diduga outlier . Indeks m A adalah kumpulan dari m pengamatan yang diduga outlier .  Dengan kata lain, indeks m A artinya ada outlier , sehingga:
m A Y adalah himpunan Y dengan pengamatan yang ada outlier .
m C A Y adalah himpunan Y dengan pengamatan tanpa outlier .
Definisi 1 (Christensen, 1991) Likelihood Displacement Statistic (LD) dengan pengamatan yang ada outlier adalah:
        ˆ ˆ ˆ ˆ LD 2 ln ln m m m C C A A A L L  
B,Σ B,Σ B ,Σ (5)
Definisi 2 (Christensen, 1991) LD dengan pengamatan yang ada outlier dan bersyarat adalah:
                1 1 2 2 1 1 2 2 1 ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ LD 2 ln ln , m m m m m m m C C C C C C A A A A A A A L L   B ,Σ B ,Σ B,Σ B ,Σ B ,Σ B ,Σ (6)
dimana   menotasikan suatu fungsi.
Estimator dari B dengan pengamatan tanpa outlier yaitu ˆ m C A B adalah:
    1 1 ˆ ˆ ˆ ; m m m m C T T A A A A      B B X X X Ι Q E dimana   1 m m m T T A A A   Q X X X X ; ˆ ˆ. m m m T A A A   E Y X B
dan estimator dari Σ dengan pengamatan tanpa outlier yaitu ˆ m C A Σ adalah:   1 1 ˆ ˆ ˆ ˆ m m m m C T A A A A n n m n m       Σ Σ E Q E ,
sehingga fungsi likelihood dalam model linear multivariat dengan pengamatan tanpa outlier adalah
    ˆ ˆ ˆ LD 2(ln ln ( m m C A A L L   B, Σ B,Σ B ,   ˆ m C A  B ).
Cara lain pendeteksian outlier pada model linear multivariat dengan Metode LR dilakukan dengan cara pergeseran rata-rata pada model, yang ditulis dalam bentuk model:
m C A    Y XB Z Ψ E ; dimana:   1 2 , m C A i i im z z z  Z dan 1 2 z , , , , j m j i i i 
: mxq Ψ yaitu matriks pergeseran yang berhubungan dengan pengamatan  di himpunan m A .   E
m C A   Y XB Z Ψ adalah pergeseran rata-rata. Menurut Xu et al . (2005), untuk sampel besar:
Jika   2 ˆ ˆ ˆ ˆ H n H H n n n    Σ Λ Σ Σ Σ ,  maka   2 ˆ 2ln ln ~ ˆ ˆ ˆ H q H H n n n n       Σ Λ Σ Σ Σ

## METODE ANALISIS
Estimasi parameter dan uji hipotesis pada model linear multivariat dengan Metode LDL, berdasarkan langkah-langkah sebagai berikut:
i.  Mengumpulkan m pengamatan yang diduga outlier . ii.  Mendeteksi outlier pada pengamatan dalam model linear multivariat dengan asumsi
    Vec ~ , p n N  E 0 Σ I dimulai dengan membuat fungsi likelihood   L B, Σ , lalu menentukan ˆ B dan ˆ Σ dengan menggunakan Metode Maximum    Likelihood Estimate disingkat Metode MLE untuk mendapatkan   ˆ ˆ L B, Σ .
iii.  Memaksimumkan fungsi likelihood   L B, Σ dengan kendala jika ada m buah pengamatan adalah outlier menggunakan pengganda Lagrange , lalu  membuat   ln L B,Σ dan menentukan ˆ ˆ , m m C C A A B Σ untuk mendapatkan   ˆ ˆ , m m C C A A L B Σ . iv.  Menentukan LDL m A .
HASIL DAN PEMBAHASAN Penelitian ini dibatasi hanya pada pendeteksian outlier pada model linear multivariat dengan Metode LDL. Pendeteksian outlier pada model linear multivariat dimulai dengan memisalkan ada m pengamatan yang diduga outlier   m A dari 1 2 , , , , , h q Y Y Y Y , sehingga m A Y adalah himpunan Y dengan pengamatan yang ada outlier dan m C A Y adalah himpunan Y dengan pengamatan tanpa outlier . Sebelumnya, jika dipunyai variabel independen sebanyak p dan variabel dependen sebanyak q , maka model linear multivariat (1) secara simultan dapat ditulis sebagai:
          1 1 1 1 1 1 nx p nxq nx nxq nxq p xq nx p p xq J        
Y X B E X B E (7)
Pendeteksian outlier pada model linear multivariat dengan asumsi
    Vec ~ , p n N  E 0 Σ I seperti pada (3) dimulai dengan membuat fungsi likelihood untuk populasi   L B, Σ , lalu menentukan ˆ B dan ˆ Σ . Untuk mengestimasi parameter B pada (7) dengan fungsi likelihood seperti pada (4), maka estimasi (7) dengan Metode MLE dimulai dengan me-ln-kan (4), sehingga:
          1 1 ln ln 2 ln tr 2 2 2 T nq n L         B, Σ Σ Σ Y XB Y XB (8)
Kemudian (8) diturunkan terhadap B :
          1 1 ln 1 1 ˆ ˆ tr 2 tr 2 , 2 2 T T L              B, Σ Σ Y XB X Σ X Y XB 0 B diperoleh:   1 ˆ T T   B X X X Y
Kemudian (8) diturunkan terhadap Σ , maka:
  ln L    B, Σ Σ       1 1 1 1 ˆ ˆ ˆ ˆ ˆ tr 2 T n        
Σ Σ Σ Y XB Y XB 0 , diperoleh:     1 ˆ ˆ ˆ T n    Σ Y XB Y XB Dari (7) diperoleh pula   ~ , p N  Y XB Σ I dan dalam bentuk vektor ditulis:
        Vec Vec Vec , q    Y I X B E dengan     Vec ~ , p n N  E 0 Σ I .
Untuk memaksimumkan fungsi likelihood   L B, Σ dengan kendala
      ˆ Vec Vec T  B B (     Var Vec B -1 )       ˆ Vec Vec  B B jika ada m buah variabel dependen adalah outlier dengan menggunakan pengganda Lagrange , dimulai dengan membuat   ln L B,Σ dan menentukan ˆ ˆ , m m C C A A B Σ , sehingga didapat   ˆ ˆ , m m C C A A L B Σ . Kemudian  membuat       ˆ ˆ ˆ ˆ LDL 2 ln ln m m m C C A A A L L   B,Σ B ,Σ .
Fungsi likelihood untuk B yaitu (4), sehingga fungsi likelihood untuk ˆ m C A B adalah:
                1 1 2 2 1 ˆ ˆ 2 exp tr 2 m m m m m m m m m m n m T n m p C C C C C C C C C C A A A A A A A A A A
L                
B ,Σ Σ Σ Y X B Y X B
Setelah didapatkan ˆ B dan ˆ Σ seperti di atas, selanjutnya ditentukan ˆ m C A B dan ˆ . m C A Σ Berdasarkan (5) dan (6) diperoleh:                 2 2 1 1 2 2 1 1 1 1 2 2 ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ln , max ln , m m m m m m m m C C C C C C C C A A A A A A A A L L  β ,Σ B , Σ B ,Σ
B ,Σ B ,Σ B ,Σ dengan     1 1 1 1 1 1 ˆ ˆ ˆ ˆ ˆ ˆ , maka dan . m m m m C C C C A A A A    B , Σ B ,Σ B B Σ Σ Berdasarkan (7), maka m m m m C C C C A A A A   Y X B E dan     Vec ~ , m C A p n m N   Y 0 I Σ , dan dari (2) diperoleh       1 ˆ m m m m m T T C C C C C A A A A A   B X X X Y dimana   . m m m m T C C T T A A A A   X X X X X X
Dengan demikian dapat ditulis:   m m m m T C C T T A A A A   X Y X Y X Y .
Estimasi dari B setelah outlier dikeluarkan  
ˆ m C A B adalah:     1 ˆ m m m m m C T T T T A A A A A    
B X X X X X Y X Y           1 1 1 ˆ ˆ m m m m m m T T T A A A A A A     
    B X X X Ι Ι Q Q Y Ι Q X B Sehingga:,     1 1 ˆ ˆ ˆ m m m m m C T T A A A A A      B B X X X Ι Q E dimana   1 m m m T T A A A   Q X X X X ; ˆ ˆ m m m T A A A   E Y X B
diperoleh pula                 T 1 1 1 1 1 ˆ ˆ ~ , Var m m m m m m C T T T T T A p A A A A A N
  
            B B X X Σ X X X Ι Q E X X X Ι Q
Permasalahan di atas bersifat umum, sehingga nilai optimal yang diperoleh bisa saja bukan nilai yang paling optimal. Oleh karena itu digunakan pengganda Lagrange, sehingga nilai optimal yang diperoleh diharapkan merupakan nilai yang paling optimal pada daerah kepercayaan yang telah ditentukan.
Untuk kasus spesial 1 θ dari θ , maka LD dapat dimodifikasi sebagai:
          1 2 1 2 1 ˆ ˆ ˆ ˆ LDL
2 ln ln , m m m C C A A A L L   θ θ θ θ θ θ
dimana   ,  θ β Σ , 1 2 ,   θ β θ Σ , sehingga   ˆ ˆ ˆ ,  θ β Σ     ˆ ˆ LDL 2(ln ,
m A L   B Σ B Σ   ˆ ˆ 1n B , B m m C C A A L     
Fungsi likelihood dengan kendala sebanyak m pengamatan yang diduga outlier adalah:
  ˆ ˆ B , B m m C C A A L                  1 1 2 2 2 1 2 T C C C C C A A A A A m m m m m m tr n mn C A e    
        Σ B
Y X B Y X B
Σ B     1 1 ˆ ˆ ˆ m m m m C T T A A A A     
B B X X X Ι Q E   ˆB m C A      1 ˆ ˆ m m m m T A A A A n   
Y X B Y X B
      1 ˆ ˆ ˆ ˆ ˆ ˆ m m T T T A A n    
E E B B X X B B .
sehingga diperoleh   ˆB m C A      1 1 1 ˆ ˆ ˆ m m m m m T A A A A A n      
Σ E Ι Q
Q Ι Q E dan     ˆ ˆ LDL LDL 2(ln , m m A A L    B Σ B Σ   ˆ ˆ 1n B , B m m C C A A L      (9)
Dengan me-ln-kan dan membuang ˆ m A B pada persamaan (9), maka diperoleh:
    ˆ LDL 2( ln 2 ln ln 2 ln 2 2 2 2 2 m A mn n n mn n                   n ˆB 2 m C A   ) 1 ˆ ˆ ˆ ln ˆ m m m T A A A n n n n               
  E C E dimana     1 1 m m m m A A A A     
C Ι Q Q Ι Q .
Selanjutnya menentukan nilai eigen dari m A C didapat 1 2 , , , . m   
Jika LDL m A didekati dengan 2 1 LDL λ m A i i i Z    , sehingga 2 LDL ~ A v  , dimana . ; v mq  2 2 ~ i q Z  maka 2 2 LDL . ~ . A q Z     ,
dimana   2 1 ii ii h h    ; ii h elemen diagonal ke- i dari H dimana
  1 T   H X X X X .
Statistik uji yang dipakai untuk mendeteksi adanya outlier dalam model linear multivariat
dengan Metode LDL adalah:
1 ˆ ˆ ˆ LDL ln ˆ m m m m T A A A A n n n n          
     E C E
Penentuan outlier dilakukan dengan membandingkan LDL m A dengan 2 v  dimana:
0 H : m A bukan outlier dan 1 H : m A adalah outlier.
Jika 2 LDL . , A hitung tabel    maka tolak 0 , H artinya pengamatan tersebut adalah outlier .

## KESIMPULAN
Estimasi parameter dan uji hipotesis pada model linear multivariat dengan Metode LDL dapat digunakan untuk mendeteksi outlier pada model linear multivariat dengan statistik uji
1 ˆ ˆ ˆ
LDL ln ˆ m m m m T A A A A n n n n         
      E C E . Jika 2 LDL . , A hitung tabel    maka pengamatan tersebut adalah
outlier .
REFERENSI Barnett, V. & Lewis, T. (1994). Outliers in statistical data . ( rd 3 ed). Great Britain: John Wiley. Christensen, R. (1991). Linear model for multivariate, time series, and spatial data . New York:
Springer-Verlag.
Cook, R.D. (1977). Detection of influential observation in linear regression. Technometrics , Februari 2000, 42, no. (1), 65-68.
Diaz-Garcia, J.A., Gonzalez-Farias, G. & Alvarado-Castro, V. (2007). Exact distributions for sensitivity analysis in linear regression. Applied Mathematical Sciences , 22;1083-1100. Filzmoser, P. (2005). Identification of multivariate outliers: A performance study. Austrian Journal of Statistics . 2;127-138.
Hawkins, D.M. (1980). Identifications of outliers . New York: Chapman and Hall. Makkulau, Linuwih, S., Purhadi, & Mashuri, M. (2007a). Outlier detection for the value of Y variable (residual outlier) in multivariate regression models. Proceeding International Conference and Workshop on Basic and Applied Science , Universitas Airlangga, Agustus 2007, Surabaya.
Makkulau, Linuwih, S., Purhadi, & Mashuri, M. (2007b). Pendeteksian o utlier pada model linear multivariat dengan pergeseran rata-rata. Prosiding Seminar Nasional Statis-tika VIII , Jurusan Statistika FMIPA ITS, November 2007, Surabaya.
Makkulau, Linuwih, S., Purhadi, & Mashuri, M. (2008). Prosedur pendeteksian o utlier pada model linear multivariat dengan metode l ikelihood displacement s tatistic . Prosiding Seminar Nasional Matematika IV , Jurusan Matematika FMIPA ITS, Desember 2008, Surabaya.
Makkulau, Linuwih, S., Purhadi, & Mashuri, M. (2009). Pendeteksian o utlier model linear multivariat pada produksi gula dan tetes tebu. Prosiding Seminar Nasional Matematika , Jurusan Matematika FMIPA Universitas Jember, Februari 2009, Jember. Peña, D. & Guttman, I. (1993). Comparing probabilistic methods for outlier detection in linear models. Biometrika , Technometrics, August 2001. 3;603-610.
Peña, D. & Prieto, F.J. (2001). Multivariate outlier detection and robust covariance matrix estimation. American Statistical Association and the American Society for Quality , Technometrics . 43, no (3).
Rencher, A.C. & Schaalje, G.B. (2008). Linear models in Statistics , (2 nd ed). John Wiley & Sons: New York.
Rousseeuw, P.J. (1984). Least median of squares regression. Journal of the American Statistical Association . 79, 871-880.
Rousseeuw, P.J. & Hubert, M. (1997). Recent developments in PROGRESS, dalam L1-Statistical procedure and related topics, edited by Y. Dodge, Institute of Mathematical Statistics Lecture Notes and Monograph Series , Hayward, California, Vol. 31, 201-214. Srivastava, M.S. & von Rosen, D. (1998). Outliers in multivariate regression models, Journal of Multivariate Analysis . 65, 195-208.
Xu, J., Abraham, B., &  Steiner, S.H. (2005). Outlier detection methods in multivariate regression models. Diambil tanggal 4 April 2007, dari http://www.bisrg.uwaterloo.ca/archive/RR-06-07.pdf.