## MATRIKS KOVARIANSI DALAM REGRESI NONPARAMETRIK MULTIRESPON PADA KASUS KORELASI SAMA DAN

## KORELASI TIDAK SAMA

## Budi Lestari
Jurusan Matematika, FMIPA, Universitas Jember. budilestarida@yahoo.com

## I Nyoman Budiantara, Sony Sunaryo dan Muhammad Mashuri
Jurusan Statistika, FMIPA, Institut Teknologi Sepuluh Nopember, Surabaya.
ABSTRACT. In the real cases, we are frequently faced the problem in which two or more dependent variables are observed at several values of the independent variables, such as at  multiple  time  points.  Multi-response  nonparametric  regression  model,  especially smoothing spline model, provides powerful tools to model the function which  represents association  of  among  the  variables.  The    problem  is  how  to  estimate  nonparametric regression  curve  of  the  multi-response  nonparametric  regression  model.  The nonparametric regression curve can be estimated  using spline estimator approach, that is  by  carrying  out  penalized  weighted  least-squares  optimation.  Therefore,  we  need  a covariance  matrix  which  will  be  used  as  a  weight  of  the  optimation.  In  this  paper,  we determine  the  construction  of  covariance  matrix  for  both  equal  and  unequal  of correlations  cases.  The  results  show  that  the  covariance  matrices  have  quite  similar construction  of  diagonal  elements  but  the  elements  outside  the  diagonal  have  very different construction that depend on the construction of the Jordan matrix.
Keywords: Correlation, Covariance  Matrix,  Multi-response  Nonparametric  Regression, Penalized Weighted Least Square.
ABSTRAK. Dalam kasus riil, seringkali ditemukan permasalahan dimana dua atau lebih variabel terikat diobservasi pada beberapa nilai variabel bebas, misalnya pada beberapa titik  waktu.  Model  regresi  nonparametrik  multirespon,  khususnya  model  penghalusan spline,  memberikan  alat  untuk  memodelkan  fungsi  yang  menggambarkan  hubungan antara  variabel-variabel  tersebut.  Permasalahan  statistik  yang  muncul  dalam  hal  ini adalah  masalah  estimasi  kurva  regresi  dari  model  regresi  nonparametrik  multirespon. Kurva  regresi  ini  dapat  diestimasi  dengan  menggunakan  pendekatan  estimator  spline, yakni  dengan  cara  menyelesaikan  masalah  optimasi  penalized  weighted  least-squares. Oleh karena itu, diperlukan matriks kovariansi yang akan digunakan sebagai bobot dari optimasi  tersebut.  Dalam  paper  ini,  dibahas  cara  mendapatkan  konstruksi  matriks kovariansi  untuk  kasus-kasus  korelasi  sama  dan  korelasi  tidak  sama.  Hasil  yang didapatkan  menunjukkan  bahwa  matriks-matriks    kovariansi  mempunyai  konstruksi elemen-elemen diagonal utama yang hampir mirip tetapi elemen-elemen di luar diagonal utama mempunyai konstruksi  berbeda yang bergantung pada konstruksi matriks Jordan.
Kata  kunci: Korelasi,  Matriks  Kovariansi,  Regresi  Nonparametrik  Multirespon, Penalized Weighted Least Square.

## 1. PENDAHULUAN
Fungsi  yang  menggambarkan  hubungan  antara  dua  atau  lebih  variabel terikat  yang  diobservasi  pada  beberapa  nilai  variabel  bebas  dapat  dimodelkan dengan  menggunakan  pendekatan  spline  dalam  regresi  nonparametrik multirespon. Ada beberapa peneliti telah membahas model regresi nonparametrik untuk data multirespon. Wegman (1981); Miller dan Wegman (1987); dan Flessler (1991)  memberikan  algoritma  untuk  penghalusan  spline.  Wahba  (1990) mengembangkan  teori  umum  penghalusan  spline  dengan  menggunakan reproducing  kernel  Hilbert  space .  Gooijer et  al .  (1991)  membahas  metode estimasi model regresi nonparametrik dengan error-error berkorelasi secara serial, sedangkan  Fernandez  dan  Opsomer  (2005)  membahas  metode  estimasi  model regresi  nonparametrik  dengan  error-error  berkorelasi  secara  spasial.  Wang et  al . (2000)  membahas  penghalusan  spline  untuk  mengestimasi  fungsi  nonparametrik untuk data bivariat. Lestari et al . (2009) membahas estimator spline dalam regresi nonparametrik  multirespon  homoskedastik.  Lestari et  al .  (2010)  membahas estimator  spline  dalam  regresi  nonparametrik  multirespon  untuk  kasus  korelasi tidak sama.
Semua  peneliti  tersebut,  kecuali  Wang et  al .  (2000),  Lestari et  al .  (2009) dan  Lestari et  al .  (2010),  mengasumsikan  bahwa  matriks  kovariansi  diketahui, dimana  dalam  kenyataannya  kasus  seperti  ini  jarang  terjadi.  Jika  matriks kovariansi  tidak  diketahui  maka  harus  diestimasi  dari  data  dan  hal  ini  dapat mempengaruhi  estimasi  parameter  penghalus  (Wang,  1998).  Di  samping  itu, dalam  regresi  nonparametrik  multirespon,  terdapat  korelasi  antar  respon.  Oleh karena  itu,  masalah  estimasi  fungsi  atau  kurva  regresi  nonparametrik  dengan menggunakan pendekatan penghalusan spline yang diperoleh dengan penyelesaian optimasi penalized weighted least-squares diperlukan suatu bobot yang ditentukan oleh  matriks  kovariansinya.  Dalam  paper  ini  akan  dibahas  bagaimana mendapatkan  konstruksi  matriks  kovariansi  pada  kasus  korelasi  sama  maupun pada kasus korelasi tidak sama.
162                                                                                                                         Budi Lestari, dkk.

## 2.  HASIL DAN PEMBAHASAN

## 2.1 Model Regresi Nonparametrik Multirespon dengan Korelasi Sama dan
Konstruksi Matriks Kovariansinya.
Dipandang  data  berpasangan   kj kj y t , , p k ,..., 2 , 1  ; k n j ,..., 2 , 1  yang
mengikuti  model  regresi  nonparametrik  multirespon  ( p respon)  dengan  korelasi sama sebagai berikut:
  kj kj k kj t f y    , p k ,..., 2 , 1  ; k n j ,..., 2 , 1  (1)
dengan k f adalah  kurva  regresi  yang  diasumsikan  mulus  ( smooth )  dalam  arti termuat  di  dalam  ruang  Sobolev
  k k m b , a W 2 ,  dan kj  , k n ,..., , j 2 1  adalah error random  berdistribusi  Normal  secara  identik  dan  independen  dengan   0  kj E  ,   2 k kj Var    ,  sedangkan  antara kj  dan lj  , l k  berkorelasi  dengan
      lj kj , Corr . Selanjutnya,  jika  dimisalkan   T p T T y y y y ,..., , 2 1  ,   T T p T T f f f f ,..., , 2 1  ,  dan   T T p T T     ,..., , 2 1  , dengan   T kn k k k k y y y y ,..., , 2 1  ,         T kn k k k k k k k t f t f t f f ,..., , 2 1  ,   T kn k k k k     ,..., , 2 1  ,   T kn k k k k t t t t ,..., , 2 1  , p k ,..., 2 , 1  ;
maka
dipunyai         p p T n p T n I N I N p 2 1 12 11 1 2 1 1 12 11 1 , 0 ~ ,..., , ,..., , 0 ~ ,..., , 1             ,  dengan 1 I
adalah matriks identitas berukuran   1 1 n n  , 2 I adalah matriks identitas berukuran
  2 2 n n  , dan seterusnya sampai p I adalah matriks identitas berukuran   p p n n 
.
Oleh karena itu, persamaan (1) dapat dinyatakan dalam bentuk persamaan vektor sebagai berikut:
   f y .                                                                                      (2)
Karena  respon  pertama,  respon  kedua,  sampai  dengan  respon  ke- p saling berkorelasi  maka  estimasi  fungsi  atau  kurva  regresi  nonparametrik f dengan
menggunakan pendekatan penghalusan spline yang diperoleh dengan penyelesaian optimasi penalized weighted least-squares :
        ) ( ) ( ... ) ( ) {( 1 1 1 1 1 ,..., 2 1 p p p T p p T W f f f y W f y f y W f y Min p } )) ( ( ... )) ( ( 2 2 1 1 dt t f dt t f p b a p b a         (3)
diperlukan suatu bobot W yang ditentukan oleh matriks kovariansinya. Berikut ini akan ditentukan konstruksi matriks kovariansi untuk model regresi nonparametrik multirespon ( p respon) dengan korelasi sama.
Berdasarkan  model  (2),  selanjutnya  ditentukan  ekspektasi  dari y dan kovariansi dari y yang berturut-turut diberikan sebagai berikut:
    T pn p p n n p y y y y y y y y y E y E ,..., , ,..., ,..., , , ,..., , 2 1 2 22 21 1 12 11 2 1  = 22 22 2 21 21 2 1 1 1 12 12 1 11 11 1 ) ( , ) ( , ) ( ,..., ) ( , ) ( ( 1 1           t f t f t f t f t f E n n ,..., T pn pn p p p p p p p n n p p t f t f t f t f ) ) ( ,..., ) ( , ) ( ,..., ) ( 2 2 1 1 2 2 2 2 2         = f (4)
dan
       T T E y E y y E y E y Cov       ) ( ) ( = E[ , ,..., , [ ] ,..., , ,..., ,..., , , ,..., , 1 2 1 1 12 11 2 1 2 22 21 1 12 11 n T pn p p n n p             ] ,..., , ,..., ,..., , 2 1 2 22 21 2 p pn p p n       164                                                                                                                         Budi Lestari, dkk.
                      
                        2 1 3 31 2 21 1 12 11 1 2 1 3 1 31 1 2 1 21 1 1 1 12 1 11 1 3 1 3 2 3 31 3 2 3 21 3 1 3 12 3 11 3 31 1 31 3 31 2 31 2 31 21 31 1 31 12 31 11 31 2 1 2 3 2 31 2 2 2 21 2 1 2 12 2 11 2 21 1 21 3 21 31 21 2 21 2 21 1 21 12 21 11 21 1 1 1 3 1 31 1 2 1 21 1 2 1 12 1 11 1 12 1 12 3 12 31 12 2 12 21 12 1 12 2 12 11 12 11 1 11 3 11 31 11 2 11 21 11 1 11 12 11 2 11 3 2 1 3 2 1 3 3 3 3 2 3 3 1 3 3 3 3 2 1 2 2 3 2 2 2 2 1 2 2 2 3 2 1 1 1 3 1 1 2 1 1 1 1 1 3 2 1 3 2 1 p p p p p p p p p p p p p p p p p pn p pn n pn pn n pn pn n pn pn pn pn p p n p p n p p n p p p pn n p n n n n n n n n n n pn p n n n pn n p n n n n n n n n n n pn p n n n pn n p n n n n n n n n n n pn p n n n pn p n n n E                                                                                                                                                              
             
    
             

   
             

   
    
             
    
    
             

   
                                                  2 2 3 2 1 2 3 3 2 3 2 3 1 3 2 2 2 3 2 2 2 1 2 2 1 2 1 1 3 1 2 1 2 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 p p p p p p p p                                                                                                                                                     1 2 2 1 1 2 2 2 12 12 1 1 12 12 1 2 1                  W I r J J J I r J J J I r p n p T p p T p p p p n T p p n        
      
(5)
dengan m r k k   ,     p k j j j m 1  ; k p k   1    ;   j i k p j i k ij     ; ,..., 2 , 1 ,    , p k ,..., 2 , 1  ;  dan qs J adalah  matriks  Jordan  berukuran  ( s q n n  )  dengan  elemen ke- ) , ( j i sama dengan 1 jika elemen ke- i dari q y dan elemen ke- j dari s y adalah berpasangan,  dan  sama  dengan  nol  untuk  yang  lain  (yakni  jika  elemen  ke- i dari q y dan  elemen  ke- j dari s y tidak  berpasangan);  serta p n n n I I I ,..., , 2 1 adalah
matriks-matriks identitas, dan
                p n p T p p T p p p p n T p p n I r J J J I r J J J I r W
       2 2 1 1 2 2 2 12 12 1 1 12 12 1 1 2 1       .                                                  (6)
Dari (2), (4) dan (5)  diperoleh bahwa respon y berdistribusi Normal multivariat dengan  mean f dan  variansi 1  W  .  Matriks 1 W yang  diberikan  dalam  (6) merupakan matriks bobot dalam persamaan (3) untuk model (1).
2.2 Model Regresi Nonparametrik Multirespon ( p respon) dengan Korelasi Tidak Sama dan Konstruksi Matriks Kovariansinya.
Dipandang  data  berpasangan   kj kj y t , , p k ,..., 2 , 1  ; k n j ,..., 2 , 1  yang
mengikuti  model  regresi  nonparametrik  multirespon  ( p respon)  dengan  korelasi tidak sama sebagai berikut:
  kj kj k kj t f y    , p k ,..., 2 , 1  ; k n j ,..., 2 , 1  (7)
dengan k f adalah  kurva  regresi  yang  diasumsikan  mulus  ( smooth )  dalam  arti termuat  di  dalam  ruang  Sobolev
  k k m b , a W 2 ,  dan kj  , k n ,..., , j 2 1  adalah error random  berdistribusi  Normal  secara  identik  dan  independen  dengan   0  kj E  ,
  2 k kj Var    ,  sedangkan  korelasi  error  antar  respon  diasumsikan  tidak  sama,
yaitu               d b d b c a j d b c a corr j cd ab ; 0 , ; 1 , , ;    .
Selanjutnya,  jika  dimisalkan
  T p T T y y y y ,..., , 2 1  ,   T T p T T f f f f ,..., , 2 1  ,  dan   T T p T T     ,..., , 2 1  , dengan   T kn k k k k y y y y ,..., , 2 1  ,         T kn k k k k k k k t f t f t f f ,..., , 2 1  ,   T kn k k k k     ,..., , 2 1  ,   T kn k k k k t t t t ,..., , 2 1  , p k ,..., 2 , 1  ;
maka
dipunyai         p p T n p T n I N I N p 2 1 12 11 1 2 1 1 12 11 1 , 0 ~ ,..., , ,..., , 0 ~ ,..., , 1             ,  dengan 1 I
adalah matriks identitas berukuran   1 1 n n  , 2 I adalah matriks identitas berukuran
  2 2 n n  , dan seterusnya sampai p I adalah matriks identitas berukuran   p p n n 
.
Oleh karena itu, persamaan (7) dapat dinyatakan dalam bentuk persamaan vektor sebagai berikut:
   f y .                                                                                      (8)
Oleh karena (3), berikut ini akan ditentukan konstruksi matriks kovariansi untuk model regresi nonparametrik multirespon  ( p respon) dengan korelasi tidak sama.
Berdasarkan  model  (8),  selanjutnya  ditentukan  ekspektasi  dari y dan kovariansi dari y yang berturut-turut diberikan sebagai berikut:
    T pn p p n n p y y y y y y y y y E y E ,..., , ,..., ,..., , , ,..., , 2 1 2 22 21 1 12 11 2 1  = 22 22 2 21 21 2 1 1 1 12 12 1 11 11 1 ) ( , ) ( , ) ( ,..., ) ( , ) ( ( 1 1           t f t f t f t f t f E n n ,..., T pn pn p p p p p p p n n p p t f t f t f t f ) ) ( ,..., ) ( , ) ( ,..., ) ( 2 2 1 1 2 2 2 2 2         = ),..., ( ),..., ( ), ( ), ( ),..., ( ), ( [ 2 1 2 2 22 2 21 2 1 1 12 1 11 1 n n t f t f t f t f t f t f T pn p p p p p p t f t f t f )] ( ),..., ( ), ( 2 1 = f (9)
dan
       T T E y E y y E y E y Cov       ) ( ) ( =E                                       2 1 2 22 21 1 13 12 11 1 2 1 2 1 22 1 21 1 1 1 13 1 12 1 11 1 2 1 2 2 2 22 2 21 2 1 2 13 2 12 2 11 2 22 1 22 2 22 2 22 21 22 1 22 13 22 12 22 11 22 21 1 21 2 21 22 21 2 21 1 21 13 21 12 21 11 21 1 1 1 2 1 22 1 21 1 2 1 13 1 12 1 11 1 12 1 12 2 12 22 12 21 12 1 12 13 12 2 12 11 12 11 1 11 2 11 22 11 21 11 1 11 13 11 12 11 2 11 2 1 2 1 2 2 2 2 2 1 2 2 2 2 2 1 2 1 1 1 2 1 1 1 1 1 1 1 2 1 2 1 p p p p p p p p p p p p p p p p pn p pn n pn pn pn n pn pn pn pn pn p p n p p p n p p p p pn n p n n n n n n n n n pn p n n pn p n n pn n p n n n n n n n n n pn p n n pn p n n                                                                                                                                                                          
                
           
            
                              
                     
                                                
    
 
  
              
                        
         
         
                             
                             p p p p p p p p p p p p p p n n p p n n p n n p n n p n n p n n p n n p n n p n n p n n n n n n n n n n n n p n n p n n n n n n n n n n n n p n n p n n n n n n n n n n 2 2 3 ) , min( 3 1 2 ) , min( 2 1 1 ) , min( 1 1 3 ) , min( 3 1 2 3 2 3 3 2 ) , min( 3 2 1 3 1 ) , min( 3 1 1 2 ) , min( 2 1 3 2 ) , min( 3 2 1 2 2 2 2 2 1 ) , min( 2 1 1 1 ) , min( 1 1 3 1 ) , min( 3 1 1 2 1 ) , min( 2 1 1 2 1 2 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3 3 2 2 1 1 3 3 3 3 2 3 3 2 1 3 3 1 2 2 3 2 3 2 2 2 1 2 2 1 1 1 3 1 3 1 2 1 2 1 1 1                                                                                                     
                         
                    
                     1 3 2 1 3 3 23 13 2 23 2 12 1 13 12 1 3 2 1 3 3 3 2 3 1 2 3 2 2 2 1 1 3 1 2 1 1                                W I r I r I r I r p p p p p p p n p T n n p T n n p T n n p n n p n T n n T n n n n p n n n T n n n n p n n n n n                        (10)
dengan:
168                                                                                                                         Budi Lestari, dkk.
                              p p p p p p p n p T n n p T n n p T n n p n n p n T n n T n n n n p n n n T n n n n p n n n n n I r I r I r I r W          3 2 1 3 3 3 2 3 1 2 3 2 2 2 1 1 3 1 2 1 1 3 2 1 3 3 23 13 2 23 2 12 1 13 12 1 1             ;                                   (11) k p k   1    , m r k k   , p k j j m     1 , p k ,..., 2 , 1  ; ) ; ,..., 2 , 1 , ( 1 j i k p j i k ij       ;  dan ) ,..., 2 , 1 ( p k I k n  adalah  matriks  identitas  berukuran k k n n  ;  serta j i n n  adalah matriks  Jordan  berukuran j i n n  dengan  elemen  ke-( i , j )  sama  dengan
) ,..., 2 , 1 ( p i n i   jika j i  , dan sama dengan nol untuk yang lain.
Dari (8), (9) dan (10) diperoleh bahwa respon y berdistribusi Normal multivariat
dengan  mean f dan  variansi 1  W  .  Matriks 1 W yang  diberikan  dalam  (11) merupakan matriks bobot dalam persamaan (3) untuk model (7).
Dalam model regresi nonparametrik multirespon pada kasus korelasi tidak sama, matriks kovariansi pada (10) memenuhi empat kasus yang berkaitan dengan ukuran observasi n pada setiap respon, yakni:
(1). Kasus untuk
p n n n    ... 2 1 ; (2). Kasus untuk p n n n    ... 2 1 ; (3). Kasus untuk p n n n    ... 2 1
; dan
(4). Kasus selain (1), (2), dan (3), yakni kasus-kasus sebagai berikut:
(a). Tidak semua 1   k k n n , untuk 1 ,..., 2 , 1   p k ; (b). Tidak semua 1   k k n n , untuk 1 ,..., 2 , 1   p k ; dan (c). Tidak semua 1   k k n n , untuk 1 ,..., 2 , 1   p k .
Matriks-matriks  kovariansi  untuk  keempat  kasus  tersebut  mempunyai  konstruksi sama  dengan  yang  diberikan  dalam  (10).  Matriks-matriks  kovariansi  tersebut hanya  dibedakan  oleh  konstruksi  matriks  Jordan  ,  yakni  disesuaikan  dengan masing-masing kasus ukuran observasi n tersebut.

## 3.  KESIMPULAN DAN SARAN
Dari  hasil  yang  didapatkan  dapat  disimpulkan  bahwa  matriks-matriks kovariansi  mempunyai  konstruksi  elemen-elemen  diagonal  utama  yang  hampir mirip  tetapi  elemen-elemen  di  luar  diagonal  utama  mempunyai  konstruksi berbeda  yang  bergantung  pada  konstruksi  matriks  Jordan J pada  kasus  korelasi sama, dan bergantung pada konstruksi matriks Jordan  pada kasus korelasi tidak sama.  Untuk  mendapatkan  konstruksi  matriks-matriks  kovariansi  untuk  kasus- kasus:  tidak  semua 1   k k n n ,  tidak  semua 1   k k n n ,  dan  tidak  semua 1   k k n n ,
untuk 1 ,..., 2 , 1   p k disarankan  untuk  memberikan  contoh  dengan  mengambil nilai k tertentu, hal ini dimaksudkan agar proses mendapatkan konstruksi matriks kovariansi menjadi lebih mudah dan singkat.

## DAFTAR PUSTAKA
Flessler, J. A. (1991) Nonparametric fixed-interval smoothing with vector splines,
IEEE Trans. Sig. Process. , 39, 852-859.
Fernandez,  F.  M.  dan  Opsomer,  J.  D.  (2005)  Smoothing  parameter  selection methods  for  nonparametric  regression  with  spatially  correlated  errors,
Canadian J. Stat. , 33 , 279-295.
Gooijer,  J.  G.  D.,  Gannoun,  A.  dan  Larramendy,  I.  (1999) Nonparametric regression with serially correlated errors , Tinbergen, http://ftp.tinbergen.nl/discussionpapers/99063.pdf. diakses pada 25
Oktober 2009.
Lestari,  B.,  Budiantara,  I.  N.,  Sunaryo,  S.  dan  Mashuri,  M.  (2009)  Spline
estimator  in  homoscedastic  multi-response  nonparametric  regression model, Proceeding  of  the  IndoMS  International  Conference  on
Mathematics and Its Applications, Oct. 12-3, UGM, Yogyakarta, 845-854.
Lestari,  B.,  Budiantara,  I.  N.,  Sunaryo,  S.  dan  Mashuri,  M.  (2010)  Spline estimator in multi-response nonparametric regression model with unequal
Correlation  of  Errors, Journal  of  Mathematics  and  Statistics , 6 (3),  327- 332.
Miller, J. J. dan Wegman, E. J. (1987) Vector function estimation using splines, J.
Stat. Plann. Inferen. , 17 , 173-180.
Wahba,  G.  (1990) Spline  Models  for  Observational  Data ,  1 st Edition,  SIAM,
Philadelphia, Pennsylvania.
Wang, Y. (1998) Smoothing spline models with correlated random errors, J. Am.
Stat. Assoc. , 93 , 341-348.
Wang, Y., Guo, W. dan Brown, M. B. (2000) Spline smoothing for bivariate data with  applications  to  association  between  hormones, Statistica  Sinica , 10 , 377-397.
Wegman,  E.  J.  (1981)  Vector  splines  and  estimation  of  filter  function,
Technometrics , 23 , 83-89.