Vol. 11, No. 2,  122-128,  Januari  2015

## Estimasi Parameter Model Regresi Logistik Biner Komponen Utama Non Linear dengan Maksimum Likelihood

## Anna Islamiyati

## Abstrak
Regresi logistik biner digunakan pada data respon yang mengandung dua kategorik, dan ketika terjadi multikolinearitas  pada  variabel  prediktor  yang  berskala  campuran,  maka  pendekatan  statistika  yang dapat  digunakan  untuk  mengatasi  masalah  tersebut  adalah  analisis  komponen  utama  non  linear. Estimasi parameter regresi logistik komponen utama non linear dilakukan melalui metode maksimum likelihood  dan  diperoleh  hasil  taksiran  parameter  yang  implisit  sehingga  dilanjutkan  dengan  metode iterasi Newton Raphson untuk mendapatkan hasil estimasi yang konvergen.
Kata kunci: analisis komponen utama non linear, maksimum likelihood, multikolinearitas, regresi logistik biner.

## 1. Pendahuluan
Penggunaan  regresi  selalu  dibatasi  dengan  beberapa  asumsi,  salah  satunya  adalah  tidak terjadi  multikolinearitas,  yaitu  korelasi  kuat  antara  variabel  prediktor.  Asumsi  ini  tidak  hanya berlaku  pada  regresi  linear  yang  kuantitatif  tetapi  juga  pada  regresi  logistik.    Regresi  logistik digunakan pada saat data variabel respon berbentuk kategorik, dan jika datanya hanya terdiri dari dua  kategori  maka  regresi  logistik  yang  digunakan  disebut  regresi  logistik  biner.  Penggunaan regresi  logistik  biner  sudah  banyak  digunakan  dalam  beberapa  bidang  aplikasi,  misalnya  di bidang kesehatan, industri, kependudukan, dan lain-lainnya.
Ketika  terjadi  pelanggaran  asumsi  multikolinearitas,  salah  satu  pendekatan  yang  dapat digunakan  adalah  analisis  komponen  utama,  yang  akan  mereduksi  variabel  prediktor  menjadi beberapa komponen utama. Pendekatan ini pun juga sudah banyak dikembangkan dan digunakan dalam  beberapa  bidang  aplikasi.  Namun,  yang  banyak  digunakan  adalah  penggunaan  pada  data yang  berbeda  untuk  model  regresi  logistik  dan  analisis  komponen  utama,  atau  dalam  penelitian yang  berbeda.  Ternyata  dalam  perkembangan  data  pada  saat  sekarang  ini,  banyak  data  yang variabel responnya kategorik, memiliki variabel prediktor yang multikolinearitas. Sehingga perlu pendekatan untuk mengatasi masalah tersebut untuk mendapatkan taksiran model yang baik. 1
Makalah ini akan mengkaji tentang penggunaan analisis komponen utama non linear pada data  respon  kategorik  dimana  variabel  prediktornya  mengalami  korelasi  yang  kuat.  Analisis komponen  utama  non  linear  merupakan  pengembangan  dari  analisis  komponen  utama,  yang digunakan pada saat variabel prediktor yang digunakan dalam jumlah banyak dan jenis datanya yang  bervariasi  (Kroonenberg,  1997).  Penggunaan  analisis  komponen  utama  non  linear  telah digunakan pada penelitian tentang prestasi belajar mahasiswa di Unhas (Islamiyati dan Talangko, 2010).  Penggunaan  regresi  logistik  komponen  utama  sudah  dikaji  oleh  Aguilera  (2000),  namun dalam  makalah  ini  akan  dikaji  mengkhusus  mengenai  estimasi  parameter  dalam  regresi  logistik
1,2,3 Jurusan Matematika FMIPA Universitas Hasanuddin Makassar , Jl. Perintis Kemerdekaan Km.10 Makassar

## Anna Islamiyati
biner  yang  menggunakan  pendekatan  analisis  komponen  utama  non  linear  melalui  metode maksimum likelihood.

## 2. Analisis Komponen Utama Non Linear
Analisis komponen utama merupakan salah satu metode perampatan dalam regresi untuk memperoleh  hasil  yang  lebih  baik  jika  terjadi  pelanggaran  asumsi,  khususnya  dalam  masalah kolinearitas.  Peubah  bebas  pada  regresi  komponen  utama  berupa  hasil  kombinasi  linear  dari peubah  asal Z ,  yang  disebut  komponen  utama W .  Koefisien  penduga  dari  metode  ini  diperoleh melalui penyusutan dimensi komponen utama, dimana subset komponen utama yang dipilih harus tetap  mempertahankan  keragaman  yang  sebesar-besarnya  (Jolliffe,  1989).  Analisis  komponen utama  menggunakan  struktur  matriks  variansi-kovariansi  dari  suatu  himpunan  variabel  melalui beberapa kombinasi linier dari himpunan variabel tersebut.
Analisis    komponen    utama    non  linear    merupakan  pengembangan  dari  analisis komponen utama yang menggunakan pendekatan alternating least squares (Gifi, 1990). Analisis komponen  utama  non  linear  merupakan  suatu  metode  yang  mampu  menganalisis  data  berskala campuran  (nominal,  ordinal,  rasio  dan  interval)  secara  simultan  yaitu  dengan  cara mengelompokkan  variabel-variabel  yang  korelasi  linearnya  sejalan  menjadi  satu  komponen utama,  sehingga  dari p variabel  akan  didapat m komponen  utama  yang  saling  independen  yang masih dapat mewakili keseluruhan persoalan ( p) m  (Kroonenberg, 1997).
Penormalisasian X pada analisis komponen utama non linear harus memenuhi syarat X T X = I , yang dinormalisasi oleh:
T pn  X M X I dan ' 0   M X ,
yang berimplikasi bahwa X adalah skor yang standar jika j  M I .
Cara  penghapusan  komponen  utama  dimulai  dari  prosedur  seleksi  akar  ciri  dari  suatu persamaan ' 0    Z Z I , dimana Z adalah hasil pembakuan dari peubah X , yaitu:
3 3 1 1 2 2 1 2 3 11 22
33
( ) ( ) ( ) ( ) , , , , p p p pp X X X X Z Z Z Z    
            .
Jika  data  multivariabel  tanpa  missing  data,  maka  penaksir  akar  karakteristik  diperoleh  melalui
1 ( ) m  R Q dimana ( ) R Q adalah  matriks  korelasi  antara  skor  linear  gabungan  dari  semua himpunan matriks Q pada semua dimensi (Gifi, 1990).
Jika R adalah   matrik korelasi   sampel   berordo m xm dengan pasangan penaksir akar karakteristik dan penaksir vektor karakteristik yaitu:
1 1 ˆ ˆ ( , ), v  2 2 ˆ ˆ ( , ), v  …, ˆ ˆ ( , ) m m v  dan 1 2 ( , , , ) p Z Z Z  Z observasi yang distandarkan dengan matrik korelasi R , maka penaksir komponen utama ke- k adalah:
1 1 2 2 3 p ˆ ˆ ˆ ˆ ˆ T k k k k k W v z v z v z      v z , k = 1, 2, …, m
dimana 1 2 ˆ ˆ ˆ 0 m        ,  dan k ˆ  adalah penaksir  akar  karakteristik dari  matrik R dan mempunyai sifat tak bias yaitu k ˆ ( ) . k E   
Analisis  komponen  utama  non  linearberdasarkan    pada Teori  Meet  Loss ,  dengan loss  function homogenitas yaitu:
Anna Islamiyati m 1 M k k k k 1 ( , ) m ( ) ( ) T k       
X Y X G Y

## X G Y
Jika  akar  ciri  diurutkan  dari  nilai  terbesar  sampai  nilai terkecil,  maka  pengurutan  komponen utama W k berpadanan dengan pengurutan k  . Ini berarti bahwa komponen-komponen  tersebut menerangkan proporsi keragaman terhadap respons Y yang semakin lama semakin kecil (Draper dan  Smith,  1981).Strategi  untuk  mengeliminasi  komponen  utama  dengan  memperhatikan proporsi total varians komponen utama non linear yang diperoleh yaitu:
1 2 q m        > 0,80.
Komponen utama W k saling ortogonal sesamanya dan dibentuk melalui suatu hubungan:
1 1 2 2 3 3 k k k k pk p W v Z v Z v Z
v Z     
Dimana 1 2 3 , , , , k k k pk v v v v merupakan elemen dari vektor eigen yang berhubungan dengan k  dan Z merupakan variabel baku.

## 3. Regresi Logistik Biner
Model  regresi logistik termasuk juga dalam model linier umum, dimana komponen acak tidak harus mengikuti sebaran normal, tapi harus termasuk dalam sebaran keluarga eksponensial. Sebaran Bernoulli termasuk dalam salah satu dari sebaran keluarga eksponensial, adalah sebaran dari  peubah  acak  yang  hanya  mempunyai  dua  kategori  yaitu  bernilai  0  dan  1.  Regresi  logistik adalah  pendekatan  model  matematik  yang  dapat  digunakan  untuk  menggambarkan  hubungan variabel prediktor ( X ) pada variabel respon ( ) yang biner (Hosmer dan Lemeshow, 1989). Model regresi  logistik  digunakan  untuk  melihat  probabilitas  terjadinya  suatu  keadaan  dengan memperhitungkan faktor-faktor yang mempengaruhinya, dan membandingkan resiko munculnya suatu  keadaan  akibat  suatu  faktor  setelah  memperhitungkan  faktor-faktor  lain  yang  ada  dalam model (Agresti, 1990).
Fungsi probabilitas distribusi Bernoulli adalah sebagai berikut.
  1 (1 ) , 0,1 i i Y Y i i i i f Y Y       ,
dimana, adalah  probabilitas  kejadian  ke- dan  peubah  acak  ke- .  Jika i Y =  0  maka f ( i Y )  = ( ) an jika i Y = maka f ( i Y ) =
Fungsi  model  logit  terletak  antara  range  0  dan  1  yang  diperoleh  dengan  menggunakan fungsi logistik:
( ) 1 ( ) , 1 i i g X X e    
dengan ( )
.
Apabila tedapat pasangan data (    ) dengan adalah variabel prediktor dan adalah variabel respon, dapat disajikan model regresi logistik dengan bentuk umum sebagai berikut:
Anna Islamiyati 0 1 1 0 1 1 exp( ) ( ) ( 1) 1 exp( ) i p pi i i p pi X X X P Y
X X                  , (1)
dimana ( )    (     ) menyatakan proporsi skor atau nilai di dalam populasi diantara semua dengan skala pasangan data yang mungkin. Besaran merupakan nilai (     ) , sering kali dinyatakan sebagai peluang peristiwa atau kasus yang ditentukan oleh skor . Peluang
( )    (     ) tergantung pada skor atau nilai variabel prediktor . Transformasi logit dari model (1), yang linear dalam parameter-parameternya, yaitu:
0 1 1 ( ) ( ) ln 1 ( ) ln ( ) ln(1 ( )) i i i i i i k ki T X g X X X X X X  
            
        β X
Dengan ( ) dan X (
)
(Agresti,2000)
4. Estimasi Parameter Model Regresi Logistik Komponen Utama Non Linear
Model regresi logistik komponen utama non linear diberikan oleh:
0 1 0 1 exp( ) ( ) 1 exp( ) m k k k m k k k W W W          
     , (2)
dimana :
( ) W  : probabilitas kejadian sukses pada Y = 1
0  :
konstanta
k 
:
koefisien regresi logistik
k W : Komponen utama yang terbentuk dari pengelompokkan
variabel Z hasil standarisasi dari X, yang ditunjukkan pada
bagian (2). k : banyaknya komponen utama yang terbentuk dari proses komponen utama non linear mulai 1 hingga m 
: error
Berdasarkan  model  (2),  parameter  yang  akan  ditaksir  adalah  dengan  menggunakan metode  estimasi  maksimum  likelihood.  Diketahui berdistribusi  binomial,  sehingga  fungsi kepadatan peluangnya adalah sebagai berikut:
  1 ( ( )) (1 ( )) , 0,1 i i y y i i i i
f y w w y       .

## Anna Islamiyati
Selanjutnya fungsi likelihood diperoleh sebagai berikut:
0 1 2 1 1 1 ( , , , , ) ( ) ( ( )) (1 ( )) , i i n p i i n y y i i i L f y w w              
dan fungsi ln likelihoodnya adalah:
      1 0 1 2 1 ( ) 1 ln , , , , ln ( ( )) (1 ( ))
( ( )) ln 1 i i i n y y p i i i n w i i i L w w
y w e              
       


Sehingga turunan pertamanya :
  ( )
0
0 1 2 1 ( ) 1 1 0 0 1 exp( ln , , , , 1
1 exp( i i m w k k n n m k i i m w i i k k k w L e y y e w                 
                               
(3)   ( ) 0 0 1 2 1 1 1 ( ) 1 1 1 0 1 exp( ln , , , , 1
1 exp( i i m w k k n n m i k i i i m w i i k k k w L
w e y y w e w                 
                               
(4)   ( )
0
0 1 2 2 1 2 ( ) 1 1 2 0 1 exp( ln , , , , 1 1 exp( i i m w k k n n m i k i i i m w i i k k k w
L
w e y y w e w                  
                              
(5)   ( )
0
0 1 2 1 ( ) 1 1 0 1 exp( ln , , , , 1 1 exp( i i m w k k n n m mi k i i mi m w i i m k k k w L
w e y y w e w                  
                               . (6)
Terlihat  dari  (3),  (4),  (5),  dan  (6),  turunan  pertama  dari  fungsi  ln  likelihood  terhadap setiap  parameter  memberikan  penyelesaian  yang  implisit,  sehingga  digunakan  iterasi  Newton Raphson dalam penaksiran parameternya, dan diperoleh sebagai berikut:
0( 1) 0( ) 1( 1) 1( ) 1 2( 1) 2( ) ( 1) ( ) ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ t t t t t t m t m t      
                                         H d ,
dimana:
0( 1) ˆ t   : konstanta pada iterasi ke-t+1
0( ) ˆ t  : konstanta pada iterasi ke-t 1( 1) ˆ t   : parameter regresi pada iterasi ke-t+1
1( ) ˆ t  : parameter regresi  pada iterasi ke-t
d : matriks turunan pertama terhadap parameternya, yaitu
        0 1 2 0 0 1 2 1 0 1 2 2 0 1 2 ln , , , , ln , , , , ln , , , , ln , , , , m m m m m L L L L     
         
        
   
                               d H : matriks turunan kedua terhadap parameter-parameternya.
Setelah  diperoleh  taksiran  parameter  regresi  logistik  dengan  metode  maksimum likelihood,  maka  taksiran  model  regresi  logistik  biner  komponen  utama  non  linear  diperoleh sebagai berikut:
0 1 1 2 2 0 1 1 2 2 ˆ ˆ ˆ ˆ exp( ) ˆ( ) ˆ ˆ ˆ ˆ 1 exp( ) m m m m W W W W
W W W                    (7)
Pers.  (7)  menunjukkan  peubah  yang  digunakan  masih  peubah  W  yaitu  peubah  komponen- komponen utama yang terbentuk dari analisis komponen utama non linear yang dinyatakan oleh beberapa variabel Z yang merupakan hasil standarisasi dari variabel X yang diketahui. Akibatnya, pers  (7)  dapat  ditransformasi  ulang  ke  dalam  variabel  X  berdasarkan  persamaan  dari  analisis komponen  utama  non  linear,  sehingga  variabel  respon  Y  dapat  dinyatakan  dengan  jelas  oleh variabel prediktor X.

## 5. Kesimpulan
1. Penanganan masalah multikolinearitas pada data respon biner dengan mengandung variabel prediktor  yang  banyak  dan  berskala  campuran  dapat  diselesaikan  dengan  model  regresi logistik biner komponen utama non linear.
2. Estimasi  parameter  model  regresi  logistik  komponen  utama  linear  menggunakan  metode maksimum likelihood dengan iterasi Newton Raphson, dan diperoleh:
3. Estimasi model regresi logistik biner komponen utama non linear diperoleh:
0 1 1 2 2 0 1 1 2 2 ˆ ˆ ˆ ˆ exp( ) ˆ( ) ˆ ˆ ˆ ˆ 1 exp( ) m m m m W W W W W W W    
              

## DAFTAR PUSTAKA
[1] Agresti, A., 2000, Categorical Data Analysis . John Wiley & Sons. New York.
[2] Aguilera., 2000, “ Principal Component Logistic Regression”, Proceding in Computation Statistics , Physicalverlag,175-180.
[3] Gifi, A., 1990, Nonlinear Multivariate Analysis , Chichester, UK, Wiley.
[4] Islamiyati dan Talangko, 2010, “Identifikasi Prestasi Belajar Mahasiswa pada Pendidikan Tinggi dengan Analisis Komponen Utama Non Linear”, Proceding, Seminar Sains FMIPA Universitas Terbuka Tangerang Banten.
[5] Johnson,  R.A.  &  Winchern,  D.W.,  2002, Applied  Multivariate  Statistical  Analysis,  5th edition , Pearson Education International.
[6] Kroonenberg,  P.M.,  Harch,  B.D.,  Basford  K.E.,  and  Cruickshank,  A.,  1997,  “Combined Analysis  of  Categorical  and  Numerical  Descriptors  of  Australian  Groundnut  Accessions Using Nonlinear Principal Componen Analysis”, Journal of Agrucultural, Biological, and Environmental Statistics ,  Vol.2, No. 3, 294-312.
0( 1) 0( ) 1( 1) 1( ) 1 2( 1) 2( ) ( 1) ( ) ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ t t t t t t m t m t      
                  
         
           
H d