## Vol. 6, No.2, 107-114,  Januari 2010
Aplikasi Model Regresi Logit dan Probit pada Data Kategorik
Georgina M. Tinungki 

## Abstrak
Pembahasan  dua  model  alternatif  untuk  data  biner  yaitu  model  Regressi  Logit  dan  Probit. Regressi  Logit    digunakan  untuk  menggambarkan  hubungan  variabel  dependen  (variabel respon)  dengan  variabel  independen  (variabel  prediktor)  yang  bersifat  kategori,  kontinu  atau kombinasi keduanya.  Sedangkan regresi Probit adalah suatu analisis regresi yang digunakan untuk menggambarkan hubungan antara variabel dependen dan variabel independen. Variabel dependen (variabel respon)  biasa disimbolkan Y dengan skala pengukuran dikotomus (biner), dan  variabel  independen  (variable  prediktor)  biasa  disimbolkan X yang  skala  pengukuran bersifat dikotomus, polikotomus atau kontinu. Untuk pendugaan parameter pada model regresi dan  regresi  Logit  digunakan  Metode  Maksimum  Likelihood.  Metode  Maksimum  likelihood (MLE)  digunakan  untuk  mengestimasi  parameter  yang  belum  diketahui  dengan  menetapkan asumsi  distribusi  Bernoulli  dan  obyek  pengamatan  saling  bebas, E(  i ,  j )  =  0, i  j .    Prinsip dari  MLE  untuk  mendapatkan  nilai  taksiran  yang  memaksimumkan  fungsi  likelihood. Aplikasi distribusi toleransi  untuk log dosis adalah pendekatan normal dengan dan standar deviasi . Jika G adalah cdf dari distribusi normal, maka
( )    ( ) ,(     )  - dimana     adalah  standar  normal  cdf.    Konsep  dari toleransi  distribusi menjadi  dasar kebenaran untuk model.  Sehingga, koresponden yang cocok untuk toleransi distribusi normal pada aplikasi toxikologi  memiliki mean 1,77 dan standar deviasi 1/19,74 = 0,05.
Kata Kunci: Regressi  Logit,  regressi  Probit,  data  kategorik,  metode maksimum Likelihood, toleransi distribusi.

## 1. Pendahuluan
Langkah  pertama  yang  dilakukan  untuk  memilih  variabel  yang  layak  adalah  memeriksa korelasi antara variabel prediktor. Tujuannya adalah untuk mendapatkan variabel prediktor yang independen.  Jika  didapatkan  variabel  prediktor  yang  saling  berkorelasi,  maka  hanya  variabel prediktor  yang  mempunyai  korelasi  terbesar  dengan  variabel  respon  yang  akan  diikutkan  dalam pembentukan  model,  karena  variabel  prediktor  yang  nilai  korelasinya  dengan  variabel  respon kecil sudah terwakili oleh variabel tersebut.
Selanjutnya  membuat  model  univariat,  yaitu  dengan  meregresikan  masing-masing variabel prediktor terhadap variabel respon, untuk mengetahui apakah hubungan antara variabel respon  dengan  prediktor  signifikan  atau  tidak.  Variabel  prediktor  yang  tidak  mempunyai hubungan  yang  signifikan  dengan  variabel  respon  akan  dikeluarkan  dari  pembentukan  model. Kemudian  memodelkan  secara  serentak  ( multivariate )  variabel  respon  dan  semua  variabel prediktor yang signifikan pada pemodelan univariate.
 Jurusan matematika, Fakultas Matematika dan Ilmu Pengetahuan Alam,
Universitas Hasanuddin, email: ina_matematika@yahoo.co.id

## 2. Model Regresi Logit
Regresi logistik sering digunakan dalam menyelesaikan masalah klasifikasi pada metode parametrik. Metode ini digunakan untuk menggambarkan hubungan variabel dependen (variabel respon)  dengan  variabel  independen  (variabel  prediktor)  yang  bersifat  kategori,  kontinu  atau kombinasi keduanya.
Untuk  menggambar  kondisional  mean  dari Y (respon)  terhadap X (prediktor)  digunakan hitungan ) ( ) ( x Y E x   . Bentuk dari model logistik adalah sebagai berikut
) ' exp( 1 ) ' exp( ) ( 0 0 x x x    
     , (1)
dengan  ’ = (  1 ,  2 , …,  p ) dan X = ( x 1 , x 2 , …, x p ), p = jumlah parameter.
Dengan  menggunakan  transformasi  logit  dari  ( x ),  maka  model  logistik  dapat  disebut  Model Logit yang ditunjukkan oleh:
                p j j j p p x x x x x x x g 1 2 2 1 1 0 ... ) ( 1 ) ( ln ) (       
(2)
Pada regresi linier berganda diasumsikan bahwa Y =  ( x ) +  dimana  adalah galat error dan  menunjukkan  selisih  obyek  pengamatan  terhadap  nilai  harapannya.  Galat  diasumsikan berdistribusi normal dengan rataan nol variansi tetap terhadap variabel pengamatannya. Sehingga dengan respon yang biner dinyatakan, jika
Y = 0, maka  =  -  ( x ) dengan probabilitas 1 -  ( x ), Y = 1, maka  = 1 -  ( x ) dengan probabilitas  ( x ).
Dan  dapat  dinyatakan  bahwa  memiliki E (  )  =  0  dan  var(  )  =  ( x ).  [1  -  ( x )]  yang  mengikuti distribusi binomial (Hosmer,1989).
Metode pendugaan yang digunakan untuk mengestimasi parameter yang belum diketahui adalah  pendugaan  maksimum  likelihood  ( Maximum  Likelihood  Estimation atau  MLE)  dengan menetapkan asumsi distribusi Bernoulli dan obyek pengamatan saling bebas, E(  i ,  j ) = 0, i  j . Pada pasangan pengamatan ( x i , y i ), fungsi likelihood yang dimaksimumkan adalah
  i i y i y i i x x x    1 ) ( 1 ) ( ) (    . (3)
Karena  pengamatan  diasumsikan  bersifat  independen,  maka  likelihood  pengamatan mrupakan perkalian dari fungsi likelihood masing-masing, misal dinyatakan dengan
   I i i x I 1 ) ( ) (  
   
         I i n i y i i i i x x x 1 ) ( 1 )) ( 1 ( ) (    (4)
dimana y i adalah variabel random binomial yang saling bebas, i = 1, 2,…, I dengan E ( y i ) = n i .  ( x i ) dan  n i = N .

## Georgina M. Tinungki
Karena z = exp (ln z ), maka untuk
i y i i x x z         )) ( 1 ( ) (  
persamaan (4) dapat ditulis menjadi
           
                 ) ( 1 ) ( ln exp 1 1 i i i I i n i x x y x i    (5)
kemudian  dilakukan  transformasi  logit  terhadap  model  regresi  logistik  pada  persamaan  (5). sehingga didapatkan model :
          
      
              
         j j ij i I i n j ij j x y x i   ) ( exp exp 1 1 (6)
Prinsip  dari  MLE  untuk  mendapatkan  nilai  taksiran  adalah  dengan  memaksimumkan fungsi  likelihood.  Nilai  maksimum  dari  fungsi  persamaan  (6)  dapat  diperoleh  melalui transformasi log. Karena fungsi logaritmanya  monoton naik,  maka
L (  ) = ln ( I (  ))
                      
          i j ij j i j j i i x n x y ij   exp 1 ln (7)
Nilai  diperoleh melalui turunan parsial pertama L (  ) terhadap  yang disamakan dengan nol, sehingga persamaan (7) akan menjadi :
       i i i ia i ia i a x n x y L L 0 ) (    (8)
dimana a = 0,1, 2, …., p dengan
                              j ij j j ij i i x x    exp 1 exp
menyatakan  taksiran  likelihood  maksimum  dari  ( x i ).  Sedang  terhadap  varians  diperoleh  dari turunan parsial kedua dari persamaan (8) yang hasilnya menurut Hogg & Craig (1995) diberikan dalam bentuk berikut,
                                   j ij j j ij i i ib ia i b a x x x x n L      exp 1 exp ) ( 2
Georgina M. Tinungki
    i i i ib ia i x x n )
1 (   (9)
dimana a , b = 0, 1, 2, …, p .

## 3. Model Regresi Probit
Regresi  Probit  adalah  suatu  analisis  regresi  yang  digunakan  untuk  menggambarkan hubungan  antara  variabel  dependen  dan  variabel  independen.  Variabel  dependen  (variabel respon)  biasa  disimbolkan Y dengan  skala  pengukuran  dikotomus  (biner),  dan  variabel independen (variable prediktor) biasa disimbolkan X yang skala pengukuran bersifat dikotomus, polikotomus atau kontinu. Jika
       2 2 1 exp 2 1 ) ( x x   .
dan diketahui
X Y = 1 P( y = 1  x )
Y = 0 P( y = 0  x )
maka
dt t 1/x) P(y x 0           1 2 2 1 exp 2 1  
 =  [  0 +  1 x ]. (10)
dengan  [.] adalah fungsi kumulatif distribusi normal standar.
]] [ [ )] 1 ( [ 1 0 1 1 x x y P           x x y P 1 0 1 )] 1 ( [       
atau Z =  0 +  1 x 1 dengan Z = 1 ( 1    y P  x).
Dengan cara yang sama jika variabel bebas lebih dari satu, maka:
Z = X  + e (11)
dengan Z merupakan variabel yang tidak diobservasi, dan observasinya adalah
Y = 1 Jika Z > 0 Y = 0 jika Z  0
dengan  adalah residual yang diasumsikan berdistribusi normal dengan mean nol (0) dan varians satu (1).
Probabilitas Y i = 1 dari persamaan (1) adalah :
1 (  i y P  x) =  ( X i  ) (12)
0 (  i y P  x) = 1 -  ( X i  ) (13)
Georgina M. Tinungki

## 4. Aplikasi
Model  respon  biner  digunakan  pada  toxikologi  untuk  menggambarkan  efek  dari  dosis bahan  kimia  racun  apakah  yang  dapat  menyebabkan  kematian.  Pada  aplikasi  ini,  konsep  dari toleransi distribusi menjadi dasar kebenaran untuk model. Misalkan x menunjukkan  dosis  (atau  log  dosis)  untuk  bahan  kimia  toxic.  Untuk menyeleksi subjek secara acak, dengan memisalkan Y =1 jika subjek mati, maka andaikan sebuah subjek  memiliki  toleransi T untuk  dosis,  dengan  ( Y =1)  ekuivalen  untuk  ( T ) .  Dalam  hal  ini, kemungkinan didapatkan serangga yang dapat bertahan dari semprotan racun jika dosis x kurang dari T , dan mati jika dosis terkecilnya T . Merubah toleransi di antara subjek, dan misalkan G ( t ) = ( T ) menunjukkan fungsi distribusi bersyarat  ( cumulatif distribution function atau cdf) untuk distribusi populasinya. Untuk dosis x tertentu, peluang penyeleksian subjek yang mati secara acak adalah
(     )    ( )    (      )    ( ) (14)
Jika  F  adalah  cdf  dari  transformasi  linier  T,  sebagaimana  standar  cdf  untuk  distribusi  keluarga eksponensial jika G adalah anggota, maka peluangnya adalah (      ) .
Dalam  beberapa  eksperimen  toxikologi,  distribusi  toleransi  untuk  log  dosis  adalah pendekatan  normal  dengan  mean dan  standar  deviasi .  Jika G adalah  cdf  dari  distribusi normal, maka
( )    ( ) ,(     )  - (15) dengan   adalah standar normal cdf. Dengan  mensubtitusi pada persamaan (15), maka diperoleh , ( )- (16)
yang merupakan model regresi probit .
Untuk  model  probit,  grafik  respon  untuk ( ) (atau  untuk ( ) ,  dimana ) terlihat  normal  dengan  mean dan  standar  deviasi | | .  Terdapat  68%  dari distribusi normal yang berada dalam standar deviasi dari mean, | | adalah jarak antara nilai x dimana  ( x ) = 0,16 atau 0,84, dan dimana  ( x ) = 0,50. Nilai peubah di ( ) pada nilai partikular x adalah ( ) (      ) , dimana adalah fungsi kepadatan normal standar. Nilai tertinggi
ketika ( ), dimana ini akan sama dengan (  )
0,48 dan titik ( )
. Dengan perbandingan, kurva respon ( ) untuk model regresi logistik dengan parameter cocok  untuk  logistik  cdf  dengan  standar  deviasi | |√ .  Nilai  peubah  di ( ) pada adalah 0,25 . Nilai peubah saat ( ) =1/2 adalah sama untuk corresponding cdf pada kurva probit dan logistik ketika logistik adalah 0,40/0,25 = 1,6 kali dari nilai probit . Standar deviasi akan  sama  ketika  logistik adalah √ 1,8  kali  probit .  Ketika  kedua  modelnya  pas, parameter penduga pada model logistik adalah berkisar antara 1,6-1,8 kali dari model probit.
Estimasi ML untuk model probit dapat diperoleh dengan menggunakan algoritma scoring Fisher untuk GLM.
Logit dan probit links simetris berkisar 0,5, dari pengertiannya maka
( )        (     )
yang diperoleh dari
( )       [ ]         [ ]         (     )

## Georgina M. Tinungki
Secara tidak langsung kurva respon untuk (( )) mendekati simetri yang berkisar pada titik  0,5.  Faktanya, ( ) mendekati  0  dan  pada  nilai  yang  sama  mendekati  1.  Model  logit  dan probit  tidak  cocok  ketika ( ) meningkat  dari  0  secara  lambat,  tapi  terkadang  tepat  pada  saat mendekati 1. Kurva dari respon
( )           ,     ( )] (17)
yang  bentuknya  ditunjukkan  pada  Gambar  1.  Gambar  ini  terlihat  tidak  simetris, ( ) menyimpang dari 1 dan lebih tajam menyimpang dari 0. Untuk model ini,
,     (     ( ))- (18)
1
0 x Gambar 1. Kurva Respon Model Logit danProbit
Link  untuk  GLM  disebut complementary  log-log link.  Untuk  menginterpretasikan  model  (18), maka dapat ditentukan nilai x 1 dan x 2 , yaitu
,      (    ( ( ) )-   ,      (    ( ( ) )- ( )
diperoleh
(  ( ( ) ) (  ( ( ) ) , (
)-
dan
( )   (     ( )) , ( )- .
Peluang  untuk  “kegagalan”  pada
sama  dengan  peluang  kegagalan  pada yang ditingkatkan untuk nilai ( ) yang lebih tinggi untuk setiap kenaikan unit pada jarak Model yang berhubungan adalah
( )       ,     ( )] (19)
untuk setiap ( ) yang berjalan lambat dari 1, namun mendekati 0 dengan tajam. Sebagaimana kenaikan x , terjadi perpotongan kurva ketika dan . Model ini menggunakan log-log link
,     ( ( ))-
( )       *     ,  (     )  -+ )].

## Georgina M. Tinungki
Untuk  parameter b  > 0  dan , dan  memiliki  mean a+ 0,557 b dan  standar  deviasi √ . Model log-log link juga cocok menggunakan algoritma scoring Fisher untuk GLM. Bliss  (1935)  melaporkan  jumlah  dari  pejuang  terbunuh  setelah  5  jam  pembukaan  gas Karbon Disulfide pada konsentrasi yang beragam, sebagaimana yang diberikan pada Tabel 1.
Tabel 1 .  Jumlah Beetles yang Mati Setelah Pemberian Karbon Disulfide.
Fitted Values Log Dose No. Beetles No. Killed Comp. Log-Log Probit Logit 1,691 59 6 5,7 3,4 3,5 1,724 60 13 11,3 10,7 9,8 1,775 62 18 20,9 23,4 22,4 1,784 56 28 30,3 33,8 33,9 1,811 63 52 37,7 49,6 50,0 1,837 59 53 54,2 53,4 53,3 1,861 62 61 61,1 59,7 59,2 1,884 60 60 59,9 59,2 58,8
Sumber: Data dari Bliss(1935).
Model  dengan  log-log  link  berimbang  memiliki  dugaan  ML  sama  untuk ̂ ̂ Pada  log  dosis  1,7,  peluang  cocok  untuk  sisa  adalah ̂ *     ,              (   )-+ ,  sedangkan  untuk  log  dosis  1,8  diperoleh  0,332, sedangkan  pada  log  dosis  1,9  diperoleh
.  Peluang  untuk  bertahan  hidup  adalah
exp(22,01 0,1) = 9,03 lebih tinggi untuk setiap 0,1 kenaikan pada log dosis.

## 5. Kesimpulan
Untuk  setiap  nilai  log  dosis,  dengan  mengalikan  peluang  estimasi  terbunuh  dengan jumlah  dari  pejuang  pada  level  itu,  diperoleh  nilai  laporan  yang  cocok  pada  Tabel  1. Statistic goodness-of-fit atau kesesuaian model adalah G 2 = 3,5, dengan  df=6.
Model logit dan probit cocok digunakan, dimana nilai G 2 adalah 11,1 untuk model logit dan  10,0  untuk  model  probit.  Untuk  probit  model ̂( ) (               ) .    Yang  mana ̂ pada
1,77. Ini adalah koresponden yang cocok untuk toleransi distribusi normal yang memiliki mean 1,77 dan standar deviasi 1/19,74=0,05.

## Daftar Pustaka
[1] Agresti,  A.,  2002, Categorical  Data  Analysis 2 nd Edition ,  John  Wiley  &  Sons,  Inc., Hoboken, New Jersey.
[2] Santosa,  B.  dan  Hanum,  D.  R.,  2007,  Studi  komparasi  metode  klasifikasi  dua  kelas , http:// www.elearning.unej.ac.id [26 januari 2009].

## Georgina M. Tinungki
[3] Diggle,  P.J.,  Liang,  K.Y.,  dan  Zeger,  S.L.,  1994, Analysis  of  Longitudinal  Data, Oxford Science Publication.
[4] Dobson,  A.J.,  1983, Introduction  To  Statistical  Modelling ,  London,  Chapman  &  Hall.  1 st
Edition.
[5] Hosmer,  D.W.  dan  Lemeshow,  S.,  2000 ,  Applied  Logistic  Regression 2 nd Edition, John Wiley & Sons, Inc.
[6] Hogg, R. V. dan Craig, A. T., 1995, Introduction to Mathematical Statistics, Prentice Hall, 5 th edition.
[7] Kenward,  K.M.  dan  Smith,  D.M.,  1995,  Computing  the  generalized  estimating  equations for repeated measurement, Genstat Newsletter .
[8] Kurtner, M.H., 2004, Applied Linear Regression Models 4 th , Mc Graw Hill Companies.
[9] Montegomery, D.C. dan Peck, E.A, 1992, Introduction To Linier regression Analysis , John Wiley & Sons, NIC, 2 nd Edition.
[10]  McCullagh, P. dan Nelder, J.A., 1989, Generalized Linear Models , London: Chapman and Hall, 2 nd Edition.
[11]  McCullagh, P. dan Nelder, J.A., 1992, Generalized Linear Models , London: Chapman and Hall, 3 th Edition.