Nusantari – Meningkatkan Estimasi Reliabilitas Instrumen …

## MENINGKATKAN ESTIMASI RELIABILITAS INSTRUMEN PILIHAN GANDA DENGAN MEMPERHATIKAN PROBABILITAS

## GUESSING

## DIAH OGA NUSANTARI
Program Studi Pendidikan Matematika, Fakultas Teknik, Matematika dan IPA Universitas Indraprasta PGRI
Abstrak. Koefisien  reliabilitas  adalah  angka  yang  menunjukkan  kestabilan  dalam mengukur kemampuan siswa. Semakin tinggi angka hasil estimasi perhitungan koefisien reliabilitas instrumen menandakan semakin tinggi pula kepercayaan hasil tes siswa yang diukur  dengan  menggunakan  instrumen  tersebut.  Derajat  kepercayaan  atas  kehandalan sebuahinstrumen dinyatakan dalam bentuk koefisien reliabilitas. Pada soal pilihan ganda, formulaestimasi  koefisien  reliabilitas  yang  biasa  digunakan  adalah  formula  KR-20. Dengan  menggunakan  KR  20,  estimasi  reliabilitas  dihitung  berdasarkan  jumlah  skor siswa  yang  menjawab  benar  atau  metoda correct  score. Penelitian  ini  bertujuan memberikan  alternatif  formula  estimasi  reliabilitas  dari  penskoran correct  score ,  selain menggunkan  KR-20,  yaitu  dengan  estimasi  reliabilitas  yang  mempertimbangkan probabilitas guessing .  Dengan  mempertimbangkan  faktor guessing maka  koefisien reliabilitas insturmen akan meningkat.
Kata kunci: Instrumen, pilihan ganda, Reliabilitas, probabilitasGuessing
Abstract. Reliability  coeficient  is  a  number  which  refer  to  stability  result  of  an instrument measurement. The higher coeficient of reliability, the hingher trusted result of the  instrumen  will  be.  The  degree  of  confidence  of  an  intsrument,  is  expressed  by reliability  coefisient.  For  multiple  choice  instrument,  estimation  of  reliability  mostly calculated  by  KR-20.  KR  20  formula  calculate  estimation  of  reliability  instrumen  by using  correct  score  method.  This  study  aims  to  comphere  estimation  of  reliability coefficient by using KR-20 formula and by considering guessing probability. Hopely by considering guessing factor, estimation of reliability coefficient will increased
Key words: Instrument, Multiple choice, Reliability, Guessing probability

## PENDAHULUAN
Instrumen  adalah  alat  ukur  yang  digunakan  untuk  mengukur  dalam  rangka pengumpulan  data.  Dalam  pendidikan,  instrumen  alat  ukur  yang  digunakan  untuk mengumpulkan data dapat berupa tes atau nontes. Tes merupakan alat ukur pengumpulan data  yang  mendorong  peserta  memberikan  penampilan  maksimal  (Djaali  dan  Muljono, 2008:  59).Sukardi  berpendapat  bahwa  tes  adalah  prosedur  sistematis  guna membandingkan perilaku dua orang siswa atau lebih dengan menggunakan sekumpulan item  (Sukardi,  2009:  27). Menurut  Dali  S.  Naga,  Sampel  tingkah  laku juga  diukur  oleh keberhasilan  belajar  atau  kompetensi.  Sampel  yang  terukur  berfungsi  sebagai  hasil pengukuran suatu tes (Naga, 1992: 3). Hal ini berarti suatu tes disusun, dilaksanakan, dan dipakai  untuk  memberikan  skor  kepada  seseorang  berdasarkan  aturan-aturan  yang  telah ditetapkan  sebelum  tes  dilaksanakan.  Butir-butir  tes  dipilih  secara  sistematis,  dan diberikan kepada semua siswa sebagai peserta tes dalam bentuk, situasi, dan kondisi yang sama.
Salah satu bentuk tes yang digunakan untuk mengukur kemampuan siswa adalah bentuk tes pilihan ganda. Tes pilihan ganda disebut juga multiple respon atau pengenalan
Nusantari – Meningkatkan Estimasi Reliabilitas Instrumen …
kembali ( recognition test ), dimana dalam soal ini tersedia beberapa jawaban, tetapi hanya satu  jawaban  yang  benar  (  Stamboel,  1991:  39).  Tes  pilihan  ganda  merupakan  jenis  tes yang  paling  fleksibel,  karena  banyak  dipakai  untuk  menilai  pencapaian  tujuan pendidikan.  Menurut  Sukardi,  tes  ini  dapat  mengukur  pengetahuan  yang  luas  dengan tingkat domain yang bervariasi, tes pilihan ganda mempunyai semua persyaratan sebagai tes yang baik, yakni dilihat dari segi obyektifitas, reliabilitas dan daya beda antara siswa yang  berhasil  dengan  siswa  yang  gagal  atau  bodoh  (Sukardi,  2009:  125).  Pilihan  ganda juga  sering  digunakan  untuk  pengukuran  kemampuan  jika  peserta  tes  berjumlah  besar, karena  pilihan  ganda  memiliki  keunggulan  mudah  dalam  pengkoreksian  hasil  tes.  Akan tetapi suatu bentuk testidaklah lebih baik dari bentuk tes yang lainnya, hal tersebut dapat dipahami karena masing-masing bentuk tes memiliki beberapa kelebihan dan kelemahan. Soal berbentuk pilihan ganda memilikisalah satu kelemahan yaitu sangat sensitif terhadap menerka  atau  perilaku  menebak  (Surapranata,  2005:  178-179). Guessing atau  menebak terjadi  karena  kurangnya  kemampuan  atau  pengetahuan  siswa  atas  materi  yang ditanyakan  karena  kurang  belajar  atau  kurang  penguasaan  materi.Karena  itu  salah  satu faktor yang harus dipertimbangkan dalam pengukuran maximum performance dengan tes pilihan  ganda  adalah  perilaku guessing. Perilaku guessing akan  berkontribusi  terhadap varians  kesalahan pengukuran  dan  mengurangi  reliabilitas tes  (Nunnally  dalam  Kusaeri, 2012: 209).
Pada  pengukuran  menggunakan  formula  KR-20  penskoran  yang  digunakan adalah  penskoran corret  score ,  yaitu  penskoran  yang  hanya  berdasarkan  jumlah  butir yang  dijawab  benar  tanpa  memperhatikan  faktor  kelemahan  pilihan  ganda.Tebakan ( Guessing )  merupakankondisi  yang  tidakwajarberkenaandengankemampuanpesertates.
Karena  tebakan  bersumber  dari  peserta  tes.Alat  ukur  tes  yang  penyekorannya  hanya menghitung  respon  betul  (model correct  skor )  dimungkinkan  memberikan  peluang kepada peserta tes untuk melakukan tebakan pada butir-butir tesnya.
Didefinisikan  oleh  Gulliksen  (dalam  Zimmerman,  2009)  bahwa  reliabilitas merupakan  perbandingan  antara  varians  skor  sebenarnya  ( 𝜎 𝑇 2 )  dengan  varians  skor teramati ( (𝜎 𝑋 2 ). Selanjutnya dengan banyak memanipulasi formula Guliksen tersebut dan memanfaatkan  persamaan  yang  diberikan  oleh  Hopkin  dan  Antes  akan  dilakukan penurunan  rumus  sehingga  diperoleh  formula  reliabilitas  yang  dipengaruhi  probabilitas guessing . Dengan demikian formula koefisien reliabilitas KR-20 dan koefisien reliabilitas yang  dipengaruhi  probabilitas guessing diturunkan  dari  definisi  perbandingan  antara variansi skor sebenarnya dengan skor amatan atau
2 2 2 1 A T A A     …………………………………………………(1)
Jika  suatu  alat  ukur  dan  setiap  butirnya  dianggap  pilahan-pilahan  yang  setara sebanyak L pilahan dan ada responden sejumlah g , maka:
1 1 1 g g g K T A   2 2 2 g g g K T A    gt gt gt K T
A  
Korelasidiantaraduapilahanberurutanterjadi antara pilahan
1 A dan 2
A 2 A dan 3 A 
1  L A dan L A Atau pada umumnyadiantarapilahan r A dan s A Dengan  r= 1, 2, 3,…, L-1 s= 2, 3, …,L karena semua pilahan adalah setara dan memiliki variansi yang sama, maka 2 2 2 2 1 ... TL T T       2 2 2 2 1 ... AL A A       1  TrTs  Dan dari (1.12) diketahui 2 2 A T AA     Diperoleh 2 2 2 2 As Ts Ar Tr ArAs        Sehingga 2 2 Ar ArAs Tr     ………………………………………(1.13)
Perhatikan 2 T    2 2 1 2 ... TL T T T         TrTs s r TL T T            2 2 2 2 1 ... Ts Tr TrTs s r Tr L         2 Ts Tr s r Tr L        2
Untuk r= 1, 2, 3,…, L-1 dan s= 2, 3, …,L maka
  2 2 2 1 Tr Tr T L L L       2 2 2 2 TY Tr Tr L L L       2 2 Tr L   Dari persamaan (1.13) maka 2 2 Ar ArAs L    Selanjutnya perhatikan 2 A    2 2 1 2 ... AL A A A         ArAs s r AL A A            2 2 2 2 1 ... As As ArAs s r Ar L         2   2 2 1 Ar ArAs Ar L L L           ArAs Ar L L   1 1 2   
Sehingga dari
2 2 A T AA    
    ArAs Ar Ar ArAs L L L     1 1 2 2 2      ArAs ArAs L L   1 1    Selanjutnya kembali ke rumus 2 A  dengan mensubstitusikan 2 2
Ar Ar L     diperoleh   2 2 2 1 Ar ArAs Ar A L L L          2 2 1 Ar ArAs Ar L           2 2 2 1 Ar ArAs Ar A L         
Sehingga koefisien korelasi setiap pasangan pilahan menjadi
  2 2 2 1 Ar Ar A ArAs L         
Karena  ada L katakanlah  pilahan  setara  dengan  variansi  yang  sama  maka  koefisien reliabilitas seluruh skor adalah
  1 1    ArAs ArAs AA L L      ArAs ArAS ArAs ArAs L L        1   ArAs ArAs ArAs L L       2 2 1   ArAs L L  1 1    Dengan substitusi ArAs  maka     2 2 2 1 1 Ar A Ar AA L L L            2 2 2 1 1 Ar A Ar L L          2 2 2 2 2 1 1 Ar A Ar Ar A L L               2 2 2 1 A Ar A L L        
Jika setiap pilahan berisikan satu butir soal saja yakni butir ke-I sehingga variansi
2 2 i Ar   
dan  selanjutnnya  alat  ukur  mengandung N butir  sehingga  jumlah  pilahan  sama  dengan jumlah butir
N L 
Dengan  demikian  semua  butir  adalah  setara  dan  reliabilitas  dikenal  dengan  Alpha Cronbach menjadi 2 2 2 1 A Ar A AA N N         
Dalam hal skor dikotomi maka variansi butir dapat disederhanakan menjadi
i i i q p  2  atau i i i q p    2 
Dengan  ketentuan  bahwa  semua  butir  adalah  setara  maka  diperoleh  formula  reliabilitas Kuder-Richardson 20
                   2 2 20 1 A i i A KR q p N N    Dimana 20  KR  = reliabilitas KR 20
N = Jumlah butir 2 A  =
Varians skor total
i p = Proporsi yang benar pada item ke- i i q =
Proporsi yang salah pada item ke- i
Kajian tentang tebakan buta yang bersumber dari peserta tes pada butir-butir tes objektif,  khususnya  bentuk  pilihan  ganda,  berkenaan  dengan  pengaruhnya  pada pelaksanaan pengukuran (Plake dan Melican, 1985: 3). Tebakan dalam hal ini merupakan faktor utama dalam penentuan skor peserta tes untuk tes objektif (Mehrens dan Lehmann, 1987: 142) Manakala peserta tes merespon butir-butir tes objektif pilihan ganda, ia akan melakukan tebakan buta dengan probabilitas untuk memperoleh respon betul sebesar K 1 dengan K sebagai ukuran opsi/pilihan (Fray, 1980: 80).
Dengan demikian dari uraian di sebelumnya, bahwa probabilitas guessing adalah peluang  menebak  benar  pada  tes  objektif  yang  dilakukan  oleh  peserta  tes  yang  tidak memiliki  kemampuan  apapun  tentang  jawaban/respon  yang  betul,  dimana  proses menebaknya dilakukan secara acak. Jika banyaknya ukuran pilihan/opsi adalah K ,  maka peserta tes akan melakukan tebakan dengan probabilitas untuk memperoleh respon betul sebesar K 1 ,  dengan  demikian  jika  ukuran  pilihannya  3  opsi  maka  probabilitas guessing nya 0.33 dan jika ukuran pilihannya 4 opsi maka probabilitas guessing nya 0.25. Dengan  demikian  dapat  disimpulkan  bahwa  probabilitas guessing adalah  peluang menebak  benar  pada  tes  objektif  yang  dilakukan  oleh  peserta  tes  yang  tidak  memiliki kemampuan  apapun  tentang  jawaban/respon  yang  betul,  dimana  proses  menebaknya dilakukan secara acak.
Pengertian reliabilitas sendiri menurut teori klasik adalah sejauh mana hasil dari suatu  pengukuran  dapat  dipercaya.  Implikasi  hasil  pengukuran  dapat  dipercaya  apabila dalam  beberapa  kali  pelaksanaan  pengukuran  terhadap  kelompok  subjek  yang  sama
Nusantari – Meningkatkan Estimasi Reliabilitas Instrumen …
diperoleh hasil yang relatif sama, selama aspek dari subjek yang diukur  memang belum berubah.  Pengertian relatif  sama  menunjukkan  bahwa  ada toleransi  terhadap perbedaan- perbedaan  kecil  di  antara  hasil  skor  beberapa  kali  pengukuran.  Pengertian  reliabilitas menurut  Gulliksen  dalam  Zimmerman  merupakan  perbandingan  antara  varians  skor sebenarnya (𝜎 𝑇 2 )  dengan  varians  skor teramati (𝜎 𝑋 2 ) (Gulliksen  dan  William,  2003: 366-
368). Atau 2 2 2 1 A T A A     …………………………………………………(1.12)
Bila  dinyatakan  dalam  bentuk  persamaan,  maka  akan  bentuk  berikut  seperti  dalam persamaan
2 2 Ar ArAs Tr  
  ...............................................(2.1)
Dari  beberapa  pengertian  reliabilitas  yang  dikemukakan  oleh  para  ahli, selanjutnya  akan  difokuskan  pada  pengertian  reliabilitas  menurut  Gulliksen,  untuk  itu pada penurunan rumus reliabilitas ini dilakukan dengan memanipulasi formula Gulliksen di atas dengan memanfaatkan persamaan yang diberikan Hopkin dan Antes. Hopkin dan Antes  dalam  Kusaeri  menjelaskan  bahwa  di  dalam  skor  tes  terdapat  komponen  skor sebenarnya dan kekeliruan/kesalahan (Kusaeri, 2012: 210). Hubungan di antara ketiganya dinyatakan melalui persamaan matematika, sebagai berikut:
E T X   .........................................................................(2.2)
Dimana  X  sebagai  skor  teramati  ( observed  score ), T sebagai  skor  sebenarnya ( true  score )  dan E sebagai  kekeliruan  ( error ).  Ini  berarti  skor  teramati  dari  peserta  tes merupakan  hasil  pengukuranan  skor  sebenarnya  dengan  kekeliruan.  Jika  diasumsikan kekeliruan  adalah  nol  berarti  rata-rata  skor  yang  diperoleh  sama  dengan  rata-rata  skor sebenarnya.  Bila  kesalahan  (error, E )  dipartisi  menjadi  kesalahan  yang  disumbangkan oleh guessing ( E 1 ) dan kesalahan karena sumber-sumber lain ( E 2 ) maka
2 1 E E E   Sehingga skor teramati menjadi 2 1 E E T
X    ................................................................(2.3)
Dengan demikian untuk peserta tes individu ke-i diperoleh skor teramati
i i i i E E T X 2 1    ............................................................(2.4)
Dari rumus (2.2), diperoleh persamaa kesalahan ( error ), yaitu
i i i i T X E E    2 1
Ekspektasi kesalahan (harapan) dari kesalahan
    0 2 1     i i i i T X E E E E   0    i i T X E ...............................................(2.5) Sehingga   0   i i T X E
Atau   i i T X E  .........................................................................(2.6)
Dari  persamaan  (1.2) i T =  adalah  banyaknya  item  yang  pasti  benarditambah  harapan banyaknya item yang benar hasil tebakan.
Misalkan K i adalah banyaknya item yang pasti benar untuk individu ke-i,
Maka  akan  ada   i K N  item  yang  ditebak,  dengan  probabilitas  melakukan  tebakan adalah  p  maka  banyaknya  item  yang  benar  hasil  tebakan  akan  berdistribusi  binomial   p K N B i , 
Nusantari – Meningkatkan Estimasi Reliabilitas Instrumen …
harapan  banyaknya  item  benar  hasil  tebakan  adalah  sama  dengan  rata-rata  distribusi binomial tersebut yaitu
  i K N p    ....................................................................(2.7) dari persamaa (2.6) dan (2.7) diperoleh
    i i i i K N p K T X E     .............................................(2.8) Berhubungan dengan varians maka
    E T Var X Var   Karena T dan E kejadian yang saling bebas maka       E Var T Var X
Var   Atau 2 2 2 E T X     ………………………………………………..(2.9)
Diketahui bahwa
2 1 E E E   Maka     2 1 E E Var E
Var         2 1 2 1 , 2 E E Cov E Var E Var    Atau   2 1 2 2 2 1 2 , 2 E E Cov E E E      ………………………..(2.10)
Dari persamaan (2.9) dan (2.10)   2 1 2 2 2 1 2 2 , 2 E E Cov E E T X      

## 
Jika  dikembalikan  kepada  pengertian  reliabilitas  menurut  Gulliksen  yaitu  bahwa reliabiltias  adalah  perbandingan  dari  skor  sebenarnya  (skor  tulen)  dengan  skor  amatan atau
𝜌 𝑋𝑋 = 𝜎 𝑇 2 𝜎 𝑋 2
maka
  2 1 2 2 2 1 2 2 , 2 E E Cov E E T T XX       
 
…......................(2.11)
Variansi  kesalahan  peserta  tes  yang  disumbangkan  oleh guessing adalah  variansi  dari distribusi Binomial   p K N B i ,  yaitu:    i Ei K N p p    1 ( 2  .................................................(2.12) Perhatikan kembali persamaan (2.8)     i i i i K N p K T X E       i i K p pN T    1 Sehingga varians dari T adalah       K p pN Var T Var    1     K p Var   1   2 2 2 1 K T p 
   ………………………………..(2.13)
Variansi skor kesalahan total terkait dengan guessing adalah: Perhatikan kembali persamaan (2.12)
   i Ei K N p p    1 ( 2 
Harapan variansi skor kesalahan total terkait guessing adalah:
       i Ei K N p p E
E    1 2        i K E N p p    1 (
Sehingga    K Ei N p p      1 ( 2 ………………………..(2.14) Dengan  asumsi  bahwa   0 , 2 1  E E Cov maka  dari  persamaan  (2.11)  dengan disubstitusikan persamaan (2.13) dan (2.14) diperoleh
       2 2 2 2 2 2 1 1 1 E K K K XX N p p p p            
Dengan asumsi bahwa kesalahan yang disebabkan faktor lain adalah nol maka
0 2 2  E 
Dengan  demikian  diperoleh  formula  estimasi  koefisien  reliabilitas  yang  dipengaruhi probabilitas guessing , yaitu:
       K K K XX N p p p p           1 1 1 2 2 2 2
……………………(2.15)
Sebagai  ilustrasi  untuk  memperlihatkan  meningkatnyahasil  perhitungan  estimasi reliabilitas  yang  memperhitungkan  probabilitas guessing dibandingkan  dengan  KR-20 berikut ini digunakan data nilai Ujian Nasional (UN) mata pelajaran matematika kelas IX pada  soal  paket  D.  Skor  yang  diperoleh  pada  data  ini  adalah  menggunakan  metoda correct  score. Darihasil  10  kali  replikasi  dengan  jumlah  responden  100  untuk  setiap replikasi maka diperoleh data sebagai berikut:
Tabel 1. Data Replikasi Dipengaruhi Prob Guessing KR-20 1 0.9137 0.8680 2 0.9227 0.8641 3 0.9202 0.8553 4 0.9306 0.8383 5 0.9177 0.8589 6 0.9076 0.8179 7 0.9144 0.8097 8 0.9027 0.7949 9 0.9220 0.8663 10 0.9015 0.8276 Jumlah 9,1532 8,402 Mean 0,9153 0,8402 Median 0,9161 0,8468 SD 0,0093 0,0263 Var 0,0001 0,0007 Max 0,9306 0,8680 Min 0,9015 0,7949 Skewness -0,2401 -0,7609
Nusantari – Meningkatkan Estimasi Reliabilitas Instrumen …
Setelah  data  dianggap  memenuhi  uji  persyaratan  analisis  yaitu  uji  kenormalan  data dengan  uji  Liliefors  dan  uji  homogenitas  varians  dengan  Bartlet,  selanjutnya  dilakukan analisis uji kesamaan rata-rata dengan uji t.
Hipotesis  yang  akan  diuji  adalah  untuk  mengetahui:  Perbedaan  reliabilitas  yang dipengaruhi probabilitas guessing dan reliabilitas KR-20.
Tabel 2. Hasil Perhitungan Statistik Uji t Pada 05 . 0   Dan 01 . 0  
Uji Perbedaan Rata-rata t hitung t tabel  =0,01 t tabel  =0,05 Reliabilitas yang dipengaruhi probabilitas guessing dan KR- 20 8,5151 2,88 2,10
Hasil  analisa  data  dengan  menggunakan  menggunakan  uji  t  pada  taraf  signifikansi
01 , 0   ,  didapat  nilai hitung t =  8,5151  berada  di  luar tabel t (t (0,01,1,18) )  =  (  )2,88  dan (t (0,05,1,18) ) = (  ) 2,10 maka H o ditolak, sebagai konsekuensinya maka H 1 diterima, artinya terbukti  bahwa  rata-rata  reliabilitas  yang  dipengaruhi  probabilitas guessing lebih  besar dari  reliabilitas  KR-20.  nilai  rata-rata  reliabilitas  yang  dipengaruhi  probabilitas guessing sebesar 0,9153 lebih tinggi dari nilai rata-rata reliabilitas KR-20 sebesar 0,8401. Dengan  demikian  dapat  disimpulkan  bahwa  reliabilitas  yang  dipengaruhi  probabilitas guessing lebih tinggi dari reliabilitas KR-20.

## PENUTUP Simpulan
Perhitungan  estimasi  reliabilitas  instrumen  dengan  memperhitungkan  reliabilitas guessing dapat  meningkatkan  kehandalan  sebuah  instrumen.  Melalui  formula  yang disajikan  dalam  penelitian  ini  maka  estimasi  reliabillitas  sebuah  instrumen  yang memperhitungkan  probabilitas guessing tetap  dapat  dilakukan  meskipun  penskorannya menggunakan metoda correct score .
Melalui  ilustrasi  perhitungan  dalam  penelitian  ini  diketahui  bahwa  hasil  estimasi reliabilitas  instrumen  pilihan  ganda  dengan  memperhatikan  faktor  probabilitas guessing pada  jawaban  soal  UN  mata  pelajaran  matematika  maka  diperoleh  bahwa perhitungan  estimasi  reliabilitas  instrumen  yang  memperhitungan  probabilitas  guessing memiliki  angka  estimasi  7,5%  lebih  tinggi  lebih  jika  dibandingkan  estimasi  dengan formula KR-20

## Saran
Semakin  tingginya  kualitas  hasil  pendidikan  maka  diperlukan  instrumen  pengukuran kemampuan  siswa  yang  juga  lebih  berkualitas.  Analisis  atas  instrumen  sebaiknya dilakukan dengan tidak hanya mengacu kepada pedoman yang sudah lama berlaku tetapi ada  baiknya  dikembangkan  dengan  metoda-metoda  lain  yang  dapat  lebih  meningkatkan kualitas  instrumen.  Kelemahan  bentuk  soal  tidak  hanya  berpengaruh  kepada  reliabilitas tetapi juga kepada validitas setiap butir soal. Sebaiknya juga dilakukan penelitian tentang efek dari kelemahan butir soal terhadap validitas butir soal.

## DAFTAR PUSTAKA
Djaali  dan  Puji  Muljono.  2008. Pengukuran  dalam  Bidang  Pendidikan .  Jakarta:  PT Grasindo. Ebel,  Robert  L.  1986. Essentials  of  Educational  Measurement .  New Jersey:  Prentice- Hall Inc.
Kusaeri. Probabilitas Guessing dan Pengaruhnya Terhadap Reliabilitas Tes Pilihan Ganda .  http:  //jurnal.pdii.lipi.go.id/admin/jurnal/8209208222.pdf,  diakses. (tanggal 17 Desember 2010).
Mehrens,  William  A.,  dan  Irvin  J.  Lehmann.  1987. Using  Standardized  Test  in Education . New York: Longman Inc. Naga,  Dali  S.  1992. Pengantar  Teori  Skor  pada  Pengukuran  Pendidikan .  Jakarta: Gunadarma.
Naga, Dali S. 2009. Bahan Perkuliahan Teori Tes . Jakarta: Pasca Sarjana UNJ. Plake,  Barbara  S.,  dan  Gerald  J.  Melican.  1985. Prediction  of  Item  Performance  by Expert  Judges:  A  Methodology  for  Examining  the  Impact  of  Correction for  Guessing  Instructions  on  Test  Taking  Behavior .  Research  Report,  ED 298-171  (National  Institute  of  Education,  US  Departement  of  Education: Educational Resources Information Center (ERIC).
Stamboel,  Conny  S.  1991. Prinsip  dan  Teknik  Pengukuran  dan  Penilaian  Didalam Dunia Pendidikan . Jakarta: Mutiara Sumber Widya. Sukardi.  2009. Evaluasi  Pendidikan  Prinsip  dan  Operasionalnya .  Yogyakarta:  Bumi Aksara.
Surapranata,  Sumarna.  2005. Panduan  Penulisan  Tes  Tertulis,  Implementasi Kurikulum 2004 . Bandung: PT Remaja Rosdakarya. Zimmerman, Donald W., dan Richard H. Williams. 2003. A new look at the influence of guessing  on  the  reliability  of  multiple-choice  tests . Journal  Applied Psychological Measurement , Vol. 27 No. 5, September 2003, pp. 366-368.