Jurnal PHENOMENON , Volume 2 Nomor 1, Juli 2012

## PENENTUAN STANDARD SETTING MATA
PELAJARAN KIMIA DENGAN METODE ANGOFF ,

## IRT (ITEM RESPONSE THEORY) , DAN

## Suwahono
Mahasiswa Pascasarjana S3 PEP Universitas Negeri Yogyakarta
Abstrak
Pada  metode diatas, butir-butir tes ditentukan tingkat kesulitannya, ke- mudian butir-butir tersebut diurutkan berdasarkan tingkat kesulitannya  yang  selanjutnya  menjadi  nomor  halaman. Pelaksanaan metode ini melibatkan guru kimia berpengala- man sebagai panelis yang menentukan pada halaman bera- pa peserta mulai tidak bisa mengerjakan, dan memerlukan suatu  tes/perangkat  ujian  mata  pelajaran  kimia  yang  ter- standar, dan instrumen sederhana untuk menuliskan hasil tiap  panelis.  Tahap  pelaksanaan  yaitu  pelatihan,  putaran 1, dan putaran 2. Rerata hasil putaran 1 dan 2 merupakan hasil penentuan batas kelulusan mata pelajaran kimia
Jurnal PHENOMENON , Volume 2 Nomor 1, Juli 2012
pada tahun 2009/2010 dan 2010/2011 batas lulus berturut-turut dinaikkan menjadi 4,25 dan 4,26.
61 Jurnal PHENOMENON , Volume 2 Nomor 1, Juli 2012
Langkah-langkah Penentuan Cut Score
1.    Langkah-langkah  Metode  Angoff  untuk  menentukan  cut score
a.    Instrumen diberikan kepada beberapa ahli sebagai rater
b.   Kemudian    rater    memperkirakan    proporsi    sampel minimal  calon  yang  menjawab  setiap  item  dalam  tes dengan benar.
Jurnal PHENOMENON , Volume 2 Nomor 1, Juli 2012 61
c.    Kemudian   ditabulasi   jumlah   cek   pada   tabel   kolom (Mudah dan Sulit),
d.   Mereka memberi cek pada item yang sulit
e.    Jika pada sebuah item tidak ada cek dianggap kategori item mudah, jika ada kategori sulit
f.    Menghitung   perbandingan   banyak   item   sulit   dan banyak item semuanya (item  mudah dan sulit)  nilai ini merupakan cut off
2.    Langkah-langkah   Metode   IRT   untuk   menentukan   cut score:
a.    Instrumen di diberikan pada peserta (examinee)
b.   Hasil kerja peserta dianalisis dengan metode IRT
c.    Indeks  kesulitan  item  yang  akhir  kalibrasi  digunakan untuk mengidentikasi item yang sulit dan mudah.
d.   Item mudah memiliki indeks kesulitan negatif,
e.    Item sulit memiliki indeks kesulitan bukan negatif (dapat nol atau positif)
f.    Menghitung   perbandingan   banyak   item   sulit   dan banyak item semuanya (item mudah dan sulit) nilai ini merupakan cut off
3.
a.    Mengkonversi  skor   awal  (x)  menjadi  skor   akhir  (y) dengan fungsi splines Hermit kubik
b.   Splines   menghasilkan  hasil   titik-titik   yang   melewati semua poin (x i ,y i ), mengecek perubahan kemiringan garis singgung, di mana i=1, ..., n, n adalah jumlah poin yang dimasukkan ke dalam prosedur (n =6) dengan langkah:
1)   Lereng  garis  menghubungkan  dua  poin  berturut- turut dihitung sebagai:
62 Jurnal PHENOMENON , Volume 2 Nomor 1, Juli 2012
2) m garis singgung awal pada setiap titik data adalah:
3)   Ketika untuk    k=1,    2,...,    n-1,    maka diatur  ke  nol  untuk  membuat  spline datar   dalam   rangka   melestarikan   kemonotonan dari fungsi. Langkah 4) dan 5) untuk k mereka akan dilewati. 4)   Masukkan dan ,  jika  α  atau  β
adalah nol  (Yaitu input data titik-titik tersebut tidak monoton), kemudian m k dan m k+1 ditetapkan menjadi nol untuk memastikan bahwa kurva monoton masih bisa dihasilkan.
5)   Dalam rangka mencapai kemonotonan dari Spline

## kemudian mengatur
Jurnal PHENOMENON , Volume 2 Nomor 1, Juli 2012 63

## Suwahono

## Hasil
1.    Contoh Hasil Cut Score dengan Angoff
Berdasarkan  hasil  judgment  rater  dinyatakan  dalam Tabel 1.
Tabel 1.  Hasil judgment rater item instrumen
Komponen Tes Kimia Mudah Sulit Stokiometri 6 6 Ikatan Kimia 6 4 Kimia Hidrokarbon 5 7 Sistem periodik unsur 4 2 Selanjutnya dihitung cut scorenya seperti dinyatakan
Tabel 2.

## Tabel 2. Cut score berdasarkan judgmet rater
Komponen Tes Kimia Mudah Sulit Cut Score Stokiometri 6 6 6/12 Ikatan Kimia 6 4 4/10 Kimia Hidrokarbon 5 7 7/12 Sistem periodik unsur 4 2 2/6 Total 21 19 19/40
64 Jurnal PHENOMENON , Volume 2 Nomor 1, Juli 2012

## 2.    Contoh Hasil Cut Score dengan IRT
Dari  hasil  analisis  dengan  IRT,  misalnya  BILOG,  di- hasilkan item sulit dan mudah sebagai berikut:

## Tabel 3. Hasil analisis dengan IRT item sulit dan mudah
Komponen Tes Kimia Mudah Sulit Stokiometri 6 6 Ikatan Kimia 6 4 Kimia Hidrokarbon 5 7 Sistem periodik unsur 3 3
Selanjutnya dihitung cut score dinyatakan yang dinyatakan pada Tabel 4.

## Tabel 4. Cut score berdasarkan analisis IRT
Komponen Tes Kimia Mudah Sulit Cut Score Stokiometri 6 6 6/12 Ikatan Kimia 6 4 4/10 Kimia Hidrokarbon 5 7 7/12 Sistem periodik unsur 3 3 3/6 Total 20 20 20/40 3.    Contoh Hasil Cut score dengan Splines
Dengan skor awal skala yang ada (240-650) ke skor akhir dengan skala baru (50-100) dengan menggunakan fungsi ku- bik spline Hermite untuk mengembangkan konversi. Hasil- nya diperoleh grfaik seperti Gambar  dengan cut core, yakni: F (240,50), D (390,60), C (402,70), B (421,80), dan A (445, 90).
Jurnal PHENOMENON , Volume 2 Nomor 1, Juli 2012 65

## Gambar 2.  Splines Fungsi kubik Hermite

## PEMBAHASAN
Cut  Score  yang  ditentukan  dengan  menggunakan  metode Angoff dan metode IRT hampir sama hasilnya, bahkan dapat di- katakan tidak  berbeda. Hal  ini  seperti  dinyatakan bahwa  tidak ada perbedaan yang signikan ditampilkan dalam analisis chi- kuadrat antara skor cut off Angoff dan skor cut off IRT (Niclie L. Tiratira,). Untuk mendapatkan cut score metode Angoff lebih sederhana  karena  tidak  perlu  software  sehingga  segera  dapat diketahui, sementara dengan IRT diperlukan software dan yang jelas setelh ada hasil dari responden. Karena dengan hasil yang diperoleh akhirnya sama, maka metode Angoff lebih efektif dari pada metode IRT.
66 Jurnal PHENOMENON , Volume 2 Nomor 1, Juli 2012
Jurnal PHENOMENON , Volume 2 Nomor 1, Juli 2012
Penentuan  Cut  score  dengan  splines  memiliki  beberapa keunggulan, antara lain:
1.    transformasi  hampir  linear  untuk  kira-kira  setengah  siswa di  pusat  daerah  masing-masing  distribusi  (mudah  dicatat dalam grak untuk semua kelas konten- kombinasi).
2.    perbedaan  harus  dibuat  paling  hati-hati  (Lebar  bersyarat standar-kesalahan band terkait dengan nilai ekstrim dengan demikian  akan  agak  berkurang,  yang  mungkin  membuat penggunaan mereka lebih menarik
3.      Skore  mudah  diterjemahkan  ke  dalam  nilai  huruf  (tingkat prestasi)  yang  memiliki makna  dalam  hal  keputusan  lulus atau tingkat yang sebanding kinerja.
Jurnal PHENOMENON , Volume 2 Nomor 1, Juli 2012 67
dan transparan
cut  score  moderat
score F, D, C,
B, dan A sebagai mana nilai di perguruan tinggi.
68 Jurnal PHENOMENON , Volume 2 Nomor 1, Juli 2012
Jurnal PHENOMENON , Volume 2 Nomor 1, Juli 2012

## DAFTAR PUSTAKA
Gary  Skaggs,  Serge  F.  Hein,  and  Risper  Awuor.  2007.
Passing  Scores  on  Passage-BasedTests:  A  Comparison  of  Tra- ditional and Single-Passage Bookmark Methods. Journal of AP- PLIED MEASUREMENT IN EDUCATION, 20 (4), 405–426 Copyright © 2007, Lawrence Erlbaum Associates, Inc.
Jurnal PHENOMENON , Volume 2 Nomor 1, Juli 2012 69
.
70 Jurnal PHENOMENON , Volume 2 Nomor 1, Juli 2012
Kurt  F.  Geisinger  and  Carina  M.  McCormick Cut  Scores:  Post-Standard-Setting  Panel  Considerations for  Decision  Makers. Educational  Measurement:  Issues  and Practice Spring 2010, Vol. 29, No. 1, pp. 38–44
Niclie L. Tiratira. 2009. Scores: The Basic Angoff Method And the Item Response Theory Method .The  International  Journal of  Educational  and  Psychological  Assessment April 2009, Vol. 1, Issue 1, pp. 27-35
Paul  Nichols,  Pearson,  Jon  Twing,  Pearson,  Canda  D.  Muel- ler.2010.  Standard-Setting  Methods  as  Measurement  Pro- cesses. Educational Measurement: Issues and Practice Spring 2010, Vol. 29, No. 1, pp. 14–24
Robert G. MacCann and Gordon Stanley. 2006. The Use of Rasch Modeling To Improve Standard Setting . Practical Assessment Research & Evaluation Volume 11 Number 2, January 2006 ISSN 1531-7714
Schafer and Xiaodong Hou. 2011. Score Reporting Referenced to Doubly-Moderated Cut Scores Using Splines . Practical As- sessment  Research  &  Evaluation  Volume  16,  Number  13, October 2011 ISSN 1531-7714