Contents list available at Directory of Open Access Journals (DOAJ)

## Al-Ishlah: Jurnal Pendidikan
ISSN: 2087-9490 (Printed); 2597-940X (Online) Journal Homepage: http://www.journal.staihubbulwathan.id/index.php/alishlah

## Evaluating Cognitive Level of Final Semester Examination Questions Based on Bloom’s Revised Taxonomy
Pirman  Ginting 1 ,  Yenni  Hasnah 2 ,  Selamat  Husni  Hasibuan 3 ,  Ismail  Hanif Batubara 4 DOI: 10.35445/alishlah.v13i1.385
Info Artikel Abstract
Keywords: Bloom’s revised taxonomy C ognitive level E xamination question Faculty courses
Kata kunci: Taksonomi Bloom revisi Tingkat kognitif Soal ujian Mata kuliah fakultas
This paper addresses the question of how cognitive levels covering high, middle, and low order thinking skills are delineated in the questions seen from Bloom’s revised taxonomic framework and stimulus. To answer this question, the final- term  examination  questions  from  five  faculty  courses  were  analyzed  through document analysis. The documented examination questions are categorized and reviewed based on cognitive levels referring to revised Bloom’s taxonomy. The questions are also construed based on the stimulus in each question. The results report  that  the  cognitive  level  of  tests  is  not  wholly  based  on  higher-order thinking skills. Of the five courses, only one follows the higher-order thinking skills-based question-writing system, and none of the items refers to middle- order thinking skills. Thus, the cognitive level on the test instruments has not led to an increase in thinking skills or is still at a low level of thinking.

## Abstrak
Penelitian ini membahas pertanyaan tentang bagaimana tingkat kognitif yang mencakup  keterampilan  berpikir  tingkat  tinggi,  menengah,  dan  rendah direfleksikan pada pertanyaan, yang dilihat dari kerangka taksonomi Bloom yang direvisi dan stimulus. Untuk menjawab pertanyaan ini, pertanyaan ujian akhir  semester  dari  lima  program  fakultas  dianalisis  melalui  metode penelitian  analisis  dokumen  (document  analysis  method).  Soal  ujian dikategorikan  dan  diresensi  berdasarkan  tingkat  kognitif  dengan  mengacu pada  taksonomi  Bloom  yang  direvisi.  Pertanyaan-pertanyaan  tersebut  juga ditafsirkan berdasarkan stimulus yang terdapat pada setiap pertanyaan. Hasil penelitian  menunjukkan  bahwa  tingkat  kognitif  tes  tidak  sepenuhnya didasarkan pada keterampilan berpikir tingkat tinggi. Dari lima mata kuliah, hanya  satu  yang  mengikuti  kaidah  penulisan  pertanyaan  berbasis keterampilan berpikir tingkat tinggi, dan tidak ada butir soal yang mengacu pada  keterampilan  berpikir  tingkat  menengah.  Dengan  demikian,  tingkat kognitif  pada  instrumen  tes  secara  keseluruhan  belum  mengarah  pada
1 Universitas Muhammadiyah Sumatera Utara, Medan, Indonesia Email: pirmanginting@umsu.ac.id
2 Universitas Muhammadiyah Sumatera Utara, Medan, Indonesia Email: yennihasnah@umsu.ac.id
3 Universitas Muhammadiyah Sumatera Utara, Medan, Indonesia Email: selamathusni@umsu.ac.id
4 Universitas Muhammadiyah Sumatera Utara, Medan, Indonesia Email: ismailhanif@umsu.ac.id
Evaluating Cognitive Level of Final Semester Examination Questions Based on Bloom’s Revised Taxonomy
peningkatan  kemampuan  berpikir  atau  masih  berada  pada  tingkat  berpikir rendah.

## PENDAHULUAN
Pendidikan di era revolusi industri 4.0 diharapkan dapat menghasilkan peserta didik dengan keterampilan  abad  21  yakni,  berpikir  kritis  (Critical  Thinking),  kreatif  (Creative),  komunikasi (Communication)  dan  kolaborasi  (Collaboration)  yang  dikenal  dengan  4Cs  (Risdianto,  2019). Peserta didik tidak hanya terampil dalam menjawab pertanyaan yang diberikan, tetapi juga harus memiliki  kemampuan  dalam  memecahkan  masalah,  kemampuan  berargumen,  dan  kemampuan mengambil  keputusan  serta  cakap  dalam  mengambil  keputusan.  Peserta  didik  diharapkan  dapat mengelola, mengolah dan merespon arus informasi dan pemutakhiran teknologi saat ini (Lutfianto & Sari, 2017). Dengan kata lain, peserta didik mampu mengkategorikan benda, membandingkan dan mengkonstruksikan  dengan  teori,  mempresentasikan  masalah  serta  mengaplikasikan  dalam kehidupan  yang  nyata  (Sa’idah,  Yulistianti  &  Megawati,  2019).  Oleh  karena  itu,  perlu  dilakukan usaha keras dalam merealisasikan tujuan tersebut.
Peningkatan kualitas pembelajaran berpikir kritis dapat dicapai melalui penerapan instrumen penilaian  yang  baik  (Jusrianto,  Zubair  &  Megawati,  2018).  Koksal  &  Ulum  (2018)  menyatakan bahwa penilaian merupakan salah satu bagian yang sangat diperlukan dalam proses pembelajaran dalam  rangka  mengukur  proses  pembelajaran  siswa.  Salah  satu  bentuk  pelaksanaan  evaluasi penilaian adalah ujian akhir semester yang bertujuan untuk mengetahui tingkat kemajuan belajar peserta didik dan merupakan proses penilaian hasil belajar yang dilaksanakan peserta didik pada akhir  semester  (Rohman,  2015  &  Kurniawan,  2019).  Ujian  Akhir  Semester  (UAS)  dilaksanakan setelah melakukan proses pembelajaran dalam kurun waktu tertentu sesuai dengan perencanaan yang  telah  disusun.  Oleh  karenanya,  soal  yang  diujikan  harus  merujuk  pada  materi  dan  capaian pembelajaran yang telah disusun.
Dalam  pembelajaran  abad  ke-21,  rancangan  penilaian  harus  disesuaikan  dengan  tingkat berpikir peserta didik sehingga evaluasi yang diterapkan dapat mencapai sasaran yang diinginkan. Instrumen penilaian (tes) yang dirancang hendaknya dapat merangsang dan melatih daya berfikir kritis peserta didik, yakni instrumen berbasis HOTS (High Order Thinking Skills). HOTS sebagai proses berpikir kritis dalam konteks pembelajaran adalah membentuk peserta didik yang mampu untuk berpikir logis (masuk akal), reflektif, dan mengambil keputusan secara mandiri. Soal HOTS mengukur  dimensi  metakognitif,  tidak  sekadar  mengukur  dimensi  faktual,  konseptual,  atau prosedural  saja.  Dimensi  metakognitif  menggambarkan  kemampuan  menghubungkan  beberapa konsep  yang  berbeda,  menginterpretasikan,  memecahkan  masalah  (problem  solving),  memilih strategi pemecahan masalah, menemukan  metode baru, berargumen (reasoning), dan mengambil keputusan yang tepat. Soal yang termasuk Higher Order Thinking memiliki ciri-ciri: (a) transfer satu konsep  ke  konsep  lainnya,  (b)  memproses  dan  menerapkan  informasi,  (c)  mencari  kaitan  dari berbagai informasi yang berbeda-beda, (d) menggunakan informasi untuk menyelesaikan masalah, dan (e) menelaah ide dan informasi secara kritis (Setiawati, dkk., 2019). Davoudi & Sadeghi, (2015) menegaskan  bahwa  penyajian  pertanyaan  yang  mengandung  High  Order  Thinking  Skills  mutlak diperlukan dalam mengembangkan kemampuan berpikir kritis peserta didik.  Lebih lanjut, Peterson &  Taylor  (2012)  mengemukakan  bahwa  pertanyaan  tingkat  tinggi  (higher  order  questioning) menuntut siswa untuk mampu berfikir lebih mendalam dan menguraikan tanggapan mereka secara lisan dan tertulis. Oleh sebab itu, dalam mendesain penilaian (evaluasi) perlu mempertimbangkan kebutuhan sehingga diperoleh hasil sesuai dengan capaian yang telah ditetapkan. Setiap jenis tes memiliki  karakteristik  tersendiri,  baik  dari  segi  bentuk  soal,  tingkat  kesukaran,  maupun  cara pengolahan dan pendekatannya (Mania, 2012).
Penyusunan instrumen tentunya membutuhkan keahlian agar dapat menghasilkan suatu alat instrumen  yang  baik.  Tidak  jarang,  dosen/guru  sering  kali  mengalami  tantangan  dalam  menulis
Pirman Ginting, Yenni Hasnah, Selamat Husni Hasibuan, Ismail Hanif Batubara
soal,  khususnya  dalam  menghasilkan  pertanyaan  yang  berkualitas  dan  sedang  (quality  and  fair questions)  untuk  mengukur  tingkat  berpikir  yang  berbeda  (Abduljabbar  &  Omar,  2015).  Soal penilaian  yang  dihasilkan  seringkali  belum  memenuhi  kriteria  yang  sesuai  dengan  tuntutan keterampilan pembelajaran abad 21, dimana tes yang dihasilkan harus dapat mengembangkan daya berpikir  peserta  didik.  Ahmad  &  Sukiman  (2019)  dalam  penelitiannya  pada  sebuah  sekolah menunjukkan bahwa hanya sedikit soal yang memiliki karakterisitk HOTS, bahkan tidak ditemukan soal  yang  memuat  C6  (mencipta).  Secara  kesuluruhan,  soal  didominasi  bermuatan  low  order thinking skills (C1 & C2). Selain itu, rendahnya pemahaman terhadap tingkat taksonomi kognitif (berfikir)  yang  mengacu  pada  taksonomi  bloom  juga  menjadi  kendala  serius  bagi  para  pengajar untuk  menghasilkan  instrumen  yang  berkualitas,  yang  sesuai  dengan  tingkat  berfikir  (cognitive level) peserta didik. Penelitian oleh Ginting & Kuswondo (2020) membuktikan bahwa pengetahuan dalam merancang tugas berbasis HOTS menjadi sebuah tantangan yang sulit bagi guru. Dari seluruh subjek penelitian, hampir 60% memiliki kesulitan yang sama. Sementara itu, Ardini (2017), pada penelitiannya menyebutkan bahwa hanya 5% dari seluruh guru yang menjadi subjek penelitiannya memiliki  pemahaman  yang  sangat  baik  tentang  HOTS.  Lebih  lanjut,  Motlhabane  (2017)  yang meneliti soal-soal ujian Fisika tahun terakhir 2014 dan 2015 di Afrika Selatan melaporkan bahwa tidak ada pertanyaan yang mengandung HOTS.
Sejalan dengan hasil penelitian di atas, hasil pengamatan awal (preliminary observation) yang dilakukan pada soal akhir semester genap tahun akademik 2019-2020 juga menunjukkan bahwa masih terdapat banyak soal tes yang tidak relevan dengan tingkat kognitif peserta didik (mahasiswa). Misalnya,  soal  yang  diujikan  kepada  mahasiswa  masih  menggunakan  level  taksonomi  C1  dan  C2 seperti  kata  “sebutkan,  tuliskan  ciri-ciri,  jelaskan  perbedaan  dan  sebagainya”.  Akibatnya,  tes tersebut tidak mampu memberikan hasil evaluasi yang baik terhadap level berpikir dan pemahaman peserta didik terhadap materi pembelajaran yang diajarkan. Hal ini tentunya juga sangat berdampak negatif  terhadap  kualitas  kebijakan  yang  dihasilkan  oleh  guru/dosen  dalam  mengelola pembelajaran.
Oleh karena itu, penelitian ini penting dilakukan untuk menganalisis tingkat kognitif (LOTS, HOTS, dan MOTS) instrumen tes yang diujikan. Instrumen ini akan digunakan sebagai alat untuk mengukur tingkat penguasaan materi dan pengembangan daya berpikir kritis peserta didik. Hasil penelitian  ini  juga  diharapkan  dapat  menjadi  masukan  dalam  merancang  butir  soal  berkualitas berbasis High Order Thinking Skills (HOTS) pada tes berikutnya, yang dapat merepresentasikan tingkat kemampuan siswa yang sesungguhnya.

## METODE
Objek dari pada penelitian ini merupakan soal ujian akhir semester. Soal ujian diperoleh dari mata  kuliah  fakultas dimana  dosen  pengampu  mata  kuliah  dan  evaluasi  soalnya ditetapkan  oleh pimpinan  fakultas.  Pada  penelitian  ini,  dokumen  soal  yang  diuji  merupakan  soal  ujian  akhir semester akhir genap tahun akademik 2019-2020 dari lima mata kuliah fakultas. Soal ditulis dalam bentuk esai yang terdiri atas 24 butir soal. Dalam proses analisis data, penelitian ini mengadopsi metode  penelitian  analisis  dokumen  (document  analysis  method).  Document  analysis  digunakan untuk  mengevaluasi  dan  menginterpretasi  data  berupa  dokumen  cetak  atau  elektronik  (Bowen, 2009;  Smulowitz,  2017).  Dokumen  soal  dikelompokkan  dan  direview  berdasarkan  level  kognitif yang  merujuk  pada  taksonomi  Bloom  revisi.  Selain  itu,  penentuan  kategori  soal  juga  dianalisis berdasarkan stimulus yang dimuat pada setiap soal. Kemudian, setiap soal diintepretasikan untuk memberikan  makna,  memperoleh  pemahaman  dan  pengembangan  pengetahuan  kritis  terhadap analisis soal.  Selanjutnya, data disajikan dalam bentuk deskripsi sehingga mudah untuk dipahami. Penyajian data dideskripsikan berdasarkan kategori tingkat berpikir (LOTS, MOTS, dan HOTS) yang disesuaikan  dengan  Taksonomi  Anderson  and  Krathwohl  (2001).  Sementara  itu,  keabsahan  data diperoleh melalui analisis sejawat (peer debriefing). Data yang diperoleh akan didiskusikan dalam
Evaluating Cognitive Level of Final Semester Examination Questions Based on Bloom’s Revised Taxonomy
Focus Group Discussion (FGD) dengan sejawat untuk menyamakan pandangan sehingga diperoleh hasil analisis data yang valid (Himmah, 2019).

## HASIL PENELITIAN DAN PEMBAHASAN
Salah satu bentuk evaluasi yang dilakukan untuk mengukur tingkat keberhasilan suatu satuan pendidikan  adalah  tes.  Arifin  (2010)  menjelaskan  bahwa  tes  merupakan  suatu  teknik  untuk melakukan  evaluasi  yang  terdiri  dari  berbagai  tugas  yang  harus  diselesaikan  oleh  peserta  didik dengan tujuan untuk memberi penilaian terhadap perilaku anak didik. Salah satu bentuk tes adalah tes ujian akhir semester. Tes ujian akhir semester dilaksanakan untuk mengukur tingkat penguasaan peserta  didik  terhadap  materi  yang  diajarkan  dalam  satu  semester.  Tes  ujian  akhir  semester mencakup materi dan Capaian Pembelajaran Mata Kuliah (CPMK) yang telah ditetapkan.
Pada kurikulum standar nasional pendidikan tinggi, penilaian pembelajaran merupakan satu apsek  penting  dalam  pelaksanaan  pembelajaran.  Salah  satu  bentuk  prinsip  penilaian  yang  harus diterapkan adalah bersifat edukatif. Dengan kata lain, penilaian yang dilaksanakan harus mampu memberikan perbaikan terhadap perencanaan dan proses pembelajaran, sekaligus dapat membantu mencapai  capaian  pembelajaran  lulusan  yang  telah  ditetapkan  (Kemendikbud,  2020).  Penilaian akhir semester atau ujian akhir semester merupakan salah satu bentuk penilaian yang bertujuan untuk  menguji  tingkat  penguasaan  peserta  didik  terhadap  materi  yang  disampaikan  selama  satu semester.  Ujian  akhir  semester  meliputi  indikator  yang  mencakup  kompetensi  dasar  yang  telah ditentukan pada setiap semester.  Pada tingkat perguruan tinggi, cakupan penilaian akhir semester meliputi capaian pembelajaran mata kuliah yang ditetapkan pada setiap semester.
Pada penelitian ini, bentuk  ujian akhir semester yang diterapkan  adalah dalam bentuk esai dan disesuaikan dengan materi dan capaian pembelajaran yang telah ditetapkan. Bila ditinjau dari perspektif  Taksonomi  Bloom,  soal  penilain  akhir  semester  yang  dirancang  sebagian  telah menggunakan level kognitif tingkat C4, C5 dan C6. Akan tetapi, disisi lain, soal-soal yang ada tidak dilengkapi dengan stimulus yang merupakan faktor penting dalam menghasilkan soal yang berbasis HOTS. Evaluasi soal ujian akhir semester yang dianalisis adalah soal dari mata kuliah fakultas (mata kuliah non-program studi) yang diajarkan pada semester genap tahun akademik 2019-2020, yang terdiri  atas  lima  mata  kuliah;  Manajemen  Pendidikan,  Ibadah,  Bimbingan  Konseling,  Statistik Pendidikan,  dan  Micro-Teaching.  Bentuk  soal  yang  diujikan  adalah  esai,  dan  setiap  mata  kuliah memiliki  jumlah  butir  soal  yang  bervariasi,  yakni  antara  4-5  pertanyaan.  Penyajian  soal  yang diujikan memperhatikan kajian materi dan capaian pembelajaran lulusan yang telah dirancang pada rencana  program  semester (RPS).  Muatan  materi  yang  diujikan  pada  soal  akhir  semester  adalah materi yang telah diajarkan pada pertemuan setelah kegiatan pembelajaran mid-semester selesai. Ujian ini menjadi salah satu aspek penilaian, oleh karena itu, soal yang diujikan dapat mengukur kamampuan mahasiswa dengan baik dan objektif.
Ditinjau  dari  kriteria  level  kognitif,  empat  dari  lima  mata  kuliah  yang  ditelaah  masih menerapkan soal yang bersifat memahami (understanding) atau level C1, dan tidak didukung oleh stimulus  (pengetahuan  awal/suatu  kasus  tertentu)  yang  dapat  mengarahkan  peserta didik/mahasiswa untuk berfikir kritis dalam menjawab soal tersebut. Oleh karena itu, ketika ditinjau dari dimensi proses berpikir, maka instrumen tes yang diujikan pada  kelima mata kuliah tersebut dapat dikategorikan ke dalam tiga tingkatan berpikir (cognitive level); Low Order Thinking Skill (LOTS), (Middle Order Thinking Skill (MOTS), dan  High Order Thinking Skill (HOTS).
Pengkategorian  soal  ujian  didasarkan  pada  tingkat  proses  berpikir  yang  merujuk  pada taksonomi  bloom  revisi  (Krathwohl,  2002)  meliputi  remembering  (C1),  understanding  (C2), applying  (C3),  analyzing  (C4),  evaluating  (C5),  dan  creating  (C6),  dimana    dimensi  berpikir mengingat  dan  memahami  dikelompokkan  pada  berpikir  tingkat  rendah  (Low  Order  Thinking Skill), menerapkan dikategorikan sebagai berpikir tingkat menengah (Middle Order Thinking Skill), dan menganalisa, mengevaluasi dan mencipta diklasifikasikan kedalam berpikir tingkat tinggi (High
Pirman Ginting, Yenni Hasnah, Selamat Husni Hasibuan, Ismail Hanif Batubara
Order  Thinking  Skill).  Penyusunan  instrumen  sebaiknya  memperhatikan  penggunaan  kata  kerja operasional  (KKO).  Penggunaan  kata  kerja  yang  tepat  akan  menentukan  tingkat  kedalaman penguasaan materi yang akan dicapai. Dalam penyusunan soal, pemilihan kata kerja operasional dapat mengacu kepada kata kerja yang terdapat pada taksonomi bloom yang telah direvisi. Dalam konteks HOTS, soal harus dirancang dengan menerapkan kata kerja yang mencakup menganalisis (C4), mengevaluasi/menilai (C5), dan menkreasi/mencipta (C6). Pengujian tes HOTS dapat melatih peserta didik untuk mengaktualisasikan atau mentransfer pengetahuan yang  telah diajarkan pada konteks lain, memicu daya pikir kritis yang diwujudkan dalam bentuk kemampuan berpikir logis, melakukan refleksi/evaluasi dan menentukan solusi atas persoalan yang dihadapi secara mandiri (Brookhart,  2010).  Soal-soal HOTS  pada  konteks  evaluasi  bertujuan  untuk  mengukur  kecakapan dalam mentransfer satu konsep ke konsep lainnya, memproses dan mengiplementasikan informasi yang  diperoleh,  menghubungkan  informasi  yang  bevariasi,  menyelesaikan  masalah  melaui pemanfaatan  informasi  yang  diperoleh,  dan  menganalisis  gagasan  dan  informasi  secara  kritis (Kemendikbud, 2018).
Berdasarkan kategori tingkat proses berpikir di atas, data dalam penelitian ini tidak mewakili setiap level kognitif. Dari lima mata kuliah yang menjadi objek penelitian,terdapat satu mata kuliah dengan soal yang memenuhi kriteria HOTS, yakni mata kuliah Statistik seperti yang tersaji di bawah ini.

## Gambar 1. Soal Ujian Statistik
Pada soal statistik di atas terdapat lima butir pertanyaan. Apabila ditinjau dari dimensi proses bepikir berdasarkan taksonomi bloom revisi, maka seluruh butir soal tersebut termasuk kategori C3 (menerapkan), dimana peserta didik hanya diminta untuk menentukan satu bagian tertentu dari materi  yang  telah  dipelajari.  Akan  tetapi,  penyediaan  isu  pada  awal  soal  sebagai  stimulus mengindikasikan  bahwa  soal  statistik  di  atas  dapat  digolongkan  sebagai  soal  HOTS.  Mahasiswa dituntut  untuk  dapat  memahami  informasi  pada  stimulus  terlebih  dahulu  dan  menganalisis keterkaitan  antara  informasi  pada  stimulus  tersebut  dengen  perintah  soal.  Daya  berpikir  kritis
Evaluating Cognitive Level of Final Semester Examination Questions Based on Bloom’s Revised Taxonomy
mahasiswa sangat menentukan ketepatan dalam menggali dan menginterpretasi makna pernyataan pada  stimulus  yang  diberikan.  Kesalahan  dalam  menafsirkan  makna  informasi  berpengaruh terhadap  ketepatan  dalam  mejawab  pertanyaan.  Oleh  karena  itu,  kemampuan  mahasiswa  dalam mengasosiasikan berbagai informasi yang ada menjadi fakor penting dalam menyelesaikan semua pertanyaan dengan baik. Proses analisis yang memerlukan daya pikir yang tajam untuk menjawab soal tersebut membuktikan bahwa KKO “tentukan” dapat diklasifikasikan ke dalam C5 (evalusi). Hal ini  senada  dengan  pernyataan  Kemendikbud  (2019)  bahwa  untuk  menghasilkan  soal  HOTS, hendaknya tidak hanya berfokus pada pemilihan KKO semata. Pemberian stimulus pada soal yang akan dapat merangsang proses berpikir kritis peserta didik merupakan faktor penting lainnya dalam menghasilkan soal HOTS. Kata kerja operasional ‘menentukan’ pada Taksonomi Bloom berada pada ranah berpikir tingkat C2 dan C3 dapat digolongkan pada kategori C5 (mengevaluasi) apabila soal tersebut didahului dengan stimulus yang mendorong proses berpikir peserta didik untuk melakukan analisis.  Lebih  jauh,  kata  kerja  “menetukan”  dapat  digolongkan  ke  dalam  dimensi  berpikir  C6 (menciptakan) jika pertanyaan berorientasi pada pemecahan masalah atau penentuan solusi. Oleh karena itu, variasi stimulus atau proses berpikir sangat berpengaruh terhadap penentuan kata kerja operasional dalam menjawab pertanyaan yang disajikan.
Selain itu, penggunaan stimulus yang kontekstual pada soal ini juga menjadi aspek penting untuk  membantu  merangsang  mahasiswa  dalam  menerjemahkan  maksud  soal.  Kata  “guru”  dan “uang  saku”  merupakan  dua  kata  yang  melekat  erat  dengan  mahasiswa  sehingga  memudahkan mereka  merefleksikan  situasi  yang  disampaikan  pada  stimulus  dan  mengaitkannya  dengan pertanyaan. Salah satu aturan penulisan soal HOTS adalah soal harus mengandung stimulus yang bersifat kontekstual dengan tujuan agar peserta didik dapat mengintegrasikan materi yang dipelajari di dalam kelas dengan realita di luar kelas. Bentuk soal seperti ini dapat menstimuli peserta didik untuk  lebih  aktif  karena  materi  yang  dipelajari  berkaitan  erat  dengan  kondisi  nyata  kehidupan mereka sehari-hari (Widana, 2020). Meskipun demikian, bahwa soal HOTS harus bersifat divergen, yakni  soal  disusun  secara  bervariasi  tidak  terlihat  pada  soal  tersebut.  Seluruh  butir  pertanyaan menggunakan kata kerja operasional yang sama, yakni ‘tentukan’. Hal ini mengarahkan mahasiswa untuk  memjawab  setiap  pertanyaan  dengan  pola  dan  proses  berfikir  yang  relatif  sama,  bahkan peserta  didik  tidak  dapat  memproses  jawaban  dan  menyajikannya  secara  kreatif  sesuai  dengan sudut  padang  mereka.  Bentuk  soal  yang  bervariasi  memberikan  peserta  didik  peluang  untuk mengekplorasi kemampuan mereka dalam menjawab setiap soal sesuai dengan proses berpikir dan sudut  pandang  yang  dimilikinya  dengan  analitis,  kritis  dan  kreatif  (Kemendikbud,  2019). Penggunaan bentuk soal yang beragam memudahkan guru atau dosen untuk menggali informasi tentang kemampuan peserta didik secara mendalam dan objektif (Fanani, 2013).
Soal HOTS juga ditemukan pada soal mata kuliah Menejemen Pendidikan. Terdapat lima butir  soal  yang  diujikan  pada  mata  kuliah  tersebut,  tiga  diantaranya  dikategorikan  sebagai  soal berkriteria HOTS, sementara itu, dua yang lain bersifat menghafal, seperti yang terlihat di bawah ini.
Pirman Ginting, Yenni Hasnah, Selamat Husni Hasibuan, Ismail Hanif Batubara
Pada soal no. 4, mahasiswa diminta untuk menyusun sebuah analisis SWOT terhadap sebuah sekolah. Dari pertanyaan tersebut dapat dipahami secara jelas bahwa mahasiswa telah melakukan pengamatan terhadap sekolah tersebut untuk memperoleh berbagai informasi penting. Informasi yang  diperoleh  dianalisis  dan  dievaluasi.  Hasil  analisis  dan  evaluasi  tersebut  dijadikan  sebagai referensi  untuk  menyusun  analisis  SWOT;  kekuatan  (strengths),  kelemahan  (weaknesses), kesempatan (opportunities) dan ancaman (threats). Pada konteks ini, soal dapat diklasifikasikan sebagai soal HOTS dengan kriteria C6 (menciptakan) karena mahasiswa tidak hanya dituntut untuk melakukan analisis dan evaluasi, tetapi juga harus dapat menghasilkan suatu analisis SWOT.
Karakteristik  HOTS  juga  terdapat  pada  butir  soal  nomor  3  dan  5.  Jika  dipahami  secara harfiah dan ditelisik mengunakan KKO, kedua butir soal termasuk dalam kategori C2 (menjelaskan) karena  mahasiswa  hanya  dituntut  untuk  memberikan  penjelasan.  Tetapi,  makna  tersirat  yang terkandung pada pertanyaan tersebut menegaskan bahwa jawaban yang dibutuhkan bukan berupa penjelasan  yang  dilandaskan  pada  pandangan  mahasiswa  itu  sendiri.  Misalnya,  frase  “yang  kita observasi” pada soal nomor 5 menandakan bahwa penjelasan yang dikemukakan mengacu pada data yang  diperoleh  melalui  pengamatan  sebelumnya.  Data  tersebut  menjadi  stimulus  bagi  proses berfikir  kritis  mahasiswa  dalam  mengkaji  dan  mengukur  mutu  sekolah  yang  diamati,  dan  hasil kajian tersebut menjadi landasan dalam menjawab soal. Hasil analisis ini mengisyaratkan bahwa butir pertanyaan nomor 5 termasuk soal HOTS pada tingkat ranah kognitif C5 (evaluasi). Demikian juga halnya dengan soal nomor 3. Pada soal ini, mahasiswa ditugaskan untuk mengevaluasi atau menilai  efektifitas  penerapan  teori  manajerial  Grid  di  sebuah  sekolah  yang  telah  diobservasi. Kualitas jawaban mahasiswa tentunya dipengaruhi oleh kemampuan mereka dalam memahami dan mengkritisi teori manejemen Grid dan melaksanakan refleksi terhadap implementasi teori tersebut. Oleh karenanya, kapabilitas mereka dalam mengasosiasikan makna teori Grid dengan manejemen yang diterapkan sekolah menjadi elemen penting. (Ruwaida, 2019) mengemukakan bahwa evaluasi merupakan  kegiatan  penilaian  yang  berdasar  pada  kriteria  dan  standar  yang  telah  dirancang. Kriteria meliputi kualitas, efektivitas, efisien dan konsistensi. Standar bertujuan untuk mengukur kuantitas atau kualitas. Checking (mengecek) dan critiquing (mengkritik) adalah kategori menilai. Pada  tingkat  level  berfikir  C5  (evaluasi) peserta  didik  kompeten  dalam  menarik  kesimpulan  atas suatu keadaan atau gagasan, dan menghasilkan suatu ide dari keadaan atau padangan tersebut. Di sisi lain, butir soal 1 dan 2 tidak memiliki karakteristik HOTS. Kedua soal ini hanya mengarahkan mahasiswa untuk menjelaskan sebuah konsep melalui interpretasi teori yang telah dipelajari dan dipahami sebelumnya. Dalam menjawab soal, peserta didik tidak perlu melakukan proses analisis yang  melibatkan  informasi  atau  gagasan  lain  untuk  menghasilkan  suatu  gagasan  baru.  Kategori tingkat  berpikir  yang  diukur  adalah  memahami  (C2)  meskipun  kata  kerja  operasional  yang digunakan  sama  dengan  tiga  soal  HOTS  lainnya,  yakni  “menjelaskan’.  Dengan  kata  lain,  butir pertanyaan nomor 1 dan 2 termasuk kategori soal LOTS. Level kognitif C2 (memahami) meliputi kemampuan  dalam  mendefiniskan  suatu  pedoman  dan  menguatkan  suatu  gagasan  yang  telah dipelajari (Dinni, 2018).
Soal  ujian  akhir  semester  yang  diujikan  pada  mata  kuliah  Bimbingan  Konseling,  Ibadah, Kemuhammadiyahan  dan  Micro-Teaching  juga  tidak  mencirikan  soal  HOTS.  Semua  butir pertanyaan pada masing-masing mata kuliah hanya mengukur kemampuan berfikir tingkat rendah atau LOTS. Misalnya, soal pada mata kuliah Konseling yang terdiri atas lima butir hanya mengukur dimensi  proses  berfikir  mengingat  (C1)  dan  memahami  (C2).  Perintah  soal  adalah  untuk menjelaskan dan menuliskan suatu materi spesifik yang telah dipelajari. Berikut adalah contoh soal mata kuliah Bimbingan Konseling yang diujikan pada ujian akhir semester.
Evaluating Cognitive Level of Final Semester Examination Questions Based on Bloom’s Revised Taxonomy

## Gambar 3. Soal Ujian Bimbingan Konseling
Seluruh soal tidak memiliki indikator untuk mengevaluasi proses berpikir tingkat tinggi. Soal juga tidak dilengkapi dengan stimulus berbasis permasalahan kontekstual yang dapat merangsang peserta didik melakukan analisis terhadap keterkaitan informasi pada permasalan kontekstual dan perintah soal untuk memperoleh jawab dalam bentuk gagasan baru dan kreatif. Butir soal nomor 2 dan 5 hanya menguji level befikir mengingat (C1). Deskripsi perintah kedua soal adalah mengingat materi sebelumnya (recall). Sementara itu, butir soal nomor 1, 3 dan 4 hanya membutuhkan jawaban berupa penjelasan, dengan tingkat proses berfikir C2 (memahami). Bentuk ketiga butir soal tersebut adalah  menjelaskan  konsep  tertentu,  dan  tidak  memiliki  indikator  untuk  menakar  keterampilan berargumentasi mahasiswa.
Pada mata kuliah Ibadah, pertanyaan yang dipergunakan juga masih pada tataran mengingat (C1)  dan  memahami  (C2).  Dua  dari  lima  butir  soal  memiliki  instruksi  untuk  menuliskan  sebuah ungkapaa  (do’a  dan  zikir)  yang  telah  ada.  Soal  tidak  dilengkapi  dengan  stimulus  berupa  kasus tertentu  yang  bersifat  kontekstual  untuk  mendorong  mahasiswa  berfikir  kritis  dan  kreatif  dalam menghasilkan  sebuah  gagasan  baru  dalam  bentuk  tulisan.  Sementara  tiga  soal  lainnya  hanya menguji  pemahaman  mahasiswa  tentang  materi  pembelajaran  tertentu.  Mahasiswa  hanya diperlukan untuk mendefinisikan material pembelajaran tersebut berdasarkan konsep yang ada dan telah dipelajari. Selanjtunya, butir pertanyaan pada mata kuliah Micro-Teaching juga tidak memiliki muatan kaidah HOTS. Terdapat 4 butir pertanyaan. Tiga diataranya hanya menguji kemampuan pemahaman  mahasiswa  tetang  materi  yang  telah  diajarkan.  Selanjutnya,  instruksi  soal  masih menggunakan kata kerja operasional pada ranah kognitf level C2 (memahami), dimana pada butir pertanyaan nomor 1 dan 4 mahasiswa hanya diminta untuk menguraikan (elaborate) definisi bagian materi  tertentu,  dan  soal  nomor  2  berbentuk  deskripsi  (describe)  makna  dari  satu  topik  materi tertentu. Pada soal nomor 3, karakteristik pertanyaan bersifat mengingat (remembering). Bentuk kata perintah yang dimuat pada soal tersebut adalah menuliskan (write) komponen dari satu sub- bahasan materi. Pada tataran ini, soal hanya mengisyaratkan mahasiswa untuk menuliskan jawaban sesuai dengan teori yang telah dipelajari. Agar dapat menjawab soal ini, mahasiswa harus mampu mengingat kembali (recall) kajian materi yang telah dipelajari sebelumnya (Anderson & Krathwohl, 2001).  Semua  soal  tidak  memuat  stimulus  sebagai  pemacu  untuk  melatih  kamampuan berargumentasi mahasiswa, serta tidak berbasis permasalahan kontekstual dan menarik (contextual and  trending  topic),  yakni  relating,  experiencing,  applying,  communicating  dan  transferring. Sebaliknya, pertanyaan seharusnya merefleksikan tantangan/permasalahan yang dihadapkan pada dunia  nyata  sehingga  mahasiswa  berpeluang  untuk  mengasah  kepiawaiannya  dalam mengkronstruksi responsnya sendiri, dan mengembangkan gagasan dengan beragam jawaban benar yang didasarkan pada bukti, fakta dan/atau alasan rasional (Permendikbud 2019).

## SIMPULAN
Level kognitif pada instrumen tes akhir semester yang diujikan secara keseluruhan belum mengarah ke peningkatan keterampilan berpikir kritis (critical thinking skills) mahasiswa. Hal ini terbukti dari tingkat berpikir (cognitive level) pada soal mata kuliah fakultas yang diujikan pada akhir  semester  belum  berbasis  HOTS  secara  keseluruhan.  Merujuk  pada  hasil  temuan  ini,  maka
Pirman Ginting, Yenni Hasnah, Selamat Husni Hasibuan, Ismail Hanif Batubara
perlu dilakukan sosialisasi dan pelatihan lanjutan terkait pemutakhiran kurikulum terutama dalam kaitannya  dengan  perancangan  kualitas  evaluasi  pembelajaran.  Pelaksanaan  pemutakhiran kurikulum terutama dalam kaitannya dengan kualitas evaluasi pembelajaran. Evauasi pembelajaran yang dirancang hendaknya dapat mengembangkan daya berpikir kritis dan kreativitas mahasiswa. Pemutakhiran  evaluasi  pembelajaran  juga  perlu  disesuaikan  dengan  perkembangan  ilmu pengetahuan dan realitas kehidupan yang relevan. Pengembangan pengetahuan dan keterampilan dosen dalam merancang evaluasi pembelajaran yang berkualitas juga perlu ditingkatkan. Upaya ini dapat dilakukan melalui pelatihan-pelatihan merancang soal berbasis HOTS yang dapat digunakan untuk mengukur dan mengembangkan berpikir kritis dan kreativitas mahasiswa.

## DAFTAR PUSTAKA
Abduljabbar, D. A. & Omar, N. (2015). Exam Questions Classification Based on Bloom’s Taxonomy Cognitive  Level  Using  Classifiers  Combination.  Journal  of  Theoretical  and  Applied Information Technology.
Ahmad & Sukiman. (2019). Analisiss higher order thinking skills (hots) pada soal ujian akhir siswa kelas 6 kmi dalam kelompok mata pelajaran dirasah islamiyah di pondok modern tazakka batang.
Jurnal Pendidikan Agama Islam, 14(2): 137-164. DOI:
https://doi.org/10.14421/jpai.2019.162-02
Anderson, L.W., & Krathwohl, D.R. (2001). A Taxonomy for Learning, Teaching, and Assesing: A Revision  of  Bloom’s  Taxonomy  of  Educatioanl  Objectives.  New  York:  Addison  Wesley Longman.
Ardini, S.N. (2017). Teachers’ perception, knowledge and behaviour of higher order thinking skills (hots).
Eternal: English Teaching Journal, 8(2). DOI:
https://doi.org/10.26877/eternal.v8i2.3045
Arifin,  Z.(2010).  Makalah:  Evaluasi  Pembelajaran  (Teori  dan  Praktik).  Bandung:  Universitas Pendidikan  Indonesia,  Fakultas  Ilmu  Pendidikan,  Jurusan  Kurikulum  dan  Teknologi Pendidikan.
Brookhart, S.M. (2010). How to Assess Higher-Order Thinking Skills in Your Classroom. United States of America: ASCD.
Davoudi, M. & Sadeghi, N. A. (2015). A Systematic Review of Research on Questioning as a High- Level  Cognitive  Strategy.  English  Language  Teaching  Vol.  8,  No.  10;  2015.  Doi: 10.5539/elt.v8n10p76.
Dinni,  H.  N.  (2018).  HOTS  (High  Order  Thinking  Skills)  dan  Kaitannya  dengan  Kemampuan Literasi Matematika. Makalah disajikan dalam Seminar Nasional Matematika, Universitas Negeri Semarang, 21 Oktober.
Fanani,  M.Z.  (2018).  strategi  pengembangan  soal  higher  order  thinking  skill  (hots)  dalam kurikulum  2013.  Edudeena:  Journal  of  Islamic  Religious  Educatio,  2(1):  57-76.  DOI: 10.30762/ed.v2i1.582
Ginting,  A.  A., &  Kuswondo,  P.  (2020).  Challenge  faced  by  english  teachers:  implementation  of higher order thinking skills in designing assignment in east indonesia. Pedagogy Journal of English Language Teaching, 8(1). DOI: 10.32332/pedagogy.v8i1.1688
Himmah,  W.  I.  (2019).  Analisis  soal  penilaian  akhir  semester  mata  pelajaran  matematika berdasarkan level berfikir. Journal of Medives, 3(1): 55-63. DOI: https://doi.org/10.31331/medivesveteran.v3i1.698
Jusrianto.  Zahir,  A.,  &  Megawati.  (2018).  Analisis  kualitas  tes  ujian  akhir  semester  mata  kuliah pengetahuan  komputer.  Jurnal  Studi  Guru  dan  Pembelajaran,  1(1).  DOI: https://doi.org/10.30605/jsgp.1.1.2018.7
Kemendikbud.  (2018).  Buku  Penilaian  Berorientasi  Higher  Order  Thinkng  Skills.  Program Peningkatan  Kompetensi  Pembelajaran  Berbasis  Zonasi.  Jakarta:  Dirjen  GTK Kementerian Pendidikan dan Kebudayaan
Evaluating Cognitive Level of Final Semester Examination Questions Based on Bloom’s Revised Taxonomy
Kemendikbud.  (2019).  Modul  Penyusunan  Soal  Keterampilan  Berfikir  Tingkat  Tinggi  (Higher Order Thinking Skills) Bahasa dan Sastra Inggris. Jakarta: Direktorat Pembinaan Sekolah Menengah Atas, Ditjen Dikdasmen, Kemendikbud
Kemendikbud.  (2019).  Buku  Penilaian  Berorientasi  Higher  Order  Thinking  Skills.  Program Pengembangan  keprofesian  Berkelanjutan  (PKB)  melalui  Peningkatan  Kompetensi Pembelajaran (PKP) Berbasis Zonasi. Jakarta: Dirjen GTK Kementerian Pendidikan dan Kebudayaan
Kemendikbud. 2020. Peraturan Menteri Pendidikan dan Kebudayaan Republik Indonesia Nomor 3 Tahun 2020 Tentang Standar Nasional Pendidikan Tinggi. Jakarta: Kemendikbud.
Koksal,  D.  &  Ulum,  O.  K.  (2018).  Language  Assessment  through  Bloom’s  Taxonomy.  Journal  of Language and Linguistic Studies, 14(2), 76-88.
Krathwohl, D, R. (2002). Arevision of bloom’s taxonomy: an overview. theory into practice. Autumn,
41 (4). https://doi.org/10.1207/s15430421tip4104_2
Kurniawan, D. D. (2019). Analisis butir soal ujian akhir semester matematika dengan teori respon butir.
BRILIANT: Jurnal Riset dan Konseptual, 4(2). DOI:
http://dx.doi.org/10.28926/briliant.v4i2.316
Lutfianto, M. & Sari, A .F. (2017). Respon siswa terhadap soal matematika mirip pisa dengan konteks berintegrasi nilai islam. Jurnal Elemen, 3(2): 108–117. DOI: 10.29408/jel.v3i2.342 Mania, S. (2012). Pengantar Evaluasi Pengajaran. Makassar: Alauddin University Press. Miles, M.B. & Huberman A.M. (1994). Qualitative Data Analysis. California: SAGE Publications. Motlhabane,  A.  (2017).  Unpacking  the  south  african  physics  examination  questions  according  to bloom’s  revised  taxonomy.  Journal  of  Baltic  Science  Education,  16(6):  919-931. http://oaji.net/articles/2017/987-1513971062.pdf
Peterson,  D.  S.  &  Taylor  B.  M.  (2012).  Using  Higher  Order  Questioning  to  Accelerate  Students’ Growth  in  Reading.  The  Reading  Teacher  Vol.  65  Issue  5  February  2012,  Doi: 10.1002/TRTR.01045.
Rohman.(2015). Pengembangan Instrumen Evaluasi Dan Penelitian. Purwokerto: STAIN Press. Risdianto. (2019). Analisis Pendidikan Indonesia di Era revolusi Industri 4.0. Bengkulu: Universitas Bengkulu.
Ruwaida, H. (2019). Proses kognitif dalam taksonomi bloom revisi: analisis kemampuan mencipta (c6) pada pembelajaran fikih di mi miftahul anwar desa banua lawas. Al-Madrasah: Jurnal Ilmiah Pendidikan Madrasah Ibtidaiyah, 4(1):. DOI: http://dx.doi.org/10.35931/am.v4i1.168
Sa’idah, N., Yulistianti, H.D. & Megawati, E. (2019). Analisis instrumen tes higher order thinking matematika smp. Jurnal Pendidikan Matematika, 13 (1). DOI:
https://doi.org/10.22342/jpm.13.1.6619.41-54
Setiawati,  W.,  dkk.  (2019).  Buku  Penilaian  Berorientasi  High  Order  Thinking  Skills.Jakarta:
Direktorat  Jenderal  Guru  dan  Tenaga  Kependidikan  Kementerian  Pendidikan  dan Kebudayaan
Undang-Undang Nomor 20 Tahun 2003 tentang Sistem Pendidikan Nasional.
Widana,  I  Wayan.(2020).  Kiat  Jitu  Menulis  Soal  Hots  bagi  Guru  Matematika  SMA/SMK. Lumajang: Mahameru Press.