## EDUCATIONAL BUILDING
Jurnal Pendidikan Teknik Bangunan dan Sipil Vol. 9. No.2 Desember 2023: 32-41, ISSN-E : 2477-4901, ISSN-P: 2477-4898

## PERBEDAAN PEMAHAMAN SOAL HOTS MAHASISWA SEBELUM DAN SESUDAH MENGAMPU MATA KULIAH EVALUASI PEMBELAJARAN DAN PLP
Dicky Lutfi Makhfudzi¹, Isnandar², Sutrisno³ 1,2,3 Universitas Negeri Malang Surel: dicky.lutfi.1705216@students.um.ac.id Diterima: 30 September 2023; Disetujui: 20 Oktober 2023

## ABSTRAK
Rendahnya pemahaman soal HOTS guru disebabkan karena kurangnya pengalaman penggunaan soal HOTS.  Pada  tataran  yang  lebih  awal,  mahasiswa  calon  guru  juga  perlu  memiliki  pemahaman  soal HOTS  yang  mumpuni  dan  pasti  agar  ketika  menjadi  guru  nantinya  sudah  siap  dalam  menerapkan penilaian dan pembelajaran berbasis HOTS. Penelitian ini bertujuan untuk mengetahui sejauh mana perbedaan pemahaman soal HOTS mahasiswa antara sebelum dan sesudah menempuh mata kuliah yang  terkait  dengan  pengalaman  penggunaan  soal  HOTS,  yaitu  mata  kuliah  evaluasi  pembelajaran yang mempelajari mengenai soal HOTS secara teoritis, dan mata kuliah PLP (Pengalaman Lapangan Persekolahan) yang mempelajari soal HOTS secara praktis. Dimana nantinya dengan adanya penelitian ini  akan  memungkinkan  diadakan  tindakan-tindakan  pengoptimalan  pemahaman  soal  HOTS mahasiswa  dengan  lebih  terfokus  dan  terarah.  Metode  yang  diterapkan  untuk  penelitian  ini menggunakan  statistik  deskriptif  dan  statistik  komparatif  dengan  metode one  way  anova dengan pengujian lanjutan metode scheffe. Hasil dari penelitian ini menunjukkan ada perbedaan pemahaman soal HOTS yang signifikan antara sebelum dan sesudah mendapat teori serta praktik penggunaan soal HOTS.  Dimana  nilai  pemahaman  soal  HOTS  rata-rata  mahasiswa  sebelum  menempuh  mata  kuliah evaluasi  pembelajaran  sebesar  27,52  dan  berada  pada  kriteria  kurang,  sedangkan  nilai  rata-rata mahasiswa  sesudah  menempuh  mata  kuliah  evaluasi  pembelajaran  sebesar  32,78  dan  berada  pada kriteria cukup, serta nilai rata-rata mahasiswa sesudah menempuh mata kuliah PLP sebesar 49,52 dan berada pada kriteria baik.
Kata Kunci : Calon Guru, Soal HOTS, Pemahaman soal HOTS, Pengalaman soal HOTS, Penggunaan soal HOTS, Mahasiswa

## ABSTRACT
Teachers' low understanding of HOTS assessment is caused by a lack of experience in using HOTS assessment. At an earlier level, student teachers also need to have a good and definite understanding of HOTS assessment so that  when  they  become  teachers  they  will  be  ready  to  implement  HOTS-based  assessment  and  learning.  This research aims to determine the extent of differences in students' understanding of HOTS assessment between before and after taking courses related to the experience of using HOTS assessment, namely learning evaluation courses which study HOTS assessment theoretically, and PLP (teaching experience courses) which study HOTS assessment  practically.  Later  with  this  research  it  will  be  possible  to  take  actions  to  optimize  students' understanding of HOTS assessment in a more focused and directed manner. The method applied for this research is descriptive statistics and comparative statistics using the one way ANOVA method and a post hoc test using the Scheffe method. The results of this research show that there is a significant difference in understanding HOTS assessment  between  before  and  after  receiving  the  theory  and  practice  of  using  HOTS  assessment.  Where  the average student score for understanding HOTS assessment before taking the learning evaluation course is 27.52 and is in the deficient criteria, while the average score of students after taking the learning evaluation course is 32.78  and  is  in the  sufficient  criteria,  as  well  as  the  average  score  of  students  after  taking  the  PLP  (teaching experience courses) course is 49.52 and is in good criteria.
Keywords: Comprehension  of  HOTS  assessment,  HOTS,  HOTS  assessment,  Experience  using  the  HOTS assessment, education Student
1. Pendahuluan
Secara  umum,  keterampilan  yang  dibutuhkan di  abad  XXI  telah  dirumuskan  sebagai Partnership for 21 Century Skill (P21), antara lain: Life & career skill; learning & innovation skills-4Cs; information, media & technology skills (BatlleforKids.org:  2018).  Sedangkan  menurut Ariyana,  dkk.  (2018),  agar  sesuai  tuntutan pendidikan di Indonesia (penguatan pendidikan  karakter)  rumusan  ini  kemudian ditambah dengan pengembangan karakter dan nilai spiritual sebagai standar P21 di Indonesia, sehingga menjadi: 4Cs; ICTs; character building; dan spiritual  values. Rumusan  ini  kemudian disebut  sebagai Indonesian  Partnership  for  21 Century Skill Standard (IP-21CSS). Kurikulum 2013 direvisi Pada tahun 2016 dengan  ditambahkannya  empat  poin  utama yang meliputi: Literasi, keterampilan abad XXI (4C),  pembelajaran  berbasis  kemampuan berpikir  tingkat  tinggi  ( Higher  Order  Thinking Skills /HOTS),  serta  Penguatan  Pendidikan Karakter  (PPK)  (Puslitjak  Balitbang  dan Perbukuan  Kemendikbud,  2020:1).  Menurut Ariyana, dkk. (2018), secara khusus HOTS juga diterapkan  pada  standar  ujian  nasional.  Hal tersebut diterapkan sebab rendahnya peringkat Indonesia  dibandingkan  negara-negara  yang lain pada Trends in International Mathematics and Science  Study (TIMSS)  maupun Programme  for International  Student  Assessment (PISA).  Pada peringkat PISA, Indonesia berada di urutan 74 dari  80  negara  dan  urutan  70  dari  78  negara pada peringkat TIMSS.
Pembelajaran  dan  penilaian  HOTS  dapat diartikan  sebagai  pembelajaran  dan  penilaian yang bukan sekedar mengingat fakta ataupun menerapkan  panduan,  melainkan  berisi kemampuan  penalaran  seperti  menganalisis, mengevaluasi,  dan  mencipta  (Pusat  Penelitian Pendidikan,  2019) . Menurut  Saputra  (2016), tujuan  pembelajaran  dan  penilaian  HOTS adalah  untuk  meningkatkan  kemampuan berpikir kritis ketika menerima bermacam jenis informasi, berpikir kreatif untuk memecahkan masalah  dengan  menggunakan  pengetahuan yang  ada,  serta  mengambil  keputusan  dalam situasi yang kompleks. Sejalan dengan hal ini, Isnandar & Nurhadi (2018) menyatakan bahwa selain  memungkinkan  peserta  didik  untuk dapat memecahkan masalah yang sulit, HOTS juga dapat memperdalam tingkat pemahaman pengetahuan  yang  mereka  miliki  serta  dapat
memprediksi  potensi  masalah  yang  bisa  saja dapat timbul.
Menurut  Kristiyono  (2018),  agar  dapat mengimplementasikan  pembelajaran  HOTS, semua Stakeholder sekolah  termasuk  unsur- unsur lain seperti siswa, guru, orang tua siswa, dan  fasilitas  pendukung  pembelajaran,  perlu dipersiapkan dengan baik. Dalam hal ini, unsur yang paling penting ialah guru. Oleh karena itu guru  diharapkan  dapat  cepat  menyesuaikan diri.  Namun  pada  praktiknya,  kebanyakan guru masih cenderung menerapkan pembelajaran  dan  penilaian  berbasis  LOTS ( Lower  Order  Thinking  Skills ),  sehingga pembelajaran  dan  penilaian  HOTS  masih belum optimal diterapkan di sekolah. Menurut Rapih & Sutaryadi (2018) dalam penelitiannya, 79%  guru  kurang  memiliki  pemahaman  soal HOTS.  Puslitjak  Balitbang  dan  Perbukuan Kemendikbud  (2020)  juga  menyatakan  jika kebanyakan pendidik tidak memiliki pemahaman konsep dan praktik pembelajaran dan  penilaian  HOTS.  Hal  ini  didukung  oleh Pertiwi  (2018),  yang  menyatakan  guru kesulitan  membuat  soal  HOTS  sesuai taksonomi  Bloom.  Hal  tersebut  dapat  terjadi sebab guru kurang  memiliki pemahaman soal HOTS (Izzati, dkk., 2020).
Pemahaman  soal  HOTS  dapat  diartikan sebagai pemahaman mengenai prinsip-prinsip dasar atau konsep penilaian menggunakan soal HOTS yang berupa menganalisis, mengevaluasi,  atau  mencipta,  dan  termasuk juga  keterkaitan  antara  prinsip  tersebut,  yang dapat  ditingkatkan  melalui  pengalaman penggunaan  soal  HOTS  (Fulmer,  dalam Nurmawati,  dkk.,  2020).  Indikator  untuk mengukur  HOTS  meliputi:  menganalisis  (C4) yaitu  kemampuan  memecah  konsep  menjadi beberapa  bagian  dan  menghubungkan  satu sama lain untuk memperoleh pemahaman atas konsep tersebut secara utuh, mengevaluasi (C5) yaitu kemampuan menentukan derajat sesuatu berdasarkan kriteria yang  logis, dan mencipta (C6)  yaitu  kemampuan  memadukan  unsur- unsur  menjadi  suatu  bentuk  baru  atau membuat sesuatu yang orisinil (A'yuna, dalam Ulva, 2020).
Semakin  paham  guru  dalam  membuat soal-soal  HOTS  maka  tentu  akan  semakin mudah  pula  guru  dalam  menerapkan  serta mengembangkan  pembelajaran  dan  penilaian berbasis HOTS. Oleh karenanya meningkatkan

## Perbedaan Pemahaman Soal HOTS Mahasiswa Sebelum dan Sesudah Mengampu Mata Kuliah Evaluasi Pembelajaran dan PLP
pemahaman  guru  tersebut  ialah  penting adanya. Menurut Sinta, dkk. (2022), salah satu cara mengembangkan
kemahiran guru menyusun soal HOTS ialah dengan berpartisipasi  dalam  pelatihan.  Menurut Maryani  &  Martaningsih  (2020),  pelatihan penyusunan  soal  HOTS  merupakan  kunci utama dalam meningkatkan kemampuan guru menyusun  soal  HOTS.  Sedangkan  menurut Sarmini  (2022),  adapun  upaya  yang  dapat dilakukan  dalam  meningkatkan  pemahaman soal  HOTS  guru  ialah  dengan  mengadakan pembimbingan  melalui  workshop  dan  juga diskusi  antar  teman  sejawat.  Sementara  pada tataran  yang  lebih  awal  dalam  mewujudkan guru  yang  mampu  menerapkan  pembelajaran dan  penilaian  berbasis  HOTS,  Universitas melalui  program  studi  (prodi)  kependidikan telah menerapkan kurikulum yang diintegrasikan dengan teori-teori terkait, antara lain  terdapat  pada  mata  kuliah  evaluasi pembelajaran serta mata kuliah PLP (Pengalaman Lapangan Persekolahan).
Dalam mata kuliah evaluasi pembelajaran yang  ditempuh  pada  semester  III  terdapat materi/diskusi  mengenai  teori-teori  penilaian dalam  pembelajaran,  beberapa  diantaranya terkait dengan soal HOTS. Hal ini dapat dilihat dari  isi  pembelajarannya  yang  membahas tentang  tingkatan  ranah  kognitif,  instrumen hasil  belajar,  dan  analisis  kualitas  instrumen penilaian  (LP3  UM,  2019).  Jadi  dapat dinyatakan  bahwa  sesudah  menempuh  mata kuliah evaluasi pembelajaran, mahasiswa telah mendapatkan pemahaman soal HOTS. Adapun pemahaman  soal  HOTS  pada  waktu  tersebut masihlah secara teoritis saja. Barulah kemudian pemahaman  soal  HOTS  secara  praktis didapatkan  mahasiswa  melalui  praktik mengajar  di  sekolah  yang  diprogram  melalui mata  kuliah  PLP  pada  semester  VII  (P2PPL UM, 2014).
Mata kuliah PLP mengharuskan
mahasiswa untuk membuat perangkat pembelajaran  (RPP,  bahan  ajar,  perangkat penilaian  pembelajaran)  pada  serangkaian kegiatan  yang  ada  di  dalamnya.  Perangkat pembelajaran  ini  kemudian  diterapkan  juga dalam  pembelajaran  di  sekolah  yang sesungguhnya.  Melalui  serangkaian  kegiatan, khususnya  pada  pembuatan  perangkat penilaian  inilah  mahasiswa  mendapatkan pengalaman  membuat  dan  menerapkan
penggunaan soal HOTS secara praktis sehingga pemahaman  soal  HOTS  mahasiswa  dapat bertambah daripada sebelumnya.
Berdasarkan  pembahasan  di  atas  dapat dikatakan bahwa mahasiswa sebelum menempuh mata kuliah evaluasi pembelajaran belum memiliki pemahaman soal HOTS secara teoritis  dan  praktis.  Sedangkan  mahasiswa sesudah  menempuh  mata  kuliah  evaluasi pembelajaran  baru  memiliki  pemahaman  soal HOTS  secara  teoritis  saja.  Dan  mahasiswa sesudah  menempuh  mata  kuliah  PLP  sudah memiliki pemahaman soal HOTS secara teoritis dan praktis. Dengan demikian dan mengingat perlunya untuk memastikan tingkat pemahaman  mahasiswa  terkait  penilaian berbasis  HOTS,  penelitian  ini  diadakan. Dengan  melakukan  penelitian  ini,  akan  dapat diketahui  tingkat  pemahaman  soal  HOTS mahasiswa sebelum serta sesudah menempuh mata kuliah evaluasi pembelajaran, serta mata kuliah  PLP,  atau  dengan  kata  lain  pada semester awal, menengah, dan akhir, termasuk juga  perbedaan  antara  ketiganya.  Kemudian dapat diketahui bagian mana saja yang sudah baik maupun yang perlu lebih ditingkatkan lagi oleh pihak yang terlibat dalam perkuliahan di prodi  pendidikan  teknik  bangunan  (PTB) kedepannya.

## 2. Metode Penelitian
Pada  penelitian  ini Pemahaman  soal  HOTS menjadi  variabel  terikat  (Y),  dengan  variabel bebas  (X)  yaitu pengalaman  penggunaan  soal HOTS yang  meliputi:  1)  Sebelum  menempuh mata kuliah evaluasi pembelajaran, 2) Sesudah menempuh mata kuliah evaluasi pembelajaran tetapi  belum  menempuh  mata  kuliah  PLP,  3) Sesudah  menempuh  mata  kuliah  PLP. Pendekatan  yang  diaplikasikan  ialah  metode kuantitatif.  Data  diolah  memakai  perhitungan statistik  dengan  perana  aplikasi SPSS  26  for windows dan Ms. Excel 365 .  Pengujian statistik yang  diadakan,  antara  lain:  Uji  validitas,  uji reliabilitas, analisis deskriptif, uji prasyarat,  uji hipotesis, dan pengujian lanjutan.
Mahasiswa  Prodi  S1  PTB  Universitas Negeri Malang ialah populasi yang diterapkan pada penelitian ini. Dalam hal ini terdapat tiga (3)  kategori  data,  antara  lain:  1)  Mahasiswa yang  belum  menempuh  mata  kuliah  evaluasi pembelajaran  yaitu  mahasiswa  PTB  angkatan 2022,  2)  Mahasiswa  yang  sudah  menempuh
mata  kuliah  evaluasi  pembelajaran  tetapi belum  menempuh  mata  kuliah  PLP  yaitu mahasiswa  PTB  angkatan  2021  dan  beberapa mahasiswa  PTB  angkatan  2020,  3)  Mahasiswa yang sudah menempuh mata kuliah PLP yaitu mahasiswa  PTB  angkatan  2019  dan  beberapa mahasiswa PTB angkatan 2020.
Teknik pengambilan sampel
menggunakan  teknik proportionate  stratified random  sampling. Dalam  menentukan  jumlah sampel  digunakan  Nomogram  Harry  King bertingkat  kesalahan  5%  dan  faktor  pengali  = 1,195.  Sehingga  didapatkan  jumlah  sampel sebesar  40  %  dari  jumlah  populasi  =  165. Setelah dihitung dengan rumus untuk masing- masing  strata  diperoleh  hasil  untuk  sampel mahasiswa PTB yang belum menempuh  mata kuliah  evaluasi  pembelajaran  =  46,37; mahasiswa  PTB  yang  sudah  menempuh  mata kuliah evaluasi pembelajaran dan belum PLP = 48,28; Mahasiswa PTB yang sudah menempuh mata kuliah PLP = 70,27. Adapun pembulatan hasil tersebut dapat dilihat pada Tabel 1.

## Tabel 1. Data Populasi dan Sampel
Kategorisasi Jumlah populasi Jumlah sampel Mahasiswa PTB yang belum menempuh mata kuliah evaluasi pembelajaran 97 47 Mahasiswa PTB yang sudah menempuh mata kuliah evaluasi pembelajaran dan belum PLP 101 48 Mahasiswa PTB yang sudah menempuh mata kuliah PLP 147 70 Total jumlah 345 165
Pengumpulan  data  menggunakan  metode survey dengan  teknik  angket/kuesioner berjenis  tertutup.  Instrumen  disusun  dalam bentuk  butir-butir  soal  berdasarkan  indikator penelitian,  yaitu  C4  (menganalisis),  C5 (mengevaluasi), C6 (mencipta). Adapun materi yang dipakai untuk membuat soal ialah materi yang  terkait  dengan  mata  kuliah  yang  sudah ditempuh oleh mahasiswa PTB pada semester I dan II. Penskoran pada instrumen penelitian ini ialah setiap jawaban yang benar akan diberikan skor  1,  sedangkan  untuk  jawaban  yang  salah
akan  diberikan  skor  0.  Responden  dapat memilih  enam  alternatif  jawaban,  yaitu;  a)  C1 (mengingat),  b)  C2  (memahami),  c)  C3 (mengaplikasikan), d) C4 (menganalisis), e) C5 (mengevaluasi),  f)  C6  (mencipta).  Indikator instrumen  penelitian  dibuat  berdasarkan kategorisasi  level  kognitif  pada  taksonomi bloom versi revisi yang kemudian dikembangkan lagi menjadi kisi-kisi instrumen dengan  kriteria  kata  kerja  operasional  soal HOTS  yang  sesuai.  Instrumen  tersebut kemudian dilakukan validasi kepada ahli, dan selanjutnya  diuji  validitas  menggunakan rumus Point  Biserial  Correlation (korelasi  poin biserial) dengan nilai signifikansi 5% dan juga uji  reliabilitas  menggunakan  rumus  Kuder Richardson  20  (KR-20).  Kedua  pengujian tersebut  dilakukan  dengan  peranti Ms.  Excel 365 .
Teknik analisis data yang diterapkan untuk penelitian ini yaitu, analisis statistik deskriptif dan  komparatif.  Analisis  deskriptif  berfungsi dalam  menjawab  rumusan  masalah  deskriptif pada rumusan masalah 1, 2, dan 3, sedangkan analisis  komparatif  dipakai  dalam  menjawab rumusan  masalah  komparatif  pada  rumusan masalah  4  sekaligus  untuk  menguji  hipotesis penelitian.
Pada analisis deskriptif, agar terdapat acuan dalam  menggambarkan  kriteria  pemahaman soal HOTS  untuk setiap data kelompok yang diuji  digunakan  acuan  kriteria  rumus rentangan  distribusi  frekuensi  (Sudijono, 2006:453). Dalam menghitung  nilai rentangan, M  (mean)  dan  SD  (standar  deviasi)  yang digunakan  ialah  dari  data  gabungan  seluruh kelompok  sampel  yang  ada.  Berdasarkan keseluruhan data gabungan dari 165 responden didapatkan Mean (M) sebesar 5,76, dan Standar Deviasi  (SD)  sebesar  2,814.  Setelah  dilakukan perhitungan dengan rumus rentangan distribusi  frekuensi  tersebut  diperoleh  hasil pada tabel 2.
Tabel 2. Kriteria Pemahaman Soal HOTS
Rentangan Kriteria 66,52 sampai 100 Sangat baik 47,76 sampai 66,52 Baik 29,00 sampai 47,76 Cukup 10,24 sampai 29,00 Kurang 0 sampai 10,24 Sangat kurang
Pada analisis
statistik komparatif dilakukan  terlebih  dahulu  uji  prasyarat,  yaitu

## Perbedaan Pemahaman Soal HOTS Mahasiswa Sebelum dan Sesudah Mengampu Mata Kuliah Evaluasi Pembelajaran dan PLP
uji  normalitas  dan  uji  homogenitas.  Hipotesis penelitian ini merupakan hipotesis komparatif, oleh  karena  itu  pengujian  hipotesis  juga menggunakan  metode  analisis  komparatif. Sedangkan  sampel  yang  terdapat  pada penelitian ini terdiri dari 3 kategori/kelompok yang  berbeda,  maka  dilakukan  uji  beda  3 sampel independen. Adapun analisis komparatif  yang  digunakan  ialah  dengan metode  o ne-way  ANOVA .  Adapun  hipotesis pada penelitian ini yaitu:
H 0 : μ1 = μ2 = μ3 H 1 : Minimal ada dua rerata yang tidak sama Pengujian one  way  anova pada  penelitian ini memakai aplikasi SPSS 26 for windows dan tingkat  signifikansi  5%.  Jika  pada  tabel ANOVA  nilai  sig. ≤  0,05  maka  H 0 ditolak, berarti  rerata  sampel  berbeda.  Jika  nilai  sig. > 0,05  maka  H 0 diterima,  berarti  rerata  sampel sama.
Pada  pengujian  ANOVA  hanya  dapat diketahui  ada  atau  tidaknya  beda  antara kelompok sampel yang diteliti. Namun belum diketahui  ada  atau  tidaknya  perbedaan  tiap kelompok  sampel  dengan  kelompok  sampel yang lain. Oleh sebab itu dilakukan pengujian lanjutan  ( post  hoc  test )  (Suprihatiningsih  & Sudibyo,  2020).  Pengujian  lanjutan  yang digunakan  ialah  memakai  metode scheffe dengan  peranti  aplikasi SPSS  26  for  windows dan tingkat signifikansi 5%. Apabila pada tabel Multiple  Comparisons nilai  sig.  <  0,05  =  H 0 ditolak,  berarti  terdapat  perbedaan  yang signifikan antara dua rerata kelompok sampel yang  sedang  dibandingkan/dikomparasi. Sedangkan  apabila  nilai  sig.  >  0,05  =  H 0 diterima, dan berarti tidak terdapat perbedaan yang  signifikan  antara  dua  rerata  kelompok sampel yang sedang dibandingkan. Komparasi rerata, H 0 , dan H 1 dipaparkan pada tabel 3.

## Tabel 3 Hipotesis Uji Scheffe
Komparasi H 0 H 1 μ1 vs μ2 μ1 = μ2 μ1 ≠ μ2 μ2 vs μ3 μ2 = μ3 μ2 ≠ μ3 μ1 vs μ3 μ1 = μ3 μ1 ≠ μ3
Sumber: Suprihatiningsih & Sudibyo (2020)
3.     Hasil dan Pembahasan
3.1. Hasil
3.1.1 Pemahaman Soal HOTS Mahasiswa Sebelum Menempuh Mata Kuliah Evaluasi Pembelajaran
Melalui  perhitungan  statistik  deskriptif  dapat dinyatakan  bahwa  pemahaman  soal  HOTS mahasiswa  sebelum  menempuh  mata  kuliah evaluasi  pembelajaran  mendapatkan  nilai sejumlah  27,52  dan  berada  pada  kriteria “kurang”.  Pada  indikator  C4  (menganalisis) diperoleh  nilai  sejumlah  27,66  dengan  kriteria “kurang”.  Pada  indikator  C5  (mengevaluasi) diperoleh  nilai  sejumlah  23,40  dengan  kriteria “kurang”.  Sedangkan  pada  indikator  C6 (mencipta)  diperoleh  nilai  sejumlah  31,49  dan kriteria “cukup”.

## 3.1.2 Pemahaman Soal HOTS Mahasiswa Sesudah Menempuh Mata Kuliah Evaluasi Pembelajaran tetapi Belum PLP
Melalui  perhitungan  statistik  deskriptif  dapat dinyatakan  bahwa  pemahaman  soal  HOTS mahasiswa  sesudah  menempuh  mata  kuliah evaluasi  pembelajaran  belum  PLP  memiliki nilai  sejumlah  32,78  dan  berkriteria  “cukup”. Sedangkan  pada  indikator  C4  diperoleh  nilai sejumlah  37,08.  Kemudian  pada  indikator  C5 diperoleh nilai sejumlah 28,65. Sedangkan pada indikator  C6  diperoleh  nilai  sejumlah  36,67. Hasil  nilai  pada  indikator  C4  dan  C6  berada pada  kriteria  “cukup”,  sedangkan  pada indikator C5 berkriteria “kurang”.

## 3.1.3 Pemahaman Soal HOTS Mahasiswa Sesudah Menempuh Mata Kuliah PLP
Melalui  perhitungan  statistik  deskriptif  dapat dinyatakan  bahwa  pemahaman  soal  HOTS mahasiswa  sesudah  menempuh  mata  kuliah PLP memiliki  nilai sejumlah 49,52 dan berada pada kriteria “baik”.Adapun pada indikator C4 diperoleh  nilai  sejumlah  50,57  dengan  kriteria “baik”.  Pada  indikator  C5  diperoleh  nilai sejumlah  43,43  dan  berkriteria  “cukup”. Sedangkan  pada  indikator  C6  diperoleh  nilai sejumlah 54,57 dengan kriteria “baik”.

## 3.1.4 Perbedaan Pemahaman Soal HOTS Mahasiswa
Setelah dipaparkan data-data nilai dan kriteria pada  masing-masing  kelompok  data,  dapat dibuat tabel 4.

## Tabel 4. Nilai dan Kriteria Data Pemahaman Soal HOTS
Kelompok Data Indi- kator Nilai  Kriteria Sebelum menempuh mata kuliah evaluasi pembelajaran 27,52  Kurang C4 27,66  Kurang C5 23,40  Kurang C6 31,49  Cukup Sesudah menempuh mata kuliah evaluasi pembelajaran belum PLP 32,78  Cukup C4 37,08  Cukup C5 22,92  Kurang C6 36,67  Cukup Sesudah menempuh mata kuliah PLP 49,52 Baik C4 50,57 Baik C5 43,43  Cukup C6 54,57 Baik
Berdasarkan tabel 4 dapat dibuat diagram batang pada gambar 1, sehingga dapat terlihat bahwa  terdapat  perbedaan  antara  ketiga kelompok data penelitian. Adapun nilai rerata tertinggi  terdapat  pada  kelompok  data “sesudah menempuh mata kuliah PLP” dengan kriteria  “baik”.  Begitu  pula  pada  data  nilai indikator  C4,  C5,  maupun  C6  juga  tertinggi terlihat  pada  kelompok  data  “sesudah menempuh  mata  kuliah  PLP”.  Meskipun
demikian,  kriteria  yang  diperoleh  oleh indikator C4, C5, dan C6 dalam kelompok data “sesudah  menempuh  mata  kuliah  PLP” tidaklah sama. Pada indikator C4 dan C6 untuk kelompok  data  “sesudah  menempuh  mata kuliah  PLP”  berkriteria  “baik”,  sedangkan pada  indikator  C6  berada  pada  kriteria “cukup”.
Berdasarkan data-data yang telah disampaikan memungkinkan untuk
dinyatakan bahwa terdapat perbedaan pemahaman  soal  HOTS  mahasiswa  antara sebelum  menempuh  mata  kuliah  evaluasi pembelajaran, sesudah menempuh mata kuliah evaluasi  pembelajaran  pembelajaran  tetapi belum  PLP,  serta  sesudah  menempuh  mata kuliah  PLP.  Namun  perbedaan  tersebut  ialah dilihat  secara  statistik  deskriptif.  Agar  dapat diketahui ada atau tidaknya perbedaan secara signifikan, maka dilakukan pengujian statistik komparatif  melalui  pengujian  hipotesis penelitian  serta  pengujian  lanjutan  ( post  hoc test ). Pengujian  hipotesis  penelitian  yang diadakan  ialah  pengujian  ANOVA  satu  jalur dengan dukungan software statistik SPSS 26 for windows .  Hasil  pengujian  tersebut  dipaparkan pada tabel 5.
Gambar 1. Diagram Batang Nilai Pemahaman Soal HOTS
Keterangan:
= Sebelum menempuh mata kuliah evaluasi pembelajaran = Sesudah menempuh mata kuliah evaluasi pembelajaran tetapi belum PLP
= Sesudah menempuh mata kuliah PLP
27,52
27,66
23,41 31,49 32,78 37,08
28,65 36,67 49,52 50,57 43,43 54,57 0 20 40 60 80 100 Nilai rerata C4 C5 C6 R enta nga n Pemahaman Soal HOTS

## EDUCATIONAL BUILDING
Jurnal Pendidikan Teknik Bangunan dan Sipil Vol. 9. No.2 Desember 2023: 32-41, ISSN-E : 2477-4901, ISSN-P: 2477-4898
Tabel 5. ANOVA Pemahaman Soal HOTS Sum of Squares df Mean Square F Sig. Between Groups 354,259 2 177,130 30,396  0,000 Within Groups 944,044 162 5,827 Total 1298,303 164
Berdasarkan hasil uji anova satu jalur pada tabel 5 didapatkan nilai sig. 0,000 < 0,05, sehingga bisa dikatakan  bahwa H 0 ditolak dan  berarti  rerata sampel  berbeda,  atau  dengan  kata  lain,  ada perbedaan  pada  rerata  kelompok  sampel  yang diuji.
Setelah  diketahui  adanya  perbedaan  pada rerata  kelompok  melalui  pengujian  ANOVA satu  jalur,  dilakukan  pengujian  lanjutan  guna mengungkap  ada  atau  tidak  perbedaan  antara sekelompok  sampel  dengan  kelompok  sampel lainnya.  Pengujian  lanjutan  yang  digunakan ialah metode Scheffe dengan perana SPSS 26 for windows . Hasil pengujian tersebut dapat dilihat pada  tabel  6.  Keterangan  H 0 diterima  berarti dapat  dinyatakan  bahwa  suatu  kelompok  data tidak  memiliki  perbedaan  dengan  suatu kelompok  data  yang  dikomparasi.  Sedangkan keterangan H 0 ditolak berarti dapat dinyatakan bahwa  suatu  kelompok  data  memiliki perbedaan  dengan  suatu  kelompok  data  yang dikomparasi.
Tabel 6. Multiple Comparisons Komparasi Nilai Sig. Keterangan μ1 vs μ2 0,284 H 0 diterima μ2 vs μ3 0,000 H 0 ditolak μ1 vs μ3 0,000 H 0 ditolak
Keterangan:
μ1  = Rerata kelompok sampel sebelum menempuh mata kuliah evaluasi pembelajaran
μ2  = Rerata kelompok sampel sesudah menempuh mata kuliah evaluasi pembelajaran tetapi belum PLP
μ3  = Rerata kelompok sampel sesudah menempuh mata kuliah PLP
3.2 Pembahasan
3.2.1  Pemahaman  Soal  HOTS  Mahasiswa Sebelum  Menempuh  Mata  Kuliah Evaluasi Pembelajaran
Pemahaman  soal  HOTS  mahasiswa  sebelum menempuh  mata  kuliah  evaluasi  pembelajaran mendapatkan  nilai  sejumlah  27,52  dan  berada pada  kriteria  kurang.  Hal  ini  dapat  terjadi
karena mahasiswa belum memiliki pengalaman penggunaan soal HOTS secara teoritis maupun secara  praktik.  Pemahaman  mengenai  sesuatu tentulah  tidak  dapat  dimiliki  oleh  seseorang tanpa  melaui  proses  belajar  dari  pengalaman dibangku  perkuliahan  maupun  pengalaman yang didapatkan dari sumber-sumber yang lain.
Adapun  mahasiswa  pada  kelompok sampel ini belum menempuh mata kuliah yang didalamnya  terdapat  pengalaman  penggunaan soal  HOTS  seperti  mata  kuliah  evaluasi pembelajaran  dan  juga  PLP.  Oleh  sebab  itulah mahasiswa tersebut hanya memiliki pemahaman soal HOTS berkriteria kurang. Hal ini sejalan bersama hasil penelitian Wicaksono & Jumanto  (2019),  yang  menegaskan  apabila pemahaman soal HOTS guru sebelum diberikan pengalaman  penggunaan  soal  HOTS  lebih rendah  daripada  setelah  memiliki  pengalaman tersebut.  Begitu  pula  hasil  penelitian  yang diadakan  oleh  Nusivera,  dkk.,  (2023), menyimpulkan  bahwa  pemahaman  soal  HOTS peserta  berada  pada  kualitas  tidak  sebaik daripada setelah diberikan Pelatihan pengembangan  soal  HOTS  atau  pengalaman penggunaan soal HOTS.

## 3.2.2 Pemahaman Soal HOTS Mahasiswa
Sesudah Menempuh Mata Kuliah Evaluasi Pembelajaran tetapi Belum PLP
Pemahaman  soal  HOTS  mahasiswa  sesudah menempuh  mata  kuliah  evaluasi  pembelajaran tetapi belum PLP memiliki nilai sejumlah 32,78 dengan kriteria cukup. Sedangkan pemahaman soal  HOTS  mahasiswa  sebelum  menempuh mata kuliah evaluasi pembelajaran mendapatkan nilai sejumlah 27,52.
Berdasarkan  hasil  nilai  dari  keduanya terdapat  selisih  sebesar  5,26.  Dengan  demikian dapat  dinyatakan  bahwa  ada  peningkatan pemahaman soal HOTS pada mahasiswa setelah menempuh mata kuliah evaluasi pembelajaran. Hal  ini  dapat  terjadi  karena  di  dalam  mata kuliah  evaluasi  pembelajaran  memuat  materi maupun latihan yang memberikan pengalaman penggunaan  soal  HOTS,  sehingga  pemahaman soal HOTS yang dimiliki dapat berada di kriteria cukup.  Sejalan  dengan  hal  ini,  penelitian  yang dilakukan  Destiniar,  dkk.,  (2020)  juga menyatakan bahwa sesudah diadakan aktivitas pelatihan  penyusunan  HOTS  menjadikan pemahaman serta kemampuan dalam membuat soal  HOTS  bertambah.  Begitu  pula  penelitian yang  dilakukan  Zahra,  dkk.,  (2022),  juga didapatkan  kesimpulan  bahwa  peningkatan
pemahaman  soal  HOTS  terjadi  setelah  peserta diberikan pengalaman penggunaan soal HOTS.

## 3.2.3  Pemahaman  Soal  HOTS  Mahasiswa Sesudah Menempuh Mata Kuliah PLP
Pemahaman  soal  HOTS  mahasiswa  sesudah menempuh  mata  kuliah  PLP  memiliki  nilai sejumlah  49,52  dan  berada  pada  kriteria  baik. Nilai  tersebut  apabila  dibandingkan  dengan nilai  dari  rerata  kelompok  sampel  mahasiswa yang belum menempuh mata kuliah PLP tetapi sudah  menempuh  mata  kuliah  evaluasi pembelajaran  terdapat  selisih  sebesar  16,74. Sedangkan  apabila  dibandingkan  dengan  nilai dari  rerata  kelompok  sampel  mahasiswa  yang belum  menempuh  mata  kuliah  PLP  dan  juga belum  menempuh  mata  kuliah  evaluasi pembelajaran terdapat selisih sebesar 22,00. Hal tersebut  dapat  terjadi  karena  mahasiswa  yang telah  menempuh  mata  kuliah  PLP  sudah memiliki  pengalaman  penggunaan  soal  HOTS secara teoritis maupun secara praktis, sehingga memungkinkan mendapatkan pemahaman soal HOTS  berkriteria  baik.  Serupa  dengan penelitian yang dilakukan Maulub (2021) yang menyatakan  bahwa  dengan  memberikan pengalaman penggunaan soal HOTS dalam dua siklus,  ditemukan  bahwa  pemahaman  soal HOTS  meningkat  sesudah  siklus  pertama,  dan lebih meningkat lagi sesudah siklus kedua.

## 3.2.4 Perbedaan Pemahaman Soal HOTS Mahasiswa
Berdasarkan  pembahasan  sebelumnya  dapat diketahui  jika  kelompok  sampel  mahasiswa sebelum  menempuh  mata  kuliah  evaluasi pembelajaran mendapatkan nilai sejumlah 27,52 dengan  kriteria  kurang,  sedangkan  kelompok sampel  mahasiswa  sesudah  menempuh  mata kuliah  evaluasi  pembelajaran  belum  PLP memiliki  nilai  sejumlah  32,78  dengan  kriteria cukup,  dan  kelompok  sampel  mahasiswa sesudah menempuh mata kuliah PLP memiliki nilai  sejumlah  49,52  dengan  kriteria  baik. Dengan  demikian  dapat  dinyatakan  secara deskriptif bahwa ditemukan perbedaan pemahaman  soal  HOTS  mahasiswa  antara sebelum  menempuh  mata  kuliah  evaluasi pembelajaran, sesudah menempuh mata kuliah evaluasi  pembelajaran  pembelajaran  tetapi belum  PLP,  serta  sesudah  menempuh  mata kuliah PLP.
Berdasarkan pengujian statistik komparatif menggunakan  metode  ANOVA  satu  jalur diketahui hasil sig. sebesar 0,00 < 0,05. Sehingga
dapat  dinyatakan  secara  statistik  komparatif bahwa  terdapat  perbedaan  pemahaman  soal HOTS  yang  signifikan  antara  mahasiswa sebelum  menempuh  mata  kuliah  evaluasi pembelajaran, sesudah menempuh mata kuliah evaluasi  pembelajaran  pembelajaran  tetapi belum  PLP,  serta  sesudah  menempuh  mata kuliah PLP.
Pada  pengujian  lanjutan  ( post  hoc  test ) dengan metode scheffe antara kelompok sampel mahasiswa  sebelum  menempuh  mata  kuliah evaluasi  pembelajaran  dengan  kelompok sampel  sesudah  menempuh  mata  kuliah evaluasi  pembelajaran  pembelajaran  tetapi belum  PLP  didapatkan  nilai  sig.  0,284  >  0,05 yang  berarti  tidak  ada  perbedaan  yang signifikan  antara  kedua  kelompok  sampel tersebut.  Sedangkan  pada  pengujian  lanjutan antara  kelompok  sampel  mahasiswa  sebelum menempuh  mata  kuliah  evaluasi  pembelajaran dengan  kelompok  sampel  sesudah  menempuh mata  kuliah  PLP  didapatkan  nilai  sig.  0,000  > 0,05 yang berarti ada perbedaan yang signifikan antara kedua kelompok sampel tersebut. Begitu pula pada pengujian lanjutan antara kelompok sampel  mahasiswa  sebelum  menempuh  mata kuliah evaluasi pembelajaran dengan kelompok sampel  sesudah  menempuh  mata  kuliah  PLP didapatkan  nilai  sig.  0,000  >  0,05  yang  berarti ada  perbedaan  yang  signifikan  antara  kedua kelompok sampel tersebut.

## 4. Kesimpulan
Pemahaman  soal  HOTS  mahasiswa  sebelum menempuh  mata  kuliah  evaluasi  pembelajaran berada  pada  kriteria  kurang  dengan  hasil sebesar  27,52.  Kurangnya  pemahaman  soal HOTS  mahasiswa  tersebut  disebabkan  karena belum  memiliki  pengalaman  penggunaan  soal HOTS  secara  teoritis  maupun  secara  praktik. Pemahaman  soal  HOTS  mahasiswa  sesudah menempuh  mata  kuliah  evaluasi  pembelajaran tetapi  belum  PLP  berada  pada  kriteria  cukup dengan hasil sebesar 32,78. Hal ini dapat terjadi karena  mahasiswa  tersebut  sudah  memiliki pengalaman  penggunaan  soal  HOTS  secara teoritis pada mata kuliah evaluasi pembelajaran. Pemahaman  soal  HOTS  mahasiswa  sesudah menempuh  mata  kuliah  PLP  berada  pada kriteria baik dengan hasil 49,52. Hal ini mungkin terjadi  karena  mahasiswa  tersebut  sudah memiliki  pengalaman  penggunaan  soal  HOTS secara  teoritis  pada  mata  kuliah  evaluasi pembelajaran  serta  secara  praktik  langsung  di kampus  dan  juga  di  sekolahan  yang

## Perbedaan Pemahaman Soal HOTS Mahasiswa Sebelum dan Sesudah Mengampu Mata Kuliah Evaluasi Pembelajaran dan PLP
sesungguhnya  pada  saat  menempuh  mata kuliah PLP.
Terdapat  perbedaan  pemahaman  soal  HOTS mahasiswa  sebelum  menempuh  mata  kuliah evaluasi  pembelajaran,  sesudah  menempuh mata kuliah evaluasi pembelajaran pembelajaran  tetapi  belum  PLP,  serta  sesudah menempuh  mata  kuliah  PLP.  Perbedaan tersebut ialah pada hasil nilai dan juga kriteria yang  didapatkan  masing-masing  kelompok mahasiswa  tersebut.  Hal  ini  memungkinkan, sebab  masing-masing  kelompok  mahasiswa tersebut  memiliki  pengalaman  menggunakan soal HOTS yang berbeda.

## Daftar Pustaka
Ariyana,  Y.,  Pudjiastuti,  A.,  Bestary,  R.,  & Zamromi,  Z.  2018. Buku  Pegangan Pembelajaran  Keterampilan  Berpikir  Tingkat Tinggi  Berbasis  Zonasi. Jakarta:  Direktorat Jenderal  Guru  dan  Tenaga  Kependidikan Kemendikbud. Battelleforkids.org. 2018. P21 Partnership for 21 st Century Learning. Columbus: Batlleforkids.org.
Destiniar,  D.,  Mulbasari,  A.  S.,  Fuadiah,  N.  F., Octaria, D., Ningsih, Y. L., Retta, A. M., & Isroqmi,  A.  2020.  Pelatihan  Penyusunan Soal  HOTS  untuk  Mengembangkan Kemampuan Pedagogik Guru. J- ABDIPAMAS  (Jurnal  Pengabdian  Kepada Masyarakat) , 4 (1), 163-170. Dari http://dx.doi.org/10.30734/j- abdipamas.v4i1. Isnandar,  &  Nurhadi,  D.  2019.  Promoting Integrated Authentic Learning: An Anticipation of ASEAN Mutual
Recognition  Agreement  on  Vocational- Education  Graduates’  Skills. Proceedings  of the 2nd International Conference on Vocational Education and Training (ICOVET 2018), 242 , 159-162. DOI: 10.2991/icovet-18.2019.40.
Izzati,  N.,  Antika,  R.,  Susanti,  Siregar,  N.A.R.
2020. Pembimbingan Guru dalam Mengembangkan  Soal  Kategori  HOTS  di MGMP Matematika SMP Kota Tanjungpinang. JMM  (Jurnal  Masyarakat Mandiri), 4 (3), 370-381.
DOI: https://doi.org/10.31764/jmm.v4i3.2511. Kristiyono,  A.  2018.  Urgensi  dan  Penerapan Higher  Order  Thinking  Skills. Jurnal Pendidikan  Penabur,  17 (31),  36-46.  Dari
https://bpkpenabur.or.id/media/eoahmb rx/hal-36-46-high-order.pdf.
Lembaga  Pengembangan  Pendidikan  dan Pembelajaran  Universitas  Negeri  Malang (LP3 UM). 2019. Dokumen Proses Kurikulum Prodi  Pendidikan  Teknik  Bangunan. Malang: Universitas Negeri Malang.
Maryani,  I.,  &  Martaningsih,  S.T.  2020. Pendampingan  Penyusunan  Soal  Higher Order Thinking Bagi Guru Sekolah Dasar. Jurnal  SOLMA,  9 (1),  156-166.  DOI: http://dx.doi.org/10.29405/solma.v9i1.41 00.
Maulub.  2021.  Peningkatan  Kompetensi  Guru dalam  Menyusun  Soal  HOTS  Melalui Teknik  Dapat,  Catat,  Terap  (DCT)  di  SD Negeri  13  Ranah  Batahan  Kabupaten Pasaman Barat. Jurnal Pendidikan Tambusai ,
5 (3), 9884-9897. Dari https://jptam.org/index.php/jptam/artic le/view/2551. Nurmawati,  Driana,  E.,  Ernawati.  2020. EDUSAINS, 12 (2), 233-242. DOI: http://doi.org/10.15408/es.v12i2.13613 Nusivera, E., Rahmayanti, I., & Dewi, T.U. 2023. Pelatihan  Pembuatan  Soal  Berbasis  Hots Bagi  Guru  SMP. Jurnal  Inovasi  Pengabdian Masyarakat  Pendidikan, 4 (1),  1-10.  Dari https://doi.org/10.33369/jurnalinovasi.v4 i1.27036.
Pertiwi, W. 2018. Analisis Kemampuan Berpikir Kritis  Matematis  Peserta  Didik SMK  pada Materi Matriks. Jurnal Pendidikan Tambusai,
2 (2), 793-801 DOI: https://doi.org/10.31004/jptam.v2i4.29.
Pusat Penelitian Kebijakan Badan Penelitian dan Pengembangan  dan  Perbukuan.  2020. Risalah  kebijakan:  Implementasi  Kurikulum 2013  Menuju  Kompetensi  Abad  21 .  Jakarta:
Kementerian Pendidikan dan Kebudayaan. Pusat  Penelitian  Pendidikan  Kemendikbud.
2019. Panduan  Penulisan  Soal  HOTS-Higher Order  Thinking  Skills .  Jakarta:  Pusat Penelitian Pendidikan.
Pusat  Pengembangan  Program  Pengalaman Lapangan  (P2PPL)  UM.  2014. Petunjuk Pelaksanaan  Praktik  Pengalaman  Lapangan (PPL)  Keguruan  Universitas  Negeri  Malang . Malang: Universitas Negeri Malang.
Rapih,  S.,  &  Sutaryadi.  2018.  Perspektif  guru sekolah  dasar  terhadap  Higher  Order Thinking  Skills  (HOTS):  Pemahaman, Penerapan  dan  Hambatan. Premiere Educandum:  Jurnal  Pendidikan  Dasar  dan
Pembelajaran , 8 (1), 78-87. DOI: 10.25273/pe.v8i1.2560. Saputra, H. 2016. Pengembangan Mutu Pendidikan Menuju  Era  Global:  Penguatan  Mutu Pembelajaran dengan Penerapan HOTS (High Order  Thinking  Skills). Bandung:  Smile’s Publishing. Sarmini,  S.  2022.  Meningkatkan  Kemampuan Guru  Menyusun  Soal  HOTS  melalui Workshop, (online), (https://radarsemarang.jawapos.com/unt ukmu-guruku/721393067/meningkatkan- kemampuan-guru-menyusun-soal-hots- melalui-workshop),  diakses  20  Agustus 2022. Sinta, U. A., Roebyanto, G., & Nuraini, N. L. S. (2022).  Analisis  Kesulitan  Guru  dalam Menyusun  Soal  Evaluasi  Berbasis  Hots Pada  Pembelajaran  Matematika  di  SDN
Torongrejo 2. Jurnal Pembelajaran, Bimbingan, Dan Pengelolaan Pendidikan , 2 (1),
45-53. DOI: https://doi.org/10.17977/um065v2i12022 p45-53. Sudijono, A. 2006. Pengantar Statistik Pendidikan . Jakarta: Raja Grafindo Persada. Suprihatiningsih, S., & Sudibjo, N. A. 2020. Uji ANOVA  dengan  Software  SPSS .  Banyumas: CV. Pena Persada.
Ulva,  S.  2020. Analisis  Soal  Tipe  Higher  Order Thinking  Skills  (HOTS)  dalam  Soal  Ujian Nasional  (UN)  IPA  Sekolah  Menengah Pertama  (SMP)  di  SMP  N  1  Batipuh  Tahun Ajaran 2018/2019. Skripsi tidak diterbitkan. Batusangkar:  Fakultas  Tarbiyah  dan  Ilmu Keguruan IAIN Batusangkar. Wicaksono,  A.  G.  &  Jumanto.  2019.
Pengembangan Soal Higher Order
Thinking Skills (HOTS) Bagi Guru Sekolah Dasar. ADIWIDYA:  Jurnal  Pengabdian
Masyarakat  Universitas  Slamet  Riyadi,  3 (2),
14-20.
Dari
https://ejurnal.unisri.ac.id/index.php/adi widya/article/view/3352/2825.
Zahra,  Z.N.,  1,  Suwangsih,  E.,  Ruskandi,  K., Rosmayanti,  T.,  Andrean,  B.,  Tiani.  E.D., Nuraenjela, G., Widiyanti, M., Nurhidayat, I.,  Khumairoh,  N.Z.,  Aviani,  N.S.,  Indah, N.Z.P.,  Hidayat,  R.S.,  Islammiyati,  S.M., Yuki,  Damaika,  Y.  2022.  Meningkatkan Pemahaman  dan  Keterampilan  Guru Sekolah  Dasar  Dalam  Menyusun  Soal Berbasis  Higher  Order  Thinking  Skill (HOTS). Indonesian  Journal  of  Community Services  in  Engineering  &  Education
(IJOCSEE), 2 (1), 77-84. Dari http://ejournal.upi.edu/index.php/IJOCS EE/.