Vol. 4 No. 4 (2023) https://doi.org/10.35877/454RI.mattawang2240

## Supervision of The Development of Higher-Order Thinking Skills (HOTS)-Based Assessment of learning in Wijaya Putra School

## Supervisi Penyusunan Assessment of learning Berbasis HOTS di SMA Wijaya Putra Surabaya
Yulis Setyowati * , Surya Priambudi, & Dewanto
Universitas Wijaya Putra, Raya Benowo 1-3,  Surabaya and 60197, Indonesia

## Abstract
As an educator, a teacher ideally should have a strong understanding of the concept of Higher Order Thinking Skills (HOTS) in learning  and  assessment.  This  understanding  is  crucial  to  support  the  implementation  of  teaching  and  assessment  in  the  era  of Society 5.0. Higher Order Thinking Skills, commonly known as HOTS, refer to an individual's ability to think in a more complex manner. Indicators used in HOTS questions include three aspects within the context of Bloom's taxonomy, namely analysis (C4), evaluation  (C5),  and  creation  (C6).  This  community  service  activity  aims  to  illustrate  the  steps  and  analyze  the  results  of supervision  in  enhancing  the  competence  of  teachers  in  developing  HOTS-based  learning  assessments  at  SMA  Wijaya  Putra  in Surabaya. The supervision method employed is participative, utilizing direct guidance and Focus Group Discussions. The results of this supervision show an improvement in teachers' ability to create assessments of learning.This improvement is evident in the initial  observation of  learning  assessments,  where  only    ability  increased  to 75%, indicating  a  substantial  improvement  from  the initial condition. In conclusion, this community service activity successfully enhanced the skills of teachers in developing  HOTS- based assessments.

## Abstrak
Sebagai  seorang  pendidik,  guru  seyogyanya  memiliki  pemahaman    yang  kuat  pada  konsep  pembelajaran  dan  penilaian  Higher Order  Thinking  Skills  (HOTS),  karena  pemahaman  ini  sangat  dibutuhkan  untuk  mensupport  pelaksanaan  pembelajaran  dan penilaian di era society 5.0. Kemampuan Berpikir Tingkat  Tinggi  yang lebih dikenal dengan HOTS, mengacu pada kemampuan seseorang dalam berpikir secara lebih kompleks. Indikator yang digunakan dalam soal HOTS mencakup tiga aspek dalam konteks Bloom  taksonomi  yaitu  analisis  (C4),  evaluasi  (C5),  dan  kreasi  (C6).  Kegiatan  pengabdian  masyarakat  ini  bertujuan    untuk menggambarkan  langkah-langkah  dan  menganalisis  hasil  dari  supervisi  dalam  meningkatkan  kompetensi  guru  dalam  menyusun penilaian pembelajaran berbasis HOTS di SMA Wijaya Putra di Surabaya. Metode supervisi ini adalah metode partisipatif dengan menggunakan pendekatan bimbingan langsung dan Fokus Grup Diskusi. Hasil dari supervisi ini adalah meningkatnya kemampuan guru dalam  menyusun assessment of learning . Hal ini terlihat saat awal observasi assessment of learning yang dikumpulkan dan dianalisis  terlihat  mempunyai  unsur  HOTS  hanya  40%,  dan  setelah  diadakannya  supervise  dan  Fokus  Grup  Diskusi  terlihat kemampuan  tersebut  meningkat  menjadi  75%  yang  artinya  dari  perangkat  penilaian  yang  dibuat  guru  SMA  Wijaya  Putra mengandung  soal  HOTS  jauh  lebih  tinggi  dari  kondisi  awal.  Kesimpulannya,  kegiatan  pengabdian  ini    mampu  meningkatkan keterampilan guru dalam penyusun assessment of learning yang berbasis HOTS.
Kata Kunci: Supervisi, assessment of learning , HOTS,

## 1. Pendahuluan *
Keterampilan berpikir tingkat tinggi (HOTS) adalah keterampilan berpikir  yang tidak  menggunakan proses berpikir biasa.  HOTS  merupakan  kemampuan  seseorang  untuk  berpikir  melebihi  apa  yang  biasa.    HOTS  dikategorikan
* Corresponding author:
E-mail address : yulissetyowati@uwp.ac.id
sebagai  kemampuan  berpikir  yang  dimiliki  oleh  individu  dalam  menganalisis,  menilai,  dan  menciptakan  sesuatu sebagai  proses  pemecahan  masalah  (Setyowati,  2023),    (Erdiana  &  Panjaitan,  2023),  (Setyowati,  Education,  et  al., 2022),  (Mujayanah  et  al.,  2022),  (AS  &  Zulprianto,  2022),  (Palennari  et  al.,  2021),  (Lusiani,  2022),  (Setyowati, 2020), (Ahmad et al., 2020) and (Setiawati, 2019). Lebih dari itu HOTS merupakan kemampuan untuk berpikir kritis dan kreatif untuk  menyimpulkan  suatu. Jadi, HOTS merupakan  kemampuan  yang  menuntut siswa untuk berpikir di luar  kemampuan  berpikir  pada  umumnya  (Ritonga,  2023)  dan      (Fatimah  &  Rinawati,  2022).  HOTS  dapat memfasilitasi peserta didik untuk mempunyai pola pikir secara kritis dan kreatif dengan keterampilan dalam analisis, menilai,  dan  menciptakan  proses  menyimpulkan  dan  memecahkan  masalah.  Guru  harus  mengembangkannya  untuk membantu  siswa  menghadapi  berbagai  masalah  yang  lebih  kompleks  di  dikemudian  hari.    Mereka    membutuhkan HOTS    dalam    memecahkan    masalah-masalah    tersebut.    Pembelajaran  Bahasa  Inggris    dewasa  ini  dikembangkan seiring  dengan  kebutuhan  perkembangan  teknologi  yang  semakin  pesat  serta  menyelaraskannya    dengan  kearifan local.  Keselarasan  tujuan  pembelajaran  Bahasa  Inggris  dengan  esensi  HOTS  harus  diselaraskan  dengan  system evaluasi yang dilaksanakan.
Pada  tahun  2018,  Kementerian  Pendidikan  dan  Kebudayaan  meluncurkan  program  yang  mendukung  implementasi HOTS,  yaitu  program  kegiatan  belajar  dan  mengajar  yang  berfokus  untuk  melatih  keterampilan    berpikir  tingkat tinggi , tetapi hal ini tidak didukung dengan program penyelerasan dengan system penilian yang sudah diprogramkan. Phenomena ini juga terjadi di SMA Wijaya Putra yang merupakan sekolah menengah atas di daerah Surabaya Barat yang berbasis riset dan budi pekerti.
Dari  observasi  yang  sudah  dilakukan  terlihat  adalah  SMA  Wijaya  Putra  menerapkan assessment  of  learning sekitar 80% dari kegiatan evaluasinya, 10% assessment for learning dan 10% assessment on learning. Untuk assessment of learning yang  sudah  dilaksanakan  banyak  mengodopsi  tes  tertulis,  quiz  dan  project  based  assessment.  Untuk mendapatkan data yang akurat mengenai apakah HOTS sudah diterapkan di assessment maka samping beberapa tes tertulis  diambil  dan  dianalis  berdasarkan  Bloom  taknonomi.  Tes  tertulis  yang  dijadikan  sampling  diambil  dari  quis sehari hari, tes tengah dan akhir semester Berikut adalah adalah analisisnya:
Tabel 1. Prosentase HOTS di dalam assessment yang sudah dilaksanakan Indikator Sub Indikator Daily Exercise Daily Quiz Project Asement Based Kegitan evaluasi semester Menganalisis (C4) Membedakan Mengorganisasikan Mengatribusikan 10% 15% 10% 15% Mengevaluasi (C5) Memeriksa Mengkritik 2% 5% 20% 10% Mencipta (C6) Merumuskan/Membuat hipotesis Merencanakan Memproduksi 1% 5% 20% 10%
Dari  table  1  terlihat  bahwa  HOTS  yang  ada  di  assement  masih  tergolong  kurang  memenuhi  standar  karena  masih dibawah angka 50%.  Hal ini  jika tidak ada perhatian khusus akan  menjadi   hambatan dalam termujudnya misi dan vis sekolah mitra.  Oleh karena itu pendampingan guru bahasa inggris dalam mengintegrasikan HOTS (Higher Order Thinking Skills) pada assessment of learning seyogyanya secepatnya dilaksanakan.

## 2. Metode Pelaksanaan
Peningkatan  kemampuan  guru  Bahasa  Inggris  dalam  mengintregariskan  HOTS  ke  dalam  assessment  adalah  tujuan dari kegiatan pengabdian masyarakat ini. Dengan harapan Guru Bahasa Inggris sekolah mitra menjadi lebih terampil dalam mengelola penilaian (asesmen) yang sudah dilaksanakan.  Adapun metode yang dilakukan adalah:

## a. Supervisi
Salah  satu  aspek  dari  inisiatif  Pengabdian  Kepada  Masyarakat  ini  adalah  memberikan  dukungan  dan  bimbingan langsung  kepada  para  mitra.  Dalam  kapasitas  ini,  berbagai  kegiatan  pendampingan  dilakukan,  seperti  observasi, brainstorming  kolaboratif,  dan  upaya  yang  ditujukan  untuk  meningkatkan  soft  skill  terkait  dengan  manajemen  yang efektif. Selain itu, ada fokus khusus pada optimalisasi kompetensi guru, khususnya yang berspesialisasi dalam bahasa Inggris, untuk secara efektif menyelenggarakan penilaian berdasarkan Higher Order Thinking Skills (HOTS). Metode
yang  ditujukan  kepada  guru  Bahasa  Inggris  guna  meng-upgrade  pengimplementasian  HOTS  kedalam assessment  of learning .  Selanjutnya  dilakukan  pendampingan  langsung  selama  kegiatan  pengabdian  masyarakat.  Supervisi  yang diberikan kepada Guru Bahasa Inggris dengan tujuan peningkatan kemampuan untuk mengembangkan assessment of learning yang  berbasis  HOTS  yang  lebih  baik  dengan  memberikan  bantuan  teknis  dan  bimbingan  kepada  guru tersebut demi kualitas assessement of learning serta pelaksanaannya yang semakin meningkat (Menggo et al., 2021), (Menggo et al., 2021)  dan (Yudiningsih, 2022).

## b. Fokus Grup Diskusi
Fokus  grup  diskusi  adalah  diskusi  sistematis  dan  terfokus  mengenai  informasi  untuk  menciptakan  penilaian pembelajaran  yang  dilakukan  oleh  mitra.  Fokus  grup  Diskusi  dalam  ini  bisa  dikatakan  sebagai  proses  pengumpulan informasi  terkait assessment  of  learning berbasis  HOTS  melalui  diskusi  kelompok  secara  insentif,  wawancara  yang terdiri dari guru Bahasa Inggris, tim pengabdian masyarakat, dan pimpinan sekolah.

## 3. Hasil Pembahasan

## 3.1. Pelaksanaan Supervisi
Kegiatan  supervisi  ini  dilakukan  berfokus  pada  meningkatkan  keterampilan  guru  Bahasa  Inggris  dalam mengintregrasikan HOTS kedalam assessment of learning . Assessment of learning dalam konteks ini  mengacu pada ujian  tulis,  quiz  untuk  mengukur  dan  evaluasi  proses  pembelajaran  yang  dilakukan.      Kegiatan  pendampingan dilakukan secara berkala, mengikuti jadwal kegiatan baik guru, pimpinan sekolah yang sudah ada. Pendampingan ini diharapkan mampu memberikan solusi yang bisa mengurangi  salah satu masalah yang dihadapi oleh mitra. Salah satu masalahnya  adalah  kurangnya  tenaga  pendidik.  Oleh  karena  itu,  program  pendampingan  ini  tidak  hanya  bertujuan untuk meningkatkan kualitas tenaga pendidik, tetapi juga membantu mengatasi masalah tersebut. Tim pendampingan juga  membantu  mengidentifikasi  permasalah  yang  ada  dan  menemukan  jalan  solusi  yang  bisa  diterapkan.  Kegiatan pendampingan dan observasi di mitra dilaksanakan sesuai dengan prosedur awal yang telah disetujui bersama mitra. Pelaksanaan kegiatan ini juga berjalan lancar karena baik pimpinan maupun tenaga pendidik mitra sangat kooperatif. Supervisi  dilaksanakan  setiap  dua  minggu  sekali  secara  tatap  muka  selama  60  menit  setiap  supervisinya.  Didalam kegiatan  supervisi  ini  Tim  Pengabdian  Masyarakat  melakukan  pendampingan  secara  instensip  selama  lebih  kurang selama 3 bulan. Materi yang disupervisikan meliputi:

## a. Pematangan Materi
Dalam kegiatan supervisi atau pendampingan terhadap guru Bahasa Inggris lebih dimatangkan tentang konsep konsep dibawah ini:
- Assessment of learning
Penilaian  pembelajaran  memiliki  sifat  yang  lebih  bersifat  sumatif  dan  digunakan  untuk  mengonfirmasi  pengetahuan dan keterampilan yang dimiliki oleh siswa, guna menunjukkan apakah mereka telah mencapai kriteria tertentu, serta mengevaluasi  efektivitas  program  pengajaran  dan  layanan  yang  akan  dilaporkan  kepada  publik  dalam  jangka  waktu tertentu.  (Setyowati,  2019),  (Brown  &  Abeywickrama,  2010),  (Mahroof  &  Saeed,  2021),  (Setyowati,  2020), (Setyowati, 2023).
Dalam konteks ini yang dimaksud assessment of learning adalah tes yang meliputi penilaian tengah, akhir semester, quiz di saat pembelajaran baik yang bersifat tertulis maupun tidak. Assessment of learning bisa juga disebut penilaian Formal  yang  merupakan  tes  terstandarisasi  atau  tes  standar  formal  adalah  metode  pengukuran  formal  dengan menggunakan  instrumen  yang  dirancang  dan  diujicobakan  yang  dirancang  untuk  mengukur  karakteristik  individu. Hasil  tes  kemudian  diberikan  per  individu  atau  kelompok.  Tujuan  utama  tes  terstandar  ini  adalah  untuk  mengukur keterampilan,  prestasi,  bakat,  minat,  bakat,  nilai-nilai  dan  ciri-ciri  kepribadian. Assessment  of  learning melibatkan siswa  dalam  menjawab  serangkaian  pertanyaan  tertulis  atau  lisan.  Tes  standar  memiliki  dua  karakteristik  yang berbeda. Pertama, tes tersebut mengumpulkan semua skor individu untuk menghasilkan skor tunggal atau rangkaian skor  yang  mencerminkan  informasi  tentang  individu  tersebut.  Kedua,  tes  tersebut  membandingkan  skor  individu dengan skor dari sejumlah kelompok orang yang serupa untuk menentukan bagaimana respon individu berhubungan dengan orang lain.
- HOTS
Istilah  HOTS  dapat  diartikan  sebagai  berbagai  jenis  keterampilan  berkualitas  tinggi  termasuk  keterampilan  transfer, kemampuan  berpikir  kritis  dan  kemampuan  pemecahan  masalah.  HOTS  atau  kemampuan  berpikir  tingkat  tinggi dibagi  menjadi  empat  kelompok:  pemecahan  masalah,  pengambilan  keputusan,  berpikir  kritis,  dan  berpikir  kreatif. Kemampuan mentransfer adalah kemampuan di mana peserta didik dapat menggunakann pengetahuan yang didaptkan oleh peserta didik peroleh dalam situasi yang baru. Kemampuan pemecahan masalah adalah kemampuan peserta didik dalam  menyelesaikan  masalah  yang  mereka hadapi. Kemampuan pengambilan  keputusan berarti peserta didik harus mampu  mengambil  keputusan  yang  logis  dan  ilmiah.  Selain  itu,  kemampuan  berpikir  kritis  juga  sangat  penting  di mana  peserta  didik  harus  berpikir  secara  mendalam  dan  reflektif  untuk  mencapai  kesimpulan.  Di  sisi  lain,  berpikir kreatif adalah kemampuan untuk menciptakan sesuatu yang berguna dan praktis dari hal-hal biasa. Dari penjelasan di atas,  dapat  dipahami  bahwa  HOTS  adalah  gabungan  dari  beberapa  keterampilan  yang  sangat  penting  bagi  peserta didik    (Setyowati,  2020)(Setyowati,  2019),  (Setyowati,  Education,  et  al.,  2022),  (Setyowati,  Susanto,  et  al.,  2022), (Mujayanah et al., 2022), (Erdiana & Panjaitan, 2023).
Dalam kegiatan ini konsep yang dipakai adalah HOTS dalam kerangka taksonomi Bloom  edisi revisi oleh Krathwhol dan Anderson yang dibagi menjadi tiga keterampilan, yaitu menganalisis, mengevaluasi, dan mencipta. Kemampuan untuk berpikir tingkat tinggi dalam revisi Taksonomi Bloom yang telah direvisi terlihat seperti:
a) Tingkat  menganalisis  berarti  memecah  informasi  menjadi  ide-ide  yang  lebih  kecil  dan  menentukan  hubungan ide-ide tersebut. Kata kerja dalam tingkatan ini mencakup membandingkan, memeriksa, mengkritisi, menguji
b) Tingkat  mengevaluasi  mencakup  memeriksa  dan  mengkritik  nilai  materi  berdasarkan  kriteria  Kata  kerja  dalam tingkatan ini mencakup mengevaluasi, menilai, memutuskan, dan memutuskan.
c) Tingkat menciptakan melibatkan pembuatan, perencanaan, dan produksi struktur baru  dari elemen-elemen yang berbeda. Kata kerja dalam tingkatan ini mencakup mengkonstruksi, desain, kreasi, mengembangkan, menulis dan memformulasikan.
Ketiga tingkatan tersebut bisa dilihat di gambar berikut ini:
Gambar 1. Bloom Taksonomi edisi yang sudah direvisi

## b. Pelaksanaan Fokus Grup Diskusi
Untuk  mengoptimalkan  penyusunan assessment  of  learning dilakukan  Fokus  Grup  Diskusi  secara  berkala  untuk melakukan analisis SWOT, mengadakan evaluasi dan refleksi dari hasil dan simulasi penyusunan  assessment. Demi kesukesan  dan  kelancaran  kegiatan  pengabdian  ini  dua  orang  mahasiswa  akan  terlibat  secara  aktif  dalam pelaksanaannya. Program pengabdian ini merupakan salah satu rekomendasi dari penelitian yang sudah dilakukan di tahun 2022 (Setyowati, 2022) tentang penyusunan tes bahasa dengan taxonomy Bloom edisi yang direvisi.
Kegiatan Fokus Grup Diskusi ini merupakan tinjak lanjut hasil dari kegiatan supervise atau pendampingan yang sudah dilaksanakan. Kegiatan ini dilaksanakan setiap dua minggu sekali selama 60-90 menit setiap pertemuannya. FGD ini
dihadiri  oleh  3  guru  Bahasa  inggris,  pimpinan  sekolah  dan  tim  pengabdian  masyarakat  dan  dipimpin  oleh  ketua pelaksana dan dimoderi oleh kegiatan pengabdian masyarakat.
Materi kegiatan fokus grup diskusi adalah terutama hasil dari supervise yang meliputi:
- Karakteristik HOTS
Karakteristik  Keterampilan  Berpikir  Tingkat  Tinggi  (HOTS)  seperti  yang  sudah  dijelaskan  diatas  kan  adalah  yang termasuk kemampuan berpikir tingkat tinggi (HOTS) berbeda dari tugas algoritmik. Mereka cenderung rumit, dengan banyak  solusi  yang  masuk  akal,  mencakup  berbagai  proses  dan  interpretasi  pengambilan  keputusan,  melibatkan penerapan  berbagai  kriteria,  dan  menuntut  upaya  yang  cukup  besar.  Menurut  Setyowati,  Susanto,  dkk.  (2022), karakteristik  pendefinisian  HOTS  berpusat  pada  pemikiran  kritis  dan  kreatif.  Keterampilan  ini  memungkinkan individu  untuk  mengevaluasi  masalah  secara  kritis  dan  mendekatinya  dengan  solusi  kreatif,  menghasilkan  produksi sesuatu  yang  unggul  dan  lebih  bermanfaat  dalam  kehidupan  mereka  sendiri.  Dengan  adanya  atribut-atribut  ini, integrasi  soal  HOTS  ke  dalam  berbagai  jenis  penilaian  di  dalam  kelas  sangat  dianjurkan.  Keterampilan  guru  dalam menyusun soal-soal HOTS di tingkat satuan pendidikan, Kemendikbud (2017) menjabarkan pola pola soal-soal HOTS secara rinci sebagai berikut:
Memecahkan  permasalahan  yang  dihadapi,  berpikir  secara  kritis,  kreatif,  memberikan  penjelasan,  dan  pengambilan keputusan  adalah  salah  satu  alat  tolak  ukur  keterampilan  tingkat  tinggi  (HOTS).  Taxonomy  Bloom  yang  di  revisi mengategorikan  HOTS  ke  dalam  tiga  tingkatan  yang  pertama  analisis  (C4),  evaluasi  (C5)  dan  membuat  (C6). Keterampilan menganalisis, merefleksi, beragurmentasi, menyusun, menciptakan serta mengaplikasikan konsep pada kontekstual yang berbeda merupakan hal hal yang ada dalam keterampilan berpikir tinggi. HOTS meliputi:
(a) Kemahiran dalam menangani masalah-masalah yang tidak konvensional;
(b) Kompetensi dalam menilai pendekatan pemecahan masalah dari berbagai perspektif; dan
(c) Kemahiran dalam merancang model solusi baru yang berbeda dari yang sudah ada sebelumnya.
Keterampilan kognitif tingkat tinggi mencakup lebih dari sekadar menghafal, mengenali, atau mereplikasi informasi. "Kesulitan"  tidak  boleh  disamakan  dengan  keterampilan  kognitif  tingkat  tinggi.  Kompleksitas  suatu  masalah  tidak selalu menunjukkan adanya proses kognitif tingkat tinggi. Misalnya, memahami definisi dari sebuah kata yang tidak dikenal  dapat  menjadi  tantangan  yang  berat,  namun  hal  tersebut  mungkin  tidak  memenuhi  syarat  sebagai  soal kemampuan berpikir tingkat tinggi (HOTS) karena tidak memerlukan proses kognitif yang tinggi. Dengan demikian, pertanyaan HOTS tidak selalu sama dengan tingkat kesulitan secara keseluruhan.
Kemampuan  kognitif  tingkat  tinggi  dapat  dipupuk  melalui  perjalanan  pendidikan  di  dalam  kelas.  Oleh  karena  itu, untuk  mengembangkan  kemampuan  berpikir  tingkat  tinggi  siswa,  proses  pendidikan  harus  memberikan  kesempatan kepada siswa untuk mengeksplorasi pengetahuan berbasis konsep melalui berbagai aktivitas. Kegiatan yang menarik dalam  pembelajaran  dapat  merangsang  siswa  untuk  memupuk  kreativitas  dan  menumbuhkan  pemikiran  kritis (Setyowati, 2019), (Setyowati, Susanto, et al., 2022),and (Aldebarant et al., 2023).
Kemampuan  kognitif  tingkat  tinggi  lebih  dari  sekadar  mengingat,  mengenali,  atau  mengulang  informasi. Konseptualisasi ini berbeda dengan pengertian kesulitan soal, karena kemampuan berpikir tingkat tinggi tidak hanya identik dengan tantangan yang rumit. Misalnya, memahami arti kata yang tidak dikenal dapat menimbulkan kesulitan yang cukup besar, namun hal tersebut tidak termasuk dalam lingkup kemampuan berpikir tingkat tinggi (HOTS). Oleh karena  itu,  pertanyaan  HOTS  tidak  selalu  sama  dengan  pertanyaan  yang  sangat  menantang.  Sebaliknya, pengembangan  kemampuan  kognitif  tingkat  tinggi  dapat  dipupuk  melalui  proses  pendidikan  di  dalam  lingkungan kelas.  Oleh  karena  itu,  penting  bagi  pedagogi  untuk  memberikan  kesempatan  kepada  siswa  untuk  mengeksplorasi konstruk  pengetahuan  melalui  kegiatan  yang  berpusat  pada  pembelajaran.  Kegiatan  pendidikan  memainkan  peran penting  dalam  merangsang  kemampuan  berpikir  kreatif  dan  kritis  siswa,  sehingga  pada  akhirnya  meningkatkan kemahiran berpikir tingkat tinggi mereka.
Dalam  konteks  ini,  pertanyaan  HOTS  berporos  pada  evaluasi  skenario  dunia  nyata,  dengan  siswa  diharapkan  untuk menerapkan  konsep  yang  diperoleh  di  kelas  untuk  menyelesaikan  kesulitan  praktis.  Isu-isu  global  kontemporer mencakup domain-domain seperti pelestarian lingkungan, kesehatan masyarakat, benda-benda angkasa, dan integrasi ilmu  pengetahuan  dan  teknologi  di  berbagai  aspek  kehidupan.  Dalam  hal  ini,  HOTS  memerlukan  kapasitas  siswa untuk  membangun  hubungan,  menjelaskan,  menerapkan,  dan  menggabungkan  Tanggapan  yang  Diberikan  oleh Peserta  Kelas  dalam  Konteks  Global  (Buatan)  vs  Konteks  Dunia  Nyata  (AktualitasAktivitas  dalam  pembelajaran
memiliki  peran  penting  dalam  mendorong  peserta  didik  untuk  mengembangkan  kreativitas  dan  berpikir  kritis,  yang pada akhirnya akan meningkatkan kemampuan peserta didik untuk berpikir tingkat tinggi.
- Kontektual
Soal-soal High Order Thinking Skills (HOTS) dirancang  untuk  mengevaluasi  kemampuan siswa dalam  menerapkan pengetahuan yang diperoleh di kelas untuk mengatasi skenario kehidupan nyata. Penilaian ini secara intrinsik terkait dengan tantangan global kontemporer yang mencakup masalah lingkungan, kesehatan masyarakat, eksplorasi planet, eksplorasi ruang angkasa, dan integrasi ilmu pengetahuan dan teknologi ke dalam berbagai aspek kehidupan. Selain itu,  penilaian  HOTS  juga  mencakup  keterampilan  penting  dalam  sintesis,  penjelasan,  aplikasi,  dan  integrasi pengetahuan yang diperoleh untuk menyelesaikan masalah praktis secara efektif di dalam kelas (Kemendikbud, 2017).
Kerangka  kerja  penilaian  situasional  REACT  terdiri  dari  lima  karakteristik  yang  berbeda,  masing-masing  dirancang untuk mendorong pembelajaran yang komprehensif:
a) Hubungan dengan Kehidupan Nyata: Penilaian HOTS berakar pada situasi dunia nyata, menumbuhkan hubungan langsung antara pembelajaran di kelas dan pengalaman praktis.
b) Evaluasi  Berdasarkan  Pengalaman:  Menekankan  pada  eksplorasi,  penemuan,  dan  kreasi,  penilaian  HOTS mendorong siswa untuk secara aktif terlibat dengan materi pelajaran, melampaui hafalan.
c) Penilaian Berbasis Aplikasi: Penilaian HOTS membutuhkan kemampuan siswa untuk menggunakan pengetahuan yang diperoleh di kelas untuk mengatasi masalah dan tantangan yang nyata secara efektif.
d) Komunikasi  Efektif:  Penilaian  ini  mengukur  kemampuan  siswa  dalam  mengartikulasikan  kesimpulan  berbasis model dalam konteks masalah yang diberikan, mendorong keterampilan komunikasi yang jelas dan ringkas.
Proses  transfer  dalam  penilaian  pendidikan  membutuhkan  kemampuan  untuk  menerapkan  pengetahuan  dan  konsep yang diperoleh dari lingkungan kelas konvensional ke dalam skenario atau konteks yang baru atau beragam. Penilaian situasional,  yang  berakar  pada  prinsip-prinsip  penilaian  autentik,  menunjukkan  atribut  yang  khas.  Hal  ini  meliputi siswa  ditugaskan  untuk  merumuskan  tanggapan  mereka  sendiri,  dan  bukan  hanya  memilih  dari  alternatif  yang  telah ditentukan di mana semua tanggapan dianggap benar. Selain itu, penilaian semacam itu dirancang dengan cara yang berbeda  dari  paradigma  konvensional,  yang  mencari  jawaban  tunggal  yang  tegas.  Sebaliknya,  penilaian  tersebut merangkul  gagasan  untuk  mengembangkan  ruang  di  mana  keberadaan  beberapa  respons  yang  akurat  atau  bahkan potensi semua respons yang benar diakui dan diakomodasi.
Respon  yang didapatkan dari peserta didik dalam proses pembelajaran di konteks global versus dunia nyata  menilai penilaian  aspek  umum  memori:  keterampilan  mengingat,  mengevaluasi  kinerja  tugas  dalam  ranah  keterampilan berpikir tingkat tinggi. Penilaian Keterampilan Berpikir Tingkat Tinggi (HOTS) merupakan hal yang jarang terjadi di lingkungan  pendidikan  dan  berbeda  dengan  penilaian  yang  biasa  dilakukan  di  ruang  kelas.  Evaluasi  HOTS  adalah upaya  yang  unik,  dilakukan  dengan  hemat,  dan  tidak  diberikan  berulang  kali  bersamaan  dengan  penilaian  ingatan untuk  peserta  ujian  yang  sama,  terutama  karena  belum  pernah  digunakan  sebelumnya.  Penilaian  HOTS  dilakukan dalam  skala  internasional  dan  mengharuskan  siswa  untuk  terlibat  dalam  pemikiran  yang  benar-benar  inovatif. Tuntutan ini muncul dari sifat tantangan yang belum pernah ada sebelumnya, yang belum pernah mereka temui atau pikirkan sebelumnya (Widana, 2016).
Penggunaan  format  pertanyaan  yang  beragam,  yang  dicontohkan  dengan  pertanyaan  Higher-Order  Thinking  Skills (HOTS),  dalam  rangkaian  tes  yang  digunakan  dalam  Programme  for  International  Student  Assessment  (PISA), bertujuan untuk memberikan wawasan yang lebih rumit dan menyeluruh tentang kemampuan peserta ujian. Dukungan bukti  tidak  langsung,  yang  seringkali  didasarkan  pada  kerangka  kerja  teoritis,  menjadi  ciri  penilaian  keterampilan berpikir tingkat tinggi (HOTS) yang tidak rutin dalam domain pendidikan. Penilaian HOTS berbeda dengan penilaian konvensional di kelas dan biasanya merupakan kejadian tunggal dalam riwayat evaluasi peserta ujian karena sifatnya yang  belum  pernah  terjadi  sebelumnya.  Penilaian  HOTS,  yang  diberikan  dalam  skala  internasional,  memaksa  siswa untuk  terlibat  dalam  pemikiran  yang  benar-benar  inventif,  karena  mereka  menghadapi  tantangan  yang  sebelumnya tidak pernah ditemui atau belum pernah dijelajahi (Widana, 2016).
Pertanyaan Pilihan Ganda Kompleks (Benar/Salah Ya/Tidak):
Penggabungan berbagai format pertanyaan, seperti pertanyaan High-Order Thinking Skills (HOTS), dalam rangkaian tes  PISA  bertujuan  untuk  memberikan  penilaian  yang  lebih  komprehensif  dan  terperinci  terhadap  kompetensi kandidat.  Para  pendidik  harus  memperhatikan  aspek  ini  untuk  memastikan  bahwa  evaluasi  yang  dilakukan  sesuai dengan  prinsip-prinsip  objektif.  Hasil  penilaian  yang  dilakukan  oleh  guru  dapat  dengan  tepat  menggambarkan
kemampuan siswa yang sesuai dengan keadaan di dunia nyata. Administrasi penilaian ini mematuhi objektivitas dan menjunjung tinggi akuntabilitas dalam proses evaluasi, isian singkat atau melengkapi. Dalam kasus pertanyaan pilihan ganda yang kompleks, dasar yang sama dalam memanfaatkan rangsangan dunia nyata berlaku. Pertanyaan-pertanyaan ini bermaksud untuk  mengevaluasi pemahaman siswa  secara  menyeluruh tentang  suatu  masalah dengan  mengaitkan pernyataan satu sama lain. Siswa menemukan beberapa pernyataan yang terkait dengan rangsangan atau bacaan dan diharuskan untuk menentukan kebenarannya melalui pemilihan "benar" atau "salah" atau "ya" atau "tidak". Jawaban yang benar terhadap semua pernyataan akan  menghasilkan skor 1, sedangkan jawaban  yang salah dalam pernyataan akan menghasilkan skor 0.
Pertanyaan  isian  singkat  atau  lengkap  mengharuskan  peserta  tes  untuk  memberikan  jawaban  singkat  dalam  bentuk kata,  frasa,  angka,  atau  simbol.  Jawaban  yang  akurat  menghasilkan  skor  1,  Pertanyaan-pertanyaan  Keterampilan Berpikir Tingkat Tinggi (HOTS) biasanya  menggunakan rangsangan  yang berasal dari konteks  yang otentik. Dalam konteks  pertanyaan  pilihan  ganda,  pertanyaan-pertanyaan  ini  mencakup  stem,  yang  merupakan  pertanyaan  utama, bersama  dengan  serangkaian  pilihan  jawaban.  Siswa  ditugaskan  untuk  menyimpulkan  jawaban  yang  terkait  dengan stimulus  atau  bacaan  yang  diberikan,  dengan  memanfaatkan  pengetahuan  yang  mereka  miliki  dan  menggunakan penalaran  yang  logis.  Pilihan  jawaban  terdiri  dari  respons  yang  benar  (kunci  jawaban)  dan  distraktor.  Distraktor merupakan  pilihan  jawaban  yang  tidak  akurat  secara  faktual  namun  berpotensi  menyesatkan  siswa  yang  kurang memahami materi pelajaran. Jawaban yang benar diberi skor 1, sedangkan jawaban yang salah diberi skor 0.
- Kognitif
Pertanyaan-pertanyaan  High-Order  Thinking  Skills  (HOTS)  mewakili  penilaian  yang  didasarkan  pada  skenario kehidupan nyata, yang mengharuskan siswa untuk menerapkan pengetahuan yang diperoleh di kelas untuk mengatasi tantangan  praktis.  Isu-isu  sosial  saat  ini  mencakup  masalah  lingkungan,  kesehatan  masyarakat,  geologi,  eksplorasi ruang  angkasa,  dan  pengaruh  sains  dan  teknologi  yang  meluas  di  berbagai  aspek  kehidupan  sehari-hari.  Dalam konteks ini, kemahiran siswa dalam menjalin hubungan, menafsirkan informasi, menggunakan prinsip-prinsip ilmiah, dan  mengintegrasikan  keterampilan  ini  ke  dalam  pembelajaran  di  kelas  untuk  mengatasi  dilema  otentik  menjadi sangat  penting.  Secara  khusus,  atribut  penilaian  kontekstual,  yang  dirangkum  dalam  singkatan  REACT (Kemendikbud, 2017), menggambarkan lima karakteristik utama berikut ini:
a) Relevansi  dengan  Pengalaman  Dunia  Nyata:  Penilaian  HOTS  menunjukkan  korelasi  langsung  dengan pengalaman nyata dalam kehidupan sehari-hari.
b) Penekanan  pada  Pengalaman:  Penilaian  ini  memprioritaskan  tindakan  eksplorasi,  penemuan,  dan  pemecahan masalah secara kreatif.
c) Berbasis  Aplikasi:  Penilaian  HOTS  mengharuskan  siswa  untuk  memanfaatkan  pengetahuan  yang  diperoleh  di kelas untuk mengatasi tantangan dunia nyata yang nyata.
d) Komunikasi  Efektif:  Penilaian  mengamanatkan  kemampuan  untuk  mengkomunikasikan  temuan  dan  model secara efektif dalam konteks masalah yang disajikan.
e) Transferring  :  penilaian  yang  mengharuskan  peserta  didik  untuk  mentransformasi  teori  dan  ilmu  pengetahuan yang didapatkan dari kelas ke dalam konteks nyata.

## 3.2. Penggunaan Variasi Model Soal
Beragam  format  pertanyaan  yang  ditemukan  dalam  pertanyaan  keterampilan  berpikir  tingkat  tinggi  (HOTS), khususnya  yang  digunakan  dalam  penilaian  seperti  PISA,  dirancang  untuk  memberikan  wawasan  yang  lebih menyeluruh dan luas tentang kemampuan peserta ujian. Elemen ini sangat penting untuk dipertimbangkan oleh para pendidik  guna  menjunjung  tinggi  prinsip  dasar  objektivitas  dalam  proses  penilaian.  Konsekuensinya,  hasil  evaluasi yang dikeluarkan oleh instruktur akan menggambarkan secara akurat kompetensi peserta didik sesuai dengan keadaan sebenarnya.  Komitmen  terhadap  penilaian  objektif  ini  selanjutnya  berfungsi  untuk  membangun  akuntabilitas  dalam kerangka  evaluasi.  Beberapa  format  pertanyaan  alternatif  dapat  digunakan  untuk  merumuskan  pertanyaan  HOTS, seperti yang ditampilkan dalam paradigma pengujian PISA, seperti yang dibahas bagian sebelumnya.
Tingkat penalaran, yang sering disebut sebagai Tingkat 3, mewujudkan dimensi kemampuan kognitif yang mendalam yang  dikenal  sebagai  Keterampilan  Berpikir  Tingkat  Tinggi  (High  Order  Thinking  Skills/HOTS).  Pada  tingkat  ini, siswa  diharapkan  untuk  menunjukkan  kemampuan  berpikir  tingkat  tinggi,  termasuk  kemampuan  untuk  mengingat, memahami,  menerapkan  pengetahuan  faktual,  konseptual,  dan  prosedural.  Selain  itu,  siswa  harus  menunjukkan
kemampuan  yang  tinggi  untuk  penalaran  logis,  memfasilitasi  penyelesaian  masalah  kontekstual  yang  tidak  rutin. Tingkat  penalaran  mencakup  proses  berpikir  analisis  (C4),  evaluasi  (C5),  dan  kreasi  (C6).  Dalam  proses  berpikir analisis  (C4),  siswa  ditugaskan  untuk  menentukan  elemen-elemen,  mendeskripsikan,  mengorganisasikan, membandingkan, dan menemukan makna yang tersirat. Sebaliknya, proses berpikir mengevaluasi (C5) membutuhkan perumusan  hipotesis,  kritik,  prediksi,  penilaian,  pengujian,  pembenaran,  atau  atribusi  tanggung  jawab.  Terakhir, proses  berpikir  kreatif  (C6)  mengharuskan  siswa  untuk  terlibat  dalam  kegiatan  seperti  merancang,  membangun, merencanakan,  memproduksi,  menemukan,  berinovasi,  menyempurnakan,  memperkuat,  memperindah,  dan mengarang.  Penting  untuk  dicatat  bahwa  soal-soal  yang  diklasifikasikan  di  bawah  tingkat  penalaran  tidak  secara seragam menantang; tingkat kesulitannya dapat bervariasi berdasarkan konteks dan konten tertentu (Abeywickrama, P & Brown, 2010), (Setyowati, Education, et al., 2022), (Ritonga, 2023).

## 3.3. Analisis SWOT soal HOTS yang tersusun
Untuk  merancang  tes  items  pada  soal  HOTS  (High  Order  Thinking  Skills),  seorang  guru  soal  harus  mengikuti beberapa langkah penting agar dapat menciptakan pertanyaan yang dapat menguji keterampilan berpikir tingkat tinggi dari  siswa.  Berikut  adalah  langkah-langkah  rinci  dalam  penyusunan  soal-soal  HOTS  berdasarkan  panduan  dari  I Wayan Widana (Widana, 2017) dan (Junaidi, 2020):
- Menganalisis Kompetensi Dasar (KD):
Langkah  pertama  adalah  menganalisis  Kompetensi  Dasar  (KD)  dari  kurikulum  yang  relevan  dengan  mata  pelajaran atau topik tertentu. KD adalah gambaran tentang keterampilan dan pengetahuan apa yang diharapkan siswa pahami dan  kuasai.  Dalam  menganalisis  KD,  penulis  soal  harus  memahami  tujuan  pembelajaran  apa  yang  ingin  dicapai melalui penggunaan soal HOTS ini.
- Menyusun Kisi-Kisi Soal:
-Setelah  menganalisis  KD,  langkah  berikutnya  adalah  menyusun  kisi-kisi  soal.  Kisi-kisi  soal  berfungsi  sebagai panduan utama dalam menyusun pertanyaan-pertanyaan HOTS. Di sini, penulis soal harus menentukan berbagai jenis pertanyaan  HOTS  yang  akan  diujikan,  seperti  analisis,  sintesis,  evaluasi,  atau  kreativitas.  Kisi-kisi  soal  ini  akan membantu memastikan bahwa soal-soal yang dihasilkan mencakup aspek-aspek kognitif yang diharapkan.
- Memilih Stimulus yang Menarik dan Kontekstual:
Stimulus merujuk pada informasi atau situasi yang diberikan sebelum atau bersamaan dengan pertanyaan. Pemilihan stimulus  yang  menarik  dan  kontekstual  penting  untuk  memancing  siswa  berpikir  lebih  dalam  dan  relevan  dengan dunia mereka sehari-hari. Stimulus ini juga dapat memicu imajinasi dan pemikiran kreatif siswa.
- Menulis Butir Pertanyaan Sesuai dengan Kisi-Kisi Soal:
Langkah  selanjutnya  adalah  menulis  butir  pertanyaan  sesuai  dengan  kisi-kisi  soal  yang  telah  disusun  sebelumnya. Pertanyaan  HOTS  harus  mengarah  pada  pemikiran  analitis,  penalaran  tingkat  tinggi,  dan  kemampuan  memecahkan masalah.  Butir  pertanyaan  ini  harus  jelas,  tidak  ambigu,  dan  terstruktur  dengan  baik  agar  siswa  dapat  merespons dengan tepat.
- Membuat Pedoman Penskoran (Rubrik) atau Kunci Jawaban:
Untuk mengukur respons siswa secara obyektif, diperlukan pedoman penskoran yang jelas. Ini bisa berupa rubrik atau kunci  jawaban  yang  menguraikan  kriteria  penilaian  dan  tingkat  keberhasilan  yang  diharapkan  dari  siswa  dalam menjawab  pertanyaan  HOTS.  Rubrik  ini  membantu  guru  memberikan  penilaian  yang  konsisten  dan  adil  terhadap kinerja siswa.
Dengan  mengikuti  langkah-langkah  tersebut,  penulis  soal  dapat  menciptakan  butir  soal  HOTS  yang  efektif  dalam menguji pemahaman, analisis, kreativitas, dan kemampuan berpikir tingkat tinggi lainnya dari siswa. Soal-soal HOTS ini  juga  dapat  mendorong  siswa  untuk  terlibat  secara  aktif  dalam  proses  pembelajaran  dan  mengembangkan kemampuan berpikir kritis serta kreativitas mereka.
Gambar 2. Salah satu dokumentasi kegiatan supervisi dan FGD

## 4. Kesimpulan
Kegiatan Program Kemitraan Masyarakat ini dilaksnakan sebanyak 10 pertemuan.  Berdasarkan dari amatan kegiatan yang  sudah  dilakukan  baik  supervise  dan  fokus  grup  diskusi  terlihat  bahwa  para  guru  Bahasa  Inggris  mengikuti kegiatannya  dengan  senang  hati  dan  bersemangat.  Selain  itu  topik  kegiatan  PPM  ini  dibutuhkan  oleh  guru  demi peningkatan SDM pada mitra. Kegiatan refreshing mengenai HOTS dan assessment dibutuhkan untuk mempertajam kemampuan guru dalam mengintregrasikannya ke dalam assessment ataupun kegiatan pembelajaran .

## Acknowledgements
Kegiatan  ini  tidak  akan  bisa  dilaksanakan  tanpa  dukungan  material  dan  non  material  dari  Universitas  Wijaya  Putra. Ucapan  terima  kasih  yang  mendalam  disampaikan  kepada  Rektor,  para  wakil  rektor,  LPPM,  pihak  mitra  atas kerjasamanya yang baik sehingga kegiatan ini bisa dilaksanakan dengan lancar dan berhasil..

## References
Abeywickrama,  P  &  Brown,  H.  D.  (2010).  Language  assessment :  principles  and  classroom  practices  -  Lancaster
University (Alma). An Interactive Approach to Language Pedagogy, 344–346. http://primo- se1.lancs.ac.uk/primo_library/libweb/action/display.do?tabs=detailsTab&ct=display&fn=search&doc=47wQbNP TDJp9hMYdvogK2hAUiHsGeiybwaWe36bwtRQ3UTpYV7YuZ8FV5j9nauFCWwcjM6dTzpL5s2N79Rp5unwd Mvc8ZKU&renderMode=poppedOut&displayMode=full&frbrVersion=
Ahmad,  S.,  Andika,  R.,  Hendri,  S.,  &  Kenedi,  A.  K.  (2020).  Training  Program  on  Developing  HOTS’s  Instrument (The  Improving  Abilities  for  Elementary  School  Teachers).  Digital  Press  Social  Sciences  and  Humanities,  6, 00010. https://doi.org/10.29037/digitalpress.46376
Aldebarant,  N.,  Setyowati,  Y.,  Bagaskara,  H.  S.,  Priyambudi,  S.,  Negeri,  U.,  &  Wijaya,  U.  (2023).  Scrutinizing Discord as an Advanced Platform to Support Students ’ Listening Proficiency ( A Theoretical Perspective ). 2(1), 44–52. https://doi.org/10.38156/el2j.v1i2
AS, R. M., & Zulprianto, Z. (2022). Implementation of Outcome-Based Assessment in English Morphology Courses at  the  English  Department,  Andalas  University,  Padang.  Proceedings  of  the  4th  International  Conference  on Educational Development
and Quality Assurance (ICED-QA 2021), 650, 285–288.
https://doi.org/10.2991/assehr.k.220303.052
Brown,  D.,  &  Abeywickrama,  P.  (2010).  Language  Assessment  Principles  and  Classroom  Practices  (second  edi). Pearson Education.
Erdiana,  N.,  &  Panjaitan,  S.  (2023).  How  is  HOTS  Integrated  into  the  Indonesian  High  School  English  Textbook? Studies in English Language and Education, 10(1), 60–77. https://doi.org/10.24815/siele.v10i1.26052
Fatimah, S., & Rinawati, A. (2022). Pelatihan Penyusunan Instrumen Evaluasi Berbasis Higher Order Thinking Skills Untuk  Guru  Mi  Di  Kebumen.  BERNAS:  Jurnal  Pengabdian  Kepada  Masyarakat,  3(2),  152–161. https://doi.org/10.31949/jb.v3i2.2190
Junaidi,  A.  dkk.  (2020).  Panduan  Penyusunan  Kurikulum  Pendidikan  Tinggi  (S.  S.  Kusumawardani  (ed.);  IV). Direktorat Jendral Pendidikan Kementrian Pendidikan dan Kebudayaan.
Lusiani, T. (2022). Pelatihan Penyusunan Soal Dengan Konsep Higher Order Thinking Skills Dan Praktik Soal Online Untuk  Guru  Di  Smk  Krian  1  Sidoarjo.  SHARE  “SHaring  -  Action  -  REflection,”  8(2),  216–222. https://doi.org/10.9744/share.8.2.216-222
Mahroof, A., & Saeed, M. (2021). Evaluation of Question papers by Board of Intermediate and Secondary Education using Item Analysis and Blooms Taxonomy. Bulletin of Education and Research, 43(3), 81–94.
Menggo,  S.,  Par,  L.,  Gunas,  T.,  &  Guna,  S.  (2021).  Pendampingan  Penyusunan  Soal  Berorientasi  Hots  Bagi  Para Guru Sma. Jurnal Widya Laksana, 10(1), 14. https://doi.org/10.23887/jwl.v10i1.25010
Mujayanah, S., Rosaria Indah, D., Fajar Prihantini, A., & Setyowati, Y. (2022). “HOTS” in Reading Comprehension Questions of English Textbook for Secondary School (Revised Bloom’s Taxonomy study). BIRCI-Journal, 5(3), 23767–23778. https://doi.org/10.33258/birci.v5i3.6390
Palennari,  M.,  Hartono,  &  Saparuddin.  (2021).  Implementasi  Penyusunan  Soal-Soal  Higher  Order  Thinking  Skills bagi  Guru-Guru  IPA  Jurusan  Biologi  FMIPA  Universitas  Negeri  Makassar.  Seminar  Nasional  Hasil  Pengabdian 2021, 484–489.
Ritonga, M. (2023). WORKSHOP PEMBUATAN SOAL  HOTS ( HIGH ORDER THINKING SKILLS ) JELANG AKM 2021 DI SMA MUHAMMADIYAH KOTA. 2(1), 24–33.
Setiawati,  W.  et  al.  (2019).  Buku  Penilaian  HOTS.  In  Direktorat  Jenderal  Guru  dan  Tenaga  Kependidikan Kementerian Pendidikan dan Kebudayaan Hak (p. 82). https://doi.org/10.37411/pedagogika.v10i2.60
Setyowati, Y. et al. (2019). Skills through Implementation of the Revised A Theoretical Perspective. 380(SoSHEC), 181–184.
Setyowati,  Y.  (2020).  The  Implementation  of  “Test  of  Evaluating"  and  “Test  of  Creating”  in  the Assessment  of learning by  EFL  Lecturers  in  Pandemic  Era.  IDEAS:  Journal  on  English  Language  Teaching  and  Learning, Linguistics and Literature, 8(2), 505–518. https://doi.org/10.24256/ideas.v8i2.1520
Setyowati,  Y.  (2023).  Journal  of  English  Language  Teaching  Examining  Outcome-Based  Education  (  OBE  )  in Writing Class : Project-Based Assessment Analysis. SCOPE Journal of English Language Teaching, 08(01), 267– 273. https://doi.org/DOI: http://dx.doi.org/10.30998/scope.v8i1.18113
Setyowati, Y., Education, L., Surabaya, U. N., Putra, U. W., Susanto, S., Education, L., Surabaya, U. N., Munir, A., Education, L., Surabaya, U. N., & Nicosia, N. (2022). World Journal on Educational Technology : Current Issues A revised bloom ’ s taxonomy evaluation of formal written language test items. 14(5), 1317–1331.
Setyowati,  Y.,  Susanto,  S.,  &  Munir,  A.  (2022).  Critical  Thinking  within  the  Context  of  the  Revised  Bloom’s Taxonomy  in  Written  Language  Tests.  Budapest  International  Research  and  Critics  Institute-Journal  (BIRCI- Journal), 5(2), 14706–14715. https://bircu-journal.com/index.php/birci/article/view/5348
Widana, I. W. (2017). HIGHER ORDER THINKING SKILLS ASSESSMENT ( HOTS ) I Wayan Widana. Journal of Indonesian Student Assessment and Evaluation (JISAE), 3(1), 32–44.
Yudiningsih, M. (2022). Supervisi Klinis Pembelajaran Berbasis Hots Di SD Negeri  Bayeman Ii Kecamatan Tongas Kabupaten Probolinggo. Jurnal Pendidikan Taman Widya Humaniora (JPTWH), 1(2), 45–62.
https://jurnal.widyahumaniora.org/