## Frinandi Wandria
JITTER (Jurnal Ilmiah Teknologi Informasi Terapan) Volume 10, No 1, 15 Desember 2023

## ANALISIS DAMPAK MODIFIKASI BUTIR SOAL BERDASARKAN TAKSONOMI BLOOM TERHADAP TINGKAT KEYAKINAN CHATGPT DENGAN PENDEKATAN GENETIKA

## Frinandi Wandria
SMA Citra Cemara Jl. Soekarno Hatta No. 22 Bandung 40212 frinandiwandria33@guru.sma.belajar.id

## Abstrak
Kehadiran  inovasi  teknologi  sepanjang  sejarah  telah membawa  dampak  positif  bagi  perkembangan  di berbagai  bidang,  termasuk  pendidikan.  Namun, dampak-dampak negatif juga hadir secara bersamaan. Guna  mengurangi  dampak  negatif  dari  inovasi teknologi  tersebut,  maka  studi  ini  dilakukan  untuk menganalisis  pengaruh  modifikasi  soal  terhadap tingkat keyakinan ChatGPT sebagai salah satu inovasi teknologi  terkini  dan  populer.  Objek  penelitian diambil  dari  butir  soal  esai  Ujian  Sekolah  pada  mata pelajaran Bahasa Inggris untuk Kelas 12 SMA. Proses penelitian  menerapkan  pendekatan  genetika  yang mana  metode  ini  terinspirasi  oleh  proses  evolusi alamiah  yang  terjadi  dalam  seleksi  alamiah  dan warisan  genetik.  Langkah  pertama  dimulai  dengan mengukur  tingkat  keyakinan  awal  berdasarkan jawaban  yang  dihasilkan  ChatGPT.  Selanjutnya, setiap  butir  soal  dimodifikasi  secara  manual  dengan mengganti  atau  menambah  KKO  dari  ranah  kognitif Taksonomi Bloom. Jawaban dari butir soal yang baru diukur  kembali  tingkat  keyakinannya.  Validasi terhadap  jawaban  yang  baru  dilakukan  dengan memperhatikan  apakah  jawaban  yang  disediakan ChatGPT  sudah  sesuai  berdasarkan  butir  soal  yang telah  dimodifikasi.  Bila  ditemukan  jawaban  yang tidak  lengkap  atau  tidak  sesuai,  maka  revisi  terhadap tingkat  keyakinan  yang  baru  dilakukan  dengan  cara memasukkan  umpan  balik  ditambah  dengan  perintah untuk  merevisi  skor  keyakinan  sebelumnya.  Hasil penelitian  menunjukkan  bahwa  seluruh  butir  soal yang  telah  dimodifikasi  telah  mempengaruhi  tingkat keyakinan ChatGPT terhadap jawaban yang diberikan dengan  rerata  penurunan  sebesar  -25%.  Penurunan tingkat keyakinan tersebut diartikan sebagai kemampuan  ChatGPT  yang  tetap  dapat  menjawab
butir  soal  yang  telah  dimodifikasi  namun  dengan jawaban-jawaban  yang  tidak  selengkap  dan  sesuai dengan perintah-perintah yang terkandung dalam butir soal yang telah dimodifikasi.
Kata  kunci: ChatGPT,  Kata  Kerja  Operasional, Taksonomi Bloom, Pendekatan Genetika

## Abstract
The  presence  of  technological  innovation  throughout history has had a positive impact on developments in various  fields,  including  education.  However, negative  impacts  are  also  present  simultaneously.  In order  to  reduce  the  negative  impact  of  this technological innovation, this study was conducted to analyze the effect of question modification on the level of  confidence  in  ChatGPT  as  one  of  the  latest  and most popular technological innovations. The research object  was  taken  from  the  School  Examination  essay questions  in  the  English  subject  for  Class  12  SMA. The  research  process  applies  a  genetic  approach where  this  method  is  inspired  by  the  natural evolutionary  process  that  occurs  in  natural  selection and  genetic  inheritance.  The  first  step  begins  by measuring the initial level of confidence based on the answers  generated  by  ChatGPT.  Next,  each  question item  was  modified  manually  by  replacing  or  adding KKO  from  the  cognitive  domain  of  Bloom's Taxonomy.  The  level  of  confidence  in  the  answers  to the  new  questions  is  measured  again.  Validation  of new  answers  is  carried  out  by  paying  attention  to whether  the  answers  provided  by  ChatGPT  are appropriate  based  on  the  modified  question  items.  If incomplete  or  inappropriate  answers  are  found,  then revision of the new confidence level is carried out by entering feedback plus an order to revise the previous confidence  score.  The  results  of  the  research  show

## Frinandi Wandria
JITTER (Jurnal Ilmiah Teknologi Informasi Terapan)
that  all  modified  question  items  have  influenced ChatGPT's  level  of  confidence  in  the  answers  given with  an  average  decrease  of  -25%.  This  decrease  in the  level  of  confidence  is  interpreted  as  ChatGPT's ability  to  still  be  able  to  answer  questions  that  have been  modified,  but  with  answers  that  are  not  as complete  and  in  accordance  with  the  commands contained in the questions that have been modified.
Keywords: ChatGPT, Bloom’s Taxonomy Keywords, Bloom’s Taxonomy, Genetic Approach

## I. P ENDAHULUAN
Sejumlah penelitian mengungkapkan bahwa penggunaan inovasi teknologi dalam dunia pendidikan  membawa  dampak  positif  bagi  peserta didik.  Nehe,  dkk  (2023)  mengungkapkan  penerapan aplikasi Mobile  Language  Learning di  luar  ruang kelas  telah  mendukung  pengalaman  belajar  peserta didik  untuk  belajar  Bahasa  Inggris  secara  mandiri sesuai  kebutuhan. Melalui  metode penelitian TPACK (Technological,  Pedagogical,  Content  Knowledge) , Amaliyah  (2023)  menemukan  bahwa  penerapan e- module sebagai  media  pembelajaran  memiliki  respon positif  bagi  mahasiswa  dalam  studi  kasus  di Universitas Muhammadiyah, Jakarta. Putri & Muhtadi (2018)  juga  memperkuat  temuan  bahwa  penggunaan teknologi  multimedia  berbasis  android  dalam  studi kasus  materi  laju  reaksi  untuk  kelas  11  SMA  di Yogyakarta  telah  meningkatkan  kemampuan  kognitif peserta didik pada materi tersebut. Kendati demikian, ditemukan  juga  bahwa  penerapan  teknologi  dalam pembelajaran  membawa  dampak  negatif  bagi  peserta didik.  Dalam  sebuah  kajian  pustaka  yang  dilakukan pada  tahun  2018,  Jamun  (2018)  mengungkapkan bahwa  penggunaan  teknologi  di  dunia  pendidikan dapat  berdampak  negatif,  terutama  pada  perubahan perilaku  yang  bertentangan  dengan  norma  dan  moral yang diterima secara sosial. Sejalan dengan penelitian Jamun  (2018),  Maritsa,  dkk  (2021)  menyatakan bahwa  dampak  negatif  penerapan  teknologi  dalam dunia  pendidikan  antara  lain  perubahan  perilaku peserta didik yang dapat melanggar norma dan aturan pendidikan, serta moral dalam kehidupan bermasyarakat.
Menimbang  bahwa  hadirnya  inovasi  dalam  teknologi di  dunia  pendidikan  yang  membawa  dampak  positif dan  negatif  bagi  peserta  didik,  maka  upaya-upaya
penanggulangan  perlu  dilakukan  guna  kemajuan dalam  dunia  pendidikan  dapat  berkembang  dengan efek  negatif  yang  dimitigasi  dengan  baik,  terutama oleh  guru  dan  kepala  sekolah  sebagai  pembuat kebijakan. Anjarrini  dan  Rindaningsih  (2022) memberikan  hasil  temuan  bahwa  salah  satu  upaya kepala  sekolah  untuk  menjaga  mutu  pendidikan adalah  dengan  menerapkan  budaya  positif  dalam lingkungan sekolah, diantaranya budaya jujur, dimana peserta didik dibiasakan untuk tidak menyontek, tidak berbohong, dan tidak memanipulasi data. Budaya lain yang  dapat  diterapkan  yakni  budaya  disiplin,  dimana peserta  didik  dibiasakan  untuk  melewati  proses pembelajaran dengan setia menaati peraturan dan tata tertib  sekolah.  Hal  ini  terkait  dengan  upaya  dalam menyikapi  kehadiran  inovasi  teknologi  dalam  dunia pendidikan,  yang  memungkinkan  informasi  dapat diakses  dengan  mudah.  Kemudahan  akses  informasi dapat  membawa  dampak  positif  bagi  perkembangan peserta  didik  tanpa  kemunculan  efek  negatif  yang signifikan  berkat  penerapan  kebudayaan  jujur  dan disiplin. Selain itu, guru juga dapat melakukan upaya penanggulangan  negatif  melalui  pengarahan  di  sela mengajar  kepada  para  peserta  didiknya  untuk menggunakan  teknologi  informasi  secara  optimal tanpa menghilangkan etika (Jamun, 2019).
Sayangnya,  tidak  seluruh  peserta  didik  dapat  dijamin untuk  melaksanakan  kegiatan  pembelajaran  secara jujur  seperti  yang  diharapkan  tenaga  pendidik  di sekolah.  Kirana  &  Lestari  (2017)  menemukan  bahwa kendati  peserta  didik  melaksanakan  studinya  di sekolah  berbasis  agama,  64,6%  pelajar  masih mengerjakan  soal  ujian  secara  tidak  jujur  ketika pengawas  keluar  ruangan.  Adapun  motivasi-motivasi ketidakjujuran  tersebut  diantaranya  ingin  segera menyelesaikan  ujian,  dan  ingin  mengetahui  jawaban untuk  mendapat  nilai  yang  baik.  Oleh  dasar  inilah, upaya-upaya tambahan perlu dilakukan guna mengurangi  ketergantungan  peserta  didik  dalam penggunaan teknologi secara menyimpang.
Sejak  pertama  kali  diluncurkan  pada  30  November 2022, popularitas ChatGPT menyebar dengan cepat di berbagai  penjuru  dunia,  termasuk  Indonesia.  Pada Februari 2023, OpenAI telah  memiliki lebih dari 100 juta  pengguna  dengan  estimasi  1,8  miliar  kunjungan ChatGPT  setiap  bulannya  yang  mengalahkan  TikTok dan  Instagram  (Hines,  2023).  Maraknya  penggunaan ChatGPT disebabkan oleh beberapa faktor, diantaranya  kecanggihan  kecerdasan  buatan  yang mampu  menjawab  ragam  pertanyaan  pengguna, gratisnya akses penggunaan bagi siapa saja, hingga ke

## Frinandi Wandria
JITTER (Jurnal Ilmiah Teknologi Informasi Terapan)
penggunaan  dalam  berbagai  bahasa.  Siapapun  bisa memanfaatkan  ChatGPT,  diantaranya  murid  yang ingin  mengetahui  penjelasan  suatu  istilah  keilmuan, guru  yang  ingin  mendapatkan  inspirasi  dalam membuat soal, beragam profesi yang ingin mempelajari lebih dalam seputar bidang pekerjaannya, hingga seorang ahli pemrograman yang membutuhkan  waktu  cepat  untuk  membuat  suatu rangkaian coding.
Meski  kehadiran  ChatGPT  begitu  cepat  merebak, perkembangannya bukan hadir tanpa dampak negatif, terutama di dunia pendidikan. Ketergantungan peserta didik  dalam  penggunaan  ChatGPT  bisa  jadi mengurangi  kemampuan  mereka  untuk  berpikir kreatif  dan  mengembangkan  keterampilan  menulis. Penggunaan  ChatGPT  yang  tidak  terarah  juga  dapat membuka kemungkinan bagi peserta untuk melakukan  penyalinan  jawaban  dari  tugas-tugas sekolah  yang  berpotensi  menghilangkan  kesempatan mereka  untuk  memahami  suatu  materi  pelajaran melalui  tugas  yang  diberikan.  Tidak  hanya  itu, aktivitas  kurikulum  merdeka  yang  menekankan kegiatan kolaborasi guna melatih kemampuan peserta didik untuk berinteraksi dalam tim juga bisa jadi tidak tercapai bila penggunaan ChatGPT tidak dikendalikan,  dalam  artian,  bentuk-bentuk  hasil  kerja kelompok  sepenuhnya  digantungkan  pada  jawaban yang disediakan ChatGPT sehingga aktivitas bertukar pikiran antar teman sebaya menjadi terabaikan.
Melarang  peserta  didik  menggunakan  ChatGPT sepenuhnya  tentu  bukan  merupakan  suatu  hal  yang diharapkan  menjadi  solusi  terhadap  fenomena kemunculan  teknologi  tersebut.  Seperti  halnya kemunculan  internet  di  Indonesia  pada  era  1990an, dampak-dampak  negatif  dari  penggunaannya  ramai diperbincangkan, namun hal tersebut tidak serta merta menjadi  alasan  ditutupnya  akses  internet  secara  total. Pertimbangannya  tidak  lain  adalah  karena  baik dampak negatif maupun positif berjalan berdampingan  seiring  bertumbuhnya  penggunaan internet  di  Indonesia.  Demikian  pula  baiknya  sikap terhadap  kemunculan  ChatGPT  di  Indonesia  sejak akhir  tahun  2022.  Perkembangan  dampak  negatif yang  berjalan  berdampingan  dengan  dampak  positif tidak  semestinya  menjadi  alasan  untuk  pelarangan akses  ChatGPT  termasuk  di  lingkungan  sekolah. Dalam  hal  ini,  peran  guru  maupun  kepala  sekolah penting  untuk  menjadi  ujung  tombak  pengendalian perkembangan teknologi, agar dampak-dampak negatif  ChatGPT  dalam  lingkungan  sekolah  dapat dimitigasi sebaik mungkin sehingga seluruh
penggunanya, termasuk peserta didik di sekolah, tetap dapat  memperoleh  kebaikan-kebaikan  dari  teknologi tersebut.
Salah  satu  hal  yang  dapat  dilakukan  oleh  tenaga pendidik  adalah  dengan  memberikan  instruksi penugasan (atau ulangan) dengan jenis-jenis soal yang dapat  mencegah  peserta  didik  tergantung  terus menerus  pada  teknologi  ChatGPT.  Pembuatan  soal baik  dalam  tugas,  ulangan,  maupun  ujian  dalam lingkungan  sekolah  berpedoman  pada  indikator- indikator  yang  berkiblat  pada  taksonomi  Bloom. Taksonomi  Bloom  membantu  guru  mengkategorikan soal  berdasarkan  tingkat  kemampuan  yang  ingin dikaji  dari  peserta  didik  berdasarkan  kemampuan kognitifnya.  Secara  umum,  terdapat  6  tingkatan kognitif  dalam  Taksonomi  Bloom,  masing-masing tingkatan  diwakili  dengan  berbagai  kata  kerja  yang menunjukkan tolak ukur kemampuan kognitif peserta bila berhasil mengerjakan suatu butir soal pada tugas, ulangan,  maupun  ujian  sekolah.  Sebagai  ilustrasi, pada  tingkatan  ke-6  terdapat  kata  kerja  “mengarang” yang  mengindikasikan  bahwa  peserta  didik  memiliki tingkat  kognitif  tertinggi  yakni  MENCIPTA  apabila mampu  mengarang,  misalnya,  teks  deskriptif  suatu objek  wisata.  Penilaian  tenaga  pendidik  tidak  dapat dikatakan  representatif  bilamana  hasil  dari  karangan tersebut  dikerjakan  peserta  didik  dengan  menyalin jawaban  dari  ChatGPT.  Dampaknya,  peserta  didik tersebut  tidak  mendapatkan  kesempatan  untuk pengajaran ulang bila ternyata kemampuan sebenarnya  lebih  rendah  dari  penilaian  tenaga pendidik,  meski  berdasarkan  hasil  penilaian  sumatif, ia  terindikasikan  mencapai  kriteria  ketuntasan minimum.
Selayaknya,  penggunaan  ChatGPT  pada  saat  ulangan maupun ujian perlu dibatasi sehingga tenaga pendidik dapat terhindar dari kekeliruan dalam  menilai peserta didik. Namun, tidak selamanya pembatasan penggunaan ChatGPT melalui telepon selular maupun gawai  lain  yang  memiliki  akses  internet  dapat dibatasi.  Contohnya,  saat  memberikan  tugas  baik  di kelas  maupun  di  rumah  di  mana  dalam  situasi tersebut,  pengawasan  dalam  penggunaan  internet tidak  seketat  saat  pelaksanaan  ulangan  atau  ujian. Pada  titik  ini  lah  analisis  terhadap  kemampuan ChatGPT  dalam  mengerjakan  instruksi  berdasarkan Taksonomi  Bloom  perlu  dikaji  guna  menemukan butir-butir  apa  saja  dalam  setiap  tingkatan  kognitif yang  dapat  diujikan  kepada  peserta  didik  tanpa ketergantungan  terhadap  ChatGPT  yang  berimbas pada  kekeliruan  tenaga  pendidik  dalam  memberikan

## Frinandi Wandria
JITTER (Jurnal Ilmiah Teknologi Informasi Terapan)
penilaian  kepada  hasil  pekerjaan  peserta  didiknya. Seperti  yang  diungkapkan  oleh  Faiz  &  Kurniawaty (2023),  bahwa  penggunaan  ChatGPT  memiliki potensi  terhadap  perkembangan  dunia  pendidikan, namun  adopsi  penggunaan  teknologi  tersebut  perlu pertimbangan dari sisi etika dan moral agar nilai-nilai akademik tetap dapat dijunjung tinggi.
Dalam  sebuah  penelitian  terbaru  yang  terkait  dengan analisis  kemampuan  ChatGPT  dalam  menuntaskan tugas  berdasarkan  indikator-indikator  kognitif  dalam Taksonomi  Bloom,  Elsayed  (2023)  menemukan beberapa  pertanyaan  yang  dapat  secara  efektif membantu tenaga pendidik menilai tingkat kemampuan  berpikir  kritis  peserta  didiknya  tanpa ketergantungan  terhadap  penggunaan  ChatGPT. Elsayed menggunakan model penelitian yang ia sebut sebagai  Genetic  Algorithm  (GA)  untuk  menguji tingkat  jawaban  ChatGPT  berdasarkan  level  of confidence  dari  jawaban  yang  muncul  atas  kata-kata kunci  Taksonomi  Bloom  di  setiap  level  kognitifnya. Setiap  jawaban yang muncul  dari ChatGPT ditanyakan  kembali  dengan  instruksi:  “Berikan  skor keyakinan  antara  0-1  untuk  jawabanmu.  Tulis  hanya angka  tanpa  teks  lainnya.”  (Elsayed,  2023:  3). Elsayed  menemukan  bahwa  penggabungan  beberapa kata  instruksi  dalam  Taksonomi  Bloom  yang diparafrasekan dalam satu butir soal dapat menurunkan tingkat keyakinan ChatGPT atas jawaban yang  diberikannya.  Adapun  set  soal  yang  menjadi objek penelitian Elsayed adalah ujian akhir tahun dari mata kuliah Data Structure and Representation (DSR) di  University  of  New  South  Wales  Canberra, Australia.  Untuk  memperkaya  hasil  penelitian,  studi ini  akan  menerapkan  model  penelitian  yang  sama dengan objek yang terkait dengan dunia pendidikan di Indonesia,  yakni  soal  ujian  sekolah  Bahasa  Inggris kelas  12.  Pemilihan mata  pelajaran  tersebut didasarkan  pada  hipotesis  bahwa  mata  pelajaran bahasa  sangat  dikuasai  oleh  ChatGPT  sebagai  model teknologi yang berbasis bahasa natural.
Berdasarkan uraian di atas,  maka sangatlah beralasan untuk diadakan analisis terhadap kemampuan ChatGPT  dalam  memodifikasi  butir  soal  berdasarkan tingkat  kognitif  taksonomi  Bloom.  Mengacu  pada Elsayed  (2023),  salah  satu  pendekatan  yang  dapat diterapkan  yakni  pendekatan  genetika  (Genetic Approach,  GA).  Diharapkan,  hasil  dari  penelitian  ini dapat membantu guru-guru bahasa untuk merumuskan soal yang membuat peserta didik lebih mandiri dalam menunjukkan kemampuannya, dan mengurangi ketergantungannya pada ChatGPT.

## II. M ETODE P ENELITIAN
Pendekatan Genetika mengadaptasi metode penelitian yang  terinspirasi  oleh  proses  evolusi  alamiah  yang terjadi  dalam  seleksi  alamiah  dan  warisan  genetik (Antari, 2020). Pendekatan Genetika digunakan untuk mencari  solusi optimal atau  mendekati solusi optimal dari  masalah  optimisasi  dan  pencarian  ruang  solusi yang  besar  atau  kompleks.  Metode  ini  dapat diterapkan pada berbagai bidang, termasuk optimisasi parameter,  perancangan  mesin,  pemodelan  prediktif, dan dalam studi ini, untuk mengoptimalkan butir soal yang  diberikan  peserta  didik  agar  mengurangi ketergantungan mereka terhadap penggunaan teknologi ChatGPT.
Metode penelitian dengan Pendekatan Genetika untuk peningkatan  kualitas  soal  berbasis  Taksonomi  Bloom pernah  dilakukan  oleh  beberapa  peneliti  sebelumnya. Salah  satu  contohnya  yakni  oleh  Rasim  (2016)  yang menggunakan  pendekatan  tersebut  untuk  membuat butir pertanyaan yang diimplementasikan pada virtual learning  environment (VLE)  melalui  SLOODLE. SLOODLE (Simulation-Linked  Object  Oriented Dynamic  Learning  Environment) adalah  suatu perangkat lunak yang mendukung sistem pengelolaan belajar  (LMS)  dengan  teknologi  3  dimensi  guna memperkaya  pengalaman  belajar  secara  virtual (Supriadi, 2016). Rasim (2016) membandingkan hasil pertanyaan  yang  dibuat  melalui  Pendekatan  Genetika dengan  metode  acak.  Ditemukan  bahwa  pertanyaan yang  dihasilkan  dari  Pendekatan  Genetika  memiliki komposisi  yang  lebih  baik  dibandingkan  dengan metode  acak.  Hanya  saja,  penelitian  Rasim  (2016), tidak  melibatkan  penggunaan  ChatGPT  dalam pembuatan komposisi butir soalnya.
Dalam  menentukan  butir  soal  yang  mendorong peserta  didik  untuk  tidak  tergantung  pada  ChatGPT, Elsayed  (2023)  menggunakan  Pendekatan  Genetika untuk  memproses  butir  pertanyaan  pada  soal  ujian akhir mata kuliah DSR menjadi butir pertanyaan yang secara efektif mengurangi tingkat keyakinan ChatGPT dalam memberikan jawabannya (Elsayed, 2023).
Elsayed  mengawali  penelitian  dengan  pengumpulan solusi,  yakni  butir-butir  pertanyaan  dari  soal  ujian mata  kuliah  DSR,  yang  masing-masing  mengandung kata  kerja  operasional  dari  Taksonomi  Bloom. Tahapan  kedua  yakni  menguji  kualitas  setiap  butir soal  dengan  penggunaan  ChatGPT.  Elsayed  meminta ChatGPT  untuk  menilai  tingkat  keyakinan  terhadap jawaban yang diberikan dengan skala 1 untuk tingkat

## Frinandi Wandria
JITTER (Jurnal Ilmiah Teknologi Informasi Terapan)
keyakinan  100%  dan  0  untuk  tingkat  keyakinan  0%. Ketika hasil pengujian menunjukkan tingkat keyakinan  yang  tinggi,  Elsayed  melakukan crossover dengan menggabungkan kata kerja operasional dalam pengujian  suatu  butir  soal  hingga  mendapatkan jawaban  dari  ChatGPT  yang  memiliki  tingkat keyakinan yang lebih rendah, yakni setinggi-tingginya 0.5 atau maksimal tiga kali ujicoba. Hasil dari mutasi butir  pertanyaan  yang  baru  digabungkan  dan ditandingkan  untuk  dievaluasi  tingkat  keyakinannya dan dipilih butir pertanyaan dengan tingkat keyakinan paling  rendah.  Berikut  ini  merupakan  rangkuman hasil Algoritma Genetik yang dilakukan oleh Elsayed pada butir soal ujian mata kuliah DSR:
Gambar 1. Rangkuman hasil Pendekatan Genetika berdasarkan Taksonomi Bloom (Elsayed, 2023)

## Gambar 2. Alur Penelitian dengan Pendekatan Genetika
Adapun  metode  yang  diterapkan  dalam  penelitian  ini serupa  dengan  metode  yang  digunakan  oleh  Elsayed (2023),  namun  dengan  pemindahan  tahap  validasi menjadi  lebih  awal  dibanding  tahap  validasi  yang dilakukan  oleh  Elsayed  di  akhir  semua  tahapannya. Butir  soal  yang  dimodifikasi  juga  dibedakan,  dimana Elsayed  (2023)  menggunakan  butir  soal  pada  mata kuliah  DSR,  sementar  penelitian  ini  menggunakan soal esai Ujian Sekolah mata pelajaran Bahasa Inggris untuk  kelas  12  SMA.  Berikut  alur  penelitian  yang
diterapkan, dilanjutkan dengan rincian deskripsi pada sub bab berikutnya.

## II.1 Tahap Awal (Populasi)
Tahap  awal  mencakup  penentuan  populasi,  yakni butir  soal  esai  Ujian  Sekolah  mata  pelajaran  Bahasa Inggris  untuk  kelas  12  SMA.  Adapun  kromosom diambil dari daftar kata kerja operasional berdasarkan tingkat  kognitif  Taksonomi  Bloom  yang  sesuai dengan indikator dari setiap butir soal.
Untuk  mendapatkan  tingkat  keyakinan  dari  butir  soal yang belum dimodifikasi, setiap butir soal ditanyakan melalui  ChatGPT,  kemudian  tingkat  keyakinan terhadap  jawaban  tersebut  dinilai  melalui  perintah, “Give  me  a  confidence  score  between  0-1  for  your answer. Just write the number without any text.”

## II.2 Tahap Seleksi (Kromosom)
Pada  tahap  berikutnya,  setiap  butir  soal  akan diparafrase menggunakan
sekurangnya satu kromosom berdasarkan KKO pada Taksonomi Bloom sesuai tingkat kognitifnya.
Pada  tahun  2001,  Lorin  Anderson,  seorang  murid Bloom,  beserta  sejumlah  pakar  pendidikan  merevisi taksonomi ini agar lebih sesuai dengan perkembangan pembelajaran  dan  pendidikan  modern.  Revisi  ini menggantikan  kata-kata  yang  berfokus  pada  proses berpikir  yang  lebih  aktif.  Versi  revisi  ini  terdiri  dari enam tingkat yang disusun ulang sebagai berikut:
1. Mengingat  ( Remembering ):  Mengakses  informasi yang telah dipelajari sebelumnya.
2. Memahami  ( Understanding ):  Menerjemahkan, menguraikan,  atau  menjelaskan  informasi  dengan menggunakan kata-kata sendiri.
3. Menerapkan  ( Applying ):  Menggunakan  informasi dalam konteks baru, menghubungkan pengetahuan dengan situasi nyata.
4. Menganalisis  ( Analyzing ):  Memecah  informasi menjadi  bagian-bagian  yang  lebih  kecil  dan mengidentifikasi hubungan antara mereka.
5. Menilai ( Evaluating ): Menilai informasi berdasarkan  kriteria  tertentu  dan  membuat penilaian atau keputusan.
6. Mencipta  ( Creating ):  Menggabungkan  elemen- elemen  yang  berbeda  untuk  membuat  sesuatu yang baru dan orisinal.

## Frinandi Wandria
JITTER (Jurnal Ilmiah Teknologi Informasi Terapan)
Rangkuman  dari  perbedaan  Taksonomi  Bloom dengan  revisinya  dapat  dilihat  pada  tabel  berikut  ini (Anderson, et al., 2021):
Gambar 3. Perbandingan Kerangka Asli dengan Kerangka Revisi Taksonomi Bloom (Anderson, et al., 2021)
Melalui  kerangka  tersebut,  guru  dapat  mengatur kualitas pembuatan soal dengan menggunakan tingkat kognitif yang lebih tinggi pada sekurangnya 25% dari seluruh  jumlah  soal  yang  diberikan  kepada  peserta didik (Fitrawati, et al., 2022).
Berikut  ini  merupakan  KKO  yang  dapat  dipilih berdasarkan tingkat kognitif pada seluruh butir soal.

## Tabel 1. Daftar Kata Kerja Operasional
(Kromosom) Berdasarkan Indikator Butir Soal
# Kategori Kognitif Kromosom 1  Mencipta ( Creating )
create, design, invent, compose, plan, formulate, generate, hypothesize,
produce, develop, originate, arrange, construct 2  Menganalisis ( Analyzing ) differentiate, organize, relate, compare, contrast, distinguish, examine, experiment, question, test 3  Menganalisis
( Analyzing ) differentiate, organize, relate, compare, contrast, distinguish, examine, experiment, question, test 4  Menganalisis
( Analyzing ) differentiate, organize, relate, compare, contrast, distinguish, examine, experiment, question, test 5  Menerapkan
( Apply ) Execute, implement, solve, use, demonstrate, interpret, operate, schedule, sketch II.3

## Tahap Penentuan Tingkat Keyakinan
Pertanyaan yang sudah dimodifikasi dengan kromosom  yang  baru  kemudian  ditanyakan  kembali menggunakan  ChatGPT,  dan  tingkat  keyakinannya diperoleh  dengan  cara  yang  sama  dengan  tahapan awal.

## II.4 Tahap Validasi
Jawaban yang diberikan ChatGPT dari butir soal yang telah  dimodifikasi  kemudian  diukur  ketepatan jawabannya.  Dalam  hal  ini,  peneliti  melakukan pemeriksaan  secara  manual  sebagai  pengampu  mata pelajaran tersebut. Bila ditemukan jawaban yang tidak lengkap  atau  bahkan  tidak  sesuai  dengan  perintah pada butir soal, maka umpan balik diberikan sebelum tingkat keyakinan ditanyakan kembali:
Berikut  ini  merupakan  contoh  umpan  balik  yang dimasukkan sebelum perintah revisi tingkat keyakinan jawaban ChatGPT:
“ You  did  not provide  the correct  type  of  conditional based  on any conditional  sentence  theory.  Also,  you  did  not  provide  the  correct formulation  of  the  appropriate  conditional  sentence.  Revise  your confidence  score  between  0-1  for  your  answer.  Just  write  the number without any text.”
Setelah  mendapat  revisi  skor  tingkat  keyakinan  oleh ChatGPT,  peneliti  menggunakan  fitur  “ regenerate ” secara  berulang  hingga  ChatGPT  mengeluarkan  skor yang konsisten sekurangnya 3 kali.

## II.5 Tahap Penyilangan
Apabila  tingkat  keyakinan  dari  jawaban  ChatGPT tetap  tinggi,  maka  dilakukan  tahap  penyilangan dengan  mengambil  kata  kerja  operasional  lain  pada tingkat kognitif yang berbeda hingga maksimal 3 kali penyilangan, atau hingga mencapai tingkat keyakinan yang lebih rendah.

## II.6 Tahap Terminasi
Tahapan  modifikasi  dihentikan  setelah  seluruh  butir soal  mendapatkan  jawaban  dari  ChatGPT  dengan tingkat  keyakinan  yang  lebih  rendah.  Selanjutnya, seluruh  tingkat  keyakinan  dihitung  nilai  rata-ratanya

## Frinandi Wandria
JITTER (Jurnal Ilmiah Teknologi Informasi Terapan)
dan  dibandingkan  antara  rerata  pada  butir  soal  yang belum dimodifikasi dengan yang sudah dimodifikasi.

## III. H ASIL E KSPERIMEN DAN P EMBAHASAN
Bagian  ini  terdiri  dari  paparan  hasil  eksperimen berdasarkan tahapan dengan Pendekatan Genetika.

## III.1 Tingkat Keyakinan Awal
Tabel  di  bawah  merupakan  rangkuman  tingkat keyakinan  ChatGPT  terhadap  jawaban  dari  setiap butir  soal  esai  Ujian  Sekolah  mata  pelajaran  Bahasa Inggris untuk kelas 12 SMA tanpa modifikasi.

## Tabel 2. Tingkat Keyakinan ChatGPT terhadap
Jawaban dari Butir Soal tanpa Modifikasi
# Butir Soal Tingkat Keyakinan 1 Describe  the  backyard  of  SMA  Citra  Cemara    in one paragraph using a good description text.
0.85
2 Complete each sentence with the correct form of the  verbs  (past  simple,  past  perfect,  or  past progressive)
1. It  was  raining  when  Ferguson  …
(crash) his Ferrari.
2. When  I  reached  the  10km  sign,  the fastest  runners  …  (already/cross)  the  finishing line.
3. The  race  began  at  4.00  and  the  last
cyclist … (finish) at exactly 5.08
4.
Diane  was  already  at  the  gym  when
she realized she … (forgot) her towel.
5. Fyfe and Scott … (climb) Everest when the accident happened.
0.95
3 Change  the  sentence  into  passive:  Someone stopped the traffic. 0.95
4 Write a mixed conditional sentence based on the following fact/situation. I’m  tired  today  because  I  didn’t  sleep  well  last night.
0.80
5 Complete  the  following  steps  in  downloading  a Youtube Video with the provided words. There  are  two  extra  options  you  will  not  be needing.
[download - type - right - press - search - click]
HOW TO DOWNLOAD YOUTUBE Videos ………………………….  the  video  that    you  want  to download.
………………………….  click  and  choose  “copy  URL” from the appearing message..
………………………….  “Youtube  download”  on  the search engine of your browser.
…………………………. Ctrl+v on the provided box and choose “download”
0.95

## III.2 Tingkat Keyakinan Setelah Modifikasi
Berikut  ini  merupakan  rangkuman  tingkat  keyakinan ChatGPT terhadap jawaban dari setiap butir soal esai Ujian  Sekolah  mata  pelajaran  Bahasa  Inggris  untuk kelas  12  SMA  setelah  melalui  tahapan  proses modifikasi dengan Pendekatan Genetika.

## Tabel 3. Tingkat Keyakinan ChatGPT terhadap
Jawaban dari Butir Soal Setelah Modifikasi
# Butir Soal Modifikasi Tingkat Keyakinan 1 Generate  a  descriptive  paragraph  outlining  the design  and  arrangement  of  the  SMA  Citra Cemara backyard.
0.65
2 Distinguish  each  sentence  by  naming  the  verb forms of each clause (past simple, past perfect, or past  progressive).  Write  "LOGIC"  if  the  tenses applied  in  each  sentence  make  sense,  and  write "ILOGICAL"  if  the  tenses  in  each  sentence  does not make sense.
1. It was raining when Ferguson crashed his Ferrari. 2. When  I  had  reached  the  10km  sign, the fastest runners crossed the finishing line. 3. The  race  began  at  4.00  and  the  last cyclist finished at exactly 5.08 4. Diane  had  already  been  at  the  gym when she realized she forgot her towel. 5. Fyfe  and  Scott  were  climbing  Everest when the accident happened. 0.65
3 Organize  the  following  sentences  based  on  the correct  order  of  events.  Then,  change  the sentence into passive:
Sammy  was  answering  the  teacher's  call  on  the phone when crossing the street. Luckily, someone stopped the traffic. The truck almost hit Sammy. Sammy is telling the story to the school's security.
0.85
4 Examine  the  type  of  conditional  of  the  following sentence.  Then,  formulate  the  appropriate conditional sentence based on your answer: I’m  tired  today  because  I  didn’t  sleep  well  last night 0.40
5 Complete  the  following  steps  in  downloading  a Youtube  Video  with  the  provided  words.  Then, sketch the procedure into 4 mini hand-drawings. There  are  two  extra  options  you  will  not  be needing from the provided choices.
[download - type - right - press - search - click] HOW TO DOWNLOAD YOUTUBE Videos ………………………….  the  video  that    you  want  to download.
………………………….  click  and  choose  “copy  URL” from the appearing message..
………………………….  “Youtube  download”  on  the search engine of your browser.
…………………………. Ctrl+v on the provided box and choose “download”.
0.70

## Frinandi Wandria
JITTER (Jurnal Ilmiah Teknologi Informasi Terapan)

## III.3 Validasi Jawaban ChatGPT terhadap Butir Soal Setelah Modifikasi
Dalam  proses  penentuan  tingkat  keyakinan,  peneliti melakukan  validasi  terhadap  jawaban  yang  telah diberikan oleh ChatGPT. Apabila ditemukan jawaban yang  tidak  lengkap  atau  bahkan  tidak  sesuai  dengan perintah  yang  telah  dimasukkan,  proses  validasi dilakukan  dengan  memberikan  umpan  balik  terhadap jawaban  dan  meminta  ChatGPT  untuk  merevisi tingkat  keyakinannya  berdasarkan  umpan  balik tersebut.  Berikut  ini  merupakan  jawaban-jawaban ChatGPT berdasarkan butir soal yang telah dimodifikasi,  serta  umpan  balik  dan  perintah  revisi tingkat keyakinannya.
Tabel 4. Umpan Balik dan Perintah yang Dimasukkan untuk Setiap Jawaban dari Butir Soal yang Dimodifikasi
# Jawaban ChatGPT Umpan Balik dan Perintah Revisi Tingkat Keyakinan 1 I don't have specific information about the SMA  Citra  Cemara  backyard.  Could  you provide some details or preferences you'd
like  me  to  include  in  the  generated description? You did not provide any answer for the
question.  Revise  give me  a  confidence  score between  0-1  for  your answer.  Just  write  the number  without  any text.
2 LOGIC ILOGICAL LOGIC
ILOGICAL LOGIC You  did  not  name  the verb  form  of  each clause. Revise your confidence score
between  0-1  for  your answer.  Just  write  the number  without  any text.
3 Sammy  was  answering  the  teacher's  call on the phone when crossing the street. The truck almost hit Sammy. Luckily, someone stopped the traffic. Sammy  is  telling  the  story  to  the  school's security.
The teacher's call on the phone was being answered  by  Sammy  when  crossing  the street  when  the  truck  almost  hit  Sammy. Luckily,  the  traffic  was  stopped  by someone.  The  story  is  being  told  by Sammy to the school's security.
You  did  not  change  all sentences  into  passive. Revise  your  confidence score  between  0-1  for your  answer.  Just  write the  number  without any text.
4 The  given  sentence  expresses  a  cause- and-effect relationship, indicating that the speaker's tiredness today is a result of not sleeping well last night. This falls under a cause-and-effect conditional.
Formulating  an  appropriate  conditional sentence:
"If  I  don't  sleep  well,  I  will  be  tired  the next day."
You did not provide  the correct type of conditional  based  on any conditional sentence  theory.  Also, you  did  not  provide  the correct  formulation  of the appropriate conditional sentence. Revise  your  confidence score  between  0-1  for your  answer.  Just  write the  number  without
any text. 5 Sure thing! Let's map it out step by step: 1. Copy  URL:  Select  the  video you want to download on YouTube. 2. Click and Choose "Copy URL": Right-click  on  the  video  and  select  "Copy URL" from the menu that appears. 3. Search for "Youtube Download":  Open  your  browser,  type
"Youtube  download"  into  the  search engine, and press Enter. 4. Paste  URL  and  Download:
Click  on  the  appropriate  result,  paste  the copied URL (Ctrl+v) into the provided box, and select "Download."
Now, let's sketch it out:
1. [Draw  a  simple  YouTube
interface  with  a  video  and  an  arrow pointing to the video for "Copy URL"] 2. [Illustrate  a  right-click  action on the video and a menu with "Copy URL" highlighted] 3. [Draw  a  search  engine  bar with  "Youtube  download"  typed  in  and  a search icon] 4.
[Sketch  a  browser  window with a "Paste URL" box and a "Download" button]
I hope this helps!
You  fail  to  choose  the provided  choices  to complete  each  step  in the questions. Also, you did  not  provide  any sketch  for  all  of  the steps. Revise your confidence score between  0-1  for  your answer.  Just  write  the number  without  any text.

## III.4 Pembahasan
Berdasarkan  tingkat  keyakinan  ChatGPT  dalam memberikan jawaban terhadap kedua jenis butir  soal, rata-rata  tingkat  keyakinan  jawaban  pada  butir  soal yang telah dimodifikasi mengalami penurunan dengan detail sebagai berikut:

## Tabel 5. Perbandingan Rerata Skor Tingkat
Keyakinan terhadap Kedua Jenis Butir Soal
# Tingkat Keyakinan Jawaban dari Soal Tanpa Modifikasi Tingkat Keyakinan Jawaban dari Soal Setelah Modifikasi 1 0.85 0.65 2 0.95 0.65 3 0.95 0.85 4 0.80 0.40 5 0.95 0.70 0.90 0.65
Perbedaan  rerata  tersebut  menunjukkan  bahwa  butir soal  yang  telah  dimodifikasi  berdasarkan  kata  kerja operasional  pada  ranah  kognitif  dari  Taksonomi Bloom  telah  mengurangi  tingkat  keyakinan  ChatGPT dalam  menjawab  butir-butir  soal  yang  telah dimodifikasi hingga -0.25 poin.

## Frinandi Wandria
JITTER (Jurnal Ilmiah Teknologi Informasi Terapan)

## IV. K ESIMPULAN
Ditemukan tingkat keyakinan awal ChatGPT terhadap jawaban  dari  butir  soal  yang  belum  dimodifikasi sebesar  0.85  (Q1),  0.95  (Q2),  0.95  (Q3),  0.80  (Q4), dan 0.95 (Q5), dengan rata-rata tingkat keyakinan dari Q1-Q5  sebesar  0.90.  Ditemukan  tingkat  keyakinan ChatGPT terhadap jawaban dari butir soal  yang telah dimodifikasi  berdasarkan  Taksonomi  Bloom  melalui pendekatan  genetika,  antara  lain:  0.65  (Q1),  0.65 (Q2),  0.85  (Q3),  0.40  (Q4),  dan  0.70  (Q5),  dengan rata-rata tingkat keyakinan dari Q1-Q5 sebesar 0.65.
Berdasarkan  pengukuran  tingkat  keyakinan  ChatGPT terhadap  jawaban  dari  butir  soal  yang  belum  dan sudah  dimodifikasi  melalui  pendekatan  genetika, dapat ditarik kesimpulan bahwa modifikasi pada tiap- tiap butir soal telah mempengaruhi penurunan tingkat keyakinan ChatGPT terhadap jawaban yang diberikan dengan  rata-rata  penurunan  sebesar  0.25  poin  dari skala 0-1, atau setara dengan -25%. Penurunan tingkat keyakinan  tersebut  diartikan  sebagai  kemampuan ChatGPT  yang  tetap  dapat  menjawab  butir  soal  yang telah  dimodifikasi  namun  dengan  jawaban-jawaban yang  tidak  selengkap  dan  sesuai  dengan  perintah- perintah yang terkandung dalam butir soal yang telah dimodifikasi.  Dengan  kata  lain,  temuan  tersebut menjadi dasar empiris bahwa peserta didik tidak dapat sepenuhnya  bergantung  pada  ChatGPT  dalam menjawab  butir  soal  termodifikasi  untuk  mencapai tujuan-tujuan  pembelajaran  yang  terkandung  dalam setiap butir soal. Alih-alih bergantung pada ChatGPT, peserta  didik  dapat  dengan  lebih  tekun  memahami materi  untuk  dapat  menjawab  soal-soal  yang disediakan  guna  mencapai  nilai  yang  lebih  tinggi sebagai  tolak  ukur  pencapaian  tujuan  pembelajaran pada suatu materi.

## R EFERENSI
Nehe,  B.M.,  et  al.  (2023). Exploring  English Learners’  Experiences  of  Using  Mobile Language Learning Applications . Jurnal Teknologi  Pendidikan,  April  2023,  25(1),  76- 90
Amaliyah,  N.  (2023), Development  of  Technological,
Pedagogicaland  Content  Knowledge  Based Learning Media . Jurnal Teknologi Pendidikan, April 2023, 25(1), 107-116
Putri,  D.P.E.,  &  Muhtadi,  A.  (2018). Pengembangan Multimedia  Pembelajaran  Interaktif  Kimia Berbasis Android Menggunakan Prinsip Mayer  Pada  Materi  Laju  Reaksi .  Jurnal Inovasi  Teknologi  Pendidikan:  Vol  5,  No  1 (2018)
Jamun,  Y.  M.  (2018). Dampak  Teknologi  Terhadap Pendidikan. Jurnal Pendidikan Dan
Kebudayaan Missio, 10(1), 48-52
Maritsa,  Ana.,  et  al.  (2021). Pengaruh  Teknologi dalam Dunia Pendidikan . Al-Mutharahah, vol.
18, no. 2, 2021, pp. 91-100
Anjarrini,  K.,  &  Rindaningsih,  I.  (2022). Peran Kepala  Sekolah  dalam  Membangun  Budaya Sekolah  sebagai  Unggulan  Sekolah  di  MI Muhammadiyah  1  Jombang .  MANAZHIM, 4(2), 452-474.
Kirana, A. & Lestari, S. (2017). “Bila guru melihat”: Perilaku  Jujur  dan  Tidak  Jujur  Siswa  SMA Berbasis Agama pada Situasi Ujian . Prosiding
Temu Ilmiah X Ikatan Psikologi
Perkembangan Indonesia: 22-24 Agustus 2017, Hotel Grasia, Semarang
Hines,  Kristi.  (2023). History  Of  ChatGPT:  A Timeline  Of  The  Meteoric  Rise  Of  Generative AI  Chatbots. Retrieved  June  26,  2023,  from https://www.searchenginejournal.com/history- of-chatgpt-timeline/488370/#close
Faiz,  A.  &  Kurniawaty,  I.  (2023). Tantangan Penggunaan  ChatGPT  dalam  Pendidikan Ditinjau dari Sudut Pandang Moral .
EDUKATIF  Jurnal  Ilmu  Pendidikan,  Vol  5, No 1 (2023) Elsayed, Saber. (2023). Towards Mitigating
ChatGPT’s  Negative  Impact  on  Education: Optimizing  Question  Design  through  Bloom’s Taxonomy .  University  of  New  South  Wales Canberra:  arXiv:2304.08176v1  [cs.CY]  31 Mar 2023
Antari, Ozora. (2020). Apa itu Genetic Algorithm dan Bagaimana  Cara  penerapannya? Retrieved August 21, 2023, from https://www.jojonomic.com/blog/genetic- algorithm/
Rasim,  H.,  et  al.  (2016). Generation  Quiz  With Genetic Algorithm Based On Bloom's Taxonomy  Classification  In  Serious  Game

## Frinandi Wandria
Based  Virtual  Environments .  International Conference on ICT For Smart Society (ICISS), Surabaya, Indonesia, 2016, pp. 42-48
Supriadi, Fidi. (2016). Virtual Learning Environtment .  Jurnal  Ilmu-ilmu  Informatika dan  Manajemen  STMIK,  Vol.  10  No.2 Nopember (2016)
Anderson,  L.,  et  al.  (2001). A  Taxonomy  For Learning,  Teaching,  And  Assessing  -  A
Revision Of Bloom’s Taxonomy Of
Educational  Objectives .  Addison  Wesley Longman, Inc.: New York
Fitrawati,  et  al.  (2022). Pelatihan  Penyusunan  Soal Bahasa Inggris Berbasis High Order Thinking Skills  (Hots)  Bagi  Guru  Bahasa  Inggris Sekolah  Menengah  Atas  (SMA)  Di  Kota Padang ,  Pusat  Kajian  Humaniora:  Vol.  3  No. 1, 2022 hal. 01-12