## JURNAL KRIDATAMA SAINS DAN TEKNOLOGI
Pengaruh Asisten Virtual Berbasis Artificial Intelligence Terhadap Integritas Sertifikasi Kompetensi Pemrograman secara Online Vol. 06 No.1 2024 E-ISSN: 2685-6921 Universitas Ma’arif Nahdlatul Ulama Kebumen

## Pengaruh Asisten Virtual Berbasis Artificial Intelligence Terhadap Integritas Sertifikasi Kompetensi Pemrograman secara Online
Imam Prayogo Pujiono 1* , Eko Hari Rachmawanto 2 , Fida Maisa Hana 3
1 UIN K.H. Abdurrahman Wahid Pekalongan, Pekalongan, Indonesia
2 Universitas Dian Nuswantoro, Semarang, Indonesia
3 Universitas Muhammadiyah Kudus, Kudus, Indonesia
imam.prayogopujiono@uingusdur.ac.id *
Copyright©2024 by authors, all rights reserved. Authors agree that this article remains permanently open access under the terms of the Creative Commons Attribution License 4.0 International License

## Abstrak
Penggunaan asisten virtual berbasis Artificial Intelligence (AI) telah menunjukkan dampak yang signifikan dalam berbagai sektor, khususnya pendidikan. Kehadiran asisten virtual berbasis AI yang mampu menjawab pertanyaan dari berbagai topik menciptakan  peluang  dan  tantangan  baru  terutama  terkait  ujian  dan  penilaian. Penelitian ini meneliti dampak penggunaan asisten virtual berbasis AI, khususnya ChatGPT  (GPT-4),  terhadap  integritas  sertifikasi  kompetensi  pemrograman  yang dilakukan  secara online .  Melalui  eksperimen  lapangan,  penulis  mengikuti  tiga sertifikasi kompetensi pemrograman secara online terkait “Python Fundamentals for Beginners”,  “Java  Programming”,  dan  “Android  Application  Development”  serta menggunakan  ChatGPT  (GPT-4)  untuk  menjawab  semua  soal  ujian.  Hasil  ujian menunjukkan bahwa GPT-4 berhasil menjawab 9 dari 10 soal yang diberikan pada tiga sertifikasi kompetensi pemrograman yang diikuti dan dinyatakan lulus ujian, hal ini  menimbulkan  pertanyaan  serius  tentang  validitas  sertifikat  yang  diperoleh melalui  sertifikasi  kompetensi  yang  dilakukan  secara online .  Penelitian  ini mengungkapkan bahwa perlu adanya metode ujian yang lebih efektif dalam menilai kemampuan  sesungguhnya  dari  peserta  sertifikasi,  seperti  ujian  berbasis  proyek, ujian menggunakan soal dalam bentuk video, dan ujian berbasis wawancara. Metode ujian  ini  tidak  hanya  akan  meningkatkan  kredibilitas  sertifikasi  kompetensi pemrograman  secara online ,  tetapi  juga  memastikan  bahwa  peserta  yang  lulus sertifikasi memang memiliki keahlian terkait bidang yang diujikan. Penelitian lebih lanjut diperlukan  untuk mengeksplorasi  dampak  asisten  virtual  berbasis  AI  dalam berbagai konteks pendidikan khususnya pada sertifikasi kompetensi secara online .
Kata  kunci:  Asisten  Virtual,  ChatGPT  (GPT-4),  Integritas  Sertifikasi,  Sertifikasi Pemrograman, Ujian Online
Received: 10/01/2024 Revised: 22/01/2024
Accepted: 25/01/2024

## JURNAL KRIDATAMA SAINS DAN TEKNOLOGI
Pengaruh Asisten Virtual Berbasis Artificial Intelligence Terhadap Integritas Sertifikasi Kompetensi Pemrograman secara Online Vol. 06 No.1 2024 E-ISSN: 2685-6921 Universitas Ma’arif Nahdlatul Ulama Kebumen

## Abstract
The  use  of  virtual  assistants  based  on  Artificial  Intelligence  (AI)  has  shown  a significant impact in various sectors, especially education. The presence of AI-based virtual assistants capable of answering questions from various topics creates new opportunities  and  challenges,  especially  regarding  exams  and  assessments.  This research  examines  the  impact  of  using  AI-based  virtual  assistants,  specifically ChatGPT  (GPT-4),  on  the  integrity  of  programming  competency  certification carried  out  online.  Through  field  experiments,  the  author  took  three  online programming  competency  certifications  related  to  "Python  Fundamentals  for Beginners",  "Java  Programming",  and  "Android  Application  Development"  and used  ChatGPT  (GPT-4)  to  answer  all  exam  questions.  The  test  results  show  that GPT-4 successfully answered 9 out of 10 questions given in the three programming competency  certifications that  were taken  and  declared  to  have  passed  the  exam. This  raises  serious  questions  about  the  validity  of  certificates  obtained  through competency certification which is carried out online. This research reveals that there is a need for more effective examination methods in assessing the true abilities of certification participants, such as project-based examinations, examinations using questions  in  video  form,  and  interview-based  examinations.  This  examination method  will  not  only  increase  the  credibility  of  online  programming  competency certification  but  also  ensure  that  participants  who  pass  the  certification  have expertise related to the field being tested. Further research is needed to explore the impact of AI-based virtual assistants in various educational contexts, especially on online competency certification.
Keywords:  Virtual  Assistant;  ChatGPT  (GPT-4);  Certification  Integrity; Programming Certification; Online Exam

## 1. Pendahuluan
Pada abad ke-21, peran asisten virtual berbasis artificial intelligence /kecerdasan buatan (AI)  menjadi  sangat  signifikan  dalam  kegiatan  sehari-hari  (Arora  dkk.,  2021). Artificial intelligence adalah sebuah teknologi baik software maupun hardware yang memungkinkan untuk melakukan tugas-tugas yang sebelumnya hanya dapat dilakukan oleh manusia (Oktavianus dkk., 2023),  contohnya  adalah  asisten  virtual  berbasis  kecerdasan  buatan.  Asisten  virtual  berbasis kecerdasan buatan adalah sebuah program perangkat lunak canggih yang menggunakan teknologi AI dan dapat meniru kemampuan manusia dalam mengerjakan tugas (Mina dkk., 2023), seperti menjawab pertanyaan, memberikan informasi, dan menyelesaikan tugas tertentu.
Penggunaan asisten virtual berbasis kecerdasan buatan telah menunjukkan dampak yang signifikan  dalam  berbagai  sektor,  termasuk  pendidikan.  khususnya  kehadiran  asisten  virtual seperti ChatGPT. ChatGPT merupakan model bahasa alami yang dikembangkan OpenAI untuk menghasilkan  teks  berupa  jawaban  dari prompt yang  diberikan  menggunakan  bahasa  manusia dengan  mode  percakapan  interaktif (Sudrajat  dkk.,  2023).  ChatGPT  mampu  menjawab pertanyaan  dari  berbagai  topik  seperti  menulis  kreatif  (King,  2023)(Kirmani,  2023), pemrograman  dan coding (Sobania  dkk.,  2023),  inovasi  dalam  pengajaran  (Šlapeta, 2023)(Rudolph  dkk.,  2023),  menjawab  pertanyaan  kompleks, mengerjakan  berbagai tugas  dan

## JURNAL KRIDATAMA SAINS DAN TEKNOLOGI
Pengaruh Asisten Virtual Berbasis Artificial Intelligence Terhadap Integritas Sertifikasi Kompetensi Pemrograman secara Online Vol. 06 No.1 2024 E-ISSN: 2685-6921 Universitas Ma’arif Nahdlatul Ulama Kebumen
ujian  sekolah,  serta  menghasilkan  respon  mirip  manusia  (Leiter  dkk.,  2023)(Bordt  &  von Luxburg, 2023), sehingga menciptakan peluang dan tantangan baru dalam pendidikan terutama terkait  ujian  dan  penilaian  (de  Winter,  2023),  misalnya  dalam  ujian  sertifikasi  kompetensi. Sertifikasi  kompetensi  adalah  penghargaan  yang  diberikan  sebagai  bukti  pencapaian pembelajaran atau keterampilan dalam menangani tugas tertentu, yang diperoleh setelah berhasil lulus uji kompetensi yang diadakan oleh badan sertifikasi (Prawiyogi & Toyibah, 2020). Salah satu metode uji kompetensi yang biasa digunakan adalah ujian secara online .
Penelitian  terkait  asisten  virtual berbasis artificial  intelligence dan ujian online pernah diteliti oleh beberapa peneliti sebelumnya, antara lain penelitian yang dilakukan oleh Teo Susnjak dengan judul “ChatGPT: The End of Online Exam Integrity?”, yang menunjukkan kemampuan ChatGPT dalam berpikir kritis. Selain memberikan jawaban, ChatGPT juga mampu mengevaluasi dan  mengkritik  jawabannya  sendiri.  Selain  itu,  teks  yang  dihasilkan  ChatGPT  sulit  dibedakan dengan  tulisan  manusia,  sehingga  berpotensi  disalahgunakan  untuk  kecurangan  dalam  ujian online (Susnjak, 2022).
Penelitian yang dilakukan Sebastian dan Ulrike dengan judul “ChatGPT Participates in a Computer Science Exam”, menunjukkan bahwa ChatGPT (GPT-3.5 dan GPT-4) berhasil lulus dalam ujian sarjana Ilmu Komputer terkait “Algoritma dan Struktur Data”, dari maksimal nilai 40 poin dan standar kelulusan 20 poin, GPT-3.5 berhasil mendapat 20,5 poin dan GPT-4 berhasil medapat 24 poin. Hasil dari penelitian ini menunjukkan bahwa ChatGPT mampu mengerjakan soal-soal yang sulit pada tingkat sarjana (Bordt & von Luxburg, 2023).
Penelitian  yang  dilakukan  oleh  Mostafizer  dan  Yutaka  dengan  judul  “ChatGPT  for Education and Research: Opportunities, Threats, and Strategies”, menjelaskan tentang peluang, ancaman,  dan  strategi  penggunaan  ChatGPT  untuk  pendidikan  terutama  pada  bidang pemrograman.  Di  mana  hasil  penelitian  menunjukkan  rata-rata  keakuratan  kode  pemrograman yang dihasilkan ChatGPT adalah 85,42%, namun dalam beberapa kasus diperlukan penyesuaian pada kode yang dihasilkan agar kode bisa dijalankan (Rahman & Watanobe, 2023).
Penelitian  yang  dilakukan  oleh  Urfa  dan  Muhammad  dengan  judul  “ChatGPT  and Medical Education: A Double-Edged Sword”, menunjukkan bahwa ChatGPT dapat bermanfaat dalam  dunia  pendidikan  seperti  dapat  digunakan  untuk  menjawab  pertanyaan  dan  membuat ringkasan.  Namun  ChatGPT  juga  dapat  disalahgunakan  dalam  dunia  pendidikan,  seperti digunakan untuk membuat konten plagiat. Penelitian ini menguji 6 abstrak yang 3 di antaranya dibuat oleh ChatGPT dan diuji oleh 12 penguji yang bergelar dokter medis (MD), doktor (Ph.D.), atau MD, Ph.D. dari berbagai institusi di Indonesia. Hasil penelitian menunjukkan 4 penguji tidak dapat  mengidentifikasi  satupun  abstrak  yang  dibuat  menggunakan  ChatGPT,  6  penguji  dapat megidentifikasi 1 abstrak, dan 2 penguji lainnya dapat megidentifikasi 2 abstrak dan 3 abstrak. Sehingga dikatakan bahwa ChatGPT dapat meniru para profesional (Khairatun Hisan & Miftahul Amri, 2023).
Penelitian  yang  dilakukan  oleh  Randy  Ventayen  dengan  judul  “ChatGPT  by  OpenAI: Students' Viewpoint on Cheating using Artificial Intelligence-Based Application”, menjelaskan bahwa ChatGPT dapat digunakan untuk menjawab soal esai sehingga berpotensi membahayakan integritas tugas yang dikerjakan siswa. Dalam penelitian ini juga dilakukan wawancara terhadap 86 siswa yang dipilih secara acak, dan hasilnya memperlihatkan bahwa lebih dari setengah siswa

## JURNAL KRIDATAMA SAINS DAN TEKNOLOGI
Pengaruh Asisten Virtual Berbasis Artificial Intelligence Terhadap Integritas Sertifikasi Kompetensi Pemrograman secara Online Vol. 06 No.1 2024 E-ISSN: 2685-6921 Universitas Ma’arif Nahdlatul Ulama Kebumen
tergoda  untuk  berbuat  curang  menggunakan  ChatGPT  dalam  mengerjakan  tugas  mereka (Ventayen, 2023).
Dari  keenam  penelitian  diatas,  tentu  menimbulkan  pertanyaan  tentang  bagaimana kehadiran  AI  dapat  mempengaruhi  integritas  dari  proses  ujian  yang  dilakukan  secara online , khususnya  ujian  sertifikasi  kompetensi  pemrograman  yang  kadang  dilakukan  secara online , karena dengan menggunakan GPT-4 semua orang bisa lulus sertifikasi kompetensi pemrograman meskipun tidak memiliki kompetensi dibidang tersebut. Kekhawatiran ini diperkuat oleh temuan sebastian  dan  Mostafizer,  yang  menunjukkan  ChatGPT  mampu  menjawab  dengan  baik pertanyaan  terkait  komputer  dan  pemrograman  (Bordt  &  von  Luxburg,  2023)(Rahman  & Watanobe, 2023). Oleh karena itu, diperlukan penelitian lebih lanjut untuk mengetahui dampak asisten virtual berbasis AI terhadap integritas ujian sertifikasi kompetensi pemrograman secara online . Hasil dari penelitian ini diharap dapat menjadi masukan bagi lembaga sertifikasi untuk mengembangkan metode ujian yang dapat mencegah peserta sertifikasi melakukan kecurangan menggunakan asisten virtual berbasis AI.

## 2. Metodologi Penelitian
Penelitian ini menggunakan metode eksperimen lapangan, metode eksperimen lapangan adalah  metode  eksperimen  yang  dilakukan  di  tempat  sesungguhnya  di  mana  peristiwa  terjadi secara normal (Nugraheni dkk., 2021), metode eksperimen lapangan digunakan untuk menguji pengaruh asisten  virtual  berbasis  AI,  dalam  hal ini  menggunakan  GPT-4  pada  ujian  sertifikasi kompetensi pemrograman secara online . GPT-4 dipilih karena diklaim lebih unggul dari GPT-3.5 dalam  mengerjakan  soal  atau  perintah  (OpenAI  dkk.,  2023)(Takagi  dkk.,  2023)(Ahsan  dkk., 2023).  Selain  itu,  GPT-4  dapat  mengerjakan  soal  lebih  cepat  karena  cukup  mengunggah screenshot dari soal yang diberikan, dan GPT-4 akan memberikan jawabannya.
Ujian  sertifikasi  kompetensi  pemrograman  yang  diikuti  adalah  ujian  di www.mygreatlearning.com terkait sertifikasi kompetensi “Python Fundamentals for Beginners”, “Java  Programming”,  dan  “Android  Application  Development”.  MyGreatLearning  adalah penyedia layanan pendidikan dan pelatihan terbesar di India yang dapat diakses di lebih dari 170 negara  dan  telah  bekerjasama  dengan  berbagai  lembaga  seperti  University  of  Texas,  Stanford Executive  Education,  dan  Northwestern  University  (Great  Learning,  t.t.).  Diharapkan  ketiga sertifikasi  kompetensi  pemrograman  di  MyGreatLearning  dapat  mencerminkan  kemampuan GPT-4 dalam menjawab soal sertifikasi kompetensi terkait pemrograman.
Pada  ujian  sertifikasi  kompetensi  pemrograman  di  MyGreatLearning,  sebelum mengerjakan soal ujian peserta diwajibkan melihat materi dalam bentuk video terkait kompetensi yang akan diujikan. Setelah melihat semua materi, selanjutnya peserta dapat mengerjakan soal ujian dalam bentuk pilihan ganda dengan jumlah 10 soal dan memiliki batasan waktu selama 30 menit. Jika peserta berhasil menjawab minimal 6 soal dengan benar makan perserta dinyatakan lulus.
Berikut ini ketentuan eksperimen yang telah ditetapkan untuk memastikan kevalidan dan integritas dari eksperimen ini:

## JURNAL KRIDATAMA SAINS DAN TEKNOLOGI
Pengaruh Asisten Virtual Berbasis Artificial Intelligence Terhadap Integritas Sertifikasi Kompetensi Pemrograman secara Online Vol. 06 No.1 2024 E-ISSN: 2685-6921 Universitas Ma’arif Nahdlatul Ulama Kebumen
1. Penulis  akan  mengikuti  ujian  sertifikasi  kompetensi  pemrograman  secara  langsung  di www.mygreatlearning.com pada kompetensi “Python Fundamentals for Beginners”, “Java Programming”, dan “Android Application Development”.
2. ChatGPT  (GPT-4)  akan  digunakan  untuk  menjawab  semua  soal  ujian  dengan  cara mengambil screenshot soal yang diberikan kemudian mengunggahnya di ChatGPT dalam bentuk gambar.
3. Jika GPT-4 tidak memberikan jawaban yang sesuai dengan pilihan yang tersedia, maka soal tersebut akan dibiarkan tanpa jawaban.
4. Pengaturan default digunakan pada bagian Custom Instructions di GPT-4.
5. Sebelum memulai ujian, peneliti akan memberikan perintah tertentu kepada  GPT-4 untuk memastikan  bahwa  GPT-4  mengerti  nantinya  pertanyaan  akan  diberikan  dalam  bentuk gambar.
Gambar 1. Perintah pada GPT-4 sebelum memulai ujian
Setelah membuat ketentuan eksperimen, peneliti mengikuti ujian sertifikasi kompetensi pemrograman secara langsung di www.mygreatlearning.com pada tanggal 12 dan 13 november 2023. Alur penelitian pada penelitian ini dapat digambarkan sebagai berikut:
Gambar 2. Alur Penelitian

## JURNAL KRIDATAMA SAINS DAN TEKNOLOGI
Pengaruh Asisten Virtual Berbasis Artificial Intelligence Terhadap Integritas Sertifikasi Kompetensi Pemrograman secara Online Vol. 06 No.1 2024 E-ISSN: 2685-6921 Universitas Ma’arif Nahdlatul Ulama Kebumen
Dari  bagan  alur  di  atas,  secara  singkat  dapat  dijelaskan  langkah-langkah  penelitian sebagai berikut:
1. Mengikuti sertifikasi pemrograman di www.mygreatlearning.com
Langkah awal penelitian ini adalah dengan membuat akun di www.mygreatlearning.com dan memilih sertifikasi pemrograman yang akan diikuti.
2. Melihat materi terkait kompetensi yang diujikan Setelah memilih sertifikasi pemrograman yang akan diikuti, selanjutnya peserta sertifikasi diwajibkan melihat materi dalam bentuk  video  terkait  sertifikasi  pemrograman yang  akan diikuti.
3. Meminta GPT-4 memahami nantinya diberi pertanyaan berbentuk gambar.
Sebelum  memulai  ujian,  perintah/ prompt terlebih  dahulu  diberikan  kepada  GPT-4  untuk memastikan  bahwa  GPT-4  mengerti  nantinya  pertanyaan  akan  diberikan  dalam  bentuk gambar.
4. Mengerjakan soal ujian di www.mygreatlearning.com
Pada  tahap  ini  peserta  sertifikasi  akan  mengerjakan  soal  ujian  sebanyak  10  soal,  yang disajikan dalam bentuk pilihan ganda dengan batasan waktu 30 menit.
5. Mengambil screenshot soal ujian
Selama mengerjakan ujian, peneliti akan mengambil tangkapan layar ( screenshot ) dari setiap soal  ujian  yang  diberikan.  Proses  mengambil screenshot dapat  dilakukan  dengan  bantuan aplikasi “Snipping Tool”.
6. Mengunggah screenshot soal ujian ke ChatGPT (GPT-4)
Untuk mendapat jawaban dari GPT-4, peneliti akan mengunggah screenshot soal ujian ke GPT-4 dan menunggu sekitar 30 detik sampai jawaban diberikan secara utuh.
7. Menjawab soal ujian menggunakan jawaban dari ChatGPT (GPT-4)
Setelah mendapat jawaban dari GPT-4, peneliti akan menggunakan jawaban yang diberikan untuk  menjawab  soal  ujian,  jika  GPT-4  tidak  memberikan  jawaban  yang  sesuai  dengan pilihan jawaban yang tersedia, maka soal akan dibiarkan tanpa jawaban.

## 8. Melihat hasil ujian
Setelah menyelesaikan ujian, peserta ujian dapat melihat hasil ujian.
9. Analisis dampak ChatGPT
Setelah mengetahui hasil ujian, peneliti melakukan analisis dampak ChatGPT pada integritas ujian online .

## 10. Identifikasi metode ujian yang efektif
Setelah  mendapat  hasil  analisis,  selanjutnya  mengidentifikasi  metode  ujian online yang efektif untuk mengantisipasi dampak yang terjadi.

## JURNAL KRIDATAMA SAINS DAN TEKNOLOGI
Pengaruh Asisten Virtual Berbasis Artificial Intelligence Terhadap Integritas Sertifikasi Kompetensi Pemrograman secara Online Vol. 06 No.1 2024 E-ISSN: 2685-6921 Universitas Ma’arif Nahdlatul Ulama Kebumen

## 3. Hasil dan Pembahasan
Setelah  mengikuti  ujian,  diperoleh  hasil  bahwa  GPT-4  dapat  lulus  semua  sertifikasi kompetensi  pemrograman  yang  diikuti.  Dengan  minimal  6  jawaban  benar  untuk  mencapai kategori lulus, GPT-4 berhasil menjawab 9 soal dengan benar dari 10 soal yang diberikan pada semua sertifikasi kompetensi pemrograman yang diikuti, selain itu waktu yang dibutuhkan untuk mendapat  jawaban  dari  GPT-4  tergolong  singkat  yaitu  sekitar  1  menit  untuk  tiap  soalnya. Dokumentasi  percakapan  dengan  ChatGPT  pada  setiap  sertifikasi  kompetensi  dapat  dilihat  di t.ly/weAbO untuk  sertifikasi  kompetensi  “Python  Fundamentals  for  Beginners”,  di t.ly/9slDZ untuk sertifikasi kompetensi “Java Programming”, dan di t.ly/sETek untuk sertifikasi kompetensi “Android Application Development”.
Gambar 3. Soal no 6 pada sertifikasi Python Fundamentals for Beginners
Gambar 4. Jawaban soal no 6 dari GPT-4 pada sertifikasi Python Fundamentals for Beginners

## JURNAL KRIDATAMA SAINS DAN TEKNOLOGI
Pengaruh Asisten Virtual Berbasis Artificial Intelligence Terhadap Integritas Sertifikasi Kompetensi Pemrograman secara Online Vol. 06 No.1 2024 E-ISSN: 2685-6921 Universitas Ma’arif Nahdlatul Ulama Kebumen
Pada  sertifikasi  “Python  Fundamentals  for  Beginners”,  GPT-4  salah  ketika  menjawab soal nomor 6. Pada soal tersebut GPT-4 memberikan jawaban “False”, di mana jawaban yang benar adalah “True”. Kesalahan disebabkan karena GPT-4 salah membaca pernyataan dalam soal yang diberikan, pernyataan yang seharusnya berbunyi “a1 != b1” oleh GPT-4 dibaca “a1 == b1”, sehingga jawaban yang diberikan salah. Pada sertifikasi ini, GPT-4 berhasil menjawab 9 dari 10 soal yang diberikan dan dinyatakan lulus sertifikasi.
Gambar 5. Soal no 1 pada sertifikasi Java Programming
Gambar 6. Jawaban soal no 1 dari GPT-4 pada sertifikasi Java Programming
Pada sertifikasi “Java Programming”, GPT-4 salah ketika menjawab soal nomor 1. Pada soal tersebut GPT-4 memberikan jawaban “False”, di mana jawaban yang benar adalah “True”. GPT-4  berargumen  keluaran  dari  “main  function”  harus  selalu  “void”,  padahal  dalam  Java keluaran dari “main function” berupa “int” bisa saja terjadi meski tidak umum.

## JURNAL KRIDATAMA SAINS DAN TEKNOLOGI
Pengaruh Asisten Virtual Berbasis Artificial Intelligence Terhadap Integritas Sertifikasi Kompetensi Pemrograman secara Online Vol. 06 No.1 2024 E-ISSN: 2685-6921 Universitas Ma’arif Nahdlatul Ulama Kebumen
Gambar 7. Soal no 4 pada sertifikasi Java Programming
Gambar 8. Jawaban soal no 4 dari GPT-4 pada sertifikasi Java Programming
Pada sertifikasi “Java Programming”, GPT-4 juga menunjukkan kemampuan hebatnya karena berhasil menebak dengan benar keluaran dari sebuah kode program. Pada kode program yang terdapat di soal nomor 4, terdapat kesalahan di dalam perulangan “for” yang menyebabkan perulangan  mencoba  mengakses  elemen  di  luar  batas  “array”  sehingga  menyebabkan “ArrayOutOfBoundsException”.  Pada  sertifikasi  “Java  Programming”,  GPT-4  berhasil menjawab 9 dari 10 soal yang diberikan dan dinyatakan lulus sertifikasi.

## JURNAL KRIDATAMA SAINS DAN TEKNOLOGI
Pengaruh Asisten Virtual Berbasis Artificial Intelligence Terhadap Integritas Sertifikasi Kompetensi Pemrograman secara Online Vol. 06 No.1 2024 E-ISSN: 2685-6921 Universitas Ma’arif Nahdlatul Ulama Kebumen
Gambar 9. Jawaban Soal no 8 dari GPT-4 pada sertifikasi Android Application Development
Gambar 10. Jawaban Soal no 8 dari GPT-4 pada sertifikasi Android Application Development
Pada  sertifikasi  “Android  Application  Development”,  GPT-4  salah  ketika  menjawab pertanyaan nomor 8, Pada soal tersebut GPT-4 menganggap pernyataan pada soal yang diberikan menyesatkan dan tidak memberikan jawaban pada soal nomor 8, di mana jawaban yang benar adalah “True” karena “onCreate()” merupakan metode pertama yang dipanggil oleh “Android Activity”.  Pada  sertifikasi  ini,  GPT-4  berhasil  menjawab  9  dari  10  soal  yang  diberikan  dan dinyatakan lulus sertifikasi.
Hasil  dari  tiga  ujian  sertifikasi  kompetensi  yang  diikuti  terlihat  bahwa  GPT-4  mampu menjawab dengan benar 27 soal dari 30 soal yang diberikan, bahkan mampu menebak keluaran dari sebuah kode program, tingginya prosentase jawaban benar menunjukkan tingkat pemahaman konseptual  yang  tinggi  dari  GPT-4  terhadap  topik  pemrograman.  Hasil  ini  menimbulkan pertanyaan  serius  terkait  integritas  sertifikasi  kompetensi  pemrograman  secara online ,  karena dengan menggunakan GPT-4 semua orang dapat menjawab pertanyaan ujian dengan cepat dan memiliki  kemungkinan  jawaban  benar  yang  tinggi  sehingga  sertifikat  yang  didapat  tidak  bisa mencerminkan  kompetensi  peserta  sertifikasi.  Hal ini  menunjukkan  perlunya mengembangkan metode ujian online yang lebih efektif dalam menentukan kemampuan sesungguhnya dari peserta sertifikasi kompetensi pemrograman secara online .
Beberapa  metode  ujian online telah  diidentifikasi  setelah  mengikuti  tiga  sertifikasi kompetensi pemrograman secara online , berikut ini tiga metode ujian online yang dianggap dapat mencegah  peserta  sertifikasi  melakukan  kecurangan  menggunakan  asisten  virtual  berbasis  AI beserta alasannya:

## JURNAL KRIDATAMA SAINS DAN TEKNOLOGI
Pengaruh Asisten Virtual Berbasis Artificial Intelligence Terhadap Integritas Sertifikasi Kompetensi Pemrograman secara Online Vol. 06 No.1 2024 E-ISSN: 2685-6921
Universitas Ma’arif Nahdlatul Ulama Kebumen
1. Ujian berbasis proyek, metode ujian ini mengharuskan peserta untuk menyelesaikan proyek pemrograman  tertentu,  misal  pembuatan  aplikasi  atau game .  Untuk  mencegah  peserta berbuat  curang  menggunakan  ChatGPT,  proyek  dapat  diberikan  dengan  spesifikasi  yang rinci misal lengkap dengan dokumentasi penggunaan aplikasi. Selain itu, proyek dapat diuji oleh  penguji  manusia  untuk  memastikan  bahwa  peserta  benar-benar  mengerjakan  sendiri proyek tersebut.
2. Ujian menggunakan soal dalam bentuk video, metode ujian ini menampilkan bagian demi bagian  soal  dalam  bentuk  video  dan  memberi  durasi  waktu  pengerjaan,  hal  ini  dapat membuat  peserta lebih  sulit  untuk berbuat  curang menggunakan  ChatGPT  karena  mereka tidak bisa dengan mudah menyalin soal yang ada dalam video.
3. Ujian  berbasis  wawancara,  metode  ujian  ini  mengharuskan  peserta  menjawab  pertanyaan yang  berkaitan  dengan  pemrograman  di  depan  penguji  meskipun  secara online .  Untuk mencegah  peserta  berbuat curang,  pertanyaan yang  diberikan  dapat  dirancang  sedemikian rupa sehingga sulit untuk dijawab dengan bantuan ChatGPT.
Ketiga metode  ujian online ini  diharap  dapat  meningkatkan  kredibilitas  sertifikasi kompetensi  pemrograman  secara online dan  memastikan  bahwa  peserta  yang  lulus  sertifikasi memang memiliki kompetensi terkait bidang yang diujikan.

## 4. Kesimpulan
Hasil  penelitian  ini  menunjukkan  bahwa  GPT-4  memiliki  kinerja  yang  baik  dalam mengerjakan  ujian  sertifikasi  kompetensi  pemrograman  secara online ,  hal  tersebut  dibuktikan dengan  persentase  jawaban  benar  mencapai  90%  atau  berhasil  menjawab  9  dari  10  soal  yang diberikan pada tiga ujian sertifikasi kompetensi pemrograman yang diikuti, selain itu GPT-4 juga dapat memberikan jawaban dengan cepat (sekitar 1 menit) dari input berupa screenshot soal. Hasil ini sesuai dengan penelitian lain yang juga memperlihatkan kemampuan luar biasa dari ChatGPT dalam  menjawab  soal  ujian  (Skalidis  dkk.,  2023)(Lewandowski  dkk.,  2023),  hal  ini  tentu membahayakan  integritas  sertifikasi  kompetensi  pemrograman  secara online ,  karena  dengan menggunakan GPT-4 semua orang bisa lulus sertifikasi kompetensi pemrograman meskipun tidak memiliki kompetensi dibidang tersebut. Sehingga perlu adanya metode ujian yang lebih efektif dalam  menilai  kemampuan  sesungguhnya  dari  peserta  sertifikasi  kompetensi  pemrograman secara online , seperti menggunakan ujian berbasis proyek, ujian menggunakan soal dalam bentuk video, dan ujian berbasis wawancara. Ketiga metode ujian online ini diharap dapat meningkatkan kredibilitas  sertifikasi  kompetensi  pemrograman  secara online dan  memastikan  bahwa  peserta yang lulus sertifikasi memang memiliki kompetensi terkait bidang yang diujikan.

## Daftar Pustaka
Ahsan,  M.  M.  T.,  Rahaman,  Md.  S.,  &  Anjum,  N.  (2023).  From  ChatGPT-3  to  GPT-4:  A Significant Leap in AI-Driven NLP Tools. SSRN Electronic Journal . https://doi.org/10.2139/ssrn.4404397
Arora, S., Athavale, V. A., Himanshu Maggu, & Agarwal, A. (2021). Artificial Intelligence and Virtual  Assistant—Working  Model (hlm.  163–171).  https://doi.org/10.1007/978-981-15- 7130-5_12

## JURNAL KRIDATAMA SAINS DAN TEKNOLOGI
Pengaruh Asisten Virtual Berbasis Artificial Intelligence Terhadap Integritas Sertifikasi Kompetensi Pemrograman secara Online Vol. 06 No.1 2024 E-ISSN: 2685-6921 Universitas Ma’arif Nahdlatul Ulama Kebumen
Bordt,  S.,  &  von  Luxburg,  U.  (2023). ChatGPT  Participates  in  a  Computer  Science  Exam . https://doi.org/10.48550/arXiv.2303.09461
de  Winter,  J.  C.  F.  (2023).  Can  ChatGPT  Pass  High  School  Exams  on  English  Language Comprehension? International  Journal  of  Artificial  Intelligence  in  Education . https://doi.org/10.1007/s40593-023-00372-z
Great  Learning.  (t.t.). About  Us:  Great  Learning .  Diakses  pada  20  November  2023  dari https://www.mygreatlearning.com/about-us.
Khairatun Hisan, U., & Miftahul Amri, M. (2023). ChatGPT and Medical Education: A Double- Edged  Sword. Journal  of  Pedagogy  and  Education  Science , 2 (01),  71–89. https://doi.org/10.56741/jpes.v2i01.302
King,  M.  R.  (2023).  The  Future  of  AI  in  Medicine:  A  Perspective  from  a  Chatbot. Annals  of Biomedical Engineering , 51 (2), 291–295. https://doi.org/10.1007/s10439-022-03121-w
Kirmani, A. R. (2023). Artificial Intelligence-Enabled Science Poetry. ACS Energy Letters , 8 (1),
574–576. https://doi.org/10.1021/acsenergylett.2c02758
Leiter,  C.,  Zhang,  R.,  Chen,  Y.,  Belouadi,  J.,  Larionov,  D.,  Fresen,  V.,  &  Eger,  S.  (2023).
ChatGPT: A Meta-Analysis after 2.5 Months . https://doi.org/10.48550/arXiv.2302.13795
Lewandowski, M., Łukowicz, P., Świetlik, D., & Barańska-Rybak, W. (2023). ChatGPT-3.5 and
ChatGPT-4 dermatological knowledge level based on the Specialty Certificate Examination in Dermatology. Clinical and Experimental Dermatology .
https://doi.org/10.1093/ced/llad255
Mina, P. N. R., Solon, I. M., Sanchez, F. R., Delante, T. K., Villegas, J. K., Basay, F. J., Andales, J., Pasko, F., Estrera, M. F. R., Samson Jr., R., & Mutya, R. (2023). Leveraging Education through  Artificial  Intelligence  Virtual  Assistance:  A  Case  Study  of  Visually  Impaired Learners. International  Journal  of  Educational  Innovation  and  Research , 2 (1),  10–22. https://doi.org/10.31949/ijeir.v2i1.3001
Nugraheni, B. L. Y., Chrismastuti, A. A., & Sitinjak, E. L. M. (2021). Pedoman Penulisan Karya Ilmiah Dengan Berbagai Paradigma Penelitian . Universitas Katolik Soegijapranata.
Oktavianus, A. J. E., Naibaho, L., & Rantung, D. A. (2023). Pemanfaatan Artificial Intelligence pada Pembelajaran dan Asesmen di Era Digitalisasi. JURNAL KRIDATAMA SAINS DAN TEKNOLOGI , 5 (02), 473–486. https://doi.org/10.53863/kst.v5i02.975
OpenAI, :, Achiam, J., Adler, S., Agarwal, S., Ahmad, L., Akkaya, I., Aleman, F. L., Almeida, D., Altenschmidt, J., Altman, S., Anadkat, S., Avila, R., Babuschkin, I., Balaji, S., Balcom, V.,  Baltescu,  P.,  Bao,  H.,  Bavarian,  M.,  …  Zoph,  B.  (2023). GPT-4  Technical  Report . https://doi.org/10.48550/arXiv.2303.08774
Prawiyogi, A. G., & Toyibah, R. A. (2020). Strategi Peningkatan Kompetensi Mahasiswa Melalui Model  Sertifikasi  Kompetensi. ADI  Bisnis  Digital  Interdisiplin  Jurnal , 1 (1),  78–86. https://doi.org/10.34306/abdi.v1i1.103

## JURNAL KRIDATAMA SAINS DAN TEKNOLOGI
Pengaruh Asisten Virtual Berbasis Artificial Intelligence Terhadap Integritas Sertifikasi Kompetensi Pemrograman secara Online Vol. 06 No.1 2024 E-ISSN: 2685-6921 Universitas Ma’arif Nahdlatul Ulama Kebumen
Rahman, Md. M., & Watanobe, Y. (2023). ChatGPT for Education and Research: Opportunities,
Threats, and Strategies. Applied Sciences , 13 (9), 5783.
https://doi.org/10.3390/app13095783
Rudolph,  J.,  Tan,  S.,  &  Tan,  S.  (2023).  ChatGPT:  Bullshit  spewer  or  the  end  of  traditional assessments  in  higher  education? Journal  of  Applied  Learning  &  Teaching , 6 (1). https://doi.org/10.37074/jalt.2023.6.1.9
Skalidis, I., Cagnina, A., Luangphiphat, W., Mahendiran, T., Muller, O., Abbe, E., & Fournier, S.  (2023).  ChatGPT  takes  on  the  European  Exam  in  Core  Cardiology:  an  artificial intelligence  success  story? European  Heart  Journal  -  Digital  Health , 4 (3),  279–281. https://doi.org/10.1093/ehjdh/ztad029
Šlapeta,  J.  (2023).  Are  ChatGPT  and  other  pretrained  language  models  good  parasitologists?
Trends in Parasitology , 39 (5), 314–316. https://doi.org/10.1016/j.pt.2023.02.006
Sobania, D., Briesch, M., Hanna, C., & Petke, J. (2023). An Analysis of the Automatic Bug Fixing Performance of ChatGPT . https://doi.org/10.48550/arXiv.2301.08653
Sudrajat,  D.,  Permatasari,  R.  D.,  Wijaya,  I.  M.  S.,  Setyawan,  A.  E.,  &  Rahayu,  N.  (2023). Pemanfaatan  Kecerdasan  Buatan  sebagai  Upaya  Pengembangan  Media  Pembelajaran Berbasis Multimedia. JURNAL KRIDATAMA SAINS DAN TEKNOLOGI , 5 (02), 590–598. https://doi.org/10.53863/kst.v5i02.999
Susnjak, T. (2022). ChatGPT: The End of Online Exam Integrity? https://doi.org/10.48550/arXiv.2212.09292
Takagi, S., Watari, T., Erabi, A., & Sakaguchi, K. (2023). Performance of GPT-3.5 and GPT-4 on  the  Japanese  Medical  Licensing  Examination:  Comparison  Study. JMIR  Medical Education , 9 , e48002. https://doi.org/10.2196/48002
Ventayen,  R.  J.  M.  (2023).  ChatGPT  by  OpenAI:  Students’  Viewpoint  on  Cheating  using
Artificial Intelligence-Based Application. SSRN Electronic Journal . https://doi.org/10.2139/ssrn.4361548