Jusim : Jurnal Sistem Informasi Musi Rawas
Vol. 9 No. 1, Juni 2024

## KOMPARASI USABILITY CHATGPT VS GEMINI AI BERDASARKAN ISO/IEC 9126 DAN NIELSEN MODEL MENGGUNAKAN METODE USABILITY TESTING
Tiara 1 , Fandi Yulian Pamuji 2 1,2 Program Studi Sistem Informasi, Universitas Merdeka Malang e-mail: * 1 20083000081@student.unmer.ac.id , 2 fandi.pamuji@unmer.ac.id

## Abstrak
Artificial  Intelligence (AI),  khususnya  yang  berbasis chatbot sedang  nge- trend dan mengalami perkembangan  yang  sangat  pesat  akhir-akhir  ini,  menyebabkan  munculnya  fenomena  perdebatan dalam  memilih chatbot AI  yang  terbaik.  Oleh  karena  itu  peneliti  ingin  mengkomparasi chatbot yang paling  banyak  digunakan  berdasarkan  data  dari  Visual  Capitalist,  yaitu  ChatGPT  dan  Gemini  AI. Peneliti ingin mengetahui chatbot mana yang terbaik khusunya dari segi usability nya berdasarkan nilai dan persentasenya. Metode yang digunakan pada penelitian  ini  yaitu metode usability testing dengan melakukan  skenario  tugas  dan  menyebarkan  kuesioner  dengan  pertanyaan  dari  parameter  gabungan Nielsen  Model  dan  ISO/IEC  9126.  Temuan  yang  didapatkan  dari  hasil  komparasi  ChatGPT  dan Gemini AI didapatkan bahwa pengguna ChatGPT dapat menyelesaikan skenario tugas hanya 0,07 per detik,  sedangkan  Gemini  AI  0,10  per  detik,  ini  menunjukan  bahwa  dalam  segi efficiency ChatGPT lebih unggul dibandingkan Gemini  AI. Sedangkan hasil variabel learnability menunjukan  Gemini AI lebih unggul dengan hasil 92% dibandingkan ChatGPT yang memperoleh hasil 90% dikategori diatas rata-rata.  Dan  untuk  variabel satisfaction ,  Gemini  AI  juga  lebih  unggul  dengan  nilai  85,52%  yang termasuk kategori sangat baik, sedangkan ChatGPT memperoleh hasil 81,86% berada di kategori baik. Sehingga,  secara  keseluruhan  Gemini  AI  lebih  unggul  dibandingkan  ChatGPT,  Gemini  AI  unggul pada  variabel leanability dan satisfaction ,  sedangkan  ChatGPT  unggul  di  variabel efficiency . Penelitian  ini  berkontribusi  pada  bidang software  quality  control khususnya  diobjek  yang  diteliti dalam hal  studi komparasi  sehingga diharapkan dapat menjadi insight dalam pengambilan keputusan ketika ingin memilih antara ChatGPT atau Gemini AI.
Kata kunci — Usability ; ChatGPT; Gemini AI

## Abstract
Artificial Intelligence (AI), especially chatbot-based AI, is currently trending and experiencing rapid development, leading to the emergence of a debate over choosing the best AI chatbot. Therefore, researchers  want  to  compare  the  most  widely  used  chatbots  based  on  data  from  Visual  Capitalist, namely  ChatGPT  and  Gemini  AI.  The  researchers  want  to  determine  which  chatbot  is  the  best, specifically  in  terms  of  its  usability  based  on  its  values  and  percentages.  The  method  used  in  this research is the usability  testing method by conducting task scenarios and distributing questionnaires with  questions  from  the  combined  parameters  of  the  Nielsen  Model  and  ISO/IEC  9126. The  findings obtained  from  the  comparison  of  ChatGPT  and  Gemini  AI  show  that  ChatGPT  users  can  complete task scenarios in only 0.07 seconds, while Gemini AI takes 0.10 seconds. This indicates that in terms of  efficiency,  ChatGPT  is  superior  to  Gemini  AI.  On  the  other  hand,  the  results  of  the  learnability variable show that Gemini AI is superior with a score of 92% compared to ChatGPT which obtained a score  of  90%  in  the  above-average  category.  And  for  the  satisfaction  variable,  Gemini  AI  is  also superior with a score of 85.52% which is included in the very good category, while ChatGPT obtained a  score  of  81.86%  which  is  in  the  good  category.  Therefore,  overall  Gemini  AI  is  superior  to ChatGPT.  Gemini  AI  is  superior  in  the  learnability  and  satisfaction  variables,  while  ChatGPT  is superior  in  the  efficiency  variable.  This  research  contributes  to  the  field  of  software  quality  control, especially in the object of study in terms of comparative studies, so it is hoped that it can be an insight in decision-making when choosing between ChatGPT or Gemini AI.
Keywords ; Usability; ChatGPT ; Gemini AI

## I. PENDAHULUAN
Beberapa tahun terakhir, Artificial Intelligence  (AI)  atau  kecerdasan  buatan mengalami  perkembangan  yang  sangat  pesat dan  telah  mengubah  gaya  hidup  masyarakat  di zaman  yang  serba  modern  ini,  dan  [1] mengklaim bahwa AI menjadi salah satu peran utama yang mendongkrak transformasi industri didunia,  salah  satu  yang  paling  banyak dibicarakan  ialah  AI  jenis chatbot .  Menurut [2],  manusia  lebih  suka  menggunakan  aplikasi yang  berbentuk  pesan.  Karena  fitur  pesan merupakan salah satu fungsi utama dari sebuah gadget,  sehingga  manusia  langsung  dapat beradaptasi  dengan  AI  yang  berbasis chatbot . Oleh karena itu sejak diluncurkannya ChatGPT pada  November  2022,  ChatGPT  menjadi teknologi  yang  memiliki  konsumen  paling cepat  berkembang  di  dalam  sejarah  [3]. Dengan  perkembangannya  yang  sangat  pesat ini,  banyak chatbot lain  meluncurkan  AI berbasis chatbot seperti  Gemini  AI  yang sebelumnya  Google  Bard,  Characteristic  AI, Writesonic  AI,  Perplexity  AI,  Gemini  AI, Claude  AI,  dan  masih  banyak  jenis  AI  yang berbasis chatbot lainnya.  Banyaknya  jenis  AI membuat  banyak  perdebatan  di  kalangan penggunanya dalam menentukan AI yang akan digunakan.  Sehingga  pada  penelitian  ini, peneliti berfokus pada komparasi ChatGPT dan Gemini  AI  atau  yang  sebelumnya  dikenal dengan Google Bard. Pemilihan ini dikarenakan berdasarkan data Visual Capitalist [4],  ChatGPT  menempati  peringkat  pertama sebesar 14.6 miliar kali kunjungan dan Gemini AI  menempati  posisi  ketiga  dengan  kunjungan sebesar  241.6  juta  kali,  jika  diurutkan berdasarkan  jenis  AI  yang  berbasis chatbot yang  dikunjungi  paling  banyak  ditahun  2023 dari  periode  September  2022  sampai  dengan Agustus 2023.
Penelitian terdahulu yang relevan dengan penelitian  ini  ialah  penelitian  dari  [5],  studi  ini menggunakan usability  testing dengan  nielsen model  sebagai  parameternya  untuk  menilai
usability dari aplikasi maxim yang menghasilkan learnability sebesar 92%, efficiency  sebesar  0.42  gol/detik,  error  sebesar 0.1,  dan  nilai  satisfaction  sebesar  57.2.  Lalu pada  penelitian  [3],  ia  membandingkan  Bard  / Gemini AI, Bing Chat, ChatGPT, Baidu’s Ernie dengan comparative method, dan hasilnya  nilai rata-rata  dari chatbot ChatGPT  sebesar  74  (C) dan  Chatbot  Gemini  AI  di  angka  51  (F). Kemudian penelitian dari [6] yang menggunakan  metode  usability  testing  untuk mengkomparasi Shopee, Lazada dan Tokopedia dan dihasilkan usability dari ketiganya termasuk  di range OK dan GOOD ,  dan dibandingkan  Lazada  dan  Tokopedia,  Shopee memiliki  nilai  yang  paling  tinggi.  Dan selanjutnya penelitian dari [7] yang menggunakan  metode usability  testing dengan parameter  yang  sama  untuk  mengetahui usability dari  Aplikasi  Reblood  dan  ditemukan terdapat  beberapa  indikator  usability  yang mempengaruhi  usability  pada  aplikasi  Reblood dan ditemukan masih  ada beberapa aspek  yang masih perlu diperbaiki pada aplikasi Reblood.
Penelitian ini bertujuan untuk mengkomparasi  kualitas  dari  kedua  layanan chatbot antara website ChatGPT  dan  Gemini dengan  mengetahui  nilai  dan  persentase berdasarkan usability dari  masing-masing chatbot dan  ingin  mengetahui  chatbot  AI (ChatGPT  vs  Gemini  AI)  manakah  yang  lebih unggul dari segi dimensi usability nya. Perbedaan pada penelitian ini dengan penelitian  sebelumnya  terletak  pada  studi komparasi  dan  parameter  yang  digunakan, salah  satunya  contoh  pada  penelitian  [3],  pada penelitian  ini  parameter  yang  digunakan berdasarkan parameter dari Nielsen Model dan ISO/IEC 9126 dan ditemukan ternyata ChatGPT  dan  Gemini  AI  memiliki  nilai  diatas rata-rata  jika  dilihat  dari  segi efficiency,
learnability dan satisfaction.

## II. TINJAUAN PUSTAKA
2.1 Artificial Intelligence
Artificial Intelligence (AI) atau
kecerdasan  buatan  merupakan  sebuah  ilmu pengetahuan  yang  termasuk  dari  bagian teknologi  komputasi  yang  terinspirasi  dari  cara manusia  menggunakan  sistem  sarafnya  dan bagaimana  tubuh  manusia  ketika  merasakan sesuatu,  belajar,  bernalar,  dan  mengambil tindakan.  Salah  satu  jenis  AI  yang  sekarang sedang  nge trend yaitu  di  bidang natural language  processing ,  salah  satu  contoh produknya  ialah chatbot ,  karena  di  awal  tahun 2020-an,  market chatbot AI  mengalami perkembangan  yang  sangat  pesat  dikarenakan kehadiran  dua chatbot ,  yaitu  Bard  atau  yang sekarang  disebut  Gemini  AI  dari  Google  dan ChatGPT  dari  OpenAI.  Kedua  platform  ini tersedia  untuk  umum,  memanfaatkan  arsitektur Jaringan  Neural  Transformator  (Transformer Neural  Network),  bidang  penelitian  yang  perlu dieksplorasi  lebih  lanjut  karena  karakteristik dan kelebihannya yang unik [8].
2.2 Chatbot
Kata "chatbot" merupakan singkatan dari "chat"  dan  "robot".  Pada  awalnya,  chatbot hanyalah  program  komputer  yang  melakukan percakapan  lewat  teks  saja,  layaknya  manusia, tetapi  dahulu  interaksinya  masih  terbatas, chatbot  masih  menggunakan  pilihan  jawaban yang telah tersedia, tetapi seiring berkembangnya  waktu,  chatbot  menjadi  lebih canggih, karena dilakukannya penelitian mendalam  tentang  AI,  NLP  (Natural  Language Processor),  dan  ML  (Machine  Learning) sehingga chatbot dapat belajar dan beradaptasi, sehingga  percakapannya  lebih  personal  dan interaktif [8].
2.3 Usability Usability merupakan  salah  satu  aspek yang  krusial  di  dalam  sebuah  software  yang dimana  aspek usability dapat  menentukan seberapa  mudah  user  ketika  menggunakan interface suatu  aplikasi.  salah  satu  indikator utama dalam menentukan manfaat aplikasi bagi user dapat  dilihat  dari  tingkat  usabilitynya. Oleh  sebab  itu,  evaluasi  aspek usability perlu dilakukan  secara  berkala  yang  memiliki  fungsi
untuk  menilai  seberapa  cepat user dapat beradaptasi  dalam  penggunaan  sebuah  sistem, dan seberapa puas user dengan aplikasi [9].

## 2.4 Usability Testing
Usability  testing merupakan  sebuah metode pengujian terhadap produk atau sistem untuk  menemukan  sebuah  permasalahan usability [10]. Menurut  [11], usability testing dapat  dilakukan  dengan  pemberian  kuesioner atau  wawancara  kepada user .  Didalam  [9], ISO 9241-210 mendefinisikan usability sebagai ukuran sejauh mana suatu produk atau sistem  dapat  digunakan  oleh user untuk mencapai  tujuan  yang  diinginkan  dengan mengukur efficiency, effectiveness dan satisfaction . Tetapi pada dimensi effectiveness , peneliti mengganti menjadi dimensi learnability , dikarenakan mengikuti parameter dari  Nielsen  Model  dan  juga  ISO/IEC  9126 yang  tidak  memasukkan  dimensi effectiveness kedalam  penilaian usability ,  dan  dikarenakan rumus pengukuran effectiveness dan efficiency sama  yaitu  menggunakan  rumus success  rate , sehingga  pada  penelitian  ini  diubah  menjadi dimensi learnability .
2.5     ISO/IEC 9126
Standar  ISO/IEC  9126  merupakan  salah satu    model    yang  dilakukan    untuk    menguji suatu    bug  pada  software,  karena  ISO/IEC 9126  merupakan  standar  internasional  untuk mengevaluasi  dan  merupakan  sebuah  ukuran yang    diterbitkan    oleh    organisasi internasional    untuk    standardisasi  [12]. ISO/IEC  9126  digunakan  untuk  mengevaluasi kualitas  sebuah  software  dalam  kaitannya dengan kualitas software internal dan eksternal dengan  atribut  yang  dimilikinya  khususnya pada usability, yaitu understanability, operability,  learnability, dan attractiveness [13].

## 2.6   Nielsen Model
Didalam  [5],  Nielsen  menilai usability sebagai  ukuran  kualitas  sebuah software yang mengukur seberapa mudah user ketika
menggunakan  suatu interface .  Menurut  Wahid yang  dikutip  didalam  [14].  Didalam  [5], terdapat  lima  faktor usability yang  dimiliki metode    Nielsen    Model  yaitu efficiency,
memorability, errors, satisfaction, dan
learnability.
2.7    ChatGPT ChatGPT  ialah  sebuah  chatbot  Artificial Intelligence (AI),  yang dapat men generate teks mirip  manusia.  ChatGPT  pertama  kali  dirilis oleh  Open  AI  pada  November  2022  dan  sejak saat  dirilis  ChatGPT  menjadi  isu  global  [15]. ChatGPT bisa digunakan dalam berbagai aspek, seperti  customer  service,  pembuatan  konten, dan  sebagai  asisten  pribadi.  Contoh  pada customer  service,  ChatGPT  dapat  memberikan jawaban  instant  atas  pertanyaan  user,  sehingga mengurangi  tidak  perlu  menunggu  lama  dan dapat meningkatkan efisiensi. Dalam pembuatan  konten,  ChatGPT  bisa  digunakan untuk  menghasilkan  artikel,  ringkasan,  dan terjemahan.  Sebagai  asisten  pribadi,  ChatGPT dapat  membantu  user  dalam  penjadwalan, pengelolaan  email,  dan  bahkan  menyediakan lelucon atau trivia  [16].
2.8     Gemini AI
Gemini  AI  yang  sebelumnya  disebut Bard,  diluncurkan  oleh  Google  pertama  kali pada  tanggal  7  Februari  2023  diperkenalkan sebagai teknologi AI terbarunya, untuk bersaing dengan ChatGPT-3 yang terkenal dari OpenAI, berdasarkan blog dari CEO Google. Gemini AI digambarkan  sebagai  layanan  percakapan  AI yang  mampu  memberikan  jawaban  yang berkualitas tinggi dan menjelaskan situasi yang rumit.  CEO  Google  menulis  dalam  blognya tentang  potensi  Gemini  sebagai  "tempat  untuk menjawab  pertanyaan  Anda  dan  membantu untuk memahami hal-hal baru” [16]. Gemini AI adalah  chatbot  AI  berbasis  teks.  Gemini  AI menghasilkan  jawaban  real-time  menggunakan NLP  (Natural  Language  Processing)  dan machine  learning.  Google  mengklaim  bahwa Gemini  AI  dapat  membantu  tugas-tugas  yang bersifat  kreatif,  menjelaskan  topik-topik  yang kompleks,  dan  secara  umum  Gemini  AI
mengekstraksi  informasi  dari  berbagai  sumber di  internet,  sehingga  informasi  dan  jawaban yang disajikan sangatlah beragam.

## III. METODOLOGI PENELITIAN
Untuk  tahapan  atau  desain  penelitian, disajikan pada gambar dibawah.
Gambar 1. Tahapan Penelitian Pada  Gambar  1,  tahapan  penelitian dimulai  dari  perumusan  masalah,  di  mana peneliti menetapkan masalah dengan mendeteksi  fenomena  dan  membatasi  ruang lingkup penelitian. Selanjutnya, peneliti melakukan  studi  literatur  dengan  meninjau sumber  seperti  jurnal,  artikel  ilmiah,  buku,  dan internet.  Pada  tahap  perumusan  model,  peneliti menggabungkan  Nielsen  Model  dan  ISO/IEC 9126 untuk kuesioner. Dalam tahap pengumpulan  data,  peneliti  menggunakan metode  usability  testing  melalui  skenario  tugas dan kuesioner yang diisi responden. Pada tahap pengolahan dan analisis data, teknik Performance  Measurement dan  skala  Likert digunakan  untuk  analisis  statistik  yang  diuji validitas  dan  reliabilitasnya.  Terakhir,  pada tahap penarikan kesimpulan, data dianalisis dan dibandingkan  antara  ChatGPT  dan  Gemini  AI untuk  menentukan  hasil  terbaik  dan  analisis pendukung lainnya.

## 3.1      Tahapan Usability Testing
Penelitian  ini  menggunakan  alur  yang diadopsi  dari  metode  tersebut  [7].  Untuk tahapannya dapat dilihat pada gambar dibawah.
Gambar 2. Usability Testing Pada Gambar 2, tahapan usability testing dimulai dari planning , yang meliputi penentuan tujuan,  daftar  tugas  dan  pertanyaan,  persiapan skenario,  pemilihan  metode  analisis,  dan  data yang dikumpulkan. Pada tahap Recruit Sample Users ,  peneliti  memilih  partisipan  sesuai kriteria yang mewakili sampel yang ditentukan. Di tahap Prepare Materials , peneliti menyiapkan  bahan  pengujian,  seperti  skenario tugas  dan  daftar  pertanyaan.Pada  tahap Conducting ,  peneliti  mengamati  dan  memberi instruksi  kepada  partisipan  saat  menjalankan tugas.  Pada  tahap Debriefing  Participant , peneliti  mencatat  respons  partisipan  untuk dianalisis.  Di  tahap  Analyze  Data,  data dikelompokkan  sesuai  kategori.  Terakhir, dalam Report  the  Results ,  peneliti  menarik kesimpulan dari hasil usability testing.
3.2     Pengumpulan Data
Penelitian  ini  memanfaatkan  kuesioner sebagai  teknik  pengumpulan  data  dan  sebagai alat  bantu  evaluasi.  Kuesioner  disebarkan kepada sampel yang telah ditentukan.
Penyebaran  kuesioner  yang  dilakukan  secara online dengan  memanfaatkan google  formulir . Data  yang  akan  dihasilkan  ialah  jenis  data kuantitatif,  dari  kuesioner  dengan  metode pengumpulan  data  berupa  survei  dan  skenario tugas  dengan  cara  studi  lapangan  melalui observasi langsung yang menjadi sumber utama data  primer  untuk  penelitian  ini.  Sedangkan data  sekunder  diperoleh  dari  berbagai  sumber, seperti  penelitian  terdahulu,  studi  literatur, buku-buku, peserta skenario tugas dan juga data valid yang diperoleh dari situs internet (Tiara et al., 2023).
3.3    Analisis Data Pada analisis data, teknik yang
digunakan pada penelitian ini yaitu
menggunakan  dua  teknik  yang  berbeda,  pada skenario tugas menggunakan teknik performance  measurement untuk  menganalisis dimensi efficiency dan leanability .  Untuk menganalisis  dimensi efficiency, menggunakan rumus time-based effieciency , time-based efficiency mengukur seberapa cepat waktu yang dibutuhkan  chatbot  AI  saat  digunakan  dalam menyelesaikan  tugas  skenario,  semakin  rendah waktunya maka semakin baik.
Time-Based Efficiency = ∑ ∑ (1)
dan  untuk  menganalisis  dimensi leanability, digunakan  persamaan success  rate untuk menghitung  kesuksesan  total  (S),  parsial  (P), gagal  (F)  dan  seluruh  tugas  (Total  Task)  yang diberikan. Succes rate mengukur besar persentase  dari  skenario  tugas  yang  dapat diselesaikan oleh peserta dengan tepat, semakin tinggi hasilnya maka semakin baik.
Success Rate = (  (       )) (2)
Sedangkan  untuk  menganalisis  data  pada kuesioner, diukur dengan mengadopsi berdasarkan  skala  likert  dengan  kategori  nilai pada tabel dibawah.
Tabel 1. Kategori Nilai % Jumlah Skor Kriteria 20,00% - 36,00% Tidak Baik 36,01% - 52,00% Kurang Baik 52,01% - 68,00% Cukup 68,01% - 84,00% Baik 84,01% - 100,00% Sangat Baik
Hasil dari pengisian kuesioner ini akan dihitung guna  mengetahui  nilai  dari  usability  yang diperoleh.  Sehingga  untuk  menghitung  skala diatas  untuk  menganalisis  dimensi satisfaction , peneliti menggunakan persamaan dibawah [9].
Nilai Usability = (3)

## IV. HASIL DAN PEMBAHASAN
Hasil  penelitian  ini  merupakan  hasil  dari pengumpulan  data  dari  skenario  tugas  dan kuesioner.  Pada  skenario  tugas,  peneliti gunakan untuk menghasilkan analisis dari  dua parameter  yaitu efficiency dan learnability yang  keduanya  menggunakan  rumus  atau persamaan  yang  berbeda,  sedangkan  pada kuesioner, peneliti
gunakan untuk menghasilkan  analisis  dimensi  satisfaction
yang  memiliki  20  pertanyaan  untuk  objek yang  telah  ditentukan  yaitu  ChatGPT  dan Gemini  AI  yang  masing-masing  memiliki  10 pertanyaan.  Kuesioner  disebarkan  melalui google  form  dengan  partisipan  sebanyak  42 orang  dengan  mayoritas  partisipan  sebesar 86%  berstatus  sebagai  mahasiswa,  dan karyawan 9.3%, wiraswasta dan fresh graduate dengan persentase 2,3%.
4.1 Dimensi Efficiency Pada skenario tugas,
peneliti menggunakan  dua  parameter  yaitu efficiency dan learnability yang  keduanya  menggunakan rumus  atau  persamaan  yang  berbeda.  Pada efficiency  terdapat  dua  hal  yang  diukur  yaitu completion  task  dan  time  spent.  Pada completion  task,  yang  dinilai  ialah  apakah
partisipan  dapat  menyelesaikan  tugas  yang diberikan  atau  tidak,  jika  dapat  menyelesaikan tugas  keterangan  nilai  1  dan  jika  tidak  dapat menyelesaikan  tugas  keterangan  nilai  0.  Data dari  hasil  completion  task,  tertera  pada  tabel dibawah.
Tabel 2. Data Hasil Dimensi Efficiency ( Comp. Task) ChatGPT Gemini AI Tugas Partisipan Tugas Partisipan P1  P2  P3  P4  P5 P1 P2 P3 P4 P5
T1 1 1 1 1 1 T1 1 1 1 1 1 T2 1 1 1 1 1 T2 1 1 1 1 1 T3 0 0 0 0 0 T3 1 0 0 1 0 T4 1 1 1 1 1 T4 1 1 1 1 1 T5 1 1 1 1 1 T5 1 1 0 1 1
Pada time spent , yang dinilai ialah waktu selama  pengerjaan  tugas  diberikan,  semakin rendah  waktunya maka  semakin baik hasilnya.
Waktu yang diukur menggunakan satuan detik.
data  hasil  dari  pengukuran  time  spent,    tertera pada tabel dibawah :
Tabel 3. Data Hasil Dimensi Efficiency ( Time Spent ) ChatGPT Gemini AI Tugas Partisipan Tugas Partisipan P1  P2  P3  P4  P5 P1 P2 P3 P4 P5 T1 14  12  16  12  13 T1 27 16 12 11 26 T2 06  07  53  17  06 T2 09 12 08 07 09 T3 12  93  53  08  17 T3 06 10 06 03 08 T4 23  25  60  37  30 T4 32 32 30 34 39 T5 13  05  07  05  09 T5 04 05 66 08 12 Untuk  mengukur  tingkat  efisiensi,  maka peneliti  menggunakan  persamaan  atau  rumus Time  Based  Efficiency  atau  peneliti  singkat dengan  TBE.  Adapun  hasil  perhitungan  dari
kedua  chatbot  pada  dimensi  efficiency,  tertera pada tabel dibawah:
Vol. 9 No. 1, Juni 2024
Tabel 4. Efficiency kedua Chatbot ChatGPT Gemini AI TBE = ∑ ∑
=
= = 0,07 goals/sec TBE = ∑ ∑ =
= = 0,10 goals/sec Berdasarkan  tabel  diatas,  didapatkan bahwa
pengguna
ChatGPT
dapat menyelesaikan  skenario  tugas  yang  diberikan dengan  waktu  0,07  per  detik,  sedangkan Gemini AI membutuhkan waktu 0,10 per detik. Sehingga,  dapat  disimpulkan  ChatGPT  lebih efisien dibandingkan Gemini AI.
4.2 Dimensi Learnability
Dimensi  learnability  mengukur  apakah
skenario yang dikerjakan sukses (S), parsial (P) dimana  partsipan  dapat  mengerjakan  tugas tetapi  terdapat  langkah  yang  tidak  tepat  dan lama,  lalu  gagal  (F),  dimana  partisipan  tidak dapat menyelesaikan atau mengerjakan skenario tugas yang dikerjakan. Data learnability dari  kedua chatbot ,  tertera  pada tabel 4.4.
Tabel 5. Data Hasil Skenario Tugas Learnability ChatGPT Gemini AI Tugas Partisipan Tugas Partisipan P1  P2  P3  P4  P5 P1 P2 P3 P4 P5 T1 S S S S S T1 S S S S S T2 S S S S S T2 S S S S S T3 P P P P P T3 S P P S P T4 S S S S S T4 S S S S S T5 S S S S S T5 S S P S S
Untuk  mengukur  dimensi learnability ,
peneliti  menggunakan  persamaan  atau  rumus
success  rate .  Adapun  hasil  perhitungan  dari kedua chatbot , tertera pada tabel 4.5.
Tabel 6 . Learnability kedua Chatbot ChatGPT Gemini AI
Success Rate = (  (       )) = (   (       ))
= = 90% Success Rate = (  (       )) = (   (       )) = = 92% Berdasarkan perhitungan diatas,
ChatGPT  mendapatkan  hasil  90%  dan  Gemini AI  mendapatkan  hasil  92%.  Didalam  [5],  ia menggunakan  penelitian  Sauro  dalam  usability
testing  kepada  115  orang  sebagai  tolak  ukur, dimana  rata-rata  tingkat  penyelesaian  tugasnya sebesar  78%,  sehingga  dapat  disimpulkan bahwa    tingkat learnability dari  ChatGPT  dan Gemini berada diatas rata-rata.
4.3 Hasil Uji Validitas dan Reliabilitas 4.3.1 Uji Validitas Pengujian validitas menggunakan perangkat lunak analisis statistik SPSS versi 26. Berdasarkan ,  dengan  tingkat  signifikansi 5%  (0,05),  nilai untuk  sampel  43  orang yaitu  0.301.  Rincian  hasil  pengujian  data validitas, tertera pada tabel berikut : Tabel 7. Uji Validitas Variabel ChatGPT Gemini AI Ket Ket U1 .582 0.301 Valid .727 0.301 Valid L1 .495 0.301 Valid .819 0.301 Valid O1 .460 0.301 Valid .742 0.301 Valid A1 .455 0.301 Valid .616 0.301 Valid M1 .370 0.301 Valid .688 0.301 Valid E1 .557 0.301 Valid .659 0.301 Valid E2 .472 0.301 Valid .649 0.301 Valid R1 .611 0.301 Valid .532 0.301 Valid S1 .439 0.301 Valid .654 0.301 Valid S2 .327 0.301 Valid .562 0.301 Valid Hasil  dari ,  menunjukan  validitas
kuesioner dari ChatGPT dan Gemini AI berada diatas  0.301,  sehingga  semua  instrumennya dikatakan valid.

## 4.3.2 Uji Reliabilitas
Uji  reliabilitas  instrumen  kuesioner  juga
diuji  dengan  menggunakan  SPSS  versi  26,  jika cronbach’s  alpha  >  0,60,  maka  kuesioner  akan dinyatakan  reliabel  [17].  Gambar  dibawah tertera  hasil  cronbach’s  Alpha  dari  masing- masing chatbot .
Gambar 3. Reliabilitas Kuesioner ChatGPT
Gambar 4. Reliabilitas Kuesioner Gemini AI
Hasil dari cronbach’s Alpha menunjukan kuesioner  ChatGPT  dan  Gemini  AI  berada diatas  0,60,  sehingga  kuesioner  keduanya dinyatakan reliabel.

## 4.3 Hasil Analisis Dimensi Satisfaction
Pada dimensi satisfaction
menggunakan  hasil  data  dari  kuesioner  yang
telah disebarkan melalui google form , dan telah diuji  validitas dan reliabilitasnya yang hasilnya setiap  butir  pertanyaan  kuesioner  valid  dan reliabel. Hasil analisis usability yang menggunakan gabungan dari parameter Nielsen Model  dan  ISO/IEC  9126  terhadap  kedua chatbot ditunjukkan pada tabel dibawah.
Tabel 8. Data Kuesioner ChatGPT Kriteria Jawaban Bobot Usability ISO/IEC 9126 & Nielsen Model Total U1 L1 O1 A1 M1 E1 E2 R1 S1 S2 STS 1 0 0 0 0 0 0 0 0 0 0 0 TS 2 0 1 0 1 0 0 0 1 3 1 13 N 3 2 2 5 15 3 5 3 6 16 4 192 S 4 25 25 24 19 29 23 29 24 16 24 1.048 SS 5 15 14 13 7 10 14 10 11 7 13 580 Jumlah  Responden 42 42 42 42 42 42 42 42 42 42 Skor Aktual 181  178  176  158  175  177  175  171  153  175 1.719 Skor Ideal 210  210  210  210  210  210  210  210  210  210 2.100 Nilai Usability =
= = 81,86%
Dari  perhitungan  tabel  diatas,  dapat diambil  kesimpulan  bahwa  perolehan  hasil dimensi satisfaction dari chatbot ChatGPT yang  didapatkan  memiliki  kriteria  baik  dengan
persentase  nilai  81,86,00%.  Lalu  analisis  data kuesioner  dari  Gemini  AI,  tertera  pada  tabel 4.8. Tabel 9. Data Kuesioner Gemini AI Kriteria Jawaban Bobot Usability ISO/IEC 9126 & Nielsen Model Total U1 L1 O1 A1 M1 E1 E2 R1 S1 S2 STS 1 0 0 0 0 0 0 0 0 0 0 0 TS 2 0 0 0 0 1 1 0 0 0 0 4 N 3 2 3 3
7 2 2 1 1 10 3 102 S 4 22 24 23 21 24 22 28 23 19 24 920 SS 5 18 15 16 14 15 17 13 18 13 15 770 Jumlah  Responden 42 42 42 42 42 42 42 42 42 42 Skor Aktual 184  180  181  175  179  181  180  185  171  180 1.796 Skor Ideal 210  210  210  210  210  210  210  210  210  210 2.100
Nilai Usability = = =
85,52%
Dari  perhitungan  tabel  diatas,  dapat diambil  kesimpulan  bahwa  perolehan  hasil dimensi satisfaction dari chatbot ChatGPT yang didapatkan memiliki kriteria sangat baik dengan persentase nilai 85,52%.

## 4.4 Hasil Analisis Keseluruhan
Secara keseluruhan perbandingan dari tiap dimensi dari kedua chatbot , direpresentasikan pada grafik dibawah ini.
Gambar 3. Grafik Komparasi Nilai Usability Tiap Parameter
ChatGPT  hanya  unggul  di  segi efficiency lebih cepat 0,03 detik dibandingkan  Gemini  AI  dalam  pengerjaan skenario  tugas  yang  diberikan,  sedangkan Gemini  AI  unggul  di  dimensi learnability yang  sama-sama  dikategori  diatas  rata-rata dan  hanya  memiliki  perbedaan  sebesar  2% dan juga unggul di dimensi satisfaction yang memiliki  kategori  sangat  baik  sedangkan ChatGPT  di  kategori  baik  dan  memiliki perbedaan sebesar 3,66%.

## V. KESIMPULAN
Berdasarkan  penelitian  yang  telah dilakukan,  hasil  komparasi  kedua  chatbot, menghasilkan variabel efficiency menunjukan pengguna  ChatGPT  dapat  menyelesaikan skenario  tugas  hanya  0,07  per  detik,
sedangkan  Gemini  AI  0,10  per  detik,  ini menunjukan bahwa dalam segi efficiency ChatGPT  lebih  unggul  dibandingkan  Gemini  AI. Sedangkan  hasil  variabel  learnability menunjukan Gemini  AI  lebih  unggul  dengan  hasil  92% dibandingkan  ChatGPT  yang  memperoleh  hasil 90%,  tetapi  tetap  berada  di  kategori  diatas  rata- rata.  Dan  untuk  variabel  satisfaction,  Gemini  AI juga  lebih  unggul  dengan  nilai  85,52%  yang termasuk kategori  sangat  baik,  sedangkan ChatGPT  memperoleh  hasil  81,86%  berada  di kategori  baik.  Sehingga,  secara  keseluruhan Gemini  AI  lebih  unggul  dibandingkan  ChatGPT, Gemini  AI  unggul  pada  variabel  leanability  dan satisfaction,  sedangkan  ChatGPT  unggul  di variabel  efficiency  dan  keduanya  memenuhi keriteria  ketiga  variabel  tersebut.  Penelitian  ini berkontribusi  terhadap software  quality  control dari kedua Chatbot AI, diharapkan hasil penelitian ini dapat menjadi wawasan bagi pengembang dan pengguna  kedua chatbot dalam  hal  mengetahui kelebihan dan kelemahan dari keduanya.

## VI. SARAN
Berikut rekomendasi saran untuk penelitian selanjutnya, diantaranya sebagai berikut:
 Penelitian  ini  berfokus  pada  evaluasi  variabel usability  saja,  selain  dimensi  usability  yang terdapat  di  Nielsen  Model  dan  ISO/IEC  9126, masih  banyak  standar  lain  yang  memiliki dimensi pengukuran lainnya terhadap usability. Sehingga untuk penelitian selanjutnya  lebih  berfokus  kepada  pencarian dimensi usability lainnya dengan standar  yang sesuai.
 Teknik usability yang  digunakan  pada
penelitian ini hanya performance measurement,  dan  hanya  menganalisis  3 dimensi  dari  5  dimensi  yang  ada,  sehingga diharapkan penelitian selanjutnya menggunakan  teknik  usability  lainnya,  seperti shadowing  method,  think  aloud,  question- asking  protocol,  coaching  method,  remote testing,  teaching  method ,  dan eye  tracker dan menganalisis  2  dimensi  lainnya  yaitu  dimensi
error dan memorability .
 Penelitian  ini  hanya  memiliki  responden dengan  kriteria  usia  dan  berjumlah  hanya 42  orang,  sehingga  untuk  penelitian selanjutnya  diharapkan  memiliki  kriteria yang lebih bervariasi dengan jumlah yang signifikan

## VII. DAFTAR PUSTAKA
[1] F.  Wu et  al. ,  “Towards  a  new generation  of  artificial  intelligence  in China,” …  Mach.  Intell. ,  2020, [Online]. Available:
https://www.nature.com/articles/s422 56-020-0183-4
[2] N.  Nawaz  and  M.  A.  Saldeen, “Artificial  intelligence  chatbots  for library reference services,” J.  Manag.
Inf.  … ,  2020,  [Online].  Available: https://search.proquest.com/openview/ a00e7b79771945dc1d52f44a92b48c8 8/1?pq-origsite=gscholar&cbl=38743
[3] J. Rudolph, S. Tan, and S. Tan, “War of  the  chatbots:  Bard,  Bing  Chat,
ChatGPT, Ernie and beyond. The new AI gold rush and its impact on higher education,” Journal of Applied Learning and Teaching . journals.sfu.ca, 2023. [Online]. Available: https://journals.sfu.ca/jalt/index.php/ja lt/article/download/771/577/3333
[4] N. Conte, “Ranked: The Most Popular AI  Tools,” Visual  Capitalist ,  2024. https://www.visualcapitalist.com/rank ed-the-most-popular-ai-tools/ (accessed Mar. 20, 2024).
[5] N.  B.  Puspitasari,  Y.  Aulia,  and  Z.  F. Rosyada,  “Usability  evaluation  of online  transportation  using  Nielsen model,” World  Journal  of  Advanced … . wjaets.com, 2023. [Online].
Available: https://wjaets.com/sites/default/files/
WJAETS-2023-0283.pdf
[6] A.  Muqoddas,  A.  F.  Yogananti,  and  ..., “Usability  User  Interface  Desain  pada Aplikasi  Ecommerce  (Studi  Komparasi Terhadap  Pengalaman  Pengguna  Shopee, Lazada,  dan  Tokopedia),” …  Komun.  Vis. … , 2020, [Online]. Available: http://publikasi.dinus.ac.id/index.php/andh arupa/article/view/3194 [7] F.  L.  Rifqatusa’Adah,  “EVALUASI USABILITY  BERDASARKAN  ISO/IEC 9126 DAN NIELSEN MODEL MENGGUNAKAN METODE
USABILITY TESTING (STUDI KASUS: APLIKASI  ….”  repository.its.ac.id,  2017.
[Online]. Available: https://repository.its.ac.id/42276/1/521310 0175-Undergraduate_Theses.pdf
[8] M.  Al-Amin,  M.  S.  Ali,  A.  Salam,  A. Khan,  A.  Ali,  and  ...,  “History  of generative  Artificial  Intelligence  (AI) chatbots: past, present, and future development,” arXiv  Prepr.  arXiv  … ,
2024, [Online]. Available: https://arxiv.org/abs/2402.05122
[9] M.  R.  Ginanjar,  A.  Prehanto,  and  ..., “Evaluasi  dan  Rekomendasi  Usability Pada  Fitur  Pemesanan  Bike  di  Aplikasi Mobile  Maxim  Dengan  Metode  Usability Testing  dan  Use  Questionnaire,” Madani J.  … , 2023, [Online]. Available:
https://jurnal.penerbitdaarulhuda.my.id/ind ex.php/MAJIM/article/view/635 [10] B.  Beny,  H.  Yani,  and  G.  M.  Ningrum, “Evaluasi Usability Situs Web
Kemenkumham  Kantor  Wilayah  Jambi dengan Metode Usability Test dan System Usability  Scale,” Res.  J.  … ,  2019, [Online].
Available: http://e- journal.unipma.ac.id/index.php/RESEAR CH/article/view/4282
[11] D. Hudaifa, I. Aknuranda, and K. C. Brata, “Evaluasi  dan  Perbaikan  Aplikasi  Mobile Malang  Menyapa  Menggunakan  Metode Usability Testing dan USE
Questionnaire,” J.  Pengemb.  Teknol.  … ,
2019,  [Online].  Available:  http://j- ptiik.ub.ac.id/index.php/j- ptiik/article/view/5356
[12] C.  Kevin,  B.  D.  Yurisca,  L.  F.  Sakti, and  ...,  “Testing  Quality  Web- Application  E-commerce  BookCorner Using ISO 9126,” … Journal of Open … .  cyberleninka.ru,  2023.  [Online]. Available:
https://cyberleninka.ru/article/n/testin
g-quality-web-application-e-
commerce-bookcorner-using-iso-9126 [13] I.  Botchway,  B.  K.  Alese,  and  W.  A. Agangiba, “Evaluation of e- government  applications  based  on ISO/IEC  9126  model,” Annals. Computer Science … . researchgate.net, 2021. [Online].
Available: https://www.researchgate.net/profile/I vy- Botchway/publication/356253598_Ev aluation_of_E_- government_Applications_based_on_ ISOIEC_9126_model/links/62e94d96 4246456b5503a824/Evaluation-of-E- government-Applications-based-on- ISO-IEC-9126-model.pdf
[14] A. A. Agustina, D. Asmarajati, and N. Hasanah,  “Penerapan Metode Nielsen
Model  Dalam  Usability  Testing  Pada
Web  Portal  Dinas  Lingkungan  Hidup Kabupaten  Wonosobo,” J.  Econ.  … ,
2021, [Online]. Available: https://ojs.unsiq.ac.id/index.php/jebe/a rticle/view/2154
[15] J.  Y.  Lee,  “Can  an  artificial intelligence chatbot be the author of a scholarly article?,” Journal of educational  evaluation  for  health  … . ncbi.nlm.nih.gov, 2023. [Online].
Available: https://www.ncbi.nlm.nih.gov/pmc/art icles/PMC10033224/
[16] B.  Ram  and  P.  V.  P.  Verma,
“Artificial  intelligence  AI-based  Chatbot study  of  ChatGPT,  Google  AI  Bard  and
Baidu  AI,” World  J.  Adv.  … ,  2023, [Online].
Available: https://papers.ssrn.com/sol3/papers.cfm?ab stract_id=4359436
[17] T.  Tiara,  K.  R.  Lieubun,  J.  P.  Sirken,  and ...,  “Penerapan  Metode  E-GovQual  Untuk Mengevaluasi  Tingkat  Kualitas  Layanan
Website  E-LAPOR!,” Semin.  Nas.  … , 2023, [Online]. Available: https://www.jurnalfti.unmer.ac.id/index.ph p/senasif/article/view/535