## Usability Testing Aplikasi Jinom Customer Menggunakan Model Pacmad
Usability Testing of Jinom Customer Application using The Pacmad Model
I Komang Bayu Krisnayana 1 , I Made Ardwi Pradnyana 2 , Ida Bagus Nyoman Pascima 3 1,3 Program Studi Pendidikan Teknik Informatika, 2 Program Studi Sistem Informasi/Fakultas Teknik dan Kejuruan/Universitas Pendidikan Ganesha E-mail: 1 bayuajoes321@gmail.com, 2 ardwi.pradnyana@undiksha.ac.id,
3 gus.pascima@gmail.com

## Abstrak
Aplikasi  mobile  Jinom  Customer  berperan  sebagai  penyedia  layanan  internet  publik  sehingga sangatlah  penting  untuk  melaksanakan  uji  usability  guna  mengevaluasi  sejauh  mana  tingkat kemanfaatan  aplikasi  ini.  Sampai  saat  ini  masih  ditemukan  masalah  dalam  aplikasi  Jinom Customer salah satunya adalah pengguna masih susah melakukan pembayaran karena tidak bisa mendownload  bukti  pembayaran  melalui  aplikasi.  Dengan  demikian,  dilakukan  uji  usability menggunakan model PACMAD dengan 7 aspek didalamnya yang melibatkan 10 responden yang mana terbagi dalam kelompok pengguna dan calon pengguna dengan rentang usia 17-40 tahun. Hasilnya menunjukkan tingkat usability yang baik, dengan atribut seperti effectiveness (92,5% dan  84%), efficiency (0,051030017  goals/second  dan  0,004545175  goals/second), learnability (67%  dan  64%), memorability (92%  dan  84%), error  rate (0,1545825  dan  0,1462955), satisfaction (10 responden dari masing-masing kelompok masih belum memenuhi nilai standar pada quissionaire QUIS sehingga kesimpulan dari aspek ini responden atau user masih belum puas), dan cognitive load (64 dan 67). Meski begitu, terdapat aspek-aspek yang perlu perbaikan, terutama  cognitive  load  dan  satisfaction.  Dengan  itu  dilakukan  perancangan  rekomendasi perbaikan  menggunakan  high  fidelity  design,  dengan  fokus  pada  elemen-elemen  yang  perlu ditingkatkan,  desain  perbaikan  dilakukan  dengan  berpedoman eight  golden  rules,  human computer interaction. Dilakukannya penelitian ini sangat bermanfaat dikarenakan mendapat data valid dari uji usability yang sudah dilakukan dan mengetahui permasalahan yang dihadapi oleh pengguna, Perbaikan desain dilakukan dengan berfokus dari masalah pengguna. Sehingga tepat sasaran dan meningkatkan kenyamanan pengguna aplikasi Jinom Customer.
Kata kunci : NASA-TLX, PACMAD, Performance Measurement , RTA, QUIS

## Abstract
The Jinom Customer mobile application acts as a public internet service provider so it is very important to carry out a usability test to evaluate the level of usefulness of this application. Until now, problems are still being found in the Jinom Customer application, one of which is that users are  still  having  difficulty  making  payments  because  they  cannot  download  proof  of  payment through the application. Thus, a usability test was carried out using the PACMAD model with 7 aspects involving 10 respondents who were divided into groups of users and potential users with an age range of 17-40 years. The results show a good level of usability, with attributes such as effectiveness  (92.5%  and  84%),  efficiency  (0.051030017  goals/second  and  0.004545175 goals/second), learnability (67% and 64%), memorability (92 % and 84%), error rate (0.1545825 and 0.1462955), satisfaction (10 respondents from each group still did not meet the standard score on the QUIS questionnaire so that the conclusion from this aspect is that respondents or users are still not satisfied), and cognitive loads (64 and 67). Even so, there are aspects that need improvement,  especially  cognitive  load  and  satisfaction.  With  this,  improvement recommendations are designed using high fidelity design, with a focus on elements that need to be  improved.  The  improvement  design  is  carried  out  based  on  the  eight  golden  rules,  human computer interaction. Carrying out this research is very useful because it gets valid data from
usability  tests  that  have  been  carried  out  and  knows  the  problems  faced  by  users.  Design improvements  are  carried  out  by  focusing  on  user  problems.  So  that  it  is  right  on  target  and increases the comfort of Jinom Customer application users.
Keywords : NASA-TLX, PACMAD, Performance Measurement, RTA, QUIS

## 1. PENDAHULUAN
PT. Jinom Network Indonesia memanfaatkan pasar online untuk memperluas jangkauan dan menargetkan pelanggan yang lebih luas. Aplikasi Jinom Customer, pertama kali dirilis pada Juni 2018 di Play Store untuk Android. Meski versi iOS-nya masih dalam pengembangan, hingga 2  Februari  2023,  aplikasi  ini  telah  mencatat  346  akun  aktif  dan  lebih  dari  500  penginstalan. Aplikasi ini merupakan solusi publik dengan berbagai fungsi yang berguna bagi calon pengguna dan pengguna.
Analisis  awal  yang  telah  dilakukan  dengan  berpedoman  prinsip eight  golden  rules , teridentifikasi beberapa permasalahan dalam aplikasi. Permasalahan pertama terletak pada tata letak menu yang masih berada di samping kiri dan sulit dijangkau pengguna. Permasalahan kedua, ditemukan pengguna masih bingung saat ingin membayar karena bukti pembayaran tidak bisa di download. Permasalahan ketiga, terletak pada layanan yang ditampilkan dalam aplikasi masih minimnya informasi tentang layanan.
Usability  Testing  adalah  bagian  besar  yang  perlu  dilakukan  untuk  meningkatkan profitabilitas  produk,  ada  banyak  aspek  dilakukan  yang  pada  akhirnya  akan  sangat menguntungkan pengguna. Pada umumnya pengguna ingin mendapatkan sebuah informasi secara cepat dan sesuai yang diharapkan [1].
Beberapa  penelitian  terkait  dengan  penggunaan  model  PACMAD  dilakukan  oleh beberapa peneliti. Pada penelitian [2]. Hasil menunjukkan Shopee memiliki kepuasan tertinggi meskipun  nilai  usability  relatif  lebih  rendah  dibanding  Bukalapak  dan  Tokopedia.  Bukalapak memiliki capaian usability yang baik namun kepuasan masih di bawah Shopee.
Penelitian  selanjutnya  [3].  Penelitian  menunjukkan  adanya  potensi  perbaikan  dalam aplikasi  Gowes,  termasuk  navigasi  yang  lebih  intuitif,  antarmuka  yang  lebih  menarik,  dan informasi yang lebih komprehensif pada beberapa fitur. Namun, pengguna memberikan penilaian kepuasan yang tinggi dengan nilai rata-rata SUS dan CSUQ di atas 70.
Penelitian lainnya [4]. Hasil mengungkapkan masalah usability pada aplikasi ArabEasy, terutama  dalam  aspek  People  dan  Activity  yang  mempengaruhi  kepuasan  pengguna.  Isu-isu meliputi navigasi sulit, tampilan yang salah, dan respon aplikasi yang lambat.
Pada  penelitian  [5].  Didapatkan  hasil  pengujian  usability  terhadap  pengguna  aplikasi sistem  informasi  akademik  mahasiswa  Universitas  Diponegoro  diperoleh  nilai  rata-rata  dari atribut  effectiveness  (efektifitas)  sebesar  96,75%  ,  eficiency  (efisien)  sebesar  94,93%  ,  dan satisfaction  (kepuasan)  sebesar  87%  pada  hasil  SEQ  dan  tingkat  usability  secara  keseluruhan sebesar 80,90% berdsarkan SUS.
Perangkat mobile memerlukan model usability khusus. Sehingga dikembangkan konsep PACMAD  ( People  At  The  Center  of  Mobile  Application  Development ).  Model  PACMAD bertujuan  untuk  menyempurnakan  model  usability  yang  ada,  seperti  Nielsen  dan  ISO.  Model PACMAD melibatkan tujuh aspek evaluasi pada aplikasi mobile [6]. Effectiveness, efficiency, learnability, memorability, error, satisfaction dan cognitive load .
Berdasarkan uraian penelitian sebelumnya, masih belum ada peneliti yang menerapkan kuesioner  QUIS  pada  aspek  satisfaction  yang  mana  kuesioner  QUIS  ini  dapat  mencakup pertanyaan  yang  berkaitan  dengan  aspek  emosional  serta  afektif  pengalaman  pengguna  dan dikombinasikan dengan teknik RTA akan mendapatkan data yang valid dalam masalah pengguna saat berinteraksi dengan aplikasi sehingga pemecahan masalah akan terfokus pada pengguna.
Penelitian sebelumnya terlihat belum sepenuhnya komprehensif, menciptakan celah yang memperkuat urgensi penelitian ini. Fokus pada evaluasi usability aplikasi digital, penelitian ini diharapkan  memberikan  kontribusi  signifikan  dalam  bidang  IT,  khususnya  evaluasi  usability.
Selain itu, penelitian ini juga diarahkan untuk memberikan sumbangan konkret bagi kemajuan dan penyempurnaan aplikasi Jinom Customer.

## 2. METODE PENELITIAN

## Gambar 1. Kerangka penelitian
Metode  yang  digunakan  penelitian  ini  ditunjukan  pada  gambar  1.  Adapun  langkah-langkah dalam kerangka penelitian ini dapat dijabarkan sebagai berikut :
1. Persiapan Penelitian
Peneliti melakukan observasi di PT. Jinom Network Indonesia untuk mengidentifikasi masalah  aplikasi.  Setelah  itu,  studi  literatur  dilakukan  untuk  memperoleh  dasar  yang  kuat. Menyiapkan instrumen pengujian termasuk kuesioner, skenario tugas, dan kuesioner kepuasan (QUIS dan RTA), serta kuesioner beban kognitif (NASA-TLX). Sampling responden dilakukan dengan mempertimbangkan faktor usia dan asal kota, responden terbagi menjadi 2 kelompok yaitu  kelompok  pengguna  dan  kelompok  calon  pengguna  dengan  total  responden  masing- masing 5 dari setiap kelompok [7].

## 2. Pelaksanaan Penelitian
Pengujian usability dimulai dengan menjelaskan task skenario kepada responden. Setelah pemahaman,  responden  diberi  tugas,  yang  diamati  menggunakan  metode  performance measurement melalui screen recorder. Setelah selesai, responden menilai kepuasan menggunakan kuesioner QUIS, mendapatkan data kualitatif melalui teknik Retrospective Think-Aloud (RTA). Rekaman  screen  recorder  membantu  mengatasi  lupa  pengalaman  responden.  Tingkat  tekanan kognitif diukur dengan kuesioner NASA-TLX. Selama pengujian, dokumentasi dilakukan lewat foto dan video
3. Pengolahan dan Analisis Data
Setelah  semua  data  evaluasi  dari  responden  terkumpul,  langkah  selanjutnya  adalah melakukan  pengolahan  dan  analisis  data  secara  kuantitatif  dalam  kuantitatif  menggunakan performance measurement dimana saat responden mengerjakan task akan dilakukan screen record untuk mengevaluasi 7 aspek usability dalam model PACMAD.
a. Effectivenes
Effectivenes berhubungan dengan kemampuan pengguna mencapai tujuan dalam konteks tertentu. Dalam hal ini, keefektifan diukur dengan Tingkat Keberhasilan (Completion Rate ).
𝐸𝑓𝑓𝑒𝑐𝑡𝑖𝑣𝑒𝑛𝑒𝑠 = 𝑁𝑢𝑚𝑏𝑒𝑟 𝑜𝑓 𝑡𝑎𝑠𝑘 𝑐𝑜𝑚𝑝𝑙𝑎𝑡𝑒𝑑 𝑠𝑢𝑐𝑐𝑒𝑠𝑓𝑢𝑙𝑙𝑦 𝑇𝑜𝑡𝑎𝑙 𝑛𝑢𝑚𝑏𝑒𝑟 𝑜𝑓 𝑡𝑎𝑠𝑘 𝑢𝑛𝑑𝑎𝑟𝑡𝑎𝑘𝑒𝑛 𝑥 100% (1)
Rata-rata penyelesaian tugas minimum dalam uji usability adalah 78%. Namun, hasil di bawah 49% menunjukkan performa yang rendah [8].
b. Efficiency
Efficiency menilai  seberapa  cepat  dan  akurat  pengguna  mencapai  tujuan.  Penilaian  ini menggunakan rumus Time Based Efficiency untuk perhitungan data .
𝑇𝑖𝑚𝑒 𝐵𝑎𝑠𝑒𝑑 𝐸𝑓𝑓𝑖𝑐𝑖𝑒𝑛𝑐𝑦 = >
!
J=1 > 𝑛 %& 𝑡 %& ' i=1 NR (2)
Keterangan : N  = Jumlah total tugas R  = Jumlah pengguna nij =  Hasil  tugas  i  oleh  pengguna  j.  jika  pengguna  berhasil  menyelesaikan  tugas  maka nilainya 1 jika tidak 0.
tij  = waktu yang dihabiskan oleh pengguna j untuk menyelesaikan tugas i jika tidak berhasil diselesaikan, maka waktu diukur hingga saat pengguna berhenti dari tugas.
c. Memorability
Memorability merupakan  aspek  yang  mengevaluasi  sejauh  mana  pengalaman  pengguna dapat diingat dan dipulihkan [8]. Memorability diukur dengan menggabungkan efektivitas dan  efisiensi  dan  dihitung  dengan Overall  relative  efficienc y  dihitung  dengan membandingkan  waktu  pengguna  yang  berhasil  menyelesaikan  tugas  dengan  total  waktu semua pengguna.
𝑂𝑣𝑒𝑟𝑎𝑙𝑙 𝑅𝑒𝑙𝑎𝑡𝑖𝑣𝑒 𝐸𝑓𝑓𝑖𝑐𝑖𝑒𝑛𝑐𝑦
>
!
J=1 > 𝑛 %& 𝑡 %& 𝑡 %& ' i=1 > ! J=1 > 𝑡 %& 𝑡 %& ' i=1 𝑥 100% (3)
Keterangan : N  = Jumlah total tugas R   = Jumlah pengguna
tij  =  Hasil  tugas  i  oleh  pengguna  j.  jika  pengguna  berhasil  menyelesaikan  tugas  maka nilainya 1 jika tidak 0.
nij = waktu yang dihabiskan oleh pengguna j untuk menyelesaikan tugas i jika tidak berhasil diselesaikan, maka waktu diukur hingga saat pengguna berhenti dari tugas.
d. Learnability Learnability diukur dengan evaluasi dn menghitung tingkat keberhasilan, yaitu persentase tugas yang diselesaikan dengan benar oleh pengguna [9]. Rumus Success Rate digunakan untuk menghitungnya.
𝑆𝑢𝑐𝑐𝑒𝑠 𝑅𝑎𝑡𝑒 = 𝑆𝑢𝑐𝑐𝑒𝑠 𝑡𝑎𝑠𝑘 + (𝑃𝑎𝑟𝑡𝑖𝑎𝑙 𝑠𝑢𝑐𝑐𝑒𝑠𝑠 𝑥 0.5) 𝑇𝑜𝑡𝑎𝑙 𝑡𝑎𝑠𝑘 𝑥 100% (4)
e. Erorr
Error  rate mengukur  seberapa  sering  kesalahan  terjadi  selama  pengujian.  Perhitungan melibatkan  total  defect,  opportunities,  dan  jumlah  partisipan.  Rumus  defective  rates digunakan dengan tiga komponen ini.
𝐷𝑒𝑓𝑒𝑐𝑡𝑖𝑣𝑒 𝑟𝑎𝑡𝑒 = 𝑇𝑜𝑡𝑎𝑙 𝐷𝑒𝑓𝑒𝑐𝑡𝑠 𝑇𝑜𝑡𝑎𝑙 𝑂𝑝𝑝𝑜𝑡𝑢𝑛𝑖𝑡𝑖𝑒𝑠 = 𝑇𝑜𝑡𝑎𝑙 𝐷𝑒𝑓𝑒𝑐𝑡𝑠 (𝑂𝑝𝑝𝑜𝑡𝑢𝑛𝑖𝑡𝑖𝑒𝑠 𝑥 𝑇𝑜𝑡𝑎𝑙 𝑃𝑎𝑟𝑡𝑖𝑐𝑖𝑝𝑎𝑛𝑡 (5) [10] Berpendapat bahwa rata-rata kesalahan tiap tugas adalah 0.7. f. Kuesioner QUIS QUIS  (Questionnaire  for  User  Interface  Satisfaction) adalah  sebuah  alat  pengukuran kepuasan pengguna dalam menggunakan antarmuka pengguna (user interface) pada sebuah produk [11]. Kuesioner QUIS versi 5 terdiri dari 5 kategori atau indikator, termasuk reaksi keseluruhan  terhadap  sistem,  layar  aplikasi,  terminologi  dan  informasi  sistem, pembelajaran, dan kemampuan sistem [12].
g. Kuesioner NASA-TLX
NASA-TLX  digunakan  untuk  mengukur  beban  kognitif  secara  subjektif.  Ini  mencakup enam aspek, seperti kebutuhan mental, fisik, waktu, kinerja, upaya, dan frustrasi. Beban Kerja  Mental  masing-masing  responden  berdasarkan  NASA-TLX  dihitung  dengan persamaan berikut:
= ∑(𝑏𝑜𝑏𝑜𝑡 𝑥 𝑟𝑎𝑡𝑖𝑛𝑔) 15
(6)
Variabel  pengukuran  dalam  NASA-TLX  dihitung  menggunakan  rumus  yang  telah disediakan.  Hasil  beban  kerja  mental  dari  setiap  responden  dirata-ratakan  untuk mendapatkan hasil akhir [12].
= ∑ Beban kerja mental masing − masing responden
Jumlah Responden
(7)
dan kualitatif. Dengan demikian, hasil evaluasi usability dari aplikasi Jinom Customer dapat  diketahui  dengan  jelas.  Hasil  penelitian  tersebut  akan  digunakan  sebagai  dasar  untuk menyusun rekomendasi perbaikan pada aplikasi Jinom Customer.
4. Hasil dan Rekomendasi
Rekomendasi  dibuat  berdasarkan  data  dari  task  skenario (performance  measurement), kuesioner QUIS, dan RTA. Penelitian mengikuti teori HCI, Eight Golden Rules, dan Psikologi Warna. Proses ini melibatkan pembuatan prototype untuk menggambarkan interaksi pada setiap layar aplikasi. Hasil akhir mencakup data uji usability aplikasi Jinom Customer dan perbaikan desain, disajikan dalam laporan penelitian.

## 3. HASIL DAN PEMBAHASAN
1. Effectiveness
Hasil pengukuran effectiveness pada setiap task dari kelompok pengguna dan kelompok calon pengguna mendapatkan hasil sebagai berikut:
Gambar 2. Diagram completion rate kelompok pengguna

## Gambar 3. Diagram completion rate kelompok pengguna
Pada gambar 2 dan 3, terlihat hasil dari perhitungan menggunakan completion rate untuk mengukur effectiveness dari  setiap  tugas  dalam  masing-masing  kelompok.  Setelah  menghitung rata-rata completion rate dari semua tugas, didapatkan nilai completion rate sebesar 92,5% untuk kelompok pengguna dan 84% untuk kelompok calon pengguna. Angka tersebut melebihi rata-rata penyelesaian tugas minimum dalam uji usability sebesar 78%. Oleh karena itu, dapat disimpulkan bahwa aplikasi Jinom Customer telah terbukti efektif.
2. Efficiecncy
Efficiency diukur berdasarkan waktu penyelesaian tugas oleh responden menggunakan metrik  usability time  based  efficiency .  Data  durasi  tugas  dari  rekaman  video  diubah  menjadi satuan detik. Berikut merupakan hasil pengukuran dari kelompok pengguna dan kelompok calon pengguna:
Gambar 4. Diagram time based efficiency kelompok pengguna
Gambar 5. Diagram time based efficiency kelompok calon pengguna
Pada gambar 4 dan gambar 5, terlihat hasil time-based efficiency dari setiap tugas dalam masing-masing kelompok. Tingkat kecepatan penggunaan aplikasi per detiknya yang mana dari hasil tersebut angka yang semakin tinggi memiliki makna semakin bagus karena satuan akhir pada time based efficiency yang digunakan yaitu goals/sec, sehingga menunjukkan rata-rata sebesar 0,051030017  goals/sec  untuk  kelompok  pengguna,  sementara  kelompok  calon  pengguna mencapai rata-rata 0,004545175 goals/sec, masuk dalam kategori sangat efisien.

## 3. Memorability
Memorability dapat  dihitung  dari  kombinasi  nilai effectiveness dan overall  relative efficiency [2]. Overall  relative  efficiency dihitung  berdasarkan  rasio  waktu  yang  diambil  dari pengguna yang berhasil menyelesaikan tugas dan total waktu yang diambil oleh semua pengguna. Durasi  pengerjaan  task  skenario  responden  diperoleh  melalui  perekaman  layar,  kemudian dijadikan dalam satuan detik sebagai data waktu yang digunakan berikut adalah masing-masing hasil dari kelompok pengguna dan kelompok calon pengguna:
0 0,01 0,02 0,03 0,04 0,05 TS1 TS2 TS3 TS4 TS5 TS6 TS7 TS8 TS9 TIME BASED EFFICIENCY KELOMPOK CALON PENGGUNA 0 0,02 0,04 0,06 0,08 0,1 TS1 TS2 TS3 TS4 TS5 TS6 TS7 TS8 TIME BASED EFFICIENCY KELOMPOK PENGGUNA

## Gambar 6. Diagram overall relative efficiency kelompok pengguna
Gambar  6  menunjukkan overall  relative  efficiency setiap  tugas  dalam  kelompok pengguna. Tugas 5 dan 7 menonjol karena beberapa responden gagal, mempengaruhi hasil overall relative efficiency . Rata-rata yang didapat untuk semua tugas adalah 92%. Dipaadukan dengan nilai effectiveness dan overall relative efficiency memberikan hasil yang sangat mudah diingat, dengan rata-rata overall relative efficiency 92% dan effectivenes 92,5% pada kelompok pengguna.
Gambar 7. Diagram overall relative efficiency kelompok calon pengguna
Gambar 7 merupakan diagram overall relative efficiency kelompok calon pengguna, bisa dilihat pada diagram diatas memiliki perbedaan pada task 3 dan perbedaan yang sangat signifikan pada  task  5  ini  disebabkan  terdapat  2  orang  responden  dari  5  responden  yang  mengalami kegagalan pada task 3 dan pada task 5 semua responden dari kelompok calon pengguna gagal menyelesaikannya sehingga terdapat perbedaan yang signifikan pada diagram diatas. berdasarkan rata-rata hasil overall relative efficiency didapat sebesar 84% dan nilai rata-rata dari kelompok pengguna untuk effectiveness 84%. sehingga hasil tersebut dikategorikan sangat memorable .

## 4. Learnability
Learnability  diukur  menggunakan  data performance  measurement ,  yaitu  melalui pengamatan jumlah tugas yang berhasil dilakukan dengan benar oleh responden. Kemudian Data tersebut  dihitung  menggunakan  rumus  success  rate  yang  dapat  dilihat  pada  persamaan  (4) Menurut [9], terdapat beberapa ketentuan untuk mengukur success rate suatu produk dinyatakan berhasil, sebagian berhasil dan gagal adalah antara lain Success (S), dinyatakan berhasil apabila
0% 20% 40% 60% 80% 100% 120% Task 1 Task 2 Task 3 Task 4 Task 5 Task 6 Task 7 Task 8 OVERALL RELATIVE EFFICIENCY KELOMPOK PENGGUNA
0% 20% 40% 60% 80% 100% 120% Task 1 Task 2 Task 3 Task 4 Task 5 Task 6 Task 7 Task 8 Task 9 OVERALL RELATIVE EFFICIENCY KELOMPOK CALON PENGGUNA
banyaknya kesalahan yang dilakukan adalah 0. Partial Success (P), dinyatakan sebagian berhasil apabila  banyaknya  kesalahan  yang  dilakukan  lebih  kecil  atau  sama  dengan  jumlah  langkah. Failure (F), dinyatakan gagal apabila banyaknya kesalahan lebih besar daripada jumlah berhasil atau gagal dalam menyelesaikan tugas. Berikut hasil yang didapat oleh kelompok pengguna:

## Tabel 1 Data success rate kelompok pengguna
Berdasarkan  tabel  1,  sebagian  besar  responden  berhasil  menyelesaikan  tugas  dengan sukses.  Namun,  ada  beberapa  yang  hanya  berhasil  sebagian  atau  membuat  kesalahan  yang melebihi langkah-langkah yang diberikan. Seorang responden gagal menyelesaikan tugas 5 dan dua responden gagal pada tugas 7 dari kelompok pengguna. Sehingga hasil perhitungan success rate  untuk  mengukur  komponen  learnability  didapat  sebesar  67%  sehingga  hasil  tersebut dikategorikan mudah dipelajari.

## Tabel 2 Data success rate kelompok calon pengguna
Kode Responden Task Skenario TS 1 TS2 TS3 TS4 TS5 TS6 TS7 TS8 TS 9 CP1 P S F S F S S S P CP2 P S P S F S S P P CP3 S S P S F S P S S CP4 P S F S F S P S P CP5 S S P S F S S S S
Sedangkan  untuk  kelompok  calon  pengguna  berdasarkan  tabel  2  bisa  dilihat  sebagian besar responden bisa menyelesaikan task dengan sukses. Tetapi masih ada beberapa responden yang menyelesaikan task hanya sebagian (partial success), berdasarkan data success rate juga bisa diketahui masih ada kegagalan dari responden kelompok calon pengguna, ada 2 orang responden yang gagal menyelesaikan task 3 dan 5 orang responden gagal mengerjakan task 5. Sehingga hasil perhitungan success rate untuk mengukur komponen learnability didapat sebesar 64% sehingga hasil tersebut dikategorikan mudah dipelajari.
5. Error
Error diukur  menggunakan  data  yang  diperoleh  melalui  teknik performance measurement . Hal ini melibatkan pengamatan terhadap jumlah kesalahan yang dilakukan oleh responden selama pengujian. Data mengenai jumlah kesalahan yang dilakukan oleh responden dianalisis  melalui  screen  record  selama  proses  pengujian.  Berikut  hasil  yang  didapatkan kelompok pengguna dan calon pengguna.
Kode Responden Task Skenario TS 1 TS2  TS3 TS4  TS5 TS6  TS7 TS8 KP1 S S S S S S P S KP2 S S S S S P P P KP3 S S P S P P F P KP4 S S P S F S P P KP5 S S S S P S F S

## Gambar 8. Diagram hasil defective rate kelompok pengguna
Pada gambar 8 menunjukan hasil defective rate dari setiap task. Untuk task 3 sebesar 0,1, task 5 sebesar 0,33333, task 6 sebesar 0,13333, task 7 sebesar 0,52, task 8 sebesar 0,15. Sedangkan task  1,2,  dan  4  sebesar  0,000000  sehingga  rata-rata  yang  didapat  adalah  sebesar  0,1545825. Menurut Sauro (2012) rata-rata kesalahan tiap tugas adalah 0.7, sehinga kesalahan responden dari kelompok pengguna masih dikategori wajar [10].

## Gambar 9. Diagram hasil defective rate kelompok calon pengguna
Pada  gambar  9  menunjukan  hasil  defective  rate  dari  setiap  task  pada  kelompok  calon pengguna. Untuk task 1 sebesar 0,2, task 3 sebesar 0,6, task 5 sebesar 1, task 7 sebesar 0,2, task 8 sebesar 0,06666, task 9 sebesar 0,15 dan Sedangkan task 2,4, dan 6 sebesar 0,000000 sehingga rata-rata  yang  didapat  kelompok  calon  pengguna  adalah  sebesar  0,1462955.  Menurut  Sauro (2012)  rata-rata  kesalahan  tiap  tugas  adalah  0.7,  sehinga  kesalahan  responden  dari  kelompok pengguna masih dikategori wajar.

## 6. Cognitive Load
Pengukuran  terhadap  cognitive  load  dilakukan  berdasarkan  data  pengukuran  secara subjektif  melalui  kuesioner  NASA-TLX.  Kuesioner  NASA-TLX  digunakan  untuk  mengukur beban  kognitif  yang  dirasakan  oleh  responden  saat  menggunakan  aplikasi  selama  pengujian. Berikut hasil cognitive load yang didapatkan masing-masing responden dari setiap kelompok.
0 0 0,1 0 0,33333 0,13333 0,52 0,15 0 0,1 0,2 0,3 0,4 0,5 0,6 Task 1 Task 2 Task 3 Task 4 Task 5 Task 6 Task 7 Task 8 DEFECTIVE RATE KELOMPOK PENGGUNA 0,2 0 0,6 0 1 0 0,2 0,06666 0,15 0 0,2 0,4 0,6 0,8 1 1,2 Task 1 Task 2 Task 3 Task 4 Task 5 Task 6 Task 7 Task 8 Task 9 DEFECTIVE RATE KELOMPOK CALON PENGGUNA

## Gambar 10. Diagram hasil defective rate kelompok calon pengguna
Berdasarkan  pada  gambar  10  bisa  dilihat  skor  NASA-TLX  responden  dari  setiap kelompok tidak berbeda jauh yang mana hal ini bisa terjadi karena dari masing-masing responden dari setiap kelompok mengalami kesulitan pada beberapa task yang sama. dapat dilihat bahwa rata-rata hasil cognitive load dengan kuesioner NASA-TLX seluruh responden dari kelompok pengguna adalah sebesar 64 dan rata-rata hasil cognitive load dari seluruh responden kelompok calon pengguna sebesar 67,6. Hasil yang di dapat dari masing – masing kelompok lebih besar dari 50 sehingga dapat dikatakan bahwa beban cognitive yang dialami responden dari setiap kelompok saat menggunakan aplikasi Jinom Customer sedang.

## 7. Satisfaction
Tingkat kepuasan pengguna diukur menggunakan kuesioner QUIS (Quessionaire User Interfaces Satisfaction). Selain itu, kuesioner QUIS juga dikombinasikan dengan menggunakan teknik RTA (Retrospective Think Aloud) dengan tujuan untuk mendapatkan data kuantitatif dari QUIS dan data kualitatif dari RTA untuk mengetahui lebih spesifik fitur dan fungsi yang menjadi masalah pada kelompok pengguna ataupun kelompok calon pengguna.

## Gambar 11. Diagram skor kuesioner QUIS
Berdasarkan gambar 11 diketahui bahwa kuesioner QUIS diukur dengan 4 aspek yang ada dan dari kedua kelompok belum dapat memenuhi nilai standar dari 4 aspek tersebut. Sehingga berdasarkan  data  tersebut  10  responden  dari  kelompok  pengguna  dan  calon  pengguna  masih belum puas saat menggunakan aplikasi Jinom Customer.

## 8. Rekomendasi Perbaikan
Evaluasi  dari  7  atribut  usability  menunjukkan  kepuasan  yang  rendah  pada  antarmuka pengguna. Untuk memperbaiki hal ini, dilakukan perancangan rekomendasi desain high fidelity berdasarkan pada teori eight golden rules [13], Human-Computer Interaction dan teori pisikologi
0 20 40 60 80 100 KP1/CP1 KP2/CP2 KP3/CP3 KP4/CP4 KP5/CP5
SKOR NASA-TLX
R.Pengguna R.Calon Pengguna
0 1 2 3 4 5 6 Reaksi keseluruhan terhadap… Layar Terminologi dan informasi sistem Pembelajaran Kemampuan Sistem SKOR KUESIONER QUIS Klp.Calon Pengguna Klp.Pengguna
warna [14]. Hasil desain rekomendasi perbaikan aplikasi Jinom Customer dapat dilihat di link berikut: https://go.undiksha.ac.id/desainperbaikan dan hasil prototype aplikasi Jinom Customer dapat dilihat di link berikut: https://go.undiksha.ac.id/prototypejinomcustomer.
a. Halaman Pemasangan Baru
Berdasarkan  hasil performance  measurement dan  RTA  perlu  dilakukan  perbaikan terhadap halaman pemasangan baru. Responden dari kelompok calon pengguna tidak bisa melihat  profil  layanan  penyedia  internet  yang  mana  hal  ini  merupakan  yang  sangat penting karena berpengaruh pada keputusan pengguna. Berikut adalah usulan tampilan:
Sebelum

## Sesudah
Gambar 12. Rekomendasi perbaikan halaman pemasangan baru

## 4. KESIMPULAN DAN SARAN
Setelah melalui proses penelitian usability testing menggunakan model PACMAD pada aplikasi  Jinom  Customer  dengan  mengadopsi  metode  performance  measurement,  RTA (Retrospective think aloud), serta kuesioner QUIS dan NASA-TLX, dapat diungkapkan bahwa aplikasi ini mencapai tingkat usability yang cukup baik untuk aplikasi mobile. Hal ini terbukti berdasarkan hasil analisis terhadap 7 atribut usability pada model PACMAD, yaitu efficiency, effectiveness,  learnability,  memorability,  error,  satisfaction  dan  cognitive  load  aspek  tersebut telah berhasil memenuhi standar yang ditetapkan. sedangkan pada aspek satisfaction masih belum memenuhi standar yang ditetapkan oleh kuesioner QUIS. Berdasarkan hal tersebut maka  dapat ditarik  kesimpulan  yang  merujuk  pada  rumusan  masalah  yang  disimpulkan  sebagai  berikut. Atribut effectiveness (92,5% dan 84%), efficiency (0,051030017 goals/second dan 0,004545175 goals/second), learnability (67%  dan  64%), memorability (92%  dan  84%),  serta error  rate (0,1545825  dan  0,1462955), satisfaction (10  responden  dari  masing-masing  kelompok  masih belum  memenuhi  nilai  standar  pada  quissionaire  QUIS  sehingga  kesimpulan  dari  aspek  ini responden atau user masih belum puas) dan cognitive load (64 dan 67). Rekomendasi perbaikan yang dihasilkan dari penelitian ini merupakan tindak lanjut dari penelitian ini untuk mendorong peningkatan  lebih  lanjut  pada  usability  aplikasi  Jinom  Customer.  Rekomendasi  ini  dirancang dengan  mengadopsi  pendekatan  berdasarkan  prinsip  8  golden  rules  dari  Benn  Sneidermann, Human-Computer Interaction,  serta teori pisikologi warna dari Holtzschue. Melalui analisis data performance measurement dan RTA, rekomendasi perbaikan telah diusulkan untuk memperbaiki beberapa halaman dan fitur dalam aplikasi Jinom Customer.
Penelitian selanjutnya disarankan untuk melibatkan ahli dalam bidang Human-Computer Interaction yang akan membantu dalam menilai desain aplikasi nantinya dengan menggunakan metode  Heuristic  Evaluation  (HE).  Disarankan  juga  menggunakan  pengujian  online  dengan
menggunakana teknik seperti performance measurement dan RTA untuk mengeefisiensi waktu, terutama  jika  jumlah  responden  banyak  dan  lebih  mempertimbangkan  untuk  menambah responden yang mengisi kuesioner QUIS yang nantinya akan memberikan gambaran pengalaman pengguna yang lebih akurat dan representatif terhadap aplikasi.

## DAFTAR PUSTAKA
[1] J. Rubin, D. Chisnell, and J. Spool, Handbook of Usability Testing: How to Plan, Design, and Conduct Effective Tests . United States: Wiley, 2011.
[2] N.  Fauzi,  H.  Muslimah  Az-Zahra,  and  A.  P.  Kharisma,  “Analisis  Usability  Aplikasi Perangkat  Bergerak  Jual  Beli  Online  dengan  Model  People  At  The  Center  of  Mobile Application  Development  (PACMAD)  (Studi  Kasus :  Tokopedia,  Bukalapak  dan Shopee),” J. Pengemb. Teknol. Inf. dan Ilmu Komput. , vol. 3, no. 3, pp. 2552–2557, 2019, [Online]. Available: http://j-ptiik.ub.ac.id
[3] A. Siti Badriah and P. K. Sari, “Usability Testing on Use of Gowes Application in Telkom University,” J. eProceedings Manag. , vol. 6, no. 2, pp. 2864–2872, 2019.
[4] A. A. S. Siti Nur Shazlinda, S. Siti Norul Huda, N. Nurfadhlina, N. Nurul Aida, “Software Quality Testing in Mobile Application (ArabEasy) Based on the PACMAD Model,” Int. J. Interact. Mob. Technol. , vol. 15, no. 3, pp. 26–35, 2021.
[5] A.  Pascagama  Nurrachman  and  Y.  Priyandari,  “Pengujian  Usability  pada  Aplikasi Informasi  Akademik  Mahasiswa  Universitas  Diponegoro  berbasis  Android  Usability Testing of Academic Information Application for Universitas Diponegoro Students based on Android,” Agustus , vol. 21, no. 3, pp. 534–542, 2022.
[6] R. Harrison, D. Flood, and D. Duce, “Usability of mobile applications: literature review and rationale for a new usability model,” J. Interact. Sci. , vol. 16, no. 1, pp. 2–16, 2013.
[7] J. Nielsen, “Why You Only Need to Test with 5 Users,” Nielsen Norman Group , 2000. https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/
[8] V.  P.  Sabandar  and  H.  B.  Santoso,  “Evaluasi  Aplikasi  Media  Pembelajaran  Statistika Dasar Menggunakan Metode Usability Testing,” J. Tek. , vol. 7, no. 1, pp. 50–59, 2018.
[9] J. Nielsen, “Success Rate: The Simplest Usability Metric,” Nielsen Norman Group , 2001. https://www.nngroup.com/articles/success-rate-the-simplest-usability-metric/
[10]  J.  Sauro,  “Measuring  Errors  in  the  User  Experience,” Measuring  U ,  2012. https://measuringu.com/errors-ux/
[11]  Klara  Geltmeyer,  “Usabilit  Of  Registered  Electronic  Nursing  Records  Used  By  Home Care Nurse in Flanders,” Ghent Univ. , pp. 1–44, 2017.
[12]  B.  Hendrawan,  M.  Ansori,  and  R.  Hidayat,  “Pengukuran  dan  Analisis  Beban  Kerja Pegawai Bandara Hang Nadim,” J. Akuntansi, Ekon. dan Manaj. Bisnis , vol. 3, no. 1, pp. 55–67, 2013.
[13]  B. Shneiderman, Designing the User Interface: Strategies for Effective Human-Computer Interaction , 2nd ed. United Kingdom: Addison-Wesley, 1992.
[14]  L.  Holtzschue, Understanding  Color  and  Introduction  for  Designer ,  Fouth  Edit.  Jhon Wiley & Sons : Canada, 2011.