## Survei  Pengukuran Usability Software Menggunakan  Metode Systematic Literature Review
Puan Maharani Kurniawan 1,* , Dewana Firman Abdul Mu’izz 2 , Alvi Durunnafis 3 , Muhammad Ainul Yaqin 4 , Abd. Charis Fauzan 5 1,2,3,4 Program Studi Teknik Informatika, Universitas Islam Negeri Maulana Malik Ibrahim Malang
5 Program Studi Komputer, Universitas Nahdlatul Ulama Blitar, Indonesia
1 19650016@student.uin-malag.ac.id; 2 19650082@student.uin-malag.ac.id; 3 19650092@student.uin-malag.ac.id;
4 yaqinov@ti.uin-malang.ac.id; 5 abdcharis@unublitar.ac.id
* corresponding author

## INFO ARTIKEL

## ABSTRAK
Sejarah Artikel Diterima: 7 Maret 2022 Direvisi: 16 Juni 2022 Diterbitkan: 31 Desember 2023 Pengembangan  perangkat  lunak  tentunya  menginginkan  produk  yang dibuat dapat digunakan user dengan efektif dan efisien. Sehingga dalam hal  tersebut,  tentunya  diperlukan  metode  dalam  mengukur usability software .  Namun,  bervariasinya  metode  pengukuran usability  software mempengaruhi masyarakat dalam menentukan metode pengukuran yang paling efisien. Hal tersebut menjadi masalah utama dalam penelitian ini. Pada  dasarnya,  tujuan  penelitian  ini  adalah  untuk  menganalisis  dan membandingkan  berbagai  metode  pengukuran usability  software agar mengetahui karakter, kelebihan, dan kekurangan masing-masing metode. Penelitian ini menggunakan metode Systematic Literature Review (SLR) dimana  akan  menganalisis  metode-metode  berdasarkan  variabel, persamaan setiap metode, perbedaan setiap metode, serta pengklasifikasiannya.  Pengukuran usability  software memiliki  banyak metode dengan penggunaan dan fungsi yang berbeda. Berdasarkan survei tersebut, didapatkan paper yang signifikan dengan pengukuran usability software sejumlah 18 paper dan peneliti yang berpengaruh tentang topik terkait yakni usability software adalah Nigel B., serta tabel hasil metode dari tiap paper dengan total jumlah 18 paper dan masing-masing metode yang  digunakan.  Adapun  metode  yang  paling  sering  digunakan  adalah metode Heuristic  Evaluation dan USE  Questionnaire, dan  yang memenuhi  aspek usability  software yang  mencakup  5  aspek  yaitu learnability,  efficiency,  effectiveness,  errors, dan satisfaction, yang dilihat  pada  kesesuaian dan  jumlah  kemunculan  yang  paling  banyak adalah  metode Heuristic  Evaluation dan USE  Questionnaire. Kedua metode tersebut memiliki keefektifan dan efisiensi yang tinggi sehingga memudahkan dalam proses pengukuran usability software .

## Kata Kunci
Metode pengukuran Pengukuran usability software Systematic Literature Review

## PENDAHULUAN
Sebagian  besar  pengembang  perangkat  lunak  interaktif  dan  sistem  informasi menginginkan pengguna untuk menemukan produk yang efektif, efisien, dan memuaskan untuk  digunakan.  Pengguna  pada  umumnya  juga  menginginkan  perangkat  lunak  yang mudah  untuk  dipasang  ( easy  to  pair ),  mudah  untuk  dipelajari  ( easy  to  learn ),  dan  dapat digunakan dengan upaya mental yang dapat diterima. Masalah kegunaan seperti itu semakin signifikan.  Namun,  perlu  diketahui  bahwa  prinsip  utama  tolak  ukur  keberhasilan  sebuah perangkat lunak  adalah  kegunaan.  Berdasarkan  ISO  9241-11, usability adalah  bagaimana suatu sistem atau produk yang digunakan dapat mencapai tujuan yang diinginkan dengan efektif,  efisien,  serta  mendapat  kepuasan  selama  masa  penggunaan.  Kepuasan  pengguna sangatlah  penting  untuk  mengukur  nilai  kegunaan  suatu  sistem  atau  produk.  Kepuasan
Vol. 5, No. 3, Desember 2023, Halaman 223-243
pengguna mempertimbangkan berbagai masalah yang luas seperti perasaan positif, emosi, dan kenyamanan yang ditimbulkan dari penggunaan suatu sistem atau produk [1], [2].
Survei  ini  dilakukan  dengan  melakukan  studi  literatur  terkait  pengukuran usability software. Penelitian ini menjelaskan  bahwa  suatu  sistem  perangkat lunak harus  lulus  dari standar  pengukuran usability software agar  pengguna  mudah  dalam  mengakses software tersebut.  Standar  usabilitas software meliputi  ; kemudahan,  efisiensi,  mudah  diingat, kesalahan  dan  keamanan,  serta  kepuasan  [3].  Sedangkan  untuk  pengukuran software terdapat  berbagai  macam  variasi  metode  pengukuran  dan  tinggal  ditentukan  berdasarkan spesifikasi  dari  masing-masing  metode  pengukuran usability software tersebut  sesuai dengan kebutuhan. Dengan mengetahui pengukuran usability software , pengembang sistem perangkat  lunak  dapat  mengembangkan  sistemnya  berdasarkan  hasil  dari  pengukuran tersebut untuk meminimalisir kekurangan yang terdapat dalam software tersebut. Sehingga, sistem perangkat lunak tersebut dapat digunakan secara maksimal oleh pengguna.
Berdasarkan  penjelasan  diatas,  dapat  dirumuskan  tingkat  kepentingan  atau  urgensi dari   penelitian  ini  yaitu,  dalam  pengukuran  usabilitas  atau  kegunaan software terdapat berbagai  macam  metode  yang  digunakan.  Menurut  Paz  F,  terdapat  34  metode  evaluasi usability  software yang  telah  digunakan  pada  300 paper [4].  Karena  hal tersebut pengembang  perangkat  lunak  harus  mengetahui  kelebihan  dan  kekurangan  dari masing-masing metode tersebut untuk dapat menentukan metode mana yang paling efektif, efisien, dan memuaskan sesuai dengan aspek-aspek usability . Dalam hal ini, usability pada software sangat  penting  untuk  mempermudah  pengguna  dalam  menggunakan  dan memahami  suatu software yang  digunakan  [5] . Penelitian  ini  akan  menyaring  metode- metode yang  sesuai  dengan  aspek usability  software guna  mendapatkan  metode  yang terbaik.
Dampak yang dirasakan oleh pengguna akibat tidak melakukan pengukuran usability pada software yang  dibangun  ditemukan  pada website Sociolla  dalam  penelitian  [6]. Pengguna  merasa  membutuhkan  waktu  yang  cukup  lama  setiap  kali  berinteraksi  dengan website Sociolla dan sering terjadi crash yang disebabkan oleh website Sociolla. Hal tersebut membuat pengguna enggan melakukan aktivitas pada website sehingga terdapat penilaian negatif yang diberikan oleh pengguna. Dampak lain juga dirasakan oleh pengguna website Dinas Kebudayaan dan Pariwisata Kota Bandung. Permasalahan yang terdapat pada website ini  adalah  pengguna  merasa  kesulitan  dalam  mencari  informasi,  tampilan  website  yang kurang  responsif,  fitur-fitur  yang  dibutuhkan  tidak  terdapat  pada  website  pada  beberapa fungsi, serta respon saat membuka website cukup lama [7].
Tujuan  dari  survei  pengukuran usability software ini  adalah  untuk  mengidentifikasi paper yang paling signifikan, peneliti yang aktif berpengaruh, metode pengukuran usability software , dan metode mana yang paling banyak digunakan dalam melakukan pengukuran usability software berdasarkan survei paper - paper ilmiah. Manfaat dari survei pengukuran usability  software yaitu  dapat  memberikan  informasi  dan  rangkuman  kepada  pengguna maupun  pengembang  perangkat  lunak  tentang  metode  pengukuran usability  software . Beberapa  tahun  belakangan,  terdapat  berbagai  penelitian  yang  mengangkat  topik  survei tentang usability software. Studi tersebut telah dilakukan dengan jenis software tertentu. Dalam penelitian ini, peneliti tidak fokus pada kategori tertentu. Sebaliknya, peneliti telah mempertimbangkan semua jenis metode usability software sebaik mungkin. Hendradewa dalam penelitiannya membandingkan metode pengukuran usability. Hasil yang didapatkan adalah  bahwa  UEM  yang  paling  disarankan  untuk  digunakan  dalam  proses  evaluasi usability perangkat smartphone adalah heuristic evaluation setelah dibandingkan dengan cognitive  walkthrough dan think  -  aloud  evaluation [8].  Salvador  dalam  penelitiannya menyajikan  tinjauan  sistematis  teknik usability  system yang  digunakan  dalam pengembangan  produk  perangkat  lunak  yang  mengikuti  pedoman  metodologi  agile.
Vol. 5, No. 3, Desember 2023, Halaman 223-243
Hasilnya, mereka menemukan bahwa yang paling sering digunakan teknik dalam proyek tersebut  adalah  kombinasi  dari  berbagai  metode usability .  Semua  teknik  kegunaan digunakan selama pengujian fase, yang merupakan praktik buruk karena memerlukan biaya yang  tinggi  untuk  melakukan  modifikasi  pada  fase  akhir  [9].  Ivory  menerbitkan  studi ekstensif  terkait  dengan  keadaan  seni  di  bidang  usability.  Dalam  penelitian  tersebut, sejumlah besar metode dianalisis secara komparatif. Akibatnya, taksonomi baru diusulkan. Para  penulis  menetapkan  bahwa  metode usability harus  diklasifikasikan  ke  dalam  lima kategori  utama: testing,  inspection,  inquiry,  analytical  modeling,  dan  simulation .  Para penulis  ini  fokus  pada  keberadaan  metode  evaluasi  otomatis  untuk  meningkatkan kategorisasi  mereka.  Namun,  hasil  menunjukkan  bahwa  otomatisasi  metode  ini  tidak menangkap semua informasi yang terkait dengan usability . Di sana adalah aspek subjektif seperti  preferensi  pengguna  dan  kesalahpahaman  yang  hanya  dapat  ditemukan  dengan menggunakan  metode  tradisional  [10].  Kontribusi  ilmiah  yang  memaparkan  tentang pengukuran usability  software sudah  banyak  dibahas  oleh  para  peneliti  sejak  lama  dan masih  relevan  sampai  saat  ini.  Sebagai  pembeda  dengan  penelitian  terdahulu,  peneliti menyajikan  kebaruan  ilmiah  yaitu  hasil  analisis  metode  yang  paling  memenuhi  aspek usability software , dimana lima (5) aspek  tersebut dilihat pada kesesuaian dan banyaknya digunakan atau dengan jumlah kemunculan terbanyak pada metode pengukuran usability software, beserta dipaparkan kelebihan-kelebihan metode tersebut.

## METODE
Penelitian  ini  menggunakan  metode Systematic  Literature  Review (SLR)  atau  dengan istilah  lain  yakni  tinjauan  pustaka  sistematis. SLR  merupakan  sebuah  metode  yang mengidentifikasi,  mengkaji,  mengevaluasi,  serta  menginterpretasikan  seluruh  penelitian yang  tersedia  menggunakan  bidang  topik  terkait  [11].  SLR  bertujuan  untuk  memberikan gambaran mengenai ringkasan literatur saat ini yang relevan dengan  pertanyaan penelitian secara  menyeluruh [12] . Pada  penelitian kali  ini  peneliti  menggunakan  tahapan  -  tahapan metode  SLR  yang  bersumber  dari  Kitchenham  [13].  Proses  mengenai  tahapan  -  tahapan metode SLR tersebut digambarkan pada Gambar 1.

## Planning
Pada  tahapan planning ini  dilakukan  dengan  menentukan Research  Question (RQ). Research  Question (RQ) atau  pertanyaan  penelitian  dirancang  bersumber  pada  kebutuhan terkait  topik  yang  dipilih  dengan  bantuan  kriteria  PICOC,  yaitu  Population  (populasi), Intervention  (intervensi),  Comparison  (perbandingan),  Outcomes  (hasil),  dan  Context (konteks).  Kriteria  ini  digunakan  untuk  mendapatkan  RQ  yang  sesuai  sehingga menghasilkan RQ yang bermanfaat dan terstruktur terhadap suatu topik penelitian.
Tabel 1. Rangkaian PICOC PICOC Criteria Description P Population Usability Software, Usability Measurement, Usability Standard I Intervention Type of Usability Measurement, Usability Tools Measurement, Usability Measurement Standard C Comparasion Comparasion between Usability Software Measurement O Outcomes Classification of Usability Software Measurement C Context Survey based on appropriate literature, papers, articles, and books
Berdasarkan  Tabel  1  dapat  dirumuskan Research  Question (RQ)  dengan  menjelaskan detail dari masing-masing kriteria yang telah disebutkan berdasarkan topik penelitian.
Tabel 2. Hasil RQ Research Question (RQ) Tujuan RQ1 Paper manakah yang memiliki judul publikasi yang signifikan dari tahun ke tahun? Identifikasi paper yang paling signifikan dalam pengukuran usability software RQ2 Siapakah peneliti yang berpengaruh dalam penelitian? Identifikasi peneliti yang berpengaruh dalam pengukuran usability software RQ3 Apa saja metode yang digunakan dalam pengukuran usability software ? Identifikasi jenis-jenis metode pengukuran usability software RQ4 Apa saja metode yang paling sering digunakan dalam pengukuran usability software ? Identifikasi jenis metode yang paling sering digunakan dalam pengukuran usability software RQ5 Apa saja metode yang paling memenuhi aspek usability software ? Identifikasi jenis-jenis metode yang paling memenuhi aspek usability software

## Conducting
Search Strategy Pada tahapan search strategy ini dilakukan dengan menentukan keyword pencarian literatur  berdasarkan  pada  PICOC  yang  telah  dirancang.  Literatur  terkait  pengukuran usability dicari  untuk  memperoleh  referensi  yang  lebih  luas  atau  lebih  komprehensif.
Vol. 5, No. 3, Desember 2023, Halaman 223-243
Perspektif yang luas diperlukan untuk cakupan literatur yang luas. Pencarian dilakukan secara  terbatas  menurut  tahun  penerbitan  :  1994-2020. Keyword pencarian  sumber literatur review:
(" Software Usability " OR " Software Usability Measurement ") AND (" Systematic Literature Review " OR "SLR") AND ( publication year > 1993)

## Search Process
Pada tahapan search process ini dilakukan dengan menentukan sumber literatur dari pencarian  literatur.  Proses  pencarian  dilakukan  dengan  menggunakan  perpustakaan digital untuk menentukan relevansi setiap paper yang dipaparkan pada Tabel 3.
Tabel 3. Hasil Pencarian dan Penentuan Sumber Literatur
Perpustakaan Digital Halaman Web Batasan Pencarian Google Scholar scholar.google.com Memiliki judul yang relevan terhadap penelitian Science Direct sciencedirect.com Memiliki judul yang relevan terhadap penelitian dan berdasarkan waktu publikasi Research Gate researchgate.net Memiliki judul yang relevan terhadap penelitian Springer link link.springer.com Memiliki judul yang relevan terhadap penelitian dan berdasarkan waktu publikasi IEEE Xplore ieeexplore.ieee.org Memiliki judul yang relevan terhadap penelitian dan berdasarkan waktu publikasi

## Selection of Primary Studies
Berdasarkan Tabel 3, pada tahap search process, kemudian dilakukan penyeleksian terhadap  literatur  yang  sesuai  untuk  digunakan  berdasarkan  kriteria  yang  meliputi kriteria  inklusi  dan  eksklusi.  Setiap  literatur  yang  diambil  dari  pencarian  otomatis, diperiksa  oleh  peneliti  untuk  menentukan  kriteria  inklusi  dalam  pemetaan  sistematis literatur ini. Proses evaluasi melibatkan tinjauan keseluruhan dokumen: judul, abstrak, pendahuluan,  latar  belakang,  hasil  dan  kesimpulan.  Salah  satu  bagian  tersebut  harus memenuhi kriteria inklusi dan eksklusi yang dapat dilihat pada Tabel 4.
Tabel 4. Kriteria Pengelompokan Paper yang Sesuai
Kriteria Inklusi Kriteria Eksklusi Membahas mengenai pengukuran usability software Diterbitkan sebelum tahun 1990 Membahas ciri-ciri pengukuran usability software Pembahasan ciri-ciri kurang lengkap Membahas aspek dalam pengukuran usability software Tidak menjelaskan detail aspek pengukuran Membahas metode untuk mengukur usability software Tidak menjelaskan detail perhitungan usability software

## Data Extraction
Vol. 5, No. 3, Desember 2023, Halaman 223-243
Proses ekstraksi data mencakup informasi berikut: a) Judul Paper, b) Penulis, c) Jenis Publikasi, d) Nama Konferensi atau Paper di mana studi tersebut ditampilkan, f) Tahun Publikasi, g) Perpustakaan Digital penelitian ditemukan. Proses pencarian literatur dalam penelitian ini membutuhkan waktu 20 hari mulai tanggal 16 Mei 2022 sampai dengan 04 Juni 2022. Berikut hasil pencarian literatur berdasarkan kriteria inklusi dan eksklusi yang dapat dilihat pada Tabel 5.
Tabel 5. Hasil Pencarian Literatur Perpustakaan Digital Literatur yang Didapat Literatur yang Relevan Google Scholar 14 8 Science Direct 1 1 Research Gate 4 4 Springer Link 3 3 IEEE Xplore 2 2 Total 24 18
Berdasarkan  Tabel  5,  dapat  dilihat  bahwa  jumlah  perpustakaan  digital  yang digunakan dalam penelitian ini sebanyak 5, diantaranya adalah Google Scholar , Science Direct , Research Gate , Springer Link , dan IEEE Xplore . Total keseluruhan dari literatur yang  berhasil  didapatkan  sebanyak  dua  puluh  empat  (24)  literatur dan  literatur  yang relevan sebanyak delapan belas (18) literatur.

## Study Quality Assessment
Untuk  menemukan  relevansi  studi  primer, quality  assessment atau  kualitas pertanyaan  penilaian  dipaparkan  pada  Tabel  6.  Tujuan  dari  pertanyaan-pertanyaan  ini adalah sebagai sarana untuk menimbang pentingnya studi primer yang dipilih. Peringkat pertanyaan sebagai 1 (yes) dan 0 (no) diberikan untuk menjawab setiap pertanyaan pada paper yang dipilih. Skor akhir untuk setiap paper yang dipilih setelah menambahkan nilai yang ditetapkan untuk setiap quality assessment questions diperoleh.
Tabel 6. Pertanyaan Kualitas Studi Quality Assessment Questions 1 (yes) 0 (no) QA1 Apakah dituliskan metode yang digunakan untuk
pengukuran usability software? QA2 Apakah metode pengukuran usability didefinisikan dengan
jelas?
QA3 Apakah metode yang digunakan telah memenuhi aspek
usability ?
Keterangan : 1 (yes) : jika menemukan jawaban atas pertanyaan yang dinyatakan 0 (no) : jika tidak menemukan jawaban

## Data Synthesis
Tujuan dari tahap ini adalah untuk menyusun dan meringkas hasil dari studi primer yang dipilih sehingga bisa didapatkan jawaban atas pertanyaan penelitian ini:
1. Paper yang paling signifikan dalam pengukuran usability software (mengarah pada RQ1)
Vol. 5, No. 3, Desember 2023, Halaman 223-243
2. Peneliti yang berpengaruh dalam pengukuran usability software (mengarah pada RQ2)
3. Metode yang digunakan dalam pengukuran usability software (mengarah pada RQ3)
4. Metode  yang  paling  sering  digunakan  dalam  pengukuran usability  software (mengarah pada RQ4)
5. Metode yang paling memenuhi aspek usability software (mengarah pada RQ5)

## Reporting
Pada tahapan reporting ini merupakan tahapan terakhir dari metode Systematic Literature Review (SLR). Bagian  ini  menampilkan  hasil  studi  primer  yang  dipilih.  Berdasarkan penelitian ekstensif pada studi, beberapa poin kunci penting diekstraksi.
Tabel 7. Detail Skor Berdasarkan Tabel 6
Categories of Scores Range of Scores Scores Included Primary Studies High (Score = 3) 3 [2][5][14][15][16] Medium (Score = 2) 2 [3][7][17][18][19][20][21][22][23][24][25][26] [27] Low (0<Score<1) 1 [28][29][30][31][32][33] 0 -

## *Nilai maksimum: 3 dan nilai minimum: 0

## Quality Assessment Questions
Skor  akhir  dievaluasi  untuk  setiap  studi primer  yang  disertakan.  Kategori,  kisaran skor dan deskripsi studi primer yang disertakan dengan skor yang diberikan pada Tabel 7. Penelitian ini menyoroti beberapa poin yang perlu diperhatikan:
1. Studi  [2][5][14][15][16],  mendapatkan  skor  tertinggi  dengan  menjawab  seluruh Quality Assessment Questions.
2. Studi [3][7][17][18][19][20][21][22][23][24][25][26] [27] , tidak menjawab QA2
3. Studi [28][29][30][31][32][33], tidak menjawab QA2 dan QA3
Berdasarkan  penilaian  kualitas  studi  didapatkan  18  studi  yang  layak  dilanjutkan untuk  dianalisis.  Studi  yang  tidak  menjawab  salah  satu  dari  yang  diidentifikasi pertanyaan penelitian tidak dilanjutkan untuk dianalisis.

## HASIL DAN PEMBAHASAN

## Paper Paling Signifikan (RQ1)
Paper  yang  paling  signifikan  dikumpulkan  dengan  berdasarkan  Q Category, “Q1 in Software Usability ” dan “Q1 Software Usability Measurement ”. Terdapat delapan belas (18) paper yang paling signifikan, berikut pemaparannya yang dapat dilihat pada Tabel 8.
Tabel 8. Hasil Analisis Paper Berdasarkan Q Category No Paper Publications Q Category 1 [2][5][14][15][16] Q1 in Software Usability 2 [3][7][17][18][19][20][21][22][23][24][25][26] [27] Q1 Software Usability Measurement
Vol. 5, No. 3, Desember 2023, Halaman 223-243
Literatur  yang  menganalisis  tentang  pengukuran usability  software beserta  tahun terbitnya  dari  tahun  1994  sampai  dengan  2020  sejumlah  delapan  belas  (18) paper yang ditampilkan pada Gambar 2.
Gambar 2. Distribusi Studi Pilihan Berdasarkan Tahun Terbit
Gambar 2 menunjukkan bahwa minat para peneliti yang membahas pengukuran usability software selalu berubah seiring berjalannya waktu. Hasil yang didapatkan dalam survei ini adalah literatur yang diterbitkan sejak tahun 1994 sampai dengan 2020 menunjukkan bahwa bidang penelitian terkait pengukuran usability software masih sangat relevan.

## Peneliti Paling Aktif dan Berpengaruh (RQ2)
Berdasarkan literatur yang sudah dianalisis, peneliti yang paling aktif dalam melakukan penelitian tentang pengukuran usability software ditunjukkan pada Gambar 3.
Gambar 3. Daftar Peneliti Berpengaruh
Berdasarkan Gambar 3, disimpulkan bahwa peneliti yang membahas tentang topik terkait yakni usability software adalah Nigel B. Maka dari itu, peneliti menjadikan paper milik Nigel B. sebagai sumber penelitian.

## Jenis Metode Pengukuran Usability Software (RQ3)
Tabel 9. Perbandingan Metode Usability No Metode Proses 1 Heuristic Evaluation Metode ini melibatkan 3 orang evaluator dimana salah satunya merupakan expert yang sudah memiliki pengalaman selama empat tahun bekerja. Sehingga dengan pengalaman tersebut, evaluator diharapkan dapat memberikan hasil yang valid. Selama  proses  pengukuran  usability  dilakukan,  evaluator  akan  menguji berdasarkan  prinsip-prinsip  usability.  Hasilnya,  evaluator  akan  memberikan daftar  masalah  usability  yang  terdapat  pada  user  interface  beserta  referensi prinsip-prinsipnya [34].
2 Cognitive Walkthrough Menurut Wilson (2014) prosedur metode cognitive walkthrough meliputi : Perencanaan  metode  cognitive  walkthrough.  Langkah-langkah  mendasar  pada cognitive walkthrough sebagai berikut : a) Menentukan pengguna produk b)  Tentukan  skenario  tugas  dan  jenisnya  (cara  yang  berbeda  untuk  melakukan skenario tugas yang sama) yang paling tepat untuk walkthrough
c) Mengembangkan aturan-aturan dasar untuk walkthrough
d) Menghasilkan urutan tindakan untuk setiap tugas e) Memberikan representasi (gambaran) antarmuka f) Menyusun sekelompok evaluator untuk cognitive walkthrough
Pelaksanaan cognitive walkthrough melalui langkah-langkah berikut : a)  Walkthrough  melalui  urutan  tindakan  untuk  setiap  skenario  tugas  dari perspektif yang “khas” pengguna produk
b)  Catat  atau rekam  keberhasilan,  kegagalan,  saran  desain,  masalah  yang  tidak keluar  langsung  dari  walkthrough,  asumsi  pengguna,  komentar  tentang  tugas- tugas,  dan  informasi  lain  yang  mungkin  berguna  untuk  desain.  Gunakan  form standar  untuk  proses  ini  sehingga  dapat  dengan  mudah  merekam  dan  melacak informasi
Pasca cognitive walkthrough meliputi langkah-langkah berikut : a)  Mengumpulkan  para  pemangku  kepentingan  (stakeholders)  untuk  meninjau hasil cognitive walkthrough secara bersama-sama
b)  Mendiskusikan  solusi  terbaik  untuk  masalah  user  interface  yang  ditemukan pada walkthrough
c) Menentukan solusi yang akan diterapkan
d) Mengevaluasi proses cognitive walkthrough dan menentukan perbaikan yang dapat dilakukan untuk walkthrough berikutnya. 3 SUMI  (Software Usability Measurement Inventory) Prosedur SUMI meliputi: 1. Mengumpulkan responden
2. Memberikan  kesempatan  responden  untuk  mencoba  sistem/aplikasi  yang akan diuji
3. Membuat kuesioner yang berisi pertanyaan yang akan diisi oleh responden
4. Rekapitulasi data
5. Pengelolaan hasil kuesioner
6. Analisis data hasil 4 WAMMI (Website Analysis
and
Membuat kuesioner kemudian diisi oleh pengunjung website . Lalu memberikan hasil  tingkat  kemudahan  dan  manfaat website tersebut  ketika  digunakan  oleh
Vol. 5, No. 3, Desember 2023, Halaman 223-243 Measurement Inventory)
pengunjung. Laporan hasil pengukuran usability menggunakan metode WAMMI memberikan informasi sebagai berikut:
• Poin usability secara keseluruhan dan peringkat umum website .
• Profil usability secara  detail  dalam  lima  skala usability :  daya  tarik, kontrol, efisiensi, kegunaan, dan kemampuan belajar.
• Daftar  terperinci  dari  aspek-aspek website yang  diukur  yang  menurut pengunjung sangat bagus atau bermasalah [27]. 5 Use Questionnaire
Pengujian  dengan Use  Questionnaire telah  disediakan template pertanyaan mengenai nilai - nilai usability seperti usefulness, ease of use, ease of learning, dan satisfaction yang didapat dari https://garyperlman.com/quest/quest.cgi?form=USE .
• Pada  tahap  pengajuan  kuesioner,  pengguna  sistem  diberikan  informasi mengenai sistem yang akan dinilai. Kemudian responden diberikan waktu 1 minggu untuk mengisi kuesioner yang telah diberikan.
• Tahap  selanjutnya  yaitu  uji  kelayakan  hasil.  Tahap  ini  melakukan  2  uji kelayakan, yang pertama yaitu uji validitas dan kemudian  uji reliabilitas.
Uji  Validitas  :  Tujuan  dilakukannya  uji  validitas,  untuk  dapat mengetahui  kelayakan  dalam  buah-buah  pernyataan.  Dikatakan  valid bila  tingkat  korelasi  lebih  besar  dari  nilai  koefisien  korelasi  produk momen pearson dengan rumus sebagai berikut [33]:
𝑟 = 𝑡 √𝑑𝑓 + 𝑡 2
Keterangan : r = r-table, koefisien korelasi produk momen pearson t = Fungsi dari Ms. Excel untuk mencari nilai inversi two tailed. Menggunakan rumus TINV(probability; degree freedom) probability = Nilai kemungkinan y df = degree freedom. (df = n -2) *n = jumlah responden
Uji Realibilitas : Pengujian reliabilitas dimaksudkan untuk mengetahui dan membuktikan konsistensi  alat  ukur  yang  digunakan.  Hasil  uji  realibilitas  dilihat  dari nilai  koefisien  Cronbach’s  Alpha.  Bila  hasilnya  realibel  maka  dapat dilanjutkan ke tahapan berikutnya. • Tahap pengukuran usabilitas,
Berikut rumus perhitungan pengukuran kelayakan: 𝑝𝑘(%) = 𝑠𝑘𝑜𝑟 𝑜𝑏𝑠𝑒𝑟𝑣𝑎𝑠𝑖 𝑠𝑘𝑜𝑟 𝑑𝑖ℎ𝑎𝑟𝑎𝑝𝑘𝑎𝑛 𝑥 100%
Kemudian hasil hitungan persentase usability dibandingkan dengan nilai standar kelayakan.
Standar Kelayakan Rentang nilai (%) Kesimpulan nilai < 21 Sangat Tidak Layak 21 – 40 Tidak Layak 42 – 60 Cukup 61 – 80 Layak 81 – 100 Sangat Layak 6 WEBUSE  (Web Usability Evaluation) Pengujian usability menggunakan kuesioner WEBUSE dibagi menjadi beberapa tahap, yaitu: 1. Memilih website yang akan dievaluasi.
2. Semua pertanyaan yang ada pada kuesioner dijawab oleh responden.
3. Merit  digunakan  berdasarkan  tanggapan  pengguna  untuk  setiap pertanyaan  dan  kemudian  diakumulasikan  untuk  setiap  kategori usability.
4. Skor kategori usability merupakan mean value dari setiap kategori.
5. Skor usability dari website merupakan mean value dari setiap kategori.
6. Tingkatan usability ditentukan berdasarkan skor usability.
7 IsoMetrics Dua penilai mengkategorikan setiap komentar atau masalah ke dalam salah satu kategori berikut:
• New functionality : Pengguna menuntut fungsi baru.
• New  combination  of  functions :  Pengguna  lebih  menyukai  fungsi  yang nyaman di dalam sistem.
• Enhance  user-system  communication :  Istilah  yang  digunakan  oleh sistem tidak memadai untuk kelompok pengguna.
• Help  system  and  documentation :  Penjelasan  sistem  tidak  lengkap  atau salah.
• Error  protection :  Pengguna  meminta  perlindungan  sistem  terhadap kesalahan.
• Screen  arrangement :  Pengguna  meminta  pengaturan  pesan  yang  lebih baik di layar
• User navigation : Navigasi yang lebih cepat dan/atau tidak terlalu rumit dalam sistem.
• Better  time  efficiency :  Pengguna  merasa  bahwa  reaksi  sistem  terlalu lambat.
• Other : Komentar yang tidak berkaitan dengan grup pengembang sistem.
Jika  formasi  skala  valid,  tabulasi  silang  skala  dan  pernyataan  rahasia  yang ditimbulkan oleh skala harus menunjukkan kontinjensi  yang berbeda. Prasyarat yang diperlukan dari tabulasi silang adalah objektivitas yang tinggi: Objektivitas ini  ada  karena  keandalan  antar  penilai  ternyata  sangat  tinggi  (kappa  Cohen  = 0,95). Hasil penelitian menunjukkan bahwa struktur skala kegunaan, setidaknya sebagian, dicerminkan oleh kategori komentar:
• Skala ` suitability for the task ’ membangkitkan sejumlah besar catatan. Sebagian besar komentar menyarankan fungsionalitas sistem yang lebih baik.
• Seperti  yang  diharapkan,  sebagian  besar  pernyataan  yang  ditimbulkan oleh  skala  ` controllability '  (CON)  ditempatkan  dalam  kategori  ` user navigation '  dan  ` new  combination  of  functions '.  Tidak  ada  skala  lain yang membangkitkan sejumlah besar atau komentar tentang navigasi.
• Skala  ` self-descriptiveness '  (SD)  membangkitkan  komentar  tentang komunikasi  sistem  pengguna  dan  sistem  bantuan.  Jelas  ini  kontras dengan dua aspek kegunaan pertama (ST, CON).
• Masalah  muncul  dengan  skala  ` conformity  with  user  expectations ' (CUE).  Kontinjensi  skala  ini  sebanding  dengan  skala  ST.  Namun, sementara skala ST membangkitkan pernyataan tentang tugas yang tidak diproses oleh sistem, pernyataan yang ditimbulkan oleh CUE berkaitan dengan fungsi yang hilang dalam tugas yang ada.
• Distribusi  kontinjensi  skala  ` error  tolerance '  (ET)  memuncak  pada kategori ` error tolerance '; ini berbeda dari semua skala lainnya.
• Skala  ` suitability  for  individualization '  (SI)  terutama  menimbulkan komentar  tentang  fungsionalitas  yang  hilang  sehubungan  dengan  fitur khusus individualisasi.
• Skala  ` suitability for  learning '  (SL)  juga menimbulkan  komentar rinci tentang  topik  ini,  sebagian  besar  dalam  kategori  ` help  system  and documentation ' [35].

## Heuristic Evaluation
Heuristic  evaluation merupakan  sebuah  metode  yang  digunakan  untuk  mengevaluasi desain antarmuka pengguna sehingga dapat menemukan masalah pada usability -nya [36].
Vol. 5, No. 3, Desember 2023, Halaman 223-243
Tujuan utama metode ini adalah untuk mengidentifikasi masalah usability yang dianalisis yang berdasarkan pada prinsip-prinsip usability yang telah ditetapkan [37]. Prinsip-prinsip tersebut menurut  Nielsen  (1993)  dalam  [38]  antara lain  adalah  (1) visibility  of  the  system status, (2) match  between  system  and  the  real  world, (3) user  control  and  freedom, (4) consistency  and  standards, (5) error  prevention, (6) recognition  rather  than  call, (7) flexibility and efficiency of use, (8) aesthetic and minimalist design, (9) help users recognize, diagnose, and recover from errors, and (10) help and documentation.
Prinsip (1) visibility of the system status menurut Harley (2018) adalah yang berkaitan dengan dasar komunikasi antara pengguna dengan sistem. Prinsip ini secara definitif berarti bagaimana  sistem  memberikan  informasi  kepada  pengguna  secara  terus-menerus  tentang apa yang sedang terjadi melalui feedback dalam jangka waktu yang logis. Prinsip (2) match between  system  and  the  real  world menurut  Kaley  (2018)  adalah  prinsip  yang  berkaitan dengan kebiasaan pengguna. Sistem harus menggunakan bahasa yang biasa digunakan oleh pengguna, bukan bahasa sistem yang sulit dipahami bagi pengguna. Prinsip (3) user control and freedom menurut Nielsen (2017) merupakan prinsip tentang dukungan sistem terhadap pengguna dengan memudahkan dan membuat pengguna bebas dalam interaksinya dengan antarmuka sistem. Prinsip (4) consistency and standards menurut Moran (2019) merupakan kemampuan  sistem  untuk  konsisten  terhadap  fungsi  dari  setiap  fitur.  Prinsip  (5) error prevention menurut Nielsen (2001) mempunyai 2 jenis error dalam penggunaan sistem, yaitu slip  (pada  pengguna  terjadi  tanpa  disadari)  dan  kesalahan  (pada  pengguna  terjadi  dalam kondisi sadar). Prinsip (6) recognition rather than call menurut Buduiu (2019) merupakan kemampuan pengguna dalam mengenali sistem dengan cepat dan tepat. Prinsip (7) flexibility and efficiency of use menurut Sutcliffe (2002) merupakan prinsip yang berhubungan dengan fleksibilitas  sistem  yang  harus  disediakan  untuk  memudahkan  pengguna.  Prinsip  (8) aesthetic  and  minimalist  design menurut  Sutcliffe  (2002)  merupakan  desain  antarmuka sistem yang seharusnya menggunakan kontras warna dan tata letak ( layout ) yang baik dan serasi  serta  menghindari  elemen  yang  terlihat  ramai.  Prinsip  (9) help  users  recognize, diagnose, and recover from errors menurut Nielsen (2001) merupakan tampilan pesan error dalam bahasa yang sederhana serta terdapat solusi untuk menangani error tersebut. Terakhir, prinsip  (10) help  and  documentation menurut  Nielsen  (2001)  merupakan  kesiapan dokumentasi  untuk  membantu  pengguna  dalam  memahami  masalahnya  ketika menggunakan sistem [39].

## Cognitive Walkthrough
Cognitive walkthrough adalah sebuah metode evaluasi yang dapat memprediksi seberapa mudah  seseorang  mengerti  terhadap  tugas  yang  diberikan  dalam  menggunakan  sistem berbasis  komputer  [4].  Metode  ini  menitikberatkan  pada  kesederhanaan  pembelajaran dengan  berdasarkan  teori  pembelajaran  eksploratif.  Pengguna  mencoba  melakukan  tugas menggunakan  teknik  coba-coba  yang  menggambarkan  simulasi  proses  kognitif  pengguna saat  melakukan  tugas  tertentu. Cognitive  walkthrough menilai  apakah  pengetahuan pengguna sesuai dengan petunjuk terkait penggunaan sistem yang mengarah pada tindakan dan tujuan yang benar [40]. Terdapat banyak versi mengenai metode tersebut, versi - versi tersebut  memiliki  penekanan  sistem  kerja  yang  berbeda-beda.  Versi  pertama  dari metode Cognitive walkthrough lebih menekankan pada teori kognitif yang dipakai evaluator sistem yang  akan  diuji.  Versi  selanjutnya  merupakan  versi  yang  tidak  terlalu  baik,  dikarenakan sistem  tersebut  terlalu  kompleks,  sehingga  akan  memerlukan  banyak  waktu  untuk dikeluarkan. Versi terakhir adalah versi yang lebih sederhana dari kedua versi sebelumnya dan juga lebih efektif.
Versi  ketiga  dari  panduan  kognitif  terdiri  dari  tiga  fase:  persiapan,  analisis,  dan  tindak lanjut. Persiapan adalah fase yang digunakan untuk mengidentifikasi pengguna, menentukan
tugas  untuk  dievaluasi,  menentukan  urutan  langkah  tugas  yang  harus  dilakukan,  dan menentukan  bagaimana antarmuka  pengguna  memberikan  informasi  saat tugas  diberikan. Analisis membantu untuk memproses hasil dari tahap persiapan. Proses ini dilakukan dengan memilih  tugas  yang  akan  dilakukan  dan  evaluator  menanyakan  tentang  setiap  tugas  atau rangkaian  tindakan  tertentu.  Tindak  lanjut  merupakan  tahap  akhir  yang  digunakan  untuk mendapatkan hasil perbaikan sehingga dapat dijadikan sebagai rekomendasi perbaikan.

## SUMI (Software Usability Measurement Inventory)
Software  Usability  Measurement  Inventory (SUMI)  merupakan  kuesioner  yang dikembangkan  oleh  Universitas College  Cor untuk  mengukur  kualitas  penggunaan perangkat lunak berdasarkan perasaan pengguna saat menggunakan perangkat lunak tersebut untuk mengetahui pengguna dalam menggunakan sistem yang dibangun adalah berdasarkan pengujian  SUMI  [41].  Metodologi  ini  didasarkan  pada  survei  yang  dirancang  untuk mengeksplorasi  pengalaman  dan  pandangan  pengguna  mengenai  kegunaan  produk perangkat  lunak.  Metode  SUMI  ini  memberikan  butir  -  butir  pertanyaan  kuesioner  yang nantinya  akan  disebar  kepada  para  pengguna,  pengguna  hanya  akan  diberikan  pilihan jawaban  yakni  “setuju”,  “ragu  -  ragu”,  atau  “tidak  setuju”.  SUMI  akan  berjalan  efektif dengan setidaknya terdapat 10 atau lebih pengguna yang akan melakukan pengujian. Poin kegunaan  dihitung  sebagai  respon  para  pengguna  yang  dilakukan  menggunakan  konsep statistik. SUMI memberikan gambaran tentang kegunaan perangkat lunak yang diuji. Hal ini tercermin dalam lima subskala berikut [42]:
1. Efisiensi,  yaitu  sejauh  mana  pengguna  menganggap  perangkat  lunak  yang  diuji bermanfaat sesuai kebutuhan.
2. Dampak,  yaitu  respons  emosional  umum    pengguna  terhadap  perangkat  lunak  yang mereka gunakan.
3. Kegunaan.  Ini  hanya  sebatas  bahwa  pengguna  terbiasa  mengoperasikan  atau menggunakan  perangkat  lunak  dan  terkait  dengan  validitas  dokumentasi  yang mendukung.
4. Kontrol,  yaitu  sejauh  pengguna  merasa  bahwa  pengguna  dapat  mengontrol  perangkat lunak.
5. Kemungkinan  belajar,  yaitu  pengguna  dapat  dengan  mudah  mempelajari  sehingga pengguna dapat merasakan bahwa sistem dapat dipelajari.

## WAMMI (Website Analysis and Measurement Inventory)
Nigel  dan  Kirakowski  mengungkapkan  dalam paper Azizah  Ahmad  bahwa  WAMMI adalah  kuesioner  yang  diisi    pengunjung  situs  web  untuk  mengukur  kegunaan  dan kemudahan penggunaan situs web mereka [26]. WAMMI terdiri dari 20 pernyataan, meliputi pernyataan positif dan negatif yang dimana penguji hanya akan diberikan pilihan jawaban yakni “sangat setuju”, “setuju”, “netral”, “tidak setuju”, dan “sangat tidak setuju”. Terdapat lima  elemen  kegunaan  yang  didefinisikan  oleh  WAMMI  :  daya  tarik,  keterkontrolan, kegunaan,  efisiensi  ,  dan  potensi  pembelajaran.  Lima  elemen  atau  faktor  tersebut  harus mendapatkan nilai lebih dari 50 untuk dapat dikatakan sistem yang dinilai diatas rata - rata, dan begitu juga sebaliknya jika nilai yang di dapat kurang dari 50 sistem tersebut diartikan sebagai sistem yang dibawah rata - rata. Adapun lima elemen yang dimaksud sebagai berikut [26]:
1. Daya Tarik
Situs web dianggap menarik jika secara visual menarik bagi pengguna dan menawarkan banyak manfaat bagi pengguna dalam hal fitur dan informasi.
2. Keterkendalian
Vol. 5, No. 3, Desember 2023, Halaman 223-243
Situs  web  dikatakan  terkontrol  dengan  baik  ketika  pengguna  dapat  dengan  mudah menavigasi ke/dan melakukan apa yang ingin mereka lakukan.
3. Bermanfaat
Sebuah situs dikatakan memiliki manfaat yang baik apabila situs tersebut sesuai dengan harapan penggunanya, baik dari segi konten dan strukturnya.
4. Efisiensi
Sebuah situs dikatakan memiliki efisiensi yang tinggi apabila penggunanya merasa dapat dengan cepat menemukan dan melakukan apa yang menarik perhatian mereka secara efektif dan ekonomis.
5. Mudah Dipelajari
Sebuah  situs  dikatakan  memiliki  learnability  yang  tinggi  apabila  penggunanya  dapat menggunakan situs tersebut walaupun dengan pengenalan yang minimum.

## Use Questionnaire
Kuesioner digunakan untuk mengukur objek penelitian guna mengumpulkan informasi, oleh karena itu dibutuhkan desain kuesioner yang baik dan terencana dalam penelitian [43]. USE  Questionnaire  merupakan  bentuk  kuesioner  untuk  membantu  dalam  pengukuran usability produk maupun jasa secara subyektif daya gunanya yang terdiri dari 30 pertanyaan yang  dikelompokkan  ke  dalam  4  dimensi,  diantaranya:  kegunaan,  kemudahan  untuk digunakan,  kemudahan  dipelajari  dan  kepuasan  [44].  Survei  tersebut  berisi  sejumlah pernyataan  yang  dikelompokkan  ke  dalam  aspek USE ,  yang  merupakan  singkatan  dari usefulness (kegunaan), satisfaction (kepuasan), ease of use (kemudahan penggunaan).

## WEBUSE (Web Usability Evaluation)
WEBUSE menurut Al-Badi dan Meyhew (2011) dalam bentuk parameter keberhasilan sebuah website ketika berinteraksi dengan pengguna dalam melakukan suatu tugas dengan mudah.  Parameter  keberhasilan  tersebut  diukur  dari  kemampuan  sebuah website dalam memberikan  kualitas  kepada  pengguna,  memudahkan  proses  untuk  mempelajari  website, menekan  kemungkinan  terjadinya  kesalahan  pada  sistem,  dan  penggunaan  secara  efisien sehingga pengguna merasa puas [7].
Kategori usability pada metode ini menurut Chiew dan Salim (2003) dalam [16] dibagi berdasarkan kriteria evaluasi usability, yaitu (1) Content, Organization, and Readability , (2) Navigation  and  Links ,  (3) User  Interface  Design ,  (4) Performance  and  Effectiveness . Pengujian  usability  menggunakan  kuesioner  WEBUSE  dibagi  menjadi  beberapa  tahap, yaitu:
1. Memilih website yang akan dievaluasi.
2. Semua pertanyaan yang ada pada kuesioner dijawab oleh responden.
3. Merit  digunakan  berdasarkan  tanggapan  pengguna  untuk  setiap  pertanyaan  dan kemudian diakumulasikan untuk setiap kategori usability .
4. Skor kategori usability merupakan mean value dari setiap kategori.
5. Skor usability dari website merupakan mean value dari setiap kategori.
6. Tingkatan usability ditentukan berdasarkan skor usability .
Tabel 10. Kesesuaian Merit dan Pilihan Jawaban Pilihan Sangat Tidak Setuju Tidak Setuju Netral Setuju Sangat Setuju Merit 0.00 0.25 0.50 0.75 1.00 Sumber: Chiew dan Salim (2003)
Merit tersebut kemudian akan ditambahkan berdasarkan kategori usability . Mean value pada  setiap  kategori  merupakan  skor usability untuk  setiap  kategori.  Skor usability untuk kategori, x, didefinisikan pada rumus berikut:
Vol. 5, No. 3, Desember 2023, Halaman 223-243
𝑥 = [∑(𝑀𝑒𝑟𝑖𝑡 𝑢𝑛𝑡𝑢𝑘 𝑠𝑒𝑡𝑖𝑎𝑝 𝑝𝑒𝑟𝑡𝑎𝑛𝑦𝑎𝑎𝑛 𝑝𝑎𝑑𝑎 𝑘𝑎𝑡𝑒𝑔𝑜𝑟𝑖)] [𝑗𝑢𝑚𝑙𝑎ℎ 𝑝𝑒𝑟𝑡𝑎𝑛𝑦𝑎𝑎𝑛] (1)
Total  skor usability  website merupakan mean  value dari  skor usability pada  semua kategori. tingkatan usability ditentukan dari jumlah skor usability . Berikut hubungan antara skor dengan tingkatan usability beserta penjelasannya.
Tabel 11. Hubungan Skor dengan Tingkatan Usability Skor, x 0<=x<=0.2 0.2<x<=0.4 0.4<x<=0.6 0.6<x<=0.8 0.8<x<=1.0 Tingkatan Usability Bad Poor Moderate Good Excellent Sumber: Chiew dan Salim (2003)
1. Jika skor x lebih besar sama dengan 0, dan x lebih kecil sama dengan 0.2, maka tingkatan usability -nya adalah Bad .
2. Jika skor x lebih besar dari 0.2, dan x lebih kecil sama dengan 0.4, maka tingkatan usability -nya adalah Poor .
3. Jika skor x lebih besar dari 0.4, dan x lebih kecil sama dengan 0.6, maka tingkatan usability -nya adalah Moderate .
4. Jika skor x lebih besar dari 0.6, dan x lebih kecil sama dengan 0.8, maka tingkatan usability -nya adalah Good .
5. Jika skor x lebih besar dari 0.8, dan x lebih kecil sama dengan 1.0, maka tingkatan usability -nya adalah Excellent .
Hasil akhir dari evaluasi usability adalah laporan usability dari keseluruhan kategori usability .

## IsoMetrics
Tujuan dari IsoMetrics adalah evaluasi perangkat lunak menurut ISO 9241. IsoMetrics dapat  diterapkan  dengan  membandingkan  perangkat  lunak  sebagai  produk  pesaing  atau sebagai versi berbeda dari prototipe perangkat lunak (evaluasi sumatif) atau dalam desain sistem  (evaluasi  formatif)  [23].  Indeks  statistiknya  sebesar  reliabilitas  dan  validitas memuaskan. IsoMetrics digunakan sebagai perbandingan produk pesaing atau lainnya rilis atau prototipe perangkat lunak atau sistem. Ini didasarkan pada ISO 9241-10 standar dan disesuaikan dengan prinsip standar ISO 9241-11: kesesuaian dengan tugas, deskripsi diri, kemampuan pengendalian, dan kesesuaian dengan harapan pengguna, kesalahan toleransi, kesesuaian untuk individualisasi dan kesesuaian untuk belajar.

## Metode Pengukuran Usability Software yang Paling Sering Digunakan (RQ4)
Dalam  penelitian  kali  ini,  peneliti  telah  menganalisis  dari paper - paper yang  telah terkumpul  dan  menemukan  bahwa  terdapat  metode  yang  paling  sering  digunakan  oleh berbagai penulis lainnya. Jumlah kemunculan metode pengukuran usability software pada literatur relevan yang dijadikan sumber literatur penelitian dipaparkan pada Tabel 12 berikut:
Tabel 12. Metode pengukuran usability software Metode Pengukuran Usability Software Jumlah Kemunculan Heuristic Evaluation 5 Cognitive Walkthrough 2 IsoMetrics 1
SUMI (Software Usability Measurement Inventory) 1 WEBUSE (Web Usability Evaluation) 1 WAMMI  (Website  Analysis  and  Measurement Inventory) 3 Use Questionnaire 5
Metode yang paling sering digunakan berdasarkan analisa peneliti yaitu metode Heuristic Evaluation dan Use Questionnaire. Metode tersebut lebih banyak diterapkan oleh peneliti lainnya,  karena  metode  tersebut  memiliki  data  yang  terbarui.  Metode Use  Questionnaire mengumpulkan  informasi  dari  responden  yang  memiliki  berbagai  macam  latar  belakang. Responden  tersebut  dapat  berasal  dari  umur  yang  bervariasi,  dan  pekerjaan  yang  berbeda pula.  Karena  hal  itu,  hasil  dari  metode  tersebut  memiliki  hasil  yang  berdasar  dan  tidak memiliki banyak kesamaan antara hasil responden satu dengan responden lainnya.

## Metode yang Paling Memenuhi Aspek Usability Software (RQ5)
Metode yang  baik  adalah  metode  yang  memenuhi  aspek  pengukuran usability. Aspek usability software dipaparkan sebagaimana berikut [2]:
a. Kemudahan  ( learnability )  adalah  ketika  pengguna  mampu  memahami  saat menjalankan  fungsi-fungsi  sistem  atau  produk  tersebut,  serta  ketika  pengguna mendapatkan fungsi yang ingin didapat pada sistem tersebut.
b. Efisiensi ( efficiency ) adalah alat untuk memperoleh tujuan yang tepat dan lengkap.
c. Mudah  diingat  ( memorability )  adalah  bagaimana  pengguna  sistem  atau  produk mampu mempertahankan pengetahuannya setelah menjalankan sistem dalam rentang waktu yang telah ditentukan yang didapatkan dari penempatan fitur yang tepat.
d. Kesalahan dan keamanan ( errors ) adalah kesalahan-kesalahan yang dilakukan oleh pengguna sistem atau produk termasuk harapan pengguna terkait fungsi-fungsi yang terdapat pada sistem.
e. Kepuasan  ( satisfaction )  adalah  perasaan  senang  maupun  sikap  positif  pengguna dalam menjalankan sistem atau produk tanpa memiliki rasa kurang .
Tabel  13  memberikan  rincian  metode usability serta  memberikan  gambaran  mengenai aspek usability yang didefinisikan oleh peneliti.
Tabel 13. Analisis Metode Berdasarkan Aspek Metode Paper Aspek Usability yang didefinisikan Heuristic Evaluation [3] Learnability, efficiency, memorability, errors, satisfaction
[19] Visibility of system status, match between system and the real world, user control and freedom, consistency and standards, error prevention,
recognition rather than recall, flexibility and efficiency of use, aesthetic and minimal design, help user recognize, diagnose and recover from errors, dan help and documentation
[15] Visibility of system status, match between system and the real world, user control and freedom, consistency and standards, error prevention,
recognition rather than recall, flexibility and efficiency of use, aesthetic and minimal design, help user recognize, diagnose and recover from errors, dan help and documentation
[22] Effective, efficiency, satisfaction
[16] Visibility of system status, match between system and the real world, user control and freedom, consistency and standards, error prevention, recognition rather than recall, flexibility and efficiency of use, aesthetic and minimal design, help user recognize, diagnose and recover from errors, dan help and documentation Cognitive Walkthrough [5] Effective dan efficiency
[18] Learnability dan errors IsoMetrics [23] Suitability for the task, self descriptiveness, controllability,  conformity with user expectations, error tolerance, suitability for individualisation,  suitability for learning SUMI (Software Usability Measurement Inventory) [25] Efficiency, affect, helpfulness, control, and learnability WEBUSE (Web Usability Evaluation) [7] Content, organization, and readability, navigation and links, desain user interface, performance and effectiveness. WAMMI (Website Analysis and Measurement Inventory) [24] Effectiveness, efficiency, memorability and error rate.
[26] Attractiveness, controllability, efficiency, helpfulness and learnability.
[27] Attractiveness, control, efficiency, helpfulness, dan learnability Use Questionnaire
[2] Learnability, memorability, efficiency, error, satisfaction
[14] Usefulness, ease of use, ease of learning, satisfaction
[17] Effective to use, efficient to use, safe to use, having good utility, easy to learn, easy to remember, how to use [20] Effectiveness, efficiency, satisfaction, learnability, memorability, erors, cognitive load [21] Effective, efficiency, satisfaction Tabel 14. Kesesuaian Metode Berdasarkan Aspek Metode Pengukuran Usability Software Aspek Usability Learnability Efficiency Memorability Errors Satisfaction Heuristic Evaluation * ***** * **** ***** Cognitive Walkthrough * * - * - IsoMetrics * - - * *
Vol. 5, No. 3, Desember 2023, Halaman 223-243 SUMI (Software Usability Measurement Inventory) * * - - * WEBUSE (Web Usability Evaluation) * - - * - WAMMI  (Website  Analysis  and Measurement Inventory) ** *** * * - Use Questionnaire **** **** *** ** ****
Keterangan : * : adanya atau jumlah kemunculan aspek pada setiap metode
- : tidak ada kemunculan aspek pada setiap metode
Berdasarkan Tabel 13 dan Tabel 14 yang telah dipaparkan, dapat menjawab mengenai RQ5 yakni metode Heuristic Evaluation dan USE Questionnaire, dikarenakan kedua metode tersebut  paling  memenuhi aspek usability  software, dimana  lima  (5) aspek usability yang telah dijabarkan sebelumnya, dilihat pada kesesuaian dan banyaknya digunakan atau dengan jumlah kemunculan terbanyak pada kedua metode tersebut. Kelebihan dari metode Heuristic Evaluation dan USE Questionnaire dipaparkan pada Tabel 15 berikut:
Tabel 15. Analisis Kelebihan Metode Usability Metode Kelebihan Heuristic Evaluation Membantu evaluator untuk memusatkan perhatian mereka pada suatu masalah tertentu Tidak  membawa  masalah  etis  dan  praktis  yang  terkait  dengan  metode pemeriksaan yang melibatkan pengguna nyata
Menggunakan  seperangkat  heuristik  untuk  mengevaluasi  desain  dapat membantu mengkaji masalah usability dengan elemen individu serta mengkaji bagaimana mereka mempengaruhi pengalaman pengguna secara keseluruhan USE Questionnaire Penghemat biaya: Dibandingkan dengan kuesioner tatap muka yang dikirimkan di lokasi, melalui telepon,  atau  melalui  pos,  tidak  ada  biaya  tenaga  kerja,  kertas,  percetakan, telepon atau ongkos kirim yang perlu dikhawatirkan dengan kuesioner online, menjadikannya jauh lebih hemat biaya pendekatan. Menjangkau orang dengan cepat: Dengan banyaknya pilihan media yang dapat digunakan untuk mendistribusikan kuesioner,  peneliti  dapat  menjangkau  dan  mendapatkan  umpan  balik  dengan cepat dari responden Skalabilitas: Dapat  meningkatkan  jumlah  responden  untuk  kuesioner  online  dan  dapat menargetkan  responden  dimana  saja  dengan  cepat  dan  mudah  hanya  melalui internet Anonimitas responden: Dapat  menjaga  kerahasiaan  identitas  maupun  respon  dari  responden  sehingga hal tersebut akan membuat responden dapat menjawab serangkaian pertanyaan pada kuesioner dengan jujur, akurat dan lebih subjektif Fleksibilitas waktu dan tempat bagi responden: Responden  dapat  memilih  kapan  dan  dimana  mereka  akan  mengisi  kuesioner sehingga dapat membantu meningkatkan tingkat respon secara keseluruhan Akurasi data:
Jawaban  dari  kuesioner  online  secara  otomatis  akan  masuk  ke  dalam spreadsheet, database atau paket  perangkat  lunak lain yang mengurangi  risiko kesalahan manusia dan memungkinkan validasi otomatis data
Vol. 5, No. 3, Desember 2023, Halaman 223-243

## KESIMPULAN
Berdasarkan  survei  yang  telah  dilakukan,  didapatkan  kesimpulan  bahwa paper yang signifikan  dengan  pengukuran usability  software berdasarkan  tahun  terbitnya  dari  tahun 1994  sampai  dengan  2020  sejumlah  delapan  belas  (18) paper .  Dari  literatur  tersebut, didapatkan  peneliti  yang  membahas  tentang  topik  terkait  yakni usability  software adalah Nigel  B  sehingga  peneliti  menjadikan paper milik  Nigel  B.  sebagai  sumber  penelitian. Metode yang digunakan dalam pengukuran usability software terdiri dari tujuh (7) metode yakni Heuristic Evaluation, Cognitive Walkthrough, IsoMetrics, SUMI (Software Usability Measurement Inventory), Webuse, WAMMI (Website Analysis and Measurement Inventory), dan Use Questionnaire. Metode pengukuran usability software dengan jumlah kemunculan terbanyak atau yang paling sering digunakan pada literatur relevan sebagai sumber literatur penelitian  ini  adalah  metode Heuristic  Evaluation dan Use  Questionnaire. Kedua metode tersebut lebih banyak diterapkan oleh peneliti lainnya, karena metode tersebut memiliki data yang  terbarui.  Metode Heuristic  Evaluation melakukan  pengevaluasian  pada  desain antarmuka  pengguna  untuk  menemukan  masalah usability -nya. Sedangkan  metode Use Questionnaire mengumpulkan  informasi  dari  responden  yang  memiliki  berbagai  macam latar  belakang.  Adapun  metode  yang  memenuhi  aspek usability  software yang  mencakup learnability,  efficiency,  effectiveness,  errors, dan satisfaction, di  mana  lima  (5)  aspek tersebut dilihat pada kesesuaian dan banyaknya digunakan atau dengan jumlah kemunculan terbanyak pada metode pengukuran usability software adalah metode Heuristic Evaluation dan USE  Questionnaire. Kedua  metode  tersebut  memiliki  keefektifan  dan  efisiensi  yang tinggi sehingga memudahkan dalam proses pengukuran usability software .

## REFERENSI
[1] N.  Bevan,  J.  Carter,  J.  Earthy,  T.  Geis,  and  S.  Harker,  “New  ISO  standards  for  usability,  usability reports and usability measures,” Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics) , vol. 9731, pp. 268–278, 2016, doi: 10.1007/978-3-319-39510-4_25.
[2] D. R. Rahadi, “Pengukuran Usability Sistem Menggunakan Use Questionnaire Pada Aplikasi Android Interface pengguna Android didasarkan pada manipulasi langsung menggunakan masukan sentuh yang serupa dengan tindakan di dunia nyata , seperti menggesek ( swiping ), mengetuk ,” vol. 6, no. 1, pp. 661–671, 2014.
[3] R.  Dwiseptian  and  D.  A.  R,  “Analisis  Usability  Pada  Silpi  Perusahaan  Asuransi  Nasional  Dengan Metode Evaluasi Heuristik,” Sist.  J. Sist. Inf. , vol. 9, no. 1, pp. 51–62, 2019.
[4] F. Paz and J. A. Pow-Sang, “A systematic mapping review of usability evaluation methods for software development  process,” Int.  J.  Softw.  Eng.  its  Appl. ,  vol.  10,  no.  1,  pp.  165–178,  2016,  doi: 10.14257/ijseia.2016.10.1.16.
[5] P. Raharjo, W. A. Kusuma, and H. Sukoco, “Uji Usability Dengan Metode Cognitive Walkthrough Pada Situs Web Perpustakaan,” J. Pustak. Indones. , vol. 15, no. 1, pp. 19–27, 2016.
[6] S.  F.  Novitasari,  Y.  T.  Mursityo,  and  A.  N.  Rusydi,  “Evaluasi  Pengalaman  Pengguna  Pada  E- Commerce Sociolla.Com Menggunakan Usability Testing Dan User Experience Questionnaire (Ueq),” J.  Sist.  Informasi,  Teknol.  Informasi,  dan  Edukasi  Sist.  Inf. ,  vol.  1,  no.  2,  pp.  57–63,  2020,  doi: 10.25126/justsi.v1i2.9.
[7] H. Simatupang, S. Widowati, and R. R. Riskiana, “Evaluasi Website Dinas Kebudayaan dan Pariwisata Kota  Bandung  Menggunakan  Metode  WEBUSE  dan  Importance-Performance  Analysis  (IPA),” e- Proceeding Eng. , vol. 7, no. 3, pp. 9804–9821, 2020.
[8] A. P. Hendradewa, “Perbandingan Metode Evaluasi Usability (Studi Kasus : Penggunaan Perangkat Smartphone),” Teknoin , vol. 23, no. 1, pp. 9–18, 2017, doi: 10.20885/teknoin.vol23.iss1.art2.
[9] C. Salvador, A. Nakasone, and J. A. Pow-Sang, “A systematic review of usability techniques in agile methodologies,” ACM Int. Conf. Proceeding Ser. , 2014, doi: 10.1145/2590651.2590668.
[10] M.  Y.  Ivory  and  M.  A.  Hearst,  “The  state  of  the  art  in  automating  usability  evaluation  of  user
Vol. 5, No. 3, Desember 2023, Halaman 223-243
interfaces,” ACM Comput. Surv. , vol. 33, no. 4, pp. 470–516, 2001, doi: 10.1145/503112.503114.
[11] S.  Beecham et  al. ,  “A  Systematic  Literature  Review  on  Fault  Prediction  Performance  in  Software Engineering,” no. May 2014, 2011, doi: 10.1109/TSE.2011.103.
[12] A.  Hussain,  E.  O.  C.  Mkpojiogu,  and  N.  M.  Jasin,  “Usability  metrics  and  methods  for  public transportation applications: A systematic review,” J. Eng. Sci. Technol. , vol. 12, no. Special Issue  4, pp. 98–105, 2017.
[13] B.  A.  Kitchenham  and  S.  Charters,  “Guidelines  for  performing  Systematic  Literature  Reviews  in Software  Engineering.  EBSE  Technical  Report  EBSE-2007-01.  School  of  Computer  Science  and Mathematics, Keele University,” no. January, pp. 1–57, 2007.
[14] E.  Retnoningsih  and  N.  F.  Fauziah,  “Usability  Testing  Aplikasi  Rekomendasi  Objek  Wisata  Di Provinsi Jawa Barat Berbasis Android Menggunakan USE Questionnaire,” Bina Insa. ICT J. , vol. 6, no. 2, pp. 205–216, 2019.
[15] I. G. B. W. I Wayan Sudiarsa, “ANALISIS USABILITY PADA APLIKASI PEDULI LINDUNGI SEBAGAI  APLIKASI  INFORMASI  DAN  TRACKING  COVID-19  DENGAN  HEURISTIC EVALUATION,” J. Inf. Technol. Comput. Sci. , vol. 3, no. 8, pp. 1689–1699, 2020, doi: 10.1088/1751- 8113/44/8/085201.
[16] I.  K.  Dewi,  Y.  T.  Mursityo,  and  R.  R.  P.  Mardi,  “Analisis  Usability  Aplikasi  Mobile  Pemesanan Layanan Taksi Perdana Menggunakan Metode Webuse dan Heuristic Evaluation,” J. Pengemb. Teknol. Inf. dan Ilmu Komput. Univ. Brawijaya , vol. 2, no. 8, pp. 2909–2918, 2018.
[17] F.  Fachruddin,  M.  R.  Pahlevi,  and  ...,  “Analisis  Usability  Pada  Implementasi  Sistem  Pengelolaan Keuangan Masjid Menggunakan USE Questionnaire,” J. Media … , vol. 4, pp. 1216–1224, 2020, doi: 10.30865/mib.v4i4.2518.
[18] M. Wulan, “Usability Evaluation pada Web Perpustakaan Universitas Jember Menggunakan Cognitive Walkthrough,” 2017.
[19] T. Prasetyaningtias, H. Muslimah Az-Zahra, and A. Hendra Brata, “Analisis Usability Pada Aplikasi Mobile E-Government Layanan Aspirasi dan Pengaduan Online Rakyat (LAPOR!) Dengan Heuristic Evaluation,” Anal. Usability Pada Apl. Mob. E-Government Layanan Aspir. dan Pengaduan Online Rakyat ( LAPOR !) Dengan Heuristic Eval. , vol. 2, no. 11, pp. 4647–4653, 2018.
[20] F.  D.  Satria  and  A.  Prasetio,  “Analisis  Usability  Pada  Aplikasi  Tokopedia  Usability  Analysis  of Tokopedia Application,” e-Proceeding Manag. , vol. 7, no. 2, pp. 5329–5335, 2020.
[21] K. R. Hadi, H. M. Az-zahra, and L. Fanani, “Analisis Dan Perbaikan Usability Aplikasi Mobile KAI Access Dengan Metode Usability Testing Dan Use Questionnaire,” J. Pengemb. Teknol. Inf. dan Ilmu Komput. , vol. 2, no. 9, p. 2743, 2018.
[22] G. I. Marthasari, “Evaluasi Heuristik Terhadap Website Simkesmas Menggunakan Framework Sirius,” Semin. Nas. Teknol. dan Rekayasa 3 , pp. 21–27, 2018.
[23] G.  Gediga,  K.  C.  Hamborg,  and  I.  Düntsch,  “The  IsoMetrics  Usability  Inventory  The  IsoMetrics Usability  Inventory,” Behav. Inf. Technol. , pp. 0–20, 1999, [Online]. Available: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.24.2894&rep=rep1&type=pdf.
[24] R. Purwaningsih and I. Yenifi, “Usability Assessment of International Office Website of Diponegoro University  with  Scenario-Based  Usability  Evaluation  Method  and  Wammi  Method,” ComTech Comput. Math. Eng. Appl. , vol. 6, no. 3, p. 329, 2015, doi: 10.21512/comtech.v6i3.2209.
[25] A. Pratomo and R. Mantala, “Pengembangan Aplikasi Ujian Berbasis Komputer Beserta Analisis Uji Guna  Sistem  Perangkat  Lunaknya  Menggunakan  Metode  Sumi  (Software  Usability  Measurement Inventory),” J. POSITIF , vol. 2, no. 1, pp. 1–11, 2016.
[26] A.  Ahmad,  A.  Hussain,  O.  H.  Flayyih,  W.  Abdulwahab,  and  M.  I.  Sabri,  “Utilizing  WAMMI components  to  evaluate  the  usability  of  E-commerce  website,” J.  Telecommun.  Electron.  Comput. Eng. , vol. 9, no. 2–11, pp. 139–143, 2017.
[27] S. S. S. Thiam Kian Chiew, “WEBUSE: Website Usability Evaluation Tool.” Malaysian Journal of Computer Science, pp. 47–57, 2003.
[28] P. Weichbroth, “Usability of mobile applications: A systematic literature study,” IEEE Access , vol. 8, pp. 55563–55577, 2020, doi: 10.1109/ACCESS.2020.2981892.
[29] M. E. Alva O., A. B. Martínez P., J. M. Cueva L., T. H. Sagástegui Ch., and B. López P., “Comparison of methods and existing tools for the measurement of usability in the web,” Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics) , vol. 2722, pp. 386–389, 2003, doi: 10.1007/3-540-45068-8_70.
[30] J. Kirakowski, B. Cierlik, and H. Factors, “Measuring the usability of web sites,” Procedings Hum. Factors Ergon. Soc. Annu. Meet. , vol. 42, pp. 424–428, 1998.
[31] N. Bevan and M. Macleod, “Usability measurement in context,” Behav. Inf. Technol. , vol. 13, no. 1– 2, pp. 132–145, 1994, doi: 10.1080/01449299408914592.
[32] N. Bevan and I. Curson, “Methods for Measuring Usability,” Human-Computer Interact. INTERACT
Vol. 5, No. 3, Desember 2023, Halaman 223-243
’97 , pp. 672–673, 1997, doi: 10.1007/978-0-387-35175-9_126.
[33] K. Sagar and A. Saha, “A systematic review of software usability studies,” Int. J. Inf. Technol. , 2020, doi: 10.1007/s41870-017-0048-1.
[34] L.  M.  Ginting,  G.  Sianturi,  and  C.  V. Panjaitan, “Perbandingan  Metode  Evaluasi  Usability  Antara Heuristic  Evaluation  dan  Cognitive  Walkthrough,” J.  Manaj.  Inform. ,  vol.  11,  no.  2,  pp.  146–157, 2021, doi: 10.34010/jamika.v11i2.5480.
[35] G. Gediga, K. C. Hamborg, and I. Düntsch, “IsoMetrics usability inventory: an operationalization of ISO  9241-10  supporting  summative  and  formative  evaluation  of  software  systems,” Behav.  Inf. Technol. , vol. 18, no. 3, pp. 151–164, 1999, doi: 10.1080/014492999119057.
[36] J. Nielsen, “Enhancing the explanatory power of usability heuristics,” Conf. Hum. Factors Comput. Syst. - Proc. , pp. 152–158, 1994, doi: 10.1145/191666.191729.
[37] V. Pertiwi, I. Aknuranda, and S. H. Wijoyo, “Evaluasi Usability Pada Aplikasi KRL Access Dengan Menggunakan Metode Evaluasi Heuristik,” J. Pengemb. Teknol. Inf. dan Ilmu Komput. , vol. 3, no. 3, pp. 2235–2242, 2019.
[38] G.  Langgawan,  “Evaluasi  Usability  Website  Berita  Online  Prokal  .  Co  Menggunakan  Evaluasi Heuristic dan Webuse,” no. October 2020, 2021, doi: 10.25126/jtiik.202073707.
[39] U.  G.  Mada  and  P.  Korespondensi,  “PENGUKURAN  KEPUASAN  PENGGUNA  E-LEARNING MENGGUNAKAN  METODE  EVALUASI  HEURISTIK  DAN  SYSTEM  USABILITY  SCALE MEASUREMENT OF E-LEARNING USER SATISFACTION USING HEURISTIC EVALUATION METHOD AND SYSTEM USABILITY SCALE,” vol. 9, no. 3, 2022, doi: 10.25126/jtiik.202294631.
[40] L. O. Bligård and A. L. Osvalder, “Enhanced cognitive walkthrough: Development of the cognitive walkthrough  method  to  better  predict,  identify,  and  present  usability  problems,” Adv.  Human- Computer Interact. , vol. 2013, 2013, doi: 10.1155/2013/931698.
[41] A. Sriwulandari, H. Hidayati, and B. Pudjoatmojo, “Analisis dan Evaluasi Aspek Usability Pada Web HRMIS Telkom University Menggunakan Usability Testing,” e-Proceeding  Eng. ,  vol.  1,  no.  1,  pp. 537–542, 2014.
[42] J. Kirakowski and M. Corbett, “SUMI: the Software Usability Measurement Inventory,” Br. J. Educ. Technol. , vol. 24, no. 3, pp. 210–212, 1993, doi: 10.1111/j.1467-8535.1993.tb00076.x.
[43] A. Setiawan and R. A. Widyanto, “Evaluasi Website Perguruan Tinggi menggunakan Metode Usability Testing,” J. Inform. J. Pengemb. IT , vol. 3, no. 3, pp. 295–299, 2018, doi: 10.30591/jpit.v3i3.912.
[44] M. Gao, P. Kortum, and F. Oswald, “Psychometric evaluation of the USE (usefulness, satisfaction, and ease of use) questionnaire for reliability and validity,” Proc.  Hum. Factors  Ergon.  Soc. ,  vol.  3,  no. September 2019, pp. 1414–1418, 2018, doi: 10.1177/1541931218621322.