## SYSTEM USABILITY SCALE VS HEURISTIC EVALUATION: A REVIEW

## Usman Ependi
Fakultas Ilmu Komputer, Program Studi Teknik Informatika Universitas Bina Darma Email: u.ependi@binadarma.ac.id

## Tri Basuki Kurniawan
Program Studi Sistem Informasi Universitas Bina Darma Email: tribasukikurniawan@binadarma.ac.id

## Febriyanti Panjaitan
Program Studi Teknik Informatika Universitas Bina Darma Email: febriyanti_panjaitan@binadarma.ac.id

## ABSTRAK
Usability merupakan  salah  satu  bidang  ilmu  untuk  menganalisa  atau  menguji  tingkat  kemudahan penggunaan  perangkat  lunak. Usability atau  yang  sering  dikenal  dengan  kebergunaan  adalah  teknik pengujian  atau  pengukuran  aplikasi  perangkat  lunak  yang  dilihat  dari  lima  aspek  yaitu learnability, efficiency, memorability, errors dan satisfaction. Untuk melakukan analisa atau pengujian usability dapat dilakukan  dengan  pendekatan heuristic  evaluation  (HE) dan system  usability  scale  (SUS) . Heuristic evaluation  (HE) merupakan  pengujian  dengan  cara  melibatkan  ahli  dalam  proses  pengerjaannya  dan system  usability  scale  (SUS) merupakan  pengujian  dengan  cara  melibatkan  pengguna  akhir (end  user) dalam  proses pengerjaannya. Untuk itu dalam penelitian dilakukan pengkajian antara heuristic evaluation (HE) dan system usability scale (SUS). Dari hasil  kajian didapat bahwa heuristic evaluation (HE) dapat dilakukan  bersamaan  dengan  teknik  pengujian  lain  namun  membutuhkan  biaya  yang  besar  serta  proses pengujian  yang lebih  mudah.  Sedangkan system usability scale (SUS) proses pengujian  dan perhitungan lebih rumit namun dapat dilakukan dengan jumlah sampel yang sedikit.
Kata kunci:  usability; heruristic; system usability scale.

## ABSTRACT
Usability  is  a  field  of  study  to  analyze  or  test  the  level  of  ease  of  use  of  software.  Usability  is  a software  application  testing  or  measurement  technique  that  is  viewed  from  five  aspects,  namely learnability, efficiency, memorability, errors and satisfaction. Usability testing or analysis can be carried out  through  heuristic  evaluation  (HE)  and  system  usability  scale  (SUS).  Heuristic  evaluation  (HE)  is  a test involving experts in its process while the system usability scale (SUS) is a test involving end users in the process. Therefore, this study conducted heuristic evaluation (HE) and system usability scale (SUS). The study results found that heuristic evaluation (HE) can be performed simultaneously with other testing techniques but requires a large cost yet easier testing process. While the system usability scale (SUS), its testing  process  and  calculation  are  more  complicated  but  it  can  be  performed  by  involving  a  small number of samples
Keywords: usability; heruristic; system usability scale.

## 1. PENDAHULUAN
Usability ialah  teknik  analisa  secara  kualitatif  untuk  menentukan  seberapa  mudah  perangkat  lunak digunakan oleh pengguna [1]. Aspek usability merupakan aspek  agar tercapainya keberhasilan perangkat lunak  dan  sebagai  tanda  penerimaan  perangkat  lunak  oleh  pengguna  [2]. Usability dalam  proses pengujiannya  dapat  melibatkan  pengguna  akhir  secara  langsung  atau  tidak,  dengan  kata  lain  dapat disesuai  dengan  keadan  objek  dan  pilihan  penguji  perangkat  lunak  [3].  Pengujian usability dapat dilakukan  pada  perangkat  lunak  yang  kecil  maupun  besar  dan multi  platform seperti  berbasis dekstop , web ,  dan mobile. Fokus  dari  pengujian usability adalah  kemudahan  menggunakan  perangkat  lunak  oleh pengguna [4].
Usability atau  yang  sering  dikenal  dengan  kebergunaan  adalah  teknik  pengujian  atau  pengukuran aplikasi perangkat lunak  yang dilihat dari lima aspek  yaitu learnability, efficiency, memorability, errors dan satisfaction [5]. Learnability digunakan  untuk  mengetahui  seberapa  mudah  perangkat  lunak  untuk dipelajari, efficiency digunakan  untuk  mengetahui  seberapa cepat perangkat lunak dalam  menyelesaikan tugas  yang  ditentukan, memorability digunakan  untuk  mengetahui  seberapa  jauh  proses  (tampilan  dan menu) perangkat lunak dapat diingat oleh pengguna, error digunakan untuk mengetahui kesalahan yang dilakukan  perangkat  lunak  cara  mengatasinya,  dan satisfaction digunakan  untuk  mengetahui  kepuasan pengguna ketika menggunakan perangkat lunak [6].
Dalam  melakukan  pengujian usability memiliki  beberapa  teknik  pengukuran  diantaranya  adalah heuristic  evaluation  (HE) dan system  usability  scale  (SUS) . Heuristic  evaluation  (HE) secara  umum merupakan  pengujian  dengan  cara  melibatkan  ahli  dalam  proses  pengerjaannya  [7].  Sedangkan system usability  scale  (SUS) merupakan  pengujian  dengan  cara  melibatkan  pengguna  akhir (end  user) dalam proses pengerjaannya  [8]. Dari kedua teknik pengujian usability tersebut  memiliki karateristik tersendiri sehingga  perlu  untuk  dikaji  sejauhmana  perbedaan  keduannya  dalam  proes  evaluasi  perangkat  lunak. Karateristik  tersebut  meliputi  jumlah  responden  yang  terlibat,  instrumen  pengukuruan,  langkah-langkah pengukuran,  sistem  penilaian,  hasil  penilaian,  dan  kelebihan  dan  kelemahan  dari heuristic  evaluation (HE) dan system usability scale (SUS) .
Untuk  itu  sesuai  uraian  yang  telah  dikemukakan  maka  dalam  kajian  ini  dapat  dibuat  rumusan masalah  (1)  Bagaimana  pengujian  dengan  menggunakan heuristic  evaluation  (HE) dan system  usability scale (SUS) di lihat dari sisi responden, (2) Bagaimana penggunaan instrumen pengujian yang di lakukan dengan menggunakan metode heuristic evaluation (HE) dan system usability scale (SUS), (3) Bagimana langkah-langkah  implementasi  pengujian  metode heuristic  evaluation  (HE) dan system  usability  scale (SUS), (4) Bagaimana sistem perhitungan penilaian dalam heuristic evaluation (HE) dan system usability scale (SUS), (5) Bagaimana proses penentuan hasil penilaian dalam heuristic evaluation (HE) dan system usability scale (SUS), dan (6) kelebihan dan kelemahan dari metode heuristic evaluation (HE) dan system usability  scale  (SUS) .  Tujuan  kajian  teoritis  sendiri  untuk  melihat  kegunaan  dan  peran  dari  pengujian metode heuristic evaluation (HE) dan system usability  scale (SUS) melakukan evaluasi  perangkat lunak yang di tinjau secara teoritis maupun dengan kajian pustaka.

## 2. METODOLOGI PENELITIAN
Penelitian ini adalah penelitian kualitatif dengen penggalian teoritis. Penelitian kualitatif digunakan untuk menjawab perumusahan masalah melalui teori yang berhubungan dengan konsep metode heuristic evaluation  (HE) dan system  usability  scale  (SUS) .  Penelitian  kualitatif  digunakan  untuk  memahami fenomena-fenomena  yang  dilihat  dari  sudut  pandang  partisipan.  Maka  dapat  diartikan  bahwa  penelitian kualitatif merupakan bentuk penelitian yang dilakukan untuk meneliti pada kondisi objek dimana peneliti sebagai instrumen kunci [9]. Fokus dari penelitian kualitatif adalah kedalaman data yang didapatkan oleh peneliti.  Sehingga  detail  data  yang  didapatkan  akan  mempengaruhi  hasil  penelitian,  untuk  itu  semakin baik  data  akan  berdampak  pada  kualitas  dari  penelitian  kualitatif  [10].  Dalam  penelitian  ini  proses pengejaan penelitian dapat dilihat pada Gambar 1.
Data Selection and Classification Journal, Report, and Book

## Gambar 1.  Proses Pengerjaan Penelitian
Dari  Gambar  1  maka  dapat  diketahui  proses  pengjaan  penelitian  yaitu  (1)  Penentuan  topik  dan perumusan  masalah,  pada  langkah  ini  dilakukan  pemilihan  topik  tentang usability dan  jenis  pengujian yang ada pada usability itu sendiri. Dimana dalam penelitian ini dibahas dua metode uji usability heuristic evaluation  (HE) dan system  usability  scale  (SUS). (2)  Pengumpulan  data,  pada  langkah  ini  setelah mengetahui  topik  yang  dikaji  maka  dilakukan  pengumpulan  data  yang  berkaitan  langsung  dengan heuristic  evaluation  (HE) dan system  usability  scale  (SUS) yang  akan  dibahas  baik  melalui  jurnal, prosiding, buku maupun laporan peneltian. (3) Seleksi dan klasifikasi data, dalam langkah ini dilakukan penyeleksian  dan  klasifikasi  data  yang  dikumpulkan  pada  langkah  2  dimana  data  tersebut  dibedakan
antara heuristic evaluation (HE) dan system usability scale (SUS). Dan (4) penulisan laporan atau paper, dalam langkah ini adalah langkah akhir dari kajian tentang usability terutama yang dibuat dalam bentuk laporan atau paper .

## 3. HASIL DAN PEMBAHASAN
Hasil  dan  pembahasan  dari usability heuristic  evaluation  (HE) dan system  usability  scale  (SUS) dapat dijelaskan seperti berikut ini:

## 3.1 Responden Pengujian
Pengujian usabilty merupakan  pengujian  yang  menekankan  pada  respoden  dalam  proses pengujiannya.  Untuk  melakukan  pengujian  dibutuhkan  respoden  yang  cukup  agar  data  yang  dihasilkan dapat  diterima  dan  menjadi  acuan  jika  diperlukan  perbaikan.  Responden  dalam  pengujian heuristic evaluation (HE) dan system usability scale (SUS) memiliki perbedaan dalam jumlah respoden. Perbedaan tersebut mengingat jenis responden yang dibutuhkan tidaklah sama, pada heuristic evaluation (HE) jenis responden  yang  dibutuhkan  adalah  ahli (expert) sedangkan  pada system  usability  scale  (SUS) jenis responden yang dibutuhkan adalah pengguna akhir dari sebuah perangkat lunak yang akan diuji [7], [8], [11].
Untuk  itu  jumlah  responden  yang  dibutuhkan  untuk  masing-masing  jenis  uji  akan  berbeda.  Pada heuristic  evaluation  (HE) yang  dibutuhkan  sebagai  responden  adalah  ahli (expert) sehingga  kebutuhan responden  hanya  sedikit.  Kajian  yang  dilakukan  [12],  [13]    menunjukkan  jumlah  respoden  yang diperlukan  dalam heuristic  evaluation  (HE) berjumlah  lima  evaluator.  Sedangkan  pendapat  lain mengatakan  bahwa  evaluator  yang  dibutuhkan  tiga  sampai  dengan  lima  evaluator  [14],  [15],  dan  [16]. Penentuan  jumlah  responden  tersebut  disebabkan  jumlah  responden  yang  banyak  pada heuristic evaluation (HE) akan menimbulkan banyak masalah dan biaya pengujian [17]-[18], kondisi tersebut dapat diilustrasikan  seperti  pada  Gambar  2.  Ilustrasi  jumlah  evaluator  pada  Gambar  2  menunjukkan  bahwa semakin  tinggi  jumlah  evaluator  maka  tingkat  kegagalan  pengujian heuristic  evaluation juga  tinggi  dan peluang  untuk  menemukan usability problem semakin  rendah.  Sedangkan  jika  jumlah  evaluator  rendah maka  tingkat  kesuksesan  pengujian heuristic  evaluation semakin  tinggi  dan  tingkat  penemuan usability problem juga lebih mudah.
Gambar 2.  Ilustrasi Jumlah Evaluator [19]
Sedangkan system usability scale (SUS) dalam  menentukan responden tidak  memiliki konsep  yang baku atau tidak ada penentuan secara khusus dari teori dasarnya. Kondisi tersebut disebabkan responden dari system  usability  scale  (SUS) merupakan  pengguna  akhir  dari  sebuah  produk  perangkat  lunak  yang akan  dilakukan  evaluasi  atau  pengujian.  Dalam  beberapa  kajian  menunjukkan system  usability  scale (SUS) menggunakan  responden  yang  berbeda-beda  bahkan  sampai  dengan  empat  ratus  sembilan  puluh sembilan  responden  [20].  Dalam  pengujian  yang  lain  juga  ada  yang  menggunakan  responden  sangat sedikit yaitu lima dan sepulu responden [4], [7]. Penggunaan jumlah responden yang berbeda merupakan independensi  dan  sesuai  dengan  kebutuhan  peneliti  itu  sendiri.  Seorang  peneliti  diberikan  kebebasan dalam menentukan responden sesuai dengan rumusan atau teknik pengambilan sampel peneltian.

## 3.2 Instrumen Pengujian
Instrumen pengujian merupakan komponen inti dari proses pengujian heuristic evaluation (HE) dan system  usability  scale  (SUS). Karena  instrumen  merupakan  alat  untuk  melakukan  pengujian. Heuristic evaluation  (HE) dan system  usability  scale  (SUS) memiliki  jumlah  instrumen  yang  sama  yaitu  sepuluh instrumen.  Namun  ada  juga  beberapa  peneliti  menambahkan  instrumen  pengujian  seperti  yang  terjadi pada heruristic  evaluation .  Dalam  kajian  yang  dilakukan  oleh  [21,  22]  menunjukkan  ada  sepuluh instrumen, sedangkan pada [21, 23] menunjukkan ada sepuluh instrumen dengan deskripsi yang berbeda. Ada juga instrumen pengujian heuristic evaluation delapan instrumen [21, 24]  dan tiga belas instrumen [25]. Berikut perbandingan instrumen untuk heuristic evaluation seperti pada Tabel 1.
Tabel 1. Pernyataan instrumen pengujian heuristic evaluation Nielsen [22] Dunlop et al. [23] Bertini et al. [24] R. Yáñez Gómez et al. [25] 1. Visibility of sys- tem status
2. Match between system and the real world
3. User control and freedom
4. Consistency and standards
5. Error prevention
6. Recognition rather than
recall
7. Flexibility and efficiency of use
8. Aesthetic and minimalist design
9. Help users rec- ognize, diagnose, and recover from
errors
10. Help and do- cumentation
1. System feed-back
and reason-able response time
2. System spoke users language avoiding "system terms"
3. System allows 'Easy escape / Exit"
4. Consistent user interface using
standard phrases and commands
5. Understandable error messages
6. Interface is aes-
thetic and minima- listic
7. Streamlined feature set, allow-ing easy screen browsing
8. Support system, available help at all times
9. Recognition rather than recall
10. System pres- entation and ease of relative tasks 1. Visibility of system status and losabili- ty/findability of the de-vice
2. Match between sys-tem and the
real world
3. Consistency and mapping
4. Good ergonomics and minimalist design
5. Ease of input,
screen readability
and glanca-bility
6. Flexibility, efficiency of use and personaliza- tion 7. Aesthetic, privacy
and social conventions
8. Realistic error man-agement
1. .Visibility of sys-tem status
2. Match between system and the real world
3. User control and freedom
4. Consistency and standards
5. Error prevention
6. Recognition rather than recall
7. Flexibility and efficiency of use
8. Aesthetic and minimalist design
9. Help users rec-ognize, diagnose, and recover from errors
10. Help and do- cumentation
11. Skills
12. Pleasurable and respectful interaction
with the user
13. Privacy
Dari Tabel 1 dapat dilihat bahwa terdapat dua kajian yang menyatakan sepuluh instrumen pengujian. Dari  sepuluh  instrumen  pengujian  teresbut  dapat  dijelaskan  masing-masing  fungsi  setiap  instrumen tersebut:
a) Visibility of system status, instrumen pengujian heuristic evaluation (HE) untuk mengetahui apakah perangkat lunak dapat selalu menyediakan informasi kepada pengguna berkaitan proses yang sedang berlangsung [26] .
b) Match  between  system  and  the  real  world, instrumen  pengujian  ini  untuk  mengetahui  apakah perangkat  lunak  menggunakan  bahasa  yang  umum  dan  sesuai  dengan  umum  bagi  pengguna termasuk penggunaan kata, prasa dan konsep [27].
c) User control and freedom, instrumen pengujian heuristic evaluation (HE) untuk mengetahui apakah pengguna dalam  menjalankan perangkat lunak dapat dilakukan dengan nyaman dan leluasa seperti adanya undo dan redo [28]. d) Consistency  and  standards, instrumen  pengujian heuristic  evaluation  (HE) untuk  mengetahui apakah perangkat lunak tidak ada makna yang ambigu baik penggunaan kata dan icon [29].
e) Error  prevention, instrumen  pengujian heuristic  evaluation  (HE) untuk  mengetahui  bagaimana perangkat lunak  mengatasi atau  menangani ketika terjadi error atau kesalahan  yang dilakukan oleh pengguna [30].
f) Recognition  rather  than  recall, instrumen  pengujian heuristic  evaluation  (HE) untuk  mengetahui apakah perangkat lunak dapat meminimalisir penggunaan memori (mengingat) oleh pengguna dalam hal makna gambar, keterangan atau ketika melakuka pilihan [31] .
g) Flexibility  and  efficiency  of  use, instrumen  pengujian heuristic  evaluation  (HE) untuk  mengetahui apakah  perangkat  lunak  dapat  membuat  pekerjaan  lebih  cepat  dan  apakah  proses  pengerjaannya memiliki jalan pintas [32].
h) Aesthetic  and  minimalist  design, instrumen  pengujian heuristic  evaluation  (HE) untuk  mengetahui apakah  perangkat  lunak  memiliki  menu,  informasi  dan  bagian  yang  kurang  relevan  dengan keinginan pengguna [33].
i) Help users recognize, diagnose, and recover from errors, instrumen pengujian ini untuk mengetahui apakah  perangkat  lunak  dapat  menampilkan  pesan  jika  terjadi  kesalahan  dan  memiliki  informasi bagaiaman mengatasinya [34].
j) Help and documentation, instrumen pengujian heuristic evaluation (HE) untuk  mengetahui apakah perangkat lunak dapat dijalankan tanpa harus membaca petunjuk penggunaan [35].
Sedangkan  instrumen  pengujian  untuk system  usability  scale  (SUS) terdapat  sepuluh  pernyataan yang  menjadi tolak ukur pengujian. Instrumen pengujuian system usability scale (SUS) dapat digunakan untuk  pengujian  bermacam  jenis  pengujian  mulai  dari website ,  sistem  informasi  dan  perangkat  lunak berbasis seluler [36]. Instrumen pengujian system usability scale (SUS) dapat dilihat pada Tabel 2. Seperti yang  terlihat  pada  Tabel  2  dalam  instrumen  pengujian system  usability  scale  (SUS) terdapat  skala penilaian yang menjadi ukuran pembobotan ketika dilakukan pengujian. Skala penilaian tersebut diawali dengan  1  sampai  dengan  5,  1  menunjukkan  bahwa  penguji  sangat  tidak  setuju  dengan  pernyataan pengujian  dan 5 sangat setuju terhadap pernyataan pengujian [37].

## Tabel 2. Instrumen pengujian system usability scale
No Pernyataan Skala 1 Saya akan ingn lebih sering menggunakan aplikasi ini 1 - 5 2 Saya merasa aplikasi ini tidak harus dibuat serumit ini 1 - 5 3 Saya pikir aplikasi mudah untuk digunakan 1 - 5 4 Saya membutuhkan bantuan dari orang teknis untuk menggunakan aplikasi ini 1 - 5 5 Saya menemukan fitur pada aplikasi terintegrasi dengan baik 1 - 5 6 Saya pikir ada ketidaksesuaian dalam aplikasi ini 1 - 5 7 Saya merasa kebanyakan orang mudah untuk mempelajari aplikasi dengan sangat cepat 1 - 5 8 Saya menemukan, aplikasi sangat rumit untuk digunakan 1 - 5 9 Saya percaya diri untuk menggunakan aplikasi ini 1 - 5 10 Saya perlu belajar sebelum saya menggunakan aplikasi 1 - 5

## 3.3 Langkah-Langkah Pengujian
Langkah-langkah  pengujian  merupakan  proses  pengerjaan  penelitian.  Dalam  pengujian usability baik heuristic evaluation maupun system usability scale memiliki tahapan yang tidak berbeda. Langkah- langkah pengujian menggunakan heuristic evaluation (HE) memiliki empat kerangka besar dalam proses pengujian [38] yaitu (1) Memilih jumlah evaluator (expert), (2) Mengidentifikasi tujuan dari objek yang diuji  baik  berupa  perangkat  lunak  berbasis  web  maupun  perangkat  lunak  tidak  berbasis  web.  (3) Menentukan tugas yang harus dikerjakan oleh evaluator yang nantinya akan menjadi objek penilaian. Dan (4)  Melakukan  pengujian  atau  evaluasi  berdasarkan  instrumen  pengujian  yang  dipilih.    Pada  Gambar  3 dapat dilihat langkah-langkah pengujian heuristic evaluation.
Langkah  pengujian  menggunakan system  usability  scale  (SUS) hampir  memiliki  kesamaan  dengan heuristic  evaluation  (HE) seperti  yang  diperlihatkan  pada  Gambar  4.  Dimana  perbedaan  terletak  pada awal pengerjaan pengujian  yaitu pada penentuan  skenario  pengujian. Pada system usability  scale (SUS) langkah pengujian dimulai dari (1) penentuan skenario, (2) memilih responden atau penentuan respoden, (3)  melakukan  pengujian  oleh  respoden,  dan  (4)  melakukan  rekapitulasi  hasil  pengujian  atau  penentuan hasil. Dari Gambar 3 dan Gambar 4 dapat diketahui dalam langkah-langkah pengujian terdapat perbedaan yang  signifikan  pada  tahap  awal  yaitu  penguji  dari  perangkat  lunak  (objek  uji)  jika  pada heuristic evaluation (HE) menggunakan  ahli (expert) sedangkan  pada system  usability  scale  (SUS) menggunakan pengguna akhir (end user) .
Filling Out the Questionnaire
Gambar 4.  Langkah-Langkah System Usability Scale [7]

## 3.4 Perhitungan Pengujian
Dalam melakukan pengujian usability baik heuristic evaluation (HE) maupun system usability scale (SUS) memiliki pebedaan dalam perhitungan hasil pengujian. Perbedaan tersebut terjadi disebabkan oleh jumlah  penguji  pada heuristic  evaluation  (HE) dan system  usability  scale  (SUS) . Heuristic  evaluation dalam  melakukan  pembototan  penilaian  dimulai  dari  0  (nol)  sampai  dengan  5  (lima).  Untuk  melakukan perhitungan  hasil  pengujian  nilai  dari  pembobotan  penguji (expert) dijumlahkan  untuk  masing-maisng instrumen  dan  kemudian  dilakukan  perhitungan  rata-rata  untuk  masing-msaing  instrument  seperti  pada Tabel 1. Pembobotan angka 0 (nol) sampai dengan 5 (lima) memiliki makna berupa [40]:
a) 0: tidak memiliki masalah usability
b) 1: memiliki masalah cosmetic problem
c) 2: minor usability problem; perlu perbaikan
d) 3: major usability problem; perlu perbaikan yang mempengaruhi proses
e) 4: usability catastrophe; perlu tindakan desain ulang
Sedangkan  dalam  perhitungan system  usability  scale  (SUS) memiliki  aturan  yang  berbeda  dengan heuristic evaluation (HE) . Peberdaan tersebut terletak pada nomor ganjil dan genap instrumen pengujian [4], [7], berikut adalah cara perhitungan hasil pengujian system usability scale (SUS):
a) Penyataan instrumen nomor ganjil skala jawaban instrumen dikurangi 1
b) Pernyataan instrumen nomor genap maka 5 dikurangi skala jawaban instrumen.
c) Hasil penilaian skala 0 - 4 (4 merupakan jawaban terbaik).
d) Melakukan pernjulahan jawaban kemudian dikali dengan 2.5
e) Menentukan nilai rerata jawaban instrumen pengujian semua responden.

## 3.5 Penentuan Hasil Perhitungan
Penentuan  hasil  pengujian  adalah  tahapan  akhir  dari  proses  pengujian  perangkat  lunak.  Penentuan hasil  perhitungan  adalah  proses  penetapan  hasil  penilaian  menjadi  kesimpulan  apakah  perangkat  lunak yang  dihasilkan  memenuhi  standar usability ataukah  tidak  memenuhi  standar usability .  Untuk menentukan  hasil  perhitungan  pada heuristic  evaluation  (HE) hasil  rata-rata  perhitungan  dimasukkan dalam  skala  pembobotan  yang  dimulai  dari  0  (nol)  sampai  dengan  5  (lima).  Masing-masing  instrumen penilaian  seperti  pada  Tabel  1  dihitung  satu  persatu  sesuai  dengan  jumlah  penguji (expert) .  Jika  hasil perhitungan menunjukkan 0 (nol) berarti perngkat lunak tidak memiliki masalah usability, 1 (satu) berati perangkat  lunak  memiliki  masalah cosmetic  problem .  2  (dua)    berarti  perangkat  lunak minor  usability problem ; perlu perbaikan, 3 (tiga) berarti perangkat lunak major usability problem ; perlu perbaikan yang
mempengaruhi proses, dan 4 (empat) berati perangkat lunak usability catastrophe ; perlu tindakan desain ulang [6], [40], [41].
System  usability  scale  (SUS) dalam  menentukan  hasil  perhitungan  penilaian  terdapat  tiga  sudut pandang yaitu acceptability, grade scale, dan adjective rating. Acceptability terdapat tiga tingkatan yang terdiri dari not acceptable, marginal (rendah dan tinggi), dan acceptable. Sedangkan grade scale terdiri dari A, B, C, D  dan F. Untuk adjective rating lebih banyak tingkatan yaitu worst imaginable, poor, ok, good,  excelent  dan  best  imanginable. Dari  ketiga  penilaian system  usability  scale  (SUS) seperti  yang diperlihatkan pada Gambar 5 bahwa acceptability digunakan untuk melihat tingkat penerimaan pengguna terhadap  perangkat  lunak ,  grade  scale untuk  melihat  tingkatan (grade) perangkat  lunak , dan adjective rating untuk melihat rating dari perangkat lunak yang dihasilkan. Selain dari ketiga cara tersebut system usability scale (SUS) memiliki cara lain dalam  melakukan  penentuan hasil peneilaian  yaitu dengan cara SUS  score  percentile  rank .  Penentuan  hasil  penilaian  berdasarkan SUS  score  percentile  rank dilakukan secara  umum  berdasarkan  hasil  perhitungan  penilaian  pengguna. SUS  score  percentile  rank memiliki perbedaan dengan acceptability, grade scale, adjective rating yang dikelompokkan menjadi tiga kategori. Berikut adalah ketentuan penentuan penilaian pada SUS score percentile rank [36], [43] .
a) Grade A : dengan skor = 80,3
b) Grade B : dengan skor = 74 dan  80,3
c) Grade C : dengan skor = 68 dan  74.
d) Grade D : dengan skor = 51 dan  68.
e) Grade F : dengan skor lebih  51.

## Gambar 5.  Penilaian System Usability Scale [42]

## 3.6 Kelebihan dan Kekurangan
Dalam  melakukan  pengujian  baik  heuristic  evaluation  (HE)  maupun  system  usability  scale  (SUS) memiliki  kelebihan  dan  kekurangan  dalam  proses  pelaksanaannnya.  Namun  baik  kelebihan  maupun kekurangan  dalam  proses  pengujian  harus  dilihat  secara  mendalam  agara  ketika  melakukan  pengujian tidak  menemukan  kendala  yang  berarti.  Berikut  dapat  dilihat  kelebihan  dan  kekurangan  untuk  heuristic evaluation [44].

## Tabel 3. Kelebihan dan kekurangan heuristic evaluation
Kelebihan Kekurangan 1. Lebih  cepat  mendapatkan  umpan  balik  dan relatif lebih murah.
2. Mendapatkan  umpan  balik  dari  awal  desain perangkat lunak.
3. Membantu perbaikan perancangan lebih cepat.
4. Dapat digunakan bersamaan metodologi pengujian lainnya.
5. Dapat mengetahui potensi masalah secara dini.
1. Membutuhkan  pengetahuan  dan  pengalaman bagi penguji.
2. Pakar  yang  berpengalaman  terkadang  sulit ditemukan dan mahal.
3. Menggunakan banyak pakar dan menggabungkan pendapatnya.
4. Lebih  banyak  menenukan  masalah  kecil daripada masalah besar.
Dari Tabel 3 dapat diketahui bahwa kelebihan dari heuristic evaluation ditekankan kecepatan dalam mendapatkan hasil pengujian (feedback) dari ahli. Sedangkan kekurangannya adalah membutuhkan biaya yang mahal yang disebabkan kebutuhan ahli dalam proses pengujiannya. Pada pengujian system usability scale juga memiliki kelebihan dan kekurangan seperti yang diperlihatkan pada Tabel 4 [45].
Tabel 4. Kelebihan dan kekurangan system usability scale Kelebihan Kekurangan
1. Skala  pengujian  yang  mudah  dimengerti  oleh responden
2. Dapat  dilakukan  dengan  jumlah  sampel  yang kecil dengan hasil yang dapat diandalkan
3. Dapat  dilakukan  dengan  efektif  karenan  dapat membedakan  perangkat  lunak  yang  mampu digunakan ataupun tidak
1. Sistem perhitungan agak rumit
2. Adanya  keraguan  karenan  jarak  rentang nilai dari 0 samapi dengan 100
3. Melakukan  normalis-asi  skor  nialai  untuk menentukan persentasi hasil
4. Hanya  digunakan  untuk  mengklasifi-kasi perangkat lunak

## 4. KESIMPULAN
Dari uraian yang telah dikemukakan maka dapat disimpulkan bahwa:
a) Heuristic  evaluation merupakan  teknik  pengujian usability yang  dilakukan  oleh  ahli (expert) dan biaya  cenderung  lebih  mahal  yang  disebabkan  keterlibatan  ahli (expert) namun  lebih  cepat mendapatkan  umpan  balik. System  usability  scale merupakan  teknik  pengujian  yang  melibatkan langsung  pengguna (end  user) dan  dapat  dilakukan  dengan  jumlah  sampel  yang  sedikit  namun proses perhitungan penentuan hasil agak rumit.
b) Heuristic  evaluation memiliki  beberapa  jenis  instrumen  pengujian  dan  penentuan  hasil  pengujian yang diskala dari 0 (nol) sampai dengan 4 (empat), 0 (nol) berarti tidak memiliki masalah usability , 1 (satu) berarti memiliki  masalah cosmetic problem, 2 (dua) berarti minor usability problem ; perlu perbaikan,  3 (tiga) berarti major usability problem ; perlu perbaikan yang mempengaruhi proses, dan 4  (empat)  berarti usability  catastrophe ;  perlu  tindakan  desain  ulang.  Sedangkan system  usability scale hanya  terdapat  satu  jenis  instrumen  pengujian  dan  memiliki  dua  jenis  penentuan  hasil pengujian yaitu (1) acceptability, grade scale, dan adjective rating. Acceptability memiliki tingkatan not acceptable, marginal (rendah dan tinggi), dan acceptable. Grade scale memiliki tingkatan A, B, C,  D    dan  F.  Sedangkan adjective  rating memiliki  tingkatan worst  imaginable,  poor,  ok,  good, excelent  dan  best  imanginable. (2) SUS  score  percentile  rank hanyak  membuat  tingkat  kegunaan berdasarkan perhitungan umum dengan ketentuan A, B, C, D dan F.
c) Pengujian usability baik  menggunakan  teknik heuristic  evaluation maupun system  usability  scale memiliki  kelebihan  dan  kekurangan  sehingga  untuk  mengimplementasi  teknik  pengujian  tersebut disarankan  untuk  memperhatikan  kelebihan  dan  kekurangan  masing-masing  teknik  pengujian  agar mendapatkan hasil yang maksimal dan benar.

## UCAPAN TERIMA KASIH
Terima  kasih  kami  ucapkan  kepada  Universitas  Bina  Darma  terutama  Group  research  CITO  yang telah  banyak  membimbing  dalam  penulisan  jurnal  ini,  dan  terima  kasih  juga  kami  sampaikan  kepada Redaktur Jurnal SIMETRIS yang telah bersedia memproses dan menerbitkan paper .

## DAFTAR PUSTAKA
[1]  J.  Nielsen.  (2012,  June  7,  2018).  Usability  101:  Introduction  to  Usability.  Available: https://www.nngroup.com/articles/usability-101-introduction-to-usability/
[2]  Y.  Nurhadryani,  S.  K.  Sianturi,  I.  Hermadi,  and  H.  Khotimah,  "Pengujian  usability  untuk meningkatkan  antarmuka  aplikasi  mobile,"  Jurnal  Ilmu  Komputer  dan  Agri-Informatika,  vol.  2, 2013.
[3]  E. Susilo, B. S. WA, and H. Al  Fatta, "Evaluasi Aplikasi Mobile SSP (Secure System of Payment) Menggunakan Prinsip Usability," SEMNASTEKNOMEDIA, vol. 5, pp. 2-6-7, 2017.
[4]  B.  Pudjoatmodjo  and  R.  Wijaya,  "Tes  Kegunaan  (Usabilty  Testing)  Pada  Aplikasi  Kepegawaian Dengan Menggunakan System Usabilty Scale (Studi Kasus: Dinas Pertanian Kabupaten Bandung)," SEMNASTEKNOMEDIA ONLINE, vol. 4, pp. 2-9-37, 2016.
[5]  T.  Xie,  H.  Chen,  J.  Li,  and  H.  Xiong,  "A  study  on  the  methods  of  software  testing  based  on  the design models," in Computer Science  Education (ICCSE), 2011 6th International Conference on, 2011, pp. 111-113.
[6]  U.  Ependi,  "Heuristic  Evaluation  for  Mobile  Application  (Studi  Kasus:  Aplikasi  Depo  Auto  2000 Tanjung Api Api Palembang)," Simetris: Jurnal Teknik Mesin, Elektro dan Ilmu Komputer, vol. 8, pp. 563-570, 2017.
[7]  U.  Ependi,  F.  Panjaitan,  and  H.  Hutrianto,  "System  Usability  Scale  Antarmuka  Palembang  Guide Sebagai Media Pendukung  Asian Games  XVIII," Journal  of Information  Systems Engineering and Business Intelligence, vol. 3, pp. 80-86, 2017.
[8]  W. U. Martoyo and F. Suprapto, "Kajian Evaluasi Usability dan Utility pada Situs Web," SESINDO 2015, vol. 2015, 2015.
[9]  M. Rahardjo, "Studi kasus dalam penelitian  kualitatif:  konsep dan prosedurnya," Universitas Islam Negeri Maulana Malik Ibrahim Malang, Malang2017.
[10]  S. Siyoto and M. A. Sodik, Dasar Metodologi Penelitian, 2018.
[11]  H. P. Hadi, "Usability engineering on IPB public relationship information system," 2010.
[12]  P. Calak, "Smartphone evaluation heuristics for older adults," 2013.
[13]  R.  Agarwal  and  V.  Venkatesh,  "Assessing  a  firm's  web  presence:  a  heuristic  evaluation  procedure for the measurement of usability," Information Systems Research, vol. 13, pp. 168-186, 2002.
[14]  J.  Nielsen  and  R.  Molich,  "Heuristic  evaluation  of  user  interfaces,"  in  Proceedings  of  the  SIGCHI conference on Human factors in computing systems, 1990, pp. 249-256.
[15]  J. S. Dumas, J. S. Dumas, and J. Redish, A practical guide to usability testing: Intellect books, 1999.
[16]  J.  R.  Lewis,  "Usability:  lessons  learned…  and  yet  to  be  learned," International  Journal  of  Human- Computer Interaction, vol. 30, pp. 663-684, 2014.
[17]  R. Jeffries, J. R. Miller, C. Wharton, and K. Uyeda, "User interface evaluation in the real world: a comparison  of  four  techniques,"  in  Proceedings  of  the  SIGCHI  conference  on  Human  factors  in computing systems, 1991, pp. 119-124.
[18]  S.  Hermawati  and  G.  Lawson,  "Establishing  usability  heuristics  for  heuristics  evaluation  in  a specific domain: Is there a consensus?," Applied ergonomics, vol. 56, pp. 34-51, 2016.
[19]  J.  Nielsen.  (1995,  June  8).  How  to  Conduct  a  Heuristic  Evaluation.  Available: https://www.nngroup.com/articles/how-to-conduct-a-heuristic-evaluation/
[20]  P.  T.  Kortum  and  A.  Bangor,  "Usability  ratings  for  everyday  products  measured  with  the  System Usability Scale," International Journal of Human-Computer Interaction, vol. 29, pp. 67-76, 2013.
[21]  M.  Reolon,  T.  C.  Lacerda,  C.  Krone,  C.  G.  von  Wangenheim,  J.  Xafranski,  J.  V.  Nunes,  et  al., "Usability  Heuristics  for  Evaluating  Health-care  Applications  for  Smartphones:  A  Systematic Literature Review," 2016.
[22]  J.  Nielsen,  "Usability  inspection  methods,"  in  Conference  companion  on  Human  factors  in computing systems, 1994, pp. 413-414.
[23]  H.  Le,  M.  Kuttel,  and  G.  Chandran,  "An  electronic  health  care-cardiac  monitoring  system,"  in Communications Workshops (ICC), 2010 IEEE International Conference on, 2010, pp. 1-5.
[24]  H.  Monkman  and  A.  Kushniruk,  "A  health  literacy  and  usability  heuristic  evaluation  of  a  mobile consumer health application," in MedInfo, 2013, pp. 724-728.
[25]  R.  Yáñez  Gómez,  D.  Cascado  Caballero,  and  J.-L.  Sevillano,  "Heuristic  evaluation  on  mobile interfaces: A new checklist," The Scientific World Journal, vol. 2014, 2014.
[26]  P.  Savitri  and  M.  Ispani,  "Review  Desain  Interface  Aplikasi  Sopppos  Menggunakan  Evaluasi Heuristik," Simetris: Jurnal Teknik Mesin, Elektro dan Ilmu Komputer, vol. 6, pp. 95-100, 2015.
[27]  S.  N.  B.  Aziz,  "Interface  Design  And  Usability  Evaluation  Of  An  Online  Learning  Module  For Image Editing," Universiti Malaysia Sarawak, 2011.
[28]  H.  Setyawans  Sutedjo,  S.  Wignjosoebroto,  and  A.  Rahman,  "Perancangan  Web  Interface  Institut Teknologi Sepuluh Nopember (ITS) Dengan Memperhatikan Aspek Usability," Jurnal Teknik ITS, vol. 1.
[29]  R.  Firmansyah,  "Evaluasi  Heuristik  Pada  Desain  Interface  Aplikasi  My  Indihome,"  in  Seminar Nasional Ilmu Pengetahuan dan Teknologi Komputer, 2016, pp. 69-76.
[30]  S.  Saifulloh  and  N.  Asnawi,  "Evaluasi  Desain  Antarmuka  Dengan  Pendekatan  Kemudahan Penggunaan  (Studi  Kasus  Mobile  App  Sport  Galaxy  Center),"  Data  Manajemen  dan  Teknologi Informasi (DASI), vol. 16, pp. 55-58, 2015.
[31]  L.  Susanti  and  A.  Baresky,  "Evaluasi  Performansi  Video  Games  Ditinjau  Dari  Aspek  Usability (Studi Kasus: Game Pro Evolution Soccer (PES) 2011)," in Seminar Nasional Teknologi Informasi Komunikasi dan Industri, 2012.
[32]  E. Iryanti, "Evaluasi User Interface Video Interaktif Manusia Purba dengan Menggunakan Metode Heuristik," Jurnal Infotel, vol. 6, pp. 89-94, 2014.
[33]  A.  Z.  Abdillah,  "Uji  Usability  Manajemen  Arsip  Digital  Menggunakan  Cloud  Computing  di  PT. XYZ," Doctoral Dissertation, Universitas Airlangga, Surabaya, 2015.
[34]  S.  L.  Rahayu,  "Rancang  Bangun  Augmented  Reality  Pada  Data  Menu  Restoran,"  Eksplora Informatika, vol. 6, 2016.
[35]  M.  Sulistiyono,  "Evaluasi  Heuristic  Sistem  Informasi  Pelaporan  Kerusakan  Laboratorium Universitas AMIKOM Yogyakarta," Data Manajemen dan Teknologi Informasi (DASI), vol. 18, pp. 37-43, 2017.
[36]  J. Sauro, A practical guide to the system usability scale: Background, benchmarks  best practices: Measuring Usability LLC Denver, CO, 2011.
[37]  J. Sauro, "Measuring usability with the system usability scale (SUS)," ed, 2011.
[38]  H. L. Jakob Nielsen, Prioritizing Web Usability. Berkeley: Nielsen Norman Group, 2006.
[39]  F.  Shah.  (2009,  June  8).  Usability  Guidelines  for  Heuristic  Evaluation.  Available: https://uxcentered.wordpress.com/
[40]  J. Nielsen, "Finding usability problems through heuristic evaluation," in Proceedings of the SIGCHI conference on Human factors in computing systems, 1992, pp. 373-380.
[41]  R. Khajouei, A. Ameri, and Y. Jahani, "Evaluating the agreement of users  with usability problems identified by heuristic evaluation," International Journal of Medical Informatics, 2018.
[42]  T. S. Tullis and J. N. Stetson, "A comparison of questionnaires for assessing website usability," in Usability professional association conference, 2004, pp. 1-12.
[43]  A.  Bangor,  P.  Kortum,  and  J.  Miller,  "Determining  what  individual  SUS  scores  mean:  Adding  an adjective rating scale," Journal of usability studies, vol. 4, pp. 114-123, 2009.
[44]  Usability.gov.  (2018,  June  29).  Heuristic  Evaluations  and  Expert  Reviews.  Available: https://www.usability.gov/how-to-and-tools/methods/heuristic-evaluation.html
[45]  Usability.gov. (2018, June 29). System Usability
Scale (SUS). Available:
https://www.usability.gov/how-to-and-tools/methods/system-usability-scale.html