## Perbandingan Metode Evaluasi Usability antara Heuristic Evaluation dan Cognitive Walkthrough
Lit Malem Ginting 1 , Grady Sianturi 2 , Christina Panjaitan 3 1,2,3 Program Studi Informatika, Institut Teknologi Del, Laguboti, Indonesia e-mail: 1 litmalem.ginting@del.ac.id, 2 ifs17029@students.del.ac.id, 3 ifs17048@students.del.ac.id

## Abstrak
Evaluasi  usability  diperlukan  untuk  mengidentifikasi  dan  menganalisis  masalah  usability  pada sebuah  aplikasi.  Penelitian  ini  membandingkan  hasil  evaluasi  usability  dengan  metode  Heuristic Evaluation  dan  Cognitive  Walkthrough  pada  web  SIMRS  Del  Egov  Center  dari  aspek  masalah usability  yang  ditemukan,  level  masalah  usability,  dan  tanggapan  end  user  yang  akan  dievaluasi menggunakan  usability  testing  untuk  menemukan  metode  yang  lebih  efektif  menemukan  masalah usability. Heuristic Evalution akan mengacu pada 10 prinsip heuristic yang dikemukakan oleh Jacob Nielsen,  sedangkan  Cognitive  Walkthrough,  expert  akan  mengikuti  task  yang  disediakan  oleh peneliti.  Hasil  penelitian  menunjukan  bahwa  hasil  evaluasi  yang  dilakukan  dengan  Heuristic Evaluation  menemukan  lebih  banyak  masalah  usability  pada  aspek:  efficiency,  memorability  dan satisfaction,  sedangkan  Cognitive  Walktrough  menemukan  lebih  banyak  masalah  usability  pada aspek:  learnability  dan  error.  Pada  aspek  severity  rating,  Cognitive  Walktrough  lebih  efektif menemukan masalah usability dengan tingkat keparahan yang lebih tinggi yaitu dengan rata-rata 3, sedangkan  heuristic  evaluation  dengan  rata-rata  2.  Pada  aspek  tanggapan  end  user  terhadap website berdasarkan usability testing, Heuristic Evaluation mempunyai skor SUS yang lebih tinggi, yaitu 57 sedangkan Cognitive Walktrough mempunyai skor SUS 54,5. Hal ini menunjukkan bahwa berdasarkan  ketiga  aspek  tersebut,  metode  Heuristic  Evaluation  lebih  baik  dalam  menemukan masalah usability pada objek kaji aplikasi SIMRS Del Egov Center.
Kata kunci: Heuristic evaluation, Cognitive walkthrough, Usability Testing, Prototipe

## Abstract
Usability  evaluation  is  needed  to  identify  and  analyze  usability  problems  in  an  application.  This study  will  compare  the  results  of  usability  evaluation  with  Heuristic  Evaluation  and  Cognitive Walkthrough methods on the SIMRS Del Egov Center web from the aspects of usability problems found, the level of usability problems, and end user responses that will be evaluated using usability testing to find a more effective method of finding usability problems. Heuristic Evaluation will refer to the 10 heuristic principles proposed by Jacob Nielsen, while Cognitive Walkthrough, the expert will follow the task provided by the researcher. The results showed that the results of the evaluation conducted  by  Heuristic  Evaluation  found  more  usability  problems  in  aspects:  efficiency, memorability  and  satisfaction,  while  Cognitive  Walktrough  found  more  usability  problems  in aspects: learnability and error. In the severity rating aspect, Cognitive Walktrough is more effective in  finding  usability  problems  with  a  higher  severity  level,  with  an  average  of  3,  while  heuristic evaluation with an average of 2. In the aspect of end user responses to websites based on usability testing, Heuristic Evaluation has a SUS score which is higher at 57, while Cognitive Walktrough has an SUS score of 54.5. This shows that based on these three aspects, the Heuristic Evaluation method is better at finding usability problems in the SIMRS Del Egov Center application study object.
Keywords: Heuristic evaluation, Cognitive walkthrough, Usability Testing, Prototype
OJS: https://ojs.unikom.ac.id/index.php/jamika

## 1. Pendahuluan
Kebutuhan akan data dan informasi saat ini berkembang sangat pesat. Oleh karena itu, dibutuhkan  media  penyebaran  informasi  seperti website agar  data  dan  informasi  tersebut dapat  tersampaikan  secara  luas  dan  baik. Website ini  dapat  dimanfaatkan  sebagai  media penyebaran informasi yang dapat diakses oleh siapapun, kapanpun, dan di manapun. Sebuah website akan  berinteraksi  langsung  dengan  pengguna,  sehingga  harus  memiliki  aspek usability yang baik agar dapat digunakan dengan mudah dan nyaman oleh pengguna. Jacob Nielsen  [1]  pada  bukunya  menyebutkan  bahwa  aspek usability ini  akan  mempengaruhi sistem untuk memenuhi tujuan dan kebutuhan pengguna. Pengguna akan berinteraksi dengan website melalui  perintah  atau  teknik  untuk  mengoperasikan  sistem  pada  tampilan  yang disebut user interface . Permasalahan pada user interface akan mempengaruhi pengalaman dan kesan pengguna ketika menggunakan website tersebut. Tampilan sebuah user interface harus  memiliki  aspek usability yang  baik  sehingga  pengguna  akan  merasa  nyaman  saat menggunakan website tersebut.
Saat ini, website sangat  dibutuhkan untuk mendapatkan informasi dengan cepat dan mudah. Salah satu contohnya adalah rumah sakit yang menggunakan website sebagai sistem informasi. Sistem informasi rumah sakit adalah salah satu website yang merupakan sistem teknologi  informasi  dan  komunikasi  yang  memproses  dan  mengintegrasikan  seluruh  alur proses  pelayanan  dan  kegiatan  rumah  sakit  yang  digunakan  untuk  memperoleh  informasi secara tepat dan akurat [2]. Sistem informasi rumah sakit sebagai salah satu sistem layanan publik  harus  memiliki  sisi usability yang  baik  agar  pengguna  tidak  kesulitan  dan  dapat menggunakannya dengan benar sesuai dengan fungsinya [3]. Untuk mencapai hal tersebut, dibutuhkan  evaluasi usability yang  dapat  membantu  mengidentifikasi  dan  menganalisis masalah usability sebuah website .  Evaluasi usability akan  dilakukan  pada  tampilan  yang terlihat langsung oleh pengguna yang merupakan user interface dari suatu sistem perangkat lunak.
Menurut [4] dan [5] metode evaluasi usability dapat diklasifikasikan menjadi 2 tipe, yaitu test method s  dan inspection method s. Test method didasarkan pada  evaluasi dengan end user , sedangkan Inspection method didasarkan pada evaluasi dengan expert evaluator atau  ui/ux  designer.  Pada  penelitian  ini  akan  dilakukan  perbandingan  pada inspection method s,  yaitu Heuristic  Evaluation dan Cognitive  Walkthrough yang  bertujuan  untuk menemukan  metode  yang  paling  efektif  untuk  mendapatkan  masalah usability .  Melalui metode Heuristic  Evaluation , expert atau  ahli  akan  melakukan  evaluasi usability berdasarkan seperangkat prinsip atau rule of thumb yaitu Nielsen Model yang dikemukakan oleh  Jacob  Nielsen  untuk  mencari  kesalahan  pada  sebuah website .  Pada Cognitive Walkthrough ,  evaluator  akan  melakukan  inspeksi  pada user interface dengan  melakukan task s yang biasa dilakukan oleh end user . Urutan tindakan dan tanggapan pada user interface dibandingkan  dengan  tujuan  dan  langkah-langkah  yang  dilakukan  pengguna.  Perbedaan antara urutan tindakan pengguna dan tahapan yang dibutukan user interface akan dicatat [6]. Adapun  penelitian  terdahulu  yang  berkaitan  dengan  penelitian  ini,  yaitu  penelitian yang berjudul “ Usability Evaluation on Website Ditenun” digunakan sebagai acuan dalam menerapkan proses dan tahapan usability testing dan heuristic evaluation , penelitian yang berjudul  “ Comparison  of  Heuristic  and  Cognitive  walkthrough  Usability  Evaluation Methods for Evaluating Health Informations Systems ” [7] digunakan sebagai acuan untuk melakukan  perbandingan  antara heuristic  evaluation dan cognitive  walkthrough ,  dan penelitian  yang  berjudul  “ The  Relationship  Between  User  Interface  Problem  of  an
Admission,  Discharge,  and  Transfer  Module  and  Usability  Features:  A  Usability  Testing Method ” [8] digunakan sebagai acuan untuk melakukan analisis usability dengan heuristic evaluation yang berfokus pada Sistem Informasi Rumah Sakit. Pada penelitian ini dilakukan perbandingan pada inspection method, yaitu Heuristic Evaluation dan Cognitive  Walkthrough ,  kemudian  dievaluasi  dengan test method s menggunakan usability testing . Inspection method melibatkan expert dan Usability testing melibatkan end user yang  diminta  untuk  berinteraksi  dengan  sistem  dengan  mengerjakan beberapa task yang berguna bagi mereka.  Melalui penggabungan metode evaluasi usability , yaitu test method dan inspection method [9]  dengan  objek  kaji  SIMRS  Del  Egov  Center berbasis  web,  diharapkan  dapat  ditentukan  metoda  yang  paling  efektif  antara heuristic evaluation dan cognitive walkthrough untuk menemukan masalah usability pada objek kaji tersebut.
2. Kajian Pustaka
2.1 Usability
Usability adalah sebuah atribut yang mengukur kualitas seberapa mudah sebuah user interface digunakan. Usability juga  termasuk  aspek  yang  perlu  diperhatikan  untuk meningkatkan  kemudahan  penggunaan  selama  proses  desain  sebuah website .  Saat  ini, masalah usability sangat  menentukan  sebuah website akan  dengan  baik  diterima  oleh pengguna  atau  tidak.  Jika  sebuah website sulit  digunakan,  pengguna  akan  berhenti menggunakannya. Jika halaman tidak secara jelas menyatakan apa yang ditawarkan dan apa yang dapat dilakukan pengguna, pengguna akan berhenti menggunakannya. Jika informasi di situs web sulit dipahami, atau tidak menjawab pertanyaan pengguna, maka pengguna akan berhenti  menggunakannya.  Menurut International  Standard  Organization (9241-11), usability mencakup  sejauh  mana  produk  dapat  digunakan  oleh  pengguna  tertentu  untuk mencapai  tujuan  tertentu  dengan  efektivitas,  efisiensi,  dan  kepuasan  pada  konteks penggunaan  yang  ditentukan. Usability biasanya  diukur  dengan  melakukan  pengujian kepada beberapa pengguna yang dipilih sebagai perwakilan dari pengguna yang dituju.
Pada  bukunya,  Jacob  Nielsen  menyebutkan  lima  atribut  yang  digunakan  untuk mengukur usability sebuah interface , yaitu:
1. Learnability
Sistem  harus  mudah  dipelajari  sehingga  pada  pengalaman  pertama  menggunakan sistem,  pengguna  dapat  dengan  segera  menyelesaikan task tertentu. Learnability merupakan atribut  yang mudah diukur. Pengguna yang dipilih adalah  pengguna  yang belum pernah menggunakan sistem sebelumnya dan mengukur waktu  yang pengguna butuhkan  untuk  mencapai  tingkat  kemahiran  tertentu  saat  menggunakannya.  Jika pengguna  dapat  menyelesaikan  serangkaian task tertentu  dengan  waktu  minimum tertentu  ketika  menggunakan  sistem  untuk  pertama  kali,  pengguna  tersebut  dianggap telah mempelajari sistem tersebut.
2. Efficiency
Sistem  harus  efisien  digunakan,  sehingga  sekali  pengguna  telah  mempelajari  sistem, selanjutnya tingkat produktivitas menjadi tinggi. Untuk mengukur aspek efficiency saat penggunaan  sistem,  dibutuhkan  pengguna  yang  berpengalaman.  Pengguna  yang berpengalaman didefinisikan sebagai  pengguna  yang telah menggunakan sistem pada waktu  tertentu.  Pengujian  dilakukan  dengan  cara  meminta  pengguna  untuk menggunakan  sistem  selama  waktu  tertentu,  setelah  itu  efisiensi  pengguna  tersebut diukur.
OJS: https://ojs.unikom.ac.id/index.php/jamika

## 3. Memorability
Sistem  harus  mudah  diingat,  sehingga  pengguna  dapat  menggunakan  sistem  kembali dengan  baik  setelah  beberapa  waktu  tidak  menggunakannya,  tanpa  harus  mengulang untuk  mempelajari lagi  sistem  tersebut.  Pengguna hanya harus mengingat  bagaimana menggunakan sistem berdasarkan pembelajaran sebelumnya dan tidak perlu mengingat tentang apa yang sistem lakukan, karena sistem akan mengingatkan mereka.
4. Errors Sistem harus memiliki tingkat error yang rendah, sehingga pengguna hanya melakukan sedikit kesalahan saat menggunakan sistem.  Begitu juga ketika pengguna melakukan kesalahan,  pengguna  dapat  mengatasi  masalah  dengan  mudah. Error didefinisikan sebagai setiap tindakan yang tidak mencapai tujuan yang diinginkan. Error pada sistem memiliki  dampak  yang  bervariasi.  Beberapa error dapat  segera  diperbaiki  oleh pengguna dan tidak ada menimbulkan efek selain memperlambat waktu pengguna saat melakukan task tertentu.
5. Satisfaction
Sistem  harus  menyenangkan  saat  digunakan,  sehingga  pengguna  menyukai  dan  puas ketika  menggunakannya. Satisfaction didefinisikan  dengan  seberapa  menyenangkan pengguna  saat  menggunakan  sistem.  Dalam  mengukur  tingkat satisfaction pengguna terhadap  sebuah  sistem  dilakukan  wawancara  dengan  bertanya  langsung  kepada pengguna.

## 3. Metode Penelitian

## 3.1 User Interface Design
Pengguna  akan  berinteraksi  dengan website melalui  perintah  atau  teknik  untuk mengoperasikan sistem pada tampilan yang disebut user interface [10]. Permasalahan pada user interface akan mempengaruhi pengalaman dan kesan pengguna ketika menggunakan website tersebut.  Jika user interface tidak  dirancang  dengan  baik  pada  sistem,  maka user tidak  akan  menggunakan  sistem  tersebut.  Oleh  karena  itu,  maka  harus  dilakukan user interface design. Tujuan dari user interface design adalah untuk merancang interface yang efektif  dan  sesuai  dengan  kebutuhan user .  Perancangan user interface dilakukan  dengan menggunakan prinsip-prinsip design user interface dalam membuat desain SIMRS Del Egov Center mulai dari storyboard sampai dengan membuat prototype high fidelity . Hasil akhir dari  pembuatan  desain  ini  berupa prototype high  fidelity . Prototype yang  dihasilkan  ada menjadi dua bagian, yaitu IGD dan Rawat Jalan. Prototype ini menjadi bahan evaluasi yang akan dilakukan oleh pihak expert .

## 3.2 Heuristic evaluation
Menurut  Nielsen, heuristic  evaluation adalah  salah  satu  metode  ketika  melakukan evaluasi usability dengan melakukan inspeksi yang sistematis pada user interface . Evaluator adalah orang yang memiliki keahlian pada bidang usability dan user interface . Tujuan dari heuristic  evaluation adalah  untuk  menemukan  masalah usability user interface sehingga dapat  dievaluasi  dan  dilakukan  proses  desain  yang  berulang  untuk  memperbaiki user interface tersebut [11]. Pelaksanaan evaluasi usability dengan metode heuristic evaluation melibatkan tiga orang evaluator Ketiga evaluator tersebut merupakan expert yang memiliki keahlian  atau  yang  bekerja  dalam  bidang user interface dengan  pengalaman  minimal  1
tahun.  Dengan  latar  belakang  tersebut,  nantinya  evaluator  diharapkan  dapat  memberikan hasil evaluasi usability yang valid.
Selama  evaluasi,  evaluator  akan  memeriksa  seluruh user interface dan  elemen  dari sistem lalu membandingkannya dengan usability principles yang diakui [12].  Setelah semua evaluasi  dilakukan  oleh  setiap  evaluator,  semua  evaluator  akan  berkumpul  untuk berkomunikasi  mengenai  temuan  mereka.  Hasil  dari  metode  ini  adalah  daftar  masalah usability pada user interface disertai dengan referensi tentang prinsip-prinsip usability yang menurut evaluator dilanggar oleh user interface tersebut. Ketika  melakukan heuristic  evaluation pada  penelitian  ini,  digunakan  prinsip  yang dikemukakan oleh Jacob Nielsen dan Rolf Molich yang kemudian direvisi lagi oleh Nielsen. Prinsip-prinsip ini dikenal dengan 10 rules of thumb untuk usability seperti yang ditunjukkan pada tabel 1.
Tabel 1. Prinsip Heuristic evaluation Prinsip Heuristic Definisi 1 Visibility of system status Sistem  harus  selalu  memberitahu  informasi kepada  pengguna  tentang  apa  yang  sedang terjadi pada sistem melalui feedback. 2 Match between system and real world Sistem  lebih  baik  menggunakan  bahasa pengguna  yang  umum  dengan  kata-kata,  frasa dan konsep yang familiar dengan pengguna. 3 User control and freedom Pengguna  lebih  memilih  fungsi  pada  sistem dengan  tidak  sengaja  dan  akan  membutuhkan sebuah  “emergency  exit”  untuk  keluar  dari situasi yang tidak diinginkan. 4 Consistency and standards Pengguna  tidak  perlu  bertanya-tanya  apakah kata,  situasi  dan  tindakan  yang  berbeda memiliki arti yang sama pada sebuah sistem 5 Error prevention Pencegahan masalah lebih baik daripada pesan error yang baik. 6 Recognition rather than recall Sistem  harus  meminimalkan  beban  ingatan pengguna  pada  saat  melakukan task pada sebuah sistem. 7 Flexibility and efficiency of use Sistem  harus  dapat  melayani  tipe  pengguna yang berbeda, baik pengguna yang ahli maupun yang tidak berepengalaman. 8 Aesthetic and minimalist design Sistem tidak boleh berisi informasi yang tidak relevan atau jarang dibutuhkan. 9 Help  users  recognize,  diagnose,  and recover from errors Sistem harus memiliki pesan error yang harus diungkapkan  dengan  bahasa  sederhana  dan mudah dimengerti pengguna. 10 Help and documenta-tion sistem  harus  memiliki  sebuah  bantuan  jika pengguna membutuhkannya

## 3.3 Cognitive Walktrough
Metode cognitive  walkthrough merupakan  metode  evaluasi  yang  fokus  pada kemudahan  dalam  mempelajari  suatu  produk. cognitive  walkthrough didasarkan  dengan frekuensi pengguna menggunakan produk, melalui eksplorasi dan bukan melalui instruksi formal  [13].  Pada cognitive  walkthrough ,  evaluator  akan  menggunakan interface untuk melakukan tugas-tugas dengan menggunakan perspektif pengguna. Pengujian ini mengacu
OJS: https://ojs.unikom.ac.id/index.php/jamika
pada perbedaan antara tujuan dan pengetahuan pengguna dan tahapan yang dibutukan user interface .  Fokus  pada cognitive  walkthrough lebih  kepada  aktivitas  pengguna  secara kognitif,  terutama  pada  tujuan  dan  pengetahuan  ketika  melakukan  tugas  tertentu  [14]. Cognitive  walkthrough dapat  diterapkan  selama  proses  development  selama  sistem  dapat memberikan  informasi  apa  yang  dilakukan  oleh  pengguna  dan  apa  yang  dilakukan  oleh sistem.  Untuk  menghindari  bias  saat  melakukan  perbandingan  antara  metode heuristic evaluation dan cognitive  walkthrough ,  evaluasi usability menggunakan cognitive walkthrough akan  melibatkan  evaluator  yang  sama  dengan  evaluator  pada heuristic evaluation yaitu tiga orang expert evaluator dalam bidang User interface .

## 3.4 Usability Testing
Usability Testing adalah  metode  evaluasi usability yang  memberi  fokus  pada pengguna  untuk  melakukan  pengujian  dengan  produk  serta  melakukan  tugas-tugas  yang nyata  [15]. Usability Testing merupakan pengujian yang bersifat fundamental karena secara langsung  melibatkan end user saat  menggunakan  produk  sehingga  pengguna  dapat mengalami masalah sebenarnya pada produk dan dapat menjelaskan masalah yang ada pada produk agar dapat diperbaiki ataupun mengurangi masalah usability [1].  Data yang dipakai untuk  melakukan  analisis usability dalam usability testing adalah  data  kualitatif  dan  data kuantitatif yang diperoleh melalui pelaksanaan usability testing . Data kuantitatif diperoleh melalui kuesioner SUS yang diisi oleh partisipan selama proses usability testing . Kuesioner SUS  ini  dilakukan  untuk  mengetahui  nilai  kepuasaan  pengguna.  Data  kualitatif  diperoleh melalui hasil observasi, hasil interview terbuka atau open ended question dan think aloud dari  partisipan  yang  dianalisis  saat  pelaksanaan usability testing .  Ketika  melakukan observasi  terhadap  partisipan usability Testing ,  dilakukan  pengataman  terhadap  perilaku partisipan yang bekerja terhadap task . Hasil data yang diperoleh dengan kegiatan yang telah dilakukan akan disatukan menjadi data kualitatif yang dipakai untuk memperbaiki masalah yang  muncul.  Untuk  mendukung  data  kualitatif  akan  digunakan  data  kuantitatif  sebagai faktor  pendukung  dalam  analisis  solusi  perbaikan  berikutnya.  Hasil  dari  analisis  ini diterapkan untuk meningkatkan usability sistem.

## 3.5 Analisis Perbandingan Heuristic evaluation dan Cognitive Walktrough
Pada penelitian ini dilakukan perbandingan pada inspection method s, yaitu heuristic evaluation dan cognitive walkthrough untuk menemukan metode yang paling efektif untuk mendapatkan masalah usability . Objek yang akan dievaluasi dengan kedua metode tersebut adalah objek yang sama sehingga penelitian ini dilakukan oleh evaluator yang sama untuk metode cognitive  walktrough dan  metode heuristic  evaluation .  Hal  ini  dilakukan  untuk menghindari adanya bias saat melakukan perbandingan antara kedua metode tersebut.
Dalam  penelitian  ini,  dilakukan  perbandingan  antara heuristic  evaluation dan cognitive walkthrough dalam hal masalah usability yang ditemukan, level masalah usability , dan tanggapan end user terhadap website berdasarkan usability testing . Perbandingan akan dilakukan  berdasarkan  masalah  unik  yang  ditemukan,  yaitu  masalah  yang  berbeda  pada setiap  metode  setelah  dilakukan  eliminasi  masalah  yang  sama  pada  kedua  metode. Permasalahan unik yang ditemukan kemudian dikategorikan berdasarkan kombinasi dengan atribut usability ,  Oleh  karena  itu,  dilakukan  pemetaan  atribut usability terhadap  setiap masalah  yang  ditemukan  dengan  menggunakan heuristic  evaluation dan cognitive walkthrough .  Pemetaan  atribut usability dan  indikatornya  dengan  faktor  prinsip cognitive walkthrough dilakukan  oleh  evaluator  dengan  menetapkan  permasalahan  yang  ditemukan
OJS: https://ojs.unikom.ac.id/index.php/jamika
dan memetakannya ke dalam aspek usability , sedangkan untuk metode heuristic evaluation , pemetaan atribut usability dan indikatornya dengan faktor prinsip heuristic evaluation dapat dilihat pada Tabel 2.
Tabel 2. Prinsip Heuristic evaluation Faktor Usability Indikator Usability Prinsip Heuristic evaluation 1 Learnability Easy to understand Match  between  system  and  real world Consistency and standards Easy to look for specific information Help and documentation Easy to identify navigational mechanism Help and documentation 2 Efficiency Easy to reach quickly Flexibility and efficiency of use 3 Memorability Easy to remember Recognition rather than recall Easy to reestablish Consistency and standards 4 Errors Few  numbers  of  error detected Error prevention Easy to fix Help  users  recognize,  diagnose, and recover from errors 5 Satisfaction System pleasant to use User control and freedom Visibility of system status Comfort to use Aesthetic and minimalist design
Untuk  menilai  level  setiap  masalah usability yang  ditemukan,  evaluator  akan menggunakan severity  rating . Severity  rating akan  mengelompokkan  masalah usability berdasarkan  prioritas  perbaikannya. Severity  rating dibagi  menjadi  5  kategori  sebagai berikut:
0 = Bukan masalah usability 1 = cosmetic problem only: Perlu dilakukan perbaikan hanya jika waktu tambahan tersedia 2 = minor usability problem : Perlu dilakuakan perbaikan dan diberi prioritas rendah.
3 = major usability problem : Penting untuk diperbaiki, sehingga diberikan prioritas tinggi.
4 = usability catastrophe: Sangat penting untuk diperbaiki sebelum dilakukan deployment. Untuk mendapatkan hasil dari perbandingan antara heuristic evaluation dan cognitive walkthrough menurut perspektif pengguna, hasil perbaikan desain user interface dari kedua metode tersebut akan diuji kepada end user dengan menggunakan usability testing , setelah itu didapatkan skala likert dan kategori usability dengan menghitung skor pada kuesioner System Usability Scale (SUS) untuk masing-masing hasil perbaikan desain kedua metode tersebut.

## 4. Hasil dan Pembahasan

## 4.1 Heuristic evaluation
Berdasarkan hasil pelaksanaan heuristic evaluation yang telah dilakukan, ditemukan total  21  masalah usability oleh  ketiga  evaluator.  Ketiga  evaluator  menemukan  masing- masing  12  permasalahan,  2  permasalahan,  dan  7  permasalahan  yang  melanggar  prinsip Nielsen.  Permasalahan  yang  ditemukan  oleh  evaluator  dipetakan  dengan  aspek usability yang dapat dilihat pada tabel 3.
OJS: https://ojs.unikom.ac.id/index.php/jamika
Tabel 3. Hasil Heuristic evaluation Aspek Usability Jumlah permasalahan yang ditemukan Rata-rata severity rating 1 Learnability 3 3 2 Efficiency 3 3 3 Memorability 1 2 4 Errors 2 3 5 Satisfaction 8 3
Aspek usability yang  pertama  adalah learnability ,  ditemukan  3  permasalahan  yang melanggar  aspek  ini.  Aspek learnability dipetakan  dengan  prinsip Match  between  system and real world dan memiliki rata-rata severity rating di angka 3. Aspek usability yang kedua adalah efficiency ,  ditemukan  3  permasalahan  yang  melanggar  aspek  ini.  Aspek efficiency dipetakan  dengan  prinsip Flexibility  and  efficiency  of  use dan  memiliki  rata-rata severity rating di  angka  3 . Aspek usability yang  ketiga  adalah  memorability,  ditemukan  1 permasalahan  yang  melanggar  aspek  ini.  Aspek memorability dipetakan  dengan  prinsip Recognition rather than recall dan memiliki severity rating di angka 2 . Aspek usability yang keempat adalah error , ditemukan 2 permasalahan yang melanggar aspek ini.  Aspek error dipetakan dengan prinsip Error Prevention dan memiliki rata-rata severity rating di angka 3 . Aspek usability yang  kelima  adalah satisfaction ,  ditemukan  8  permasalahan  yang melanggar aspek ini. Aspek efficiency dipetakan dengan prinsip Aesthetic and minimalist design dan Visibility of system status yang memiliki rata-rata severity rating di angka 3. Hasil rekomendasi solusi dari setiap evaluator pada hasil temuan permasalahan menggunakan metode heuristic evaluation dijadikan sebagai dasar perbaikan SIMRS Del Egov Center berbasis web.

## 4.2 Cognitive Walktrough
Berdasarkan hasil pelaksanaan evaluasi yang telah dilakukan dengan metode cognitive walkthrough pada SIMRS Del Egov Center, ketiga evaluator menemukan masing – masing 5 permasalahan oleh Evaluator 1, 9 permasalahan oleh Evaluator 2, dan 11 permasalahan oleh  Evaluator  3.    Hasil  permasalahan  yang  ditemukan  oleh  evaluator  dipetakan  dengan aspek usability oleh evaluator dan dapat dilihat pada Tabel 4.
Tabel 4. Hasil Heuristic evaluation Aspek Usability Jumlah permasalahan yang ditemukan Rata-rata severity rating 1 Learnability 11 3 2 Efficiency 2 4 3 Memorability 0 0 4 Errors 3 3 5 Satisfaction 6 2
Aspek usability yang pertama adalah learnability , ditemukan total  11 permasalahan yang melanggar aspek ini dengan rata-rata severity rating di angka 3. Aspek usability yang kedua adalah efficiency , ditemukan total 2 permasalahan yang melanggar aspek ini dengan rata-rata severity rating di angka 4. Aspek usability yang ketiga adalah memorability. Tidak
ditemukan  permasalahan  yang  mengganggu  aspek  ini.  Hal  ini  menunjukkan  bahwa, berdasarkan metode cognitive walktrough, aspek memorability telah diterapkan dengan baik pada sistem. Aspek usability yang keempat adalah error , ditemukan total 3 permasalahan yang melanggar aspek ini dengan rata-rata severity rating di angka 3. Aspek usability yang keempat  adalah satisfaction ,  ditemukan  total  6  permasalahan  yang  melanggar  aspek  ini dengan rata-rata severity rating di angka 2.

## 4.3 Usability Testing
Usability testing dilakukan menggunakan perbaikan prototype interaktif bardasarkan hasil  dari heuristic  evaluation dan cognitive  walkthrough .  Partisipan  yang  berperan  pada pengujian ini berjumlah 10 orang yang mewakili pengguna sebenarnya website SIMRS Del Egov Center, yaitu 5 orang dokter dan 5 orang perawat. Hasil usability testing berdasarkan hasil metode heuristic evaluation dapat dilihat pada Tabel 5.
Tabel 5. Hasil Usability Testing berdasarkan hasil Heuristic Evaluation
Kode Partisipan Q1  Q2  Q3  Q4  Q5  Q6  Q7  Q8  Q9  Q10  Jumlah Skor SUS 1 3 2 2 1 2 3 2 3 3 0 21 52.5 2 2 2 3 3 2 1 3 3 2 3 24 60 3 3 1 2 1 3 4 3 4 3 4 28 70 4 3 2 3 1 3 2 3 2 2 1 22 55 5 4 3 3 3 3 3 3 3 3 3 31 77.5 6 1 0 1 2 1 1 1 1 1 3 12 30 7 3 3 3 2
3 3 2 3 3 2 27 67.5 8 3 3 3 1 3 1 2 3 3 1 23 57.5 9 2 2 2 1 2 3 2 3 3 0 20 50 10 2 2 3 1 3 2 2 2 2 1 20 50
Hasil usability  testing berdasarkan  hasil  metode cognitive  walktrough dapat  dilihat  pada Tabel 6.
Tabel 6. Hasil Usability Testing berdasarkan hasil Cognitive Walktrough
Kode
Partisipan Q1  Q2  Q3  Q4  Q5  Q6  Q7  Q8  Q9  Q10  Jumlah Skor SUS 1 3 2 2 1 2 3 2 3 3 0 21 52.5 2 2 2 3 3 2 1 3 3 2 3 24 60 3 3 1 2 1 3 4 3 4 3 4 28 70 4 3 2 3 1 3 2 3 2 2 1 22 55 5 4 3 3 3 3 3 3 3 3 3 31 77.5 6 1 0 1 2 1 1 1 1 1 3 12 30 7 3 3 3 2 3 3 2 3 3 2 27 67.5 8 3 3 3 1 3 1 2 3 3 1 23 57.5 9 2 2 2 1 2 3 2 3 3 0 20 50 10 2 2 3 1 3 2 2 2 2 1 20 50
OJS: https://ojs.unikom.ac.id/index.php/jamika
Usability testing berdasarkan  perbaikan prototype interaktif  berdasarkan  hasil  dari heuristic  evaluation menghasilkan  rata-rata  skor  akhir  kuesioner  SUS  57%  dan  termasuk dalam kategori Netral dan diperoleh 9 permasalahan yang ditemukan melalui observasi dan think  aloud serta  hasil  dari  interview  yang  dilakukan  setelah  partisipan  melakukan pengujian.
Usability testing berdasarkan  perbaikan prototype interaktif  berdasarkan  hasil  dari cognitive walktrough menghasilkan rata-rata skor akhir  kuesioner SUS 54.5% dan termasuk dalam kategori Netral dan  ditemukan 10 permasalahan melalui observasi dan think aloud serta hasil dari interview yang dilakukan setelah partisipan melakukan pengujian.

## 4.4 Perbandingan Heuristic evaluation dan Cognitive Walktrough
Setelah  dilakukan  analisis  permasalahan  yang  ditemukan  dengan  menggunakan metode heuristic evaluation dan cognititve walktrough , ditemukan sebanyak 7 permasalahan yang sama antara kedua  metode tersebut.  Setelah dilakukan eliminasi  permasalahan  yang sama  antara  metode Heuristic  evaluation dan cognitive  walktrough ,  didapatkan  10 permasalahan yang tersisa pada evaluasi dengan menggunakan metode heuristic evaluation dan  15  permasalahan  yang  tersisa  pada  evaluasi  dengan  menggunakan  metode cognitive walktrough .  Berdasarkan hasil perbandingan yang telah dilakukan, maka didapatkan hasil perbandingan yang dapat dilihat pada tabel 6.
Tabel 6. Hasil Perbandingan
Metode Aspek Usability Severity rating Kuesioner SUS Learnabi- lity Efficiency Memora- bility Error Satisfac- tion Heuristic evaluation 20 % 10 % 20 % 0 % 50 % 2 57 Cognitive walkthrough 53 % 7 % 0 % 14 % 26 % 3 54.5
Dari  hasil  pemetaan  eliminasi  permasalahan  yang  dilakukan  pada  metode heuristic evaluation , tersisa sebanyak 10 masalah unik yang masing-masing telah dipetakan ke dalam atribut usability . Aspek usability yang pertama adalah learnability , ditemukan 2 dari total 10 permasalahan  yang  melanggar  aspek  ini  dengan  persentase  permasalahan  sebesar  20%. Aspek usability yang kedua adalah memorability, ditemukan 2 dari total 10 permasalahan yang  melanggar  aspek  ini  dengan  persentase  permasalahan  sebesar  20%.  Aspek usability yang ketiga adalah efficiency , ditemukan 1 dari total 10 permasalahan yang melanggar aspek ini  dengan  persentase  permasalahan  sebesar  10%.  Aspek usability yang  keempat  adalah error .  Tidak  ditemukan  permasalahan  yang  melanggar  aspek  ini  sehingga  persentase permasalahan adalah 0%. Aspek usability yang kelima adalah satisfaction , ditemukan 5 dari total  10 permasalahan  yang melanggar aspek ini dengan persentase permasalahan sebesar 50%. Rata-rata severity rating permasalahan yang ditemukan dengan menggunakan metode heuristic evaluation adalah 2 yang termasuk dalam kategori minor usability problem yang berarti  perlu  dilakuakan  perbaikan  dan  diberi  prioritas  rendah.  Saat  dilakukan  evaluasi usability dengan menggunakan metode usability testing , didapat skor akhir kuesioner SUS dengan metode heuristic evaluation adalah 57.
Dari hasil pemetaan eliminasi permasalahan yang dilakukan pada metode cognitive walktrough , tersisa sebanyak 15 masalah unik yang masing-masing telah dipetakan ke dalam
OJS: https://ojs.unikom.ac.id/index.php/jamika
atribut usability .  Aspek usability yang pertama adalah learnability , ditemukan 8 dari total 15 permasalahan yang melanggar aspek ini dengan persentase permasalahan sebesar 53%. Aspek usability yang  kedua  adalah  memorability.  Tidak  ditemukan  permasalahan  yang melanggar  aspek  ini  sehingga  persentase  permasalahan  adalah  0%.  Aspek usability yang ketiga adalah efficiency , ditemukan 1 dari total 15 permasalahan yang melanggar aspek ini dengan persentase permasalahan sebesar 7%. Aspek usability yang keempat adalah error , ditemukan  2  dari  total  15  permasalahan  yang  melanggar  aspek  ini  dengan  persentase permasalahan sebesar 13%. Aspek usability yang kelima adalah satisfaction , ditemukan 4 dari  total  15  permasalahan  yang  melanggar  aspek  ini  dengan  persentase  permasalahan sebesar 26%. Rata-rata severity rating permasalahan yang ditemukan dengan menggunakan metode heuristic evaluation adalah 3 yang termasuk dalam kategori major usability problem yang berarti permasalahan penting untuk diperbaiki, sehingga diberikan prioritas tinggi. Saat dilakukan  evaluasi  usability  dengan  menggunakan  metode usability  testing ,  didapat  skor akhir kuesioner SUS dengan metode cognitive walktrough adalah 54.5.

## 5. Kesimpulan
Perbandingan  evaluasi usability pada  SIMRS  Del  Egov  Center  berbasis  web  antara metode heuristic evaluation dan cognitive walkthrough yang ditinjau dari tiga aspek, yaitu masalah usability yang ditemukan, level masalah usability , dan tanggapan end user terhadap website yang  dievaluasi  menggunakan usability  testin g.  Hasil  perbandingan  menunjukan bahwa untuk aspek perbandingan pertama, yaitu pemetaan dengan aspek masalah usability yang  ditemukan,  evaluasi  menggunakan  metode  H euristic  Evaluation lebih  baik  pada efficiency, memorability dan satisfaction sementara Cognitive Walktrough menemukan lebih banyak  masalah  usability  pada  aspek: learnability  dan  error .  Pada  aspek  perbandingan kedua,  yaitu  level  masalah  usability  menggunakan severity  rating ,  metode  C ognitive Walktrough lebih efektif menemukan masalah usability dengan tingkat keparahan yang lebih tinggi  dengan  rata-rata severity  rating sebesar  3  semebtara  metode Heuristic  Evaluation dengan severity rating sebesar 2.  Pada aspek perbandingan ketiga, yaitu tanggapan end user terhadap  website  berdasarkan usability  testing, metode Heuristic  Evaluation mempunyai skor  kuesioner  SUS  yang  lebih  tinggi  dengan  skor  57  yang  berarti  perbaikan  desain user interface lebih baik dibangun berdasarkan hasil rekomendasi evaluasi menggunakan metode Heuristic  Evaluation dengan  skor  SUS  54,5.  Jadi  dapat  disimpulkan  bahwa  berdasarkan ketiga aspek tersebut, metode Heuristic Evaluation lebih baik dalam menemukan masalah usability pada SIMRS Del Egov center.

## Daftar Pustaka
[1] J. Nielsen, “Usability engineering,” Comput. Sci. Handbook, Second Ed. , pp. 45-1- 45–21, 2004, doi: 10.1201/b16768-38.
[2] M. Farzandipour, E. Nabovati, G. H. Zaeimi, and R. Khajouei, “Usability evaluation of  three  admission  and  medical  records  subsystems  integrated  into  nationwide hospital information systems: Heuristic evaluation,” Acta Inform. Medica , vol. 26, no. 2, pp. 133–138, 2018, doi: 10.5455/aim.2018.26.133-138.
[3] Z.  Ebnehoseini,  M.  Tara,  M.  Meraji,  K.  Deldar,  F.  Khoshronezhad,  and  S. Khoshronezhad,  “Usability  evaluation  of  an  admission,  discharge,  and  transfer information system: A heuristic evaluation,” Open Access Maced. J. Med. Sci. , vol. 6, no. 11, pp. 1941–1945, 2018, doi: 10.3889/oamjms.2018.392.
[4] A.  Holzinger,  “Usability  engineering  methods  for  software  developers,” Commun.
OJS: https://ojs.unikom.ac.id/index.php/jamika
ACM , vol. 48, no. 1, pp. 71–74, 2005, doi: 10.1145/1039539.1039541.
[5] A. Fernandez, E. Insfran, and S. Abrahão, “Usability evaluation methods for the web: A systematic mapping study,” Inf. Softw. Technol. , vol. 53, no. 8, pp. 789–817, 2011, doi: 10.1016/j.infsof.2011.02.007.
[6] T. Mahatody, M. Sagar, and C. Kolski, “Cognitive Walkthrough for HCI evaluation: basic concepts, evolutions and variants, research issues,” EAM’07, Eur. Annu. Conf. Human-Decision Mak. Man. Control , no. May 2014, p. 12, 2007, [Online]. Available: https://www.researchgate.net/publication/228938202_Cognitive_Walkthrough_for_ HCI_evaluation_basic_concepts_evolutions_and_variants_research_issues.
[7] R. Farrahi, F. Rangraz Jeddi, E. Nabovati, M. Sadeqi Jabali, and R. Khajouei, “The relationship between user interface problems of an admission, discharge and transfer module and usability features: A usability testing method,” BMC Med. Inform. Decis. Mak. , vol. 19, no. 1, pp. 1–8, 2019, doi: 10.1186/s12911-019-0893-x.
[8] B. Murillo, J. Pow  Sang, and  F. Paz, “Heuristic  evaluation  and usability  testing as complementary methods: A case study,” Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics) , vol. 10918 LNCS, pp. 470–478, 2018, doi: 10.1007/978-3-319-91797-9_34.
[9] R.  Khajouei,  M.  Zahiri  Esfahani,  and  Y.  Jahani,  “Comparison  of  heuristic  and cognitive walkthrough usability evaluation methods for evaluating health information systems,” J. Am. Med. Informatics Assoc. , vol.  24, no. e1, pp. e55–e60,  2017, doi: 10.1093/jamia/ocw100.
[10]  H.  Joo,  “A  study  on  understanding  of  UI  and  UX,  and  understanding  of  design according to user interface change,” Int. J. Appl. Eng. Res. , 2017.
[11]  S.  Saeedbakhsh,  S.  Isfahani,  M.  Saber,  and  G.  Yadegarfar,  “Hospital  information system  usability  of  educational  hospitals  in  Isfahan  using  heuristic  evaluation method,” Int. J. Educ. Psychol. Res. , 2016, doi: 10.4103/2395-2296.180308.
[12]  A.  Atashi,  R.  Khajouei,  A.  Azizi,  and  A.  Dadashi,  “User  interface  problems  of  a nation-wide  inpatient  information  system:  A  heuristic  evaluation,” Appl.  Clin. Inform. , 2016, doi: 10.4338/ACI-2015-07-RA-0086.
[13]  C.  Lewis,  P.  Poison,  C.  Wharton,  and  J.  Rieman,  “Testing  a  walkthrough methodology  for  theory-based  design  of  walk-up-and-use  interfaces,” Conf.  Hum. Factors Comput. Syst. - Proc. , pp. 235–242, 1990, doi: 10.1145/97243.97279.
[14]  M.  Georgsson,  N.  Staggers,  E.  Årsand,  and  A.  Kushniruk,  “Employing  a  user- centered  cognitive  walkthrough  to  evaluate  a  mHealth  diabetes  self-management application:  A  case  study  and  beginning  method  validation,” J.  Biomed.  Inform. , 2019, doi: 10.1016/j.jbi.2019.103110.
[15]  C. M. Barnum, Praise for Usability Testing Essentials . 2011.