Evaluasi Sistem Informasi Rumah Sakit Umum Daerah Kabupaten Bangli Pada Aspek Usability Dengan Metode User Experience Questionnaire Dan Think Aloud
1 I Wayan Bayu Diarsa, 2 Kadek Yota Ernanda, 3 Gede Indrawan
Program Studi Ilmu Komputer Program Pascasarjana
Universitas Pendidikan Ganesha
Indonesia
Email: iw.bayu.diarsa@undiksha.ac.id 1 , yota.ernanda@undiksha.ac.id 2 , gindrawan@undiksha.ac.id 3

## Abstrak
Penelitian  ini  bertujuan  untuk  mengetahui:  Bagaimana  hasil  uji  respons  pengguna  dengan  User Experience  Questionnaire  terhadap  Sistem  Informasi  Rumah  Sakit  Umum  Kabupaten  Bangli; Bagaimana  hasil  evaluasi  antarmuka  pengguna  Sistem  Informasi  Rumah  Sakit  Umum  Kabupaten Bangli  dengan  metode  Think  Aloud;  dan  Bagaimana  rekomendasi  perbaikan  Sistem  Informasi Rumah Sakit Umum Kabupaten Bangli dengan menggunakan wireframe. Hasil evaluasi pengalaman pengguna dengan metode User Experience Questionnaire terhadap 20 pengguna sistem berdasarkan UEQ  Analysis  Data  Tool  menyatakan  bahwa  aspek  Daya  tarik  (1.46),  Kejelasan  (1.33),  Efisiensi (1.16), dan Kebaruan (0.88) termasuk kategori di Atas Rata-rata. Kemudian untuk aspek Ketepatan (1.61) dan Stimulasi (1.45) mendapat hasil yang Baik. Dari hasil pengujian tampilan sistem dengan metode Think Aloud terhadap 8 pengguna sistem berdasarkan 12 skenario yang dibuat berdasarkan proses bisnis yang paling sering dilalui di rumah sakit, hampir semua skenario dapat dilalui dengan sukses, hanya ada 4 skenario yang masuk kategori setengah sukses. Kemudian berdasarkan tingkat severity rating didapatkan 3 perbaikan yang masuk kategori Cosmetic Problem, kemudian terdapat 10  perbaikan  yang  masuk  kategori  Minor  Problem,  lalu  terdapat  1  kategori  Mayor  Problem. Berdasarkan  dua  metode  pengujian  yang  telah  dilakukan,  dapat  dihasilkan  perbaikan  khususnya pada  aspek  tampilan  sistem.  Perbaikan  dapat  dilakukan  dalam  bentuk  wireframe  yang  dapat dipergunakan sebagai acuan untuk proses pengembangan sistem informasi rumah sakit selanjutnya.
Kata kunci: usability , user experience questionnaire, think aloud , pengalaman pengguna, antarmuka pengguna, rumah sakit umum.

## Abstract
This  study  aims  to  determine:  How  are  the  results  of  the  user  response  test  with  the  User Experience Questionnaire on the Bangli Regency General Hospital Information System; How are the results  of  the  evaluation  of  the  Bangli  District  General  Hospital  Information  System  user  interface using  the  Think  Aloud  method;  and  How  are  recommendations  for  improving  the  Bangli  Regency General  Hospital  Information  System  using  a  wireframe.  The  results  of  the  evaluation  of  user experience using the User Experience Questionnaire method for 20 system users based on the UEQ Analysis Data Tool stated that the aspects of Attractiveness (1.46), Clarity (1.33), Efficiency (1.16), and Novelty (0.88) were in the above-average category. Then for the aspects of Accuracy (1.61) and Stimulation  (1.45)  got  good  results.  From  the  results  of  testing  the  system  display  using  the  Think Aloud method on 8 system users based on 12 scenarios based on the business processes that are most often passed in hospitals, almost all scenarios can be passed successfully, there are only 4 scenarios that fall into the half-success category. Then based on the severity rating, 3 improvements were found in the Cosmetic Problem category, then there were 10 improvements in the Minor Problem category, then there was 1 Major Problem category. Based on the two testing methods that have been carried
out, improvements can be made, especially in the aspect of the system display. Improvements can be made  in  the  form  of  a  wireframe  that  can  be  used  as  a  reference  for  the  next  hospital  information system development process.
Keywords: usability,  user  experience  questionnaire,  think  aloud,  user  experience,  user  interface, general hospital.

## I. Pendahuluan
Rumah  sakit  adalah  salah  satu  instansi yang sangat berperan penting dalam pelayanan  di  bidang  kesehatan.  Demi mencapai proses pelayanan yang baik, dalam proses  pelayanan  sudah  sepatutnya  rumah sakit  menggunakan  sebuah  sistem  informasi atau  aplikasi  yang  memang  bertujuan  untuk menyelesaikan  masalah  dan  memang  benar- benar  diperlukan  oleh  pihak  rumah  sakit. Karena  pada  dasarnya,  semua  aplikasi  pasti dibuat  dengan  tujuan  dapat  dan  mudah digunakan  untuk  menyelesaikan  tujuan tertentu  [1].  Pada  umumnya  sistem  yang digunakan  di  rumah  sakit  disebut  sebagai SIRS  atau  Sistem  Informasi  Rumah  Sakit. Semua  alur  atau  proses  bisnis  sistem dirangkum  di  sini  demi  menciptakan  proses bisnis  yang  terstruktur  dan  terintegrasi  satu sama  lain.  Untuk  mengetahui  apakah  proses bisnis  yang  dilakukan  memang  diperlukan dalam  sistem  manajemen  rumah  sakit,  perlu sekali  diadakan  sebuah  evaluasi  untuk mengetahui  tingkat  kegunaan  dari  sistem yang  sudah  diterapkan.  Evaluasi  dilakukan berdasarkan  dari  beberapa  masalah  yang ditemukan  di  lapangan,  kemudian  dilakukan pengujian,  sehingga  muncul  sebuah  hasil yang  dapat  dijadikan  pembelajaran  untuk proses pengembangan sistem selanjutnya.
Masalah  yang  biasanya  muncul  dalam penggunaan  sistem  manajemen  rumah  sakit ini  dapat  dilihat  dari  aspek  kegunaannya. Salah  satu  rumah  sakit  yang  menerapkan sistem  ini  adalah  Rumah  Sakit  Umum Daerah  Kabupaten  Bangli  yang  juga  tidak luput  dari  beberapa  masalah.  Berdasarkan wawancara dengan tim TI pihak rumah sakit mengatakan bahwa belum ada penelitian atau
pernyataan  tertulis  yang  menyatakan  bahwa sistem  yang  digunakan  pernah  dilakukan pengujian evaluasi berkaitan dengan usability atau  kegunaannya  sejak  sistem tersebut  pertama  kali  diimplementasikan yaitu  sejak  tahun  2012.  Maka  dari  itu  perlu sekali dilakukan pengujian untuk mengetahui lebih  dalam  berkaitan  dengan  masalah  yang biasa dialami pengguna  sistem. Karena pada dasarnya  sebuah  sistem  harus  terlihat manfaat  atau  kegunaannya  agar  dapat menjawab  masalah  yang  sedang  terjadi. Apakah sistem tersebut memang benar-benar sesuai  dengan  keinginan  pengguna  dan mudah  digunakan  oleh  pengguna  sehingga memunculkan  pengalaman  pengguna  yang berbeda-beda. Hal seperti ini dapat dilakukan dengan  melakukan  pengujian usability atau kegunaan.  Menurut  Jakob  Nielsen  yang merupakan  pendiri  Neilsen  Norman  Group yang  sudah  puluhan  tahun  melakukan penelitian berdasarkan pengalaman pengguna mengatakan bahwa definisi Usability adalah sebuah atribut kualitas yang menilai seberapa mudah antarmuka pengguna  digunakan,  dan  kata  “kegunaan” juga merujuk pada metode untuk meningkatkan  kemudahan  pengguna  selama proses  desain  [2].  Dan  masalah  yang biasanya  paling  sering  terjadi adalah berkaitan  dengan  desain  tampilan  atau user interface dari sistem yang digunakan. Karena tampilan  adalah  bahasa  penghubung  antara mesin  dan  manusia  yang  paling  mudah dimengerti  oleh  semua  orang.  Apabila tampilan sistem agak sulit dimengerti bahkan oleh  pengguna  yang  agak  awam  pun,  itu sudah  mencirikan  tampilan  sistem  harus perlu disesuaikan lagi agar bisa diterima oleh kebanyakan  orang  dan  dapat  dilihat  juga tingkat kegunaan atau usability -nya.
Usability atau  kegunaan  didefinisikan oleh  5  kualitas  komponen  di  antaranya adalah Learnability, Efficiency, Memorability,  Errors, dan Satisfaction [2] . Lima  komponen  ini  sangat  penting  dalam menentukan  apakah  sistem  tersebut  benar- benar  berguna  atau  tidak.  Menurut  Neilsen, sebuah  sistem  yang  baik  adalah  sistem  yang harus dinilai apakah mudah dipelajari ketika pengguna  pertama  kali  melihatnya,  seberapa cepat  dapat  melakukan  tugas,  kemudian ketika pengguna sudah pernah menggunakan sistem tersebut maka seberapa ingatkah akan langkah-langkah  yang  sudah  pernah  dilalui, kemudian  dilihat  juga  beberapa  kesalahan sistem  ataupun  penggunanya,  dan  seberapa menyenangkan juga sistem tersebut. Sebenarnya  ada  banyak  sekali  atribut kualitas  penting  lainnya,  namun  yang terpenting  di  sini  adalah  “utilitas”  yang mengacu pada fungsionalitas desain: Apakah itu  yang  memang  benar-benar  diperlukan pengguna?  Antara  Utilitas  dan  Kegunaan sama pentingnya dan bersama-sama menentukan  apakah  sesuatu  itu  Berguna. Utilitas  itu  berarti  apakah  sistem  itu menyediakan fitur yang Anda perlukan. Lalu Kegunaan  itu  berarti  betapa  mudah  dan menyenangkannya  fitur-fitur  ini  digunakan. Kemudian  Berguna  artinya  gabungan  antara Kegunaan dan Utilitas [2]. Banyak sebenarnya sistem yang ada dan sudah dibuat sebaik  mungkin  oleh  para  pengembang aplikasi, namun nyatanya aspek kegunaannya  kurang  dapat  diterima  oleh pengguna.  Karena  sebenarnya  tidak  ada rumus  khusus  tentang  keinginan  pengguna sistem  secara  akurat.  Semakin  banyaknya pengguna,  maka  semakin  beragam  juga keinginan  masing-masing  pengguna.  Untuk benar-benar dapat mengetahui apakah sistem tersebut  berguna,  maka  perlu  dilakukan beberapa pengujian. Teknik pengujian dalam usability dapat  dikategorikan  menjadi  tiga bagian  yaitu inspection,  testing, dan inquiry [3].
Ada beberapa jenis pengujian usability di  antaranya  adalah think  aloud,  cognitive
walkthrough, dan heuristic evaluation . Ketiga metode ini juga pernah dibandingkan dalam pengujian usability tentang penggunaan smartphone yang dilakukan oleh [4]  dengan  hasil  bahwa  metode heuristic evaluation menghasilkan  nilai  paling  baik. Namun heuristic  evaluation membutuhkan seorang  yang  memang  ahli  di  bidang usability ,  sementara  di  rumah  sakit  belum ada  orang  yang  benar-benar  ahli  di  bidang usability sehingga  metode  ini  kurang  cocok digunakan  pada  penelitian  ini.  Dari  ketiga contoh  tersebut  yang  paling  cocok  dengan masalah yang sedang dihadapi di rumah sakit adalah think  aloud .  Karena  metode  ini merupakan metode pengujian berbasis pengguna  yang  melibatkan end  user untuk melakukan verbalisasi secara kontinu terhadap apa yang dipikirkan saat menggunakan  sistem  [4].  Metode  ini  tidak membutuhkan  seorang  yang  terlalu  ahli dalam  bidang usability karena  termasuk dalam  pengujian  oleh  pengguna  langsung atau end user secara verbal [5].
Selain  itu  juga  metode  ini  memiliki beberapa  manfaat  yaitu Cheap (murah), Robust (kuat), Flexible (fleksibel), Convincing (meyakinkan), dan Easy to learn (mudah  digunakan)  [6].  Neilsen  pada  tahun 2012  juga  mengatakan  bahwa think  aloud mungkin adalah satu-satunya metode usability yang paling berharga. Dengan fakta yang  mengatakan  juga  bahwa  metode  ini menjadi  nomor  satu  selama  19  tahun  yang berarti  metode  ini  memiliki  umur  yang cukup  panjang  [7].  Karena  SIRS  Kabupaten Bangli  adalah  sistem  yang  sudah  digunakan sejak  tahun  2012  namun  belum  pernah dilakukan  pengujian,  perlu  diketahui  dahulu bagaimana respons pengguna setelah memakai  sistem.  Sehingga  selain  menguji aspek  kegunaannya  yang  merupakan  bagian dari  pengalaman  pengguna  atau user experience, perlu  dilakukan  juga  pengujian respons  pengguna  setelah  menggunakan sistem.  Pada  umumnya  untuk  melakukan pengujian respons pengguna sistem dilakukan  dengan  cara  memperoleh  data
melalui  kuesioner.  Kuesioner  terdiri  dari serangkaian pertanyaan yang bertujuan untuk mengumpulkan  respons  pengguna  terhadap antarmuka produk [3]. Jadi sebelum dilakukan  pengujian  pada  aspek  kegunaan, dilakukan dahulu pengujian respons pengguna melalui kuesioner.
Beberapa contoh  kuesioner  yang dapat digunakan untuk evaluasi produk di antaranya adalah
Software Usability Measurement Inventory (SUMI), Questionnaire for User Interaction Satisfaction  ( QUIS ),  The  Standardized  User Experience  Percentile  Rank  Questionnaire ( SUPR-Q ),  System  Usability  Scale  ( SUS ) dan  User  Experience  Questionnaire  ( UEQ ). Dari  contoh-contoh  yang  telah  disebutkan, UEQ  mampu  memberikan  gambaran  dari aspek usability hingga user  experience (pengalaman  pengguna)  [8].  Pengisian  UEQ biasanya  hanya  membutuhkan  waktu  selama 3-5 menit dari membaca hingga menyelesaikan  kuesioner  [8].  Analisis  data juga  dapat  dilakukan  cukup  efisien  dengan menggunakan UEQ Analysis Data Tool yang telah disediakan.
Sehingga berdasarkan
beberapa pembahasan  tersebut,  perlu  sekali  dilakukan sebuah  penelitian  tentang  Evaluasi  Sistem Informasi  Rumah  Sakit  Umum  Kabupaten Bangli pada Aspek Usability dengan Metode User  Experience  Questionnaire dan Think Aloud .
Metode
User
Experience Questionnaire digunakan  untuk  menguji respons pengalaman pengguna dengan memberikan  kuesioner  terhadap  sistem  yang sudah  ada.  Sedangkan  evaluasi Think  Aloud digunakan  untuk  mengevaluasi  antarmuka sistem  yang  nantinya  hasil  tersebut  akan berbentuk wireframe . Sehingga hasil penelitian  ini  nantinya  dapat  digunakan sebagai pedoman untuk proses pengembangan  sistem  manajemen  rumah sakit  untuk  selanjutnya  agar  dapat  benar- benar menjawab kebutuhan pengguna.

## II. Kajian Pustaka

## 1. SIRS
Menurut  badan  dunia  WHO,  sistem informasi adalah suatu sistem yang menyediakan informasi untuk proses pengambilan keputusan di setiap level dalam sebuah  organisasi;  dan  sistem  informasi rumah sakit (SIRS) adalah suatu sistem yang mengintegrasikan pengumpulan data, pemrosesan,  pelaporan,  dan  penggunaan informasi yang diperlukan untuk meningkatkan efisiensi dan efektivitas pelayanan  kesehatan  melalui  manajemen yang  lebih  baik  di  berbagai  level  pelayanan kesehatan  [9].  Sistem  informasi  rumah  sakit mencakup  semua  rumah  sakit  umum  dan khusus  baik  itu  yang  dikelola  secara  publik ataupun  secara  privat  sebagaimana  diatur dalam  Undang-Undang  Republik  Indonesia Nomor 44 Tahun 2009 tentang Rumah Sakit dan  Peraturan  Menteri  Kesehatan  No.  82 tahun  2013  tentang  Sistem  Informasi Manajemen  Rumah  Sakit,  di  mana  pasal  1 ayat  6  mengatakan  bahwa  fungsi  SIRS adalah untuk meningkatkan efisiensi, efektivitas,  profesionalisme,  kinerja,  serta akses dalam pelayanan.

## 1. Usability
Secara  umum, usability mengacu  pada aspek  kegunaan  yang  berarti  sejauh  mana user dapat  belajar  dan  menggunakan  suatu produk  sistem  atau  aplikasi  untuk  mencapai tujuannya  dan  juga  sejauh  mana  kepuasan user dalam  memakai  produk  tersebut. Usability didefinisikan melalui lima komponen kualitas, yaitu [2]:
1) Learnability : mengukur semudah apa user dapat mempelajari cara penggunaan  produk  tersebut  untuk pertama kali.
2) Efficiency :  mengukur  seberapa  cepat user dapat melakukan tugasnya.
3) Memorability :  sejauh  mana user dapat  mengingat  semua  langkah ataupun proses yang dilakukan dalam mencapai tujuannya.
4) Error :  sebanyak  apa user melakukan error ,  dan  sejauh  mana  akibat error tersebut,  serta  apakah  mudah  bagi
user untuk mengatasi error tersebut.
5) Satisfaction :  bagaimana  respons  atau perasaan user ketika  menggunakan produk  atau  berarti  juga  tanggapan terhadap desain produk secara keseluruhan.
Inti  utama usability adalah  untuk menjawab pertanyaan, apakah produk tersebut  memang  sudah  sesuai  dengan kebutuhan user atau  belum. Mengukur usability berarti mengukur efektivitas, efisiensi dan kepuasan user . Untuk itu dapat dilakukan dua cara yaitu sebagai berikut:
1) Mengandalkan asumsi pembuat program / diri sendiri.
2) Menggunakan usability metric .
Kemudian  hasil  pengukuran usability dapat  dimanfaatkan  untuk  beberapa  hal berikut [10]:
1) Mendapatkan  masukan  dari  data, lebih  obyektif  daripada  pendapat sendiri.
2) Dapat digunakan untuk membandingkan usability dua
produk.
3) Dapat  mengklasifikasi  permasalahan (jika ada).
4) Membuat prediksi penggunaan produk yang sebenarnya.
5) Memberikan ilustrasi pada manajemen berdasarkan fakta.
Saat ini, terdapat beberapa jenis metrik atau  teknik  pengukuran usability ,  yang secara  umum  dapat  dibagi  menjadi  dua kategori yaitu [11]:
1) Desired quality : merupakan pengamatan  berupa  ukuran  selesai  /
tidaknya  suatu  tugas  ( yes / no ),  atau tercapai  tidaknya  suatu  hasil,  atau diterima  /  tidaknya  suatu  pernyataan ( agree / disagree ).
2) Pengukuran  kuantitatif  :  mengukur dalam  skala  angka  tertentu,  misalnya
X% user dapat menyelesaikan tugasnya kurang dari satu menit.
Pengukuran usability dapat  dilakukan dengan melakukan
tahapan-tahapan sebagaimana penelitian lainnya yaitu :
1) Pemilihan  kuesioner:  memilih  paket kuesioner  yang  akan  digunakan. Setiap  paket  kuesioner  memiliki asumsi  dasar  tertentu,  kerangka pemikiran  dan  pendekatan  yang berbeda-beda.
2) Memilih partisipan: menentukan partisipan yang representatif, membagi berdasarkan kelompok
seperti  umur,  jenis  kelamin  dan  lain- lain.
3) Menentukan ukuran sampel:
menentukan  ukuran  partisipan  yang representatif  untuk  dijadikan  obyek pengumpulan data.
4) Mengolah dan interpretasi data sesuai dengan karakteristik data penelitian.
Data yang diperoleh dari hasil penelitian usability dapat  dibagi  ke  dalam  4 jenis  yaitu  nominal  (berdasarkan  kategori), ordinal  ( ranking ),  interval,  dan  rasio.  Data nominal  berupa  data  yang  tidak  terurut, misalnya  seperti:  jumlah  responden  laki- laki/perempuan,  pengguna  Windows/Linux, dan lain-lain. Data ordinal: terurut berdasarkan ranking , misalnya seperti: poor , fair , good , excellent .  Perbedaan  antara  nilai pengukuran  tidaklah  terlalu  penting.  Pada data  yang  bersifat  interval,  perbedaan  nilai data biasanya sangat berarti dalam menginterpretasikan hasil penelitian, misalnya  :  skala  dari poor sampai excellent . Data  rasio  biasanya  berupa  data  angka seperti  tinggi  badan,  umur,  dan  waktu  yang diperlukan untuk menyelesaikan tugas.
Tiap tipe data yang berbeda memerlukan  cara  pengolahan  yang  berbeda. Untuk  tipe  data  yang  bertipe  interval  dan ratio digunakan  statistik  deskriptif,  t- test , anova ,  dan  perhitungan  korelasi.  Statistik deskriptif  yang  dapat  digunakan  misalnya
mean ,  median,  mode, range , minimum , maximum , standard deviasi, dan lain-lain.

## 2. User Experience Questionnaire
User  experience merupakan  bagian dari Human  Computer  Interaction yang berfokus pada pengukuran tingkat penerimaan  pengguna  terhadap  aplikasi. Sampai  saat  ini  masih  banyak  perdebatan mengenai  cakupan  dan  definisi  dari user experience .  Definisi user  experience adalah sebuah persepsi beserta tanggapan seseorang yang  dihasilkan  dari  penggunaan  dan/atau penggunaan  produk,  sistem  atau  layanan yang diantisipasi (untuk singkatnya, selanjutnya  kata  "produk"  merujuk  pada produk,  sistem,  dan  layanan)  (International Organization for Standardization, 2010). Jika dibandingkan  dengan  definisi usability , keduanya menunjukkan bahwa usability atau user  experience dapat  diukur  selama  atau setelah  penggunaan  produk  [12].  Persepsi dan tanggapan pada definisi user experience memiliki konsep yang sama dengan kepuasan ( satisfaction ) pada usability [12].
User Experience Questionnaire (UEQ) merupakan  salah  satu  teknik  yang  dapat digunakan  untuk  mengukur  pengalaman pengguna UEQ mampu memberikan gambaran  dari  aspek usability hingga user experience [8].  Konsepnya  adalah  dengan menggabungkan aspek efektivitas dan efisiensi dengan  aspek estetika, kenyamanan penggunaan  dan  daya  tarik.  Efektivitas  dan efisiensi  sering  disebut  juga  sebagai  aspek pragmatis  sedangkan  estetika,  kenyamanan dan daya tarik disebut dengan aspek hedonik . Kelebihan lain  UEQ adalah dapat mengukur user  experience produk  dengan  sangat  cepat [13].  Penerapan  UEQ  biasanya  dibutuhkan waktu  selama  3  –  5  menit  untuk  membaca dan  menyelesaikan  kuesioner  [8].  Analisis data  juga  dapat  dilakukan  cukup  efisien dengan menggunakan Excel-sheet yang telah disediakan.  Keunggulan  lainnya  dari  UEQ adalah  dapat  diakses  secara  gratis  dan tersedia  dalam  versi  Bahasa  Indonesia
(http://www.ueq-online.org/). User Experience  Questionnaire (UEQ)  mencakup 6  (enam)  aspek  dengan  total  26  butir pernyataan.  Masing-masing  aspek  tersebut adalah:
1) Daya  Tarik  ( attractiveness ),  kesan umum terhadap produk. Apakah pengguna  suka  atau  tidak  menyukai produknya?  Skala  ini  adalah  dimensi valensi murni. Butir: annoying / enjoyable,  good  /  bad,  unlikable  / pleasing, unpleasant / pleasant, attractive  /  unattractive,  friendly  / unfriendly.
2) Efisiensi ( efficiency ), mungkinkah menggunakan  produk  dengan  cepat  dan efisien?  Apakah  antarmuka  pengguna terlihat  terorganisir?  Butir: fast  /  slow, inefficient  /  efficient,  impractical  / practical, organized / cluttered.
3) Kejelasan  ( perspicuity ),  apakah  mudah untuk mengerti bagaimana cara menggunakan  produk?  Apakah  mudah untuk terbiasa dengan produk ini? Butir: not understandable  /  understandable, easy  to  learn  /  difficult  to  learn, complicated / easy, clear / confusing .
4) Ketepatan ( dependability ), apakah pengguna merasa mengendalikan interaksi?  Adalah  interaksi  dengan produk  aman  dan  dapat  diprediksi? Butir: unpredictable / predictable, obstructive  /  supportive,  secure  /  not secure,  meets  expectations  /  does  not meet expectations.
5) Stimulasi  ( stimulation ),  apakah  menarik dan  mengasyikkan  untuk  menggunakan produk  ini?  Apakah  pengguna  merasa termotivasi  untuk  menggunakan  produk ke  depannya?  Butir: valuable  /  inferior, boring  /  exiting,  not  interesting  / interesting, motivating / demotivating .
6) Kebaruan  ( novelty ),  apakah  desain produknya  inovatif  dan  kreatif?  Apakah produk  menarik  perhatian  pengguna? Butir: creative  /  dull,  inventive  / conventional,  usual  /  leading  edge, conservative / innovative .
3. Think Aloud
Think Aloud Evaluation (TA)
merupakan metode pengujian berbasis pengguna  yang  melibatkan end  user untuk melakukan verbalisasi secara kontinu terhadap apa yang dipikirkan saat menggunakan  sistem.  Dengan  melakukan verbalisasi,  memungkinkan  pengamat  untuk menginterpretasikan  pada  bagian  antarmuka mana  yang  memiliki  masalah  [6].  Pada  saat pengguna  melakukan  verbalisasi,  seluruh komentar  direkam,  sehingga  semua  yang dipikirkan  oleh  pengguna  dapat  ditangkap dan  poin  -  poin  penting  tidak  terlewat  pada saat  proses  analisis  [14].  Keluaran  dari metode  ini  berupa  protokol  verbal  dan masalah usability pada tahap tertentu disiklus interaksi pengguna [15].
Neilsen  pada  tahun  2012  juga mengatakan  bahwa think  aloud mungkin adalah  satu-satunya  metode usability yang paling berharga. Dengan fakta yang mengatakan  juga  bahwa  metode  ini  menjadi nomor  satu  selama  19  tahun  yang  berarti metode  ini  memiliki  umur  yang  cukup panjang  [7]. Thinking  aloud itu  berarti meminta  pengguna  atau end  user untuk menggunakan  sistem  sambil  terus  berpikir keras  secara  verbal.  Jadi  hasil  pengujian sangat tergantung dari wawasan penggunanya  karena  pengujian  ini  berusaha menjawab  apa  yang  sebenarnya  dipikirkan atau diperlukan ketika pengguna menggunakan  sistem.  Fasilitator  biasanya harus meminta pengguna agar terus berbicara tentang  apa  yang  pengguna  rasakan.  Untuk menjalankan  pengujian  ini  hanya  perlu dilakukan 3 hal berikut ini [7]:
1) Rekrut pengguna yang representatif
2) Beri  mereka  tugas  yang  representatif untuk dilakukan
3) Diam dan biarkan pengguna berbicara
Metode ini memiliki sejumlah keunggulan.  Yang  terpenting,  ini  berfungsi sebagai  jendela  jiwa,  memungkinkan  Anda menemukan apa yang benar-benar dipikirkan
pengguna  tentang  desain  Anda.  Secara khusus,  Anda  mendengar  kesalahpahaman mereka,  yang  biasanya  berubah  menjadi rekomendasi  desain  ulang  yang  dapat ditindaklanjuti: ketika pengguna salah mengartikan  elemen  desain,  Anda  perlu mengubahnya.  Bahkan  lebih  baik,  Anda biasanya  belajar  mengapa  pengguna  salah menebak  tentang  beberapa  bagian  UI  dan mengapa  mereka  menemukan  bahwa  yang lainnya mudah digunakan.

## 4. Evaluasi Sistem Informasi
Evaluasi merupakan bagian dari sistem manajemen  yaitu  perencanaan,  organisasi, pelaksanaan, monitoring dan evaluasi. Tanpa evaluasi, maka tidak akan diketahui bagaimana  kondisi  objek  evaluasi  tersebut dalam rancangan, pelaksanaan serta hasilnya. Evaluasi  adalah  sebagai  pekerjaan  yang dilakukan  oleh  seorang  manajer  yang menetapkan  pekerjaan  antara  hasil  yang benar-benar  dicapai  dengan  pekerjaan  yang seharusnya  dapat  dicapai  menurut  rencana serta  menilai  perbedaan  kemudian  penilaian digunakan  untuk  langkah  selanjutnya  [16]. Sedangkan,  Preece  (2002)  evaluasi  adalah proses  penentuan usability dan acceptability dari  produk  atau  desain  yang  terukur  di dalam  sebuah  varietas  kriteria  termasuk sejumlah error -nya, daya tariknya, kecocokannya dengan kebutuhan, dst [16].

## 5. Wireframe
Wireframe adalah teknik yang digunakan  oleh  perancang  web  untuk menggambarkan bentuk dari kerangka website  yang  sesungguhnya  (Tsai,  1996). Wireframe juga  disebut  sebagai  sebuah kerangka  untuk  menata  suatu  item  di  laman website atau aplikasi [17]. Tujuan pembuatan wireframe adalah  untuk  mencapai  berbagai tujuan seperti:
a. Integrasi yang konsisten terhadap komponen  –  komponen  yang  tersedia pada halaman web.
b. Susunan  yang  baik  dan  benar  terhadap kelompok – kelompok yang sesuai.
c. Membangun  desain  yang  berfokus  pada pengguna  dalam  penyampaian  baik pesan maupun konten yang ada.
d. Penggunaan  halaman  kosong  yang  tepat dalam halaman website.
e. Membangun  struktur  web  yang  mudah dan  dapat  digunakan  oleh  perancang web lainya.

## III. Metodologi Penelitian
Penelitian  ini  adalah  penelitian  yang akan  menghasilkan  data  kualitatif  dan  data kuantitatif.  Pengujian  dengan  metode Think Aloud menghasilkan  data  kualitatif  yaitu berupa  masalah-masalah  yang  dialami  oleh pengguna sebagai objek penelitian. Kemudian  pengujian  respons  pengguna menghasilkan data kuantitatif yang diperoleh dari  perhitungan  hasil  kuesioner  yang  diisi oleh  pengguna  sistem.  Pengguna  sistem dalam  penelitian  ini  adalah  perawat  yang mendampingi  dokter  ketika  menangani pasien.  Penelitian  antara  data  kualitatif  dan kuantitatif  biasanya  disebut  sebagai mixed method . Mixed  Method adalah  metode penelitian  yang  mengombinasikan  atau menggabungkan  antara  metode  kuantitatif dengan  metode  kualitatif  untuk  digunakan secara  bersama-sama  dalam  suatu  kegiatan penelitian,  sehingga  diperoleh  data  yang lebih  komprehensif,  valid,  reliabel  dan obyektif  [18].    Terdapat  dua  model  utama pada  metode  kombinasi,  yaitu  model sequential (kombinasi  berurutan)  dan  model concurrent (kombinasi campuran).
Adapun  tahapan  penelitian  secara  umum dapat  dilihat  pada  bagan  yang  ditunjukkan pada Error! Reference source not found. .
Identifikasi Masalah Studi Literatur Pengumpulan Data Analisis Data Uji UEQ dan Evaluasi Think Aloud Data Kualitatif / Kuantitatif Rekomendasi Perbaikan Pembuatan Wireframe Penentuan Kriteria dan Responden

## Gambar 1. Tahapan Penelitian
Adapun tahapan pengujiannya adalah sebagai berikut:
Memberikan dan mempraktikkan skenario Mulai Responden mengisi kuesioner UEQ Selesai Menentukan responden Memberikan dan mempraktikkan skenario Mulai Diam dan biarkan responden berbicara Selesai Menentukan responden

## Gambar 2. Tahapan Pengujian

## 1. Sumber Data Penelitian
Sumber  data  yang  diperoleh  dari proses  evaluasi  Sistem  Informasi  Rumah Sakit  Umum  Kabupaten  Bangli  ini  berupa data  kualitatif  dan  kuantitatif.  Sumber  dari data kualitatif diperoleh dari evaluasi tentang aspek  kegunaan  dengan  metode think  aloud. Think  Aloud (TA)  merupakan  metode pengujian berbasis pengguna yang melibatkan end  user untuk  melakukan verbalisasi secara kontinu terhadap apa yang dipikirkan saat menggunakan sistem. Dengan melakukan verbalisasi, memungkinkan pengamat  untuk  menginterpretasikan  pada bagian  antarmuka  mana  yang  memiliki masalah  [6].  Pada  saat  pengguna  melakukan verbalisasi, seluruh komentar  direkam, sehingga  semua  yang  dipikirkan  oleh pengguna  dapat  ditangkap  dan  poin  -  poin penting  tidak  terlewat  pada  saat  proses analisis  [14].  Keluaran  dari  metode  ini berupa protokol verbal dan masalah usability pada  tahap  tertentu  disiklus  interaksi pengguna (Jaspers, 2009).

## 2. Teknik Pengumpulan Data
Untuk  memperoleh  data  kualitatif digunakan  teknik  pengumpulan  data  dengan metode think  aloud ,  kemudian  untuk memperoleh data kuantitatif dilakukan dengan metode kuesioner.
Teknik  pengumpulan  data  dengan pengisian  kuesioner  yang  digunakan  untuk mengukur  respons  pengguna  ini  diberikan kepada  pengguna  sistem.  Tujuannya  adalah untuk mengukur bagaimana respons pengguna  setelah  menggunakan  sistem secara  kuantitatif.  Teknik  pengumpulan  data kuesioner  berdasarkan  pada  aturan  dari metode User Experience Questionnaire yang mencakup  6  (enam)  aspek  dengan  total  26 butir pernyataan.
Sementara teknik atau langkah pengumpulan data untuk menjalankan pengujian Think Aloud hanya perlu dilakukan 3 hal berikut ini (Nielsen, 2012):
1) Rekrut  pengguna  yang  representatif, dalam  hal  ini  pengguna  yang  dijadikan subjek  penelitian  adalah  pengguna sistem  di  lingkungan  Rumah  Sakit
Umum  Kabupaten  Bangli  yang  di  mana dapat  dipilih  dengan  beberapa  kriteria yaitu seorang yang pernah menggunakan sistem informasi, mempunyai
komunikasi  yang  baik,  dan  mempunyai sifat membangun.
2) Beri  mereka  tugas  yang  representatif untuk dilakukan,
tugas yang dimaksudkan  di  sini  adalah  pengguna diberikan  sebuah  tugas  yang  memang mereka  biasa  lakukan  seperti  biasa dengan  menggunakan  Sistem  Informasi Rumah  Sakit  Umum  Kabupaten  Bangli. Tugas  yang  diberikan  di  sini  adalah tugas  yang  sudah  dibentuk  sesuai dengan skenario yang biasanya dilakukan oleh pengguna sistem.
3) Diam  dan  biarkan  pengguna  berbicara, peneliti di sini tidak akan banyak bicara karena  ingin  mendengar  secara  verbal atau  alami  tentang  apa  yang  dirasakan oleh pengguna sebagai subjek penelitian
agar  nantinya  hasil  penelitian  juga  akan sesuai  dengan  apa  yang  sebenarnya terjadi  di  lapangan.  Jika  pengguna  diam barulah  peneliti  akan  bertanya  apa masalah  yang  menyebabkan  pengguna sistem terdiam.

## 3. Instrumen Penelitian
Instrumen  evaluasi  yang  digunakan adalah  berupa  form  tugas  berdasarkan metode think  aloud dan  form  kuesioner berdasarkan  pengujian  respons  pengguna. Form uji respons pengguna digunakan untuk mengetahui  bagaimana  respons  pengguna setelah  menggunakan  sistem.  Kuesioner pengalaman  pengguna  yang  digunakan dalam  penelitian  ini  adalah user  experience questionnaire (UEQ)  yang  dikembangkan oleh  Schrepp.  UEQ  telah  diterjemahkan  ke dalam  19  bahasa,  salah  satunya  ke  dalam Bahasa  Indonesia  [8].  UEQ  versi  Bahasa Indonesia ditunjukkan pada Tabel 1.
Tabel 1. UEQ Versi Bahasa Indonesia
Kemudian  form  tugas  evaluasi think aloud berfungsi  untuk  menjelaskan  tugas- tugas  atau  skenario  apa  saja  yang  harus dilakukan  oleh  subjek  penelitian  atau  dalam hal  ini  adalah  pengguna.  Pengguna  sistem berdiskusi  secara  verbal  dengan  peneliti sambil  peneliti  mencatat  apa  saja  masalah yang dialami oleh pengguna sebagai pengguna sistem.
4. Teknik Analisa Data Setelah seluruh data terkumpul, langkah  selanjutnya  yang  dilakukan  adalah melakukan  analisis  terhadap  data  kualitatif dan  data  kuantitatif  yang  telah  diperoleh. Data  kuantitatif  diperoleh  dari  hasil user experience  questionnaire (UEQ).  Proses analisis  data  dilakukan  dengan  mengukur pengalaman  pengguna  berdasarkan  enam aspek  yaitu:  daya  tarik,  kejelasan,  efisiensi, ketepatan,  stimulasi  dan  kebaruan.  Untuk menghitung  nilai  masing-masing  aspek tersebut  dilakukan  dengan  pengolahan  data statistik  menggunakan  UEQ Analysis  Data Tool oleh [19].
Tabel 2. Kategori pada UEQ Analysis Data Tool
Kemudian untuk data kualitatif diperoleh  dari  hasil  evaluasi think  aloud . Analisa data dilakukan dengan
mendeskripsikan  dan  menjelaskan  temuan data penelitian berdasarkan rekomendasi dari permasalahan  yang  telah  ditentukan  oleh pengguna.  Analisis  data  kualitatif  dilakukan secara  manual  dengan  mengidentifikasi masalah-masalah  yang  didapatkan  yang kemudian  dirangkum  ke  dalam  bahasa formal (Ersa, 2015).

## 5. Penyusunan Rekomendasi
Rekomendasi  dalam  penelitian  ini adalah  dalam  bentuk wireframe yang
merupakan  sebuah  kerangka  untuk  menata suatu  item  di  laman website atau  aplikasi [17].  Meskipun  aplikasi  SIRS  dalam  bentuk desktop,  namun  jika  dinilai  dari  segi tampilan  tidak  jauh  berbeda  dengan  aplikasi berbasis website .  Sehingga  hasil wireframe ini  akan  dapat  digunakan  masukkan  untuk proses  pengembangan  sistem  di  kemudian hari, sehingga Sistem Informasi Rumah Sakit akan  menjadi  sistem  yang  memang  benar- benar  dibutuhkan  oleh  pengguna  dan  dapat menyelesaikan  permasalahan  yang  sedang dialami  sesuai  dengan  metode  dan  teknik penelitian yang dilakukan.

## IV. Hasil dan Pembahasan
Hasil  penelitian  dan  pembahasan  dari penelitian  ini  adalah  berupa  rekomendasi perbaikan  antarmuka  sistem  dalam  bentuk wireframe. Hasil  perbaikan  didasarkan  pada hasil  evaluasi  pengalaman  pengguna  dengan metode User Experience Questionnaire dan hasil  evaluasi  antarmuka  pengguna  dengan metode Think  Aloud .  Detail  dari  masing- masing  komponen  hasil  dapat  dijabarkan sebagai berikut.
1. Hasil Evaluasi Pengalaman Pengguna dengan metode User Experience
Questionnaire
Pengalaman pengguna diukur berdasarkan  pada  enam  aspek  yaitu  daya tarik, kejelasan, efisiensi, ketepatan, stimulasi,  dan  kebaruan.  Data  diperoleh berdasarkan kuesioner oleh 20 orang petugas yang  bertugas  di  masing-masing  poliklinik rumah sakit.
Tabel 3 Skala rata-rata nilai aspek pengalaman pengguna untuk setiap responden Kode Responden Scale means per person Daya tarik Kejelasan Efisiensi Ketepatan Stimulasi Kebaruan R01 2.33 2.50 2.25 2.50 1.50 0.75 R02 2.33 2.50 2.25 3.00 3.00 2.75 R03 2.00 2.00 2.00 2.50 1.50 1.00 R04 1.83 1.50 1.50 1.75 1.25 0.75 R05 1.50 1.50 1.25 1.75 1.75 1.00
R06 1.50 0.50 0.50 1.25 1.25 1.00 R07 1.50 1.25 1.25 1.50 1.50 1.25 R08 1.50 1.75 1.50 2.00 1.50 0.50 R09 1.67 1.75 1.50 2.25 2.00 0.25 R10 1.50 1.00 1.50 1.50 1.50 1.25 R11 1.17 1.00 1.00 1.75 1.50 0.75 R12 1.33 1.75 1.00 1.50 1.50 1.25 R13 1.83 1.25 0.50 1.25 1.50 1.00 R14 1.17 1.00 1.00 1.25 1.50 0.75 R15 1.50 1.25 0.75 1.00 1.75 1.25 R16 0.67 0.75 0.75 1.25 0.75 1.00 R17 0.50 0.75 1.00 1.00 1.25 -0.25 R18 1.17 0.50 0.75 1.00 0.25 0.00 R19 0.83 1.00 0.75 1.00 1.00 0.25 R20 1.33 1.00 0.25 1.25 1.25 1.00

## Tabel 4 Nilai interval untuk setiap skala
Confidence intervals (p=0.05) per scale Scale Mean Std. Dev. N Confidence Confidence interval Daya tarik 1.458 0.480 20 0.210 1.248 1.669 Kejelasan 1.325 0.580 20 0.254 1.071 1.579 Efisiensi 1.163 0.564 20 0.247 0.916 1.409 Ketepatan 1.613 0.576 20 0.253 1.360 1.865 Stimulasi 1.450 0.523 20 0.229 1.221 1.679 Kebaruan 0.875 0.615 20 0.270 0.605 1.145
Berdasarkan pada Tabel 4 yaitu tentang nilai interval  untuk  setiap  skala  pengujian mengatakan bahwa rata-rata pengujian tertinggi  diperoleh  pada  aspek  Ketepatan sebanyak  1,613  yang  berarti  berdasarkan respons  pengguna  sistem  dinyatakan  tepat digunakan. Mungkin hal seperti ini dikarenakan  sistem  rumah  sakit  yang  diuji adalah  satu-satunya  sistem  yang  digunakan untuk  menunjang  berjalannya  pelayanan  di rumah  sakit.  Namun  berdasarkan  skala lainnya  juga,  yaitu  pada  aspek  Kebaruan,
respons  pengguna  mendapatkan  nilai  rata- rata  yang paling kecil. Hal seperti ini berarti sistem  ini  belum  dianggap  sesuai  dengan perkembangan  teknologi  sekarang  ini.  Nilai rata-rata  yang  didapatkan  adalah  0,875. Untuk ke depannya jika dilakukan pengembangan  sistem  lagi,  mungkin  pada aspek  Kebaruan  ini  bisa  lebih  ditingkatkan lagi.
Jika dilihat berdasarkan pengujian benchmark pada
Tabel 5 yang bersumber dari nilai-nilai yang ada  pada  kumpulan  data benchmark . Kumpulan  data  ini  berisi  data  dari  9905 orang dari 246 studi tentang berbagai produk (perangkat  lunak  bisnis,  halaman  web,  toko web, jejaring sosial). Mendapatkan hasil dari keenam  aspek  utama  yang  diuji,  4  di
antaranya  termasuk  dalam  kategori  di  atas rata-rata ( Above average ) yang berarti masih perlu  ditingkatkan  lagi  untuk  menjadi Excellent .  Sedangkan  2  sisanya  termasuk kategori Good yang berarti respons pengguna  sudah  dianggap  baik  atau  dapat diinterpretasikan  menjadi  10%  hasil  lebih baik dan 75% hasil lebih buruk.

## Tabel 5 Hasil pengujian Benchmark
Scale Mean Comparisson to benchmark Interpretation Daya tarik 1.46 Above average 25% of results better, 50% of results worse Kejelasan 1.33 Above Average 25% of results better, 50% of results worse Efisiensi 1.16 Above Average 25% of results better, 50% of results worse Ketepatan 1.61 Good 10% of results better, 75% of results worse Stimulasi 1.45 Good 10% of results better, 75% of results worse Kebaruan 0.88 Above Average 25% of results better, 50% of results worse
Berdasarkan
Tabel  5,  pada  aspek  Daya  tarik,  Kejelasan,  Efisiensi,  dan  Kebaruan  mendapatkan  hasil  di Atas  Rata-rata,  dalam  hal  ini  artinya  25%  produk dataset dianggap  lebih  baik,  sedangkan 50% produk lainnya dianggap lebih buruk. Kemudian untuk  aspek Ketepatan dan Stimulasi mendapat  hasil  yang  Baik,  dalam  hal  ini  artinya  10%  produk dataset dianggap  lebih  baik, sedangkan  75%  produk  lainnya  dianggap  lebih  buruk.  Komparasi  grafik  pengujian benchmark antar aspek dapat dilihat pada Gambar 3.

## Gambar 3 Grafik hasil pengujian Benchmark
2. Hasil  Evaluasi  Antarmuka  dengan metode Think Aloud
Sebelum melakukan evaluasi, pengguna  yang  dipilih  adalah  pengguna sistem atau aplikasi yang memenuhi kriteria. Adapun  kriteria  tersebut  adalah  pengguna yang  sering  menggunakan  aplikasi  SIM  RS, mempunyai  komunikasi  yang  baik,  dan bersifat  membangun.  Jika  proses  bisnisnya mirip, maka pengguna yang sering menggunakan  aplikasi  ini  ketika  proses
pengujian  ada  beberapa  pengguna  yang dilakukan  pertukaran  peran.  Maksudnya  ini adalah  misalnya  pengguna  di  Poli  Dalam akan  menggunakan  sistem  di  Poli  IRD,  hal ini  dilakukan  untuk  menguji  konsistensi tampilan aplikasi jika secara umum tampilan dan skemanya mirip.
Berdasarkan  skenario  yang  dibuat, evaluasi  dengan  metode Think  Aloud yang telah  dilakukan  terhadap  pengguna  aplikasi SIM  RS  di  RSUD  Bangli  dapat  dirangkum pada
Tabel 6.
Jurnal Ilmu Komputer Indonesia (JIK) , Volume 6 , No : 2, November  2021p- ISSN : 2615-2703 (Print)   dan  e-ISSN: 2615-2711 (Online)
Tabel 6 Hasil evaluasi skenario dengan metode Think Aloud Pengguna Step 1 2 3 4 5 6 7 8 9 10 11 12 PD1 S S S IRD1 S S S S S S RO1 S S S PD2 S S S IRD2 S S P P S P RO2 S S P PD3 S S S IRD3 S S S S S S
Keterangan:
S     = success, F = failure, P = partial success
= Step yang kosong dilakukan oleh pengguna lain
Dari  hasil  pengujian  tampilan  sistem dengan  metode  Think  Aloud  terhadap  8 pengguna  sistem  berdasarkan  12  skenario yang  dibuat  berdasarkan  proses  bisnis  yang paling  sering  dilalui  di  rumah  sakit,  hampir semua  skenario  dapat  dilalui  dengan  sukses, hanya  ada  4  skenario  yang  masuk  kategori setengah  sukses.  Kemudian  berdasarkan tingkat severity rating didapatkan 3 perbaikan  yang  masuk  kategori Cosmetic Problem yang berarti masalah hanya terdapat pada  sisi  tampilan,  tidak  berpengaruh  pada kenyamanan  pengguna.  Kemudian  terdapat 10  perbaikan  yang  masuk  kategori Minor Problem yang artinya masalah perlu diperbaiki  namun  dengan  prioritas  kecil. Lalu  terdapat  1  kategori Mayor  Problem yang  artinya  masalah  perlu  diperbaiki dengan prioritas tinggi.

## V. Penutup
Berdasarkan  hasil  dari  penelitian  yang telah  dilakukan  maka  dapat  ditarik  simpulan sebagai berikut.
1. Hasil  evaluasi  pengalaman  pengguna dengan metode User Experience Questionnaire  terhadap  20  pengguna sistem  berdasarkan UEQ  Analysis  Data
Tool menyatakan  bahwa  aspek  Daya tarik  (1.46),  Kejelasan  (1.33),  Efisiensi (1.16),  dan  Kebaruan  (0.88)  termasuk kategori di Atas Rata-rata, dalam hal ini artinya  25%  produk dataset dianggap lebih  baik,  sedangkan  50%  produk lainnya dianggap lebih buruk. Kemudian untuk  aspek  Ketepatan  (1.61)  dan Stimulasi  (1.45)  mendapat  hasil  yang Baik,  dalam  hal  ini  artinya  10%  produk dataset dianggap  lebih  baik,  sedangkan 75%  produk  lainnya  dianggap  lebih buruk.
2. Dari  hasil  pengujian  tampilan  sistem dengan  metode  Think  Aloud  terhadap  8 pengguna sistem berdasarkan 12 skenario yang dibuat berdasarkan proses bisnis  yang  paling  sering  dilalui  di rumah  sakit,  hampir  semua  skenario dapat dilalui dengan sukses, hanya ada 4 skenario  yang  masuk  kategori  setengah sukses.  Kemudian  berdasarkan  tingkat severity  rating didapatkan  3  perbaikan yang  masuk  kategori Cosmetic  Problem yang  berarti  masalah  hanya  terdapat pada  sisi  tampilan,  tidak  berpengaruh pada  kenyamanan  pengguna.  Kemudian terdapat  10  perbaikan  yang  masuk kategori Minor  Problem yang  artinya masalah  perlu  diperbaiki  namun  dengan prioritas  kecil.  Lalu  terdapat  1  kategori
Mayor  Problem yang  artinya  masalah perlu diperbaiki dengan prioritas tinggi.
3. Berdasarkan dua metode pengujian yang telah dilakukan, dapat dihasilkan perbaikan khususnya pada aspek tampilan  sistem  yang  sudah  dirangkum pada Error!  Reference  source  not found. .  Perbaikan  dapat  dilakukan dalam  bentuk  wireframe  untuk  lebih mempertegas  hasil  evaluasi  yang  telah dilakukan  terhadap  salah  satu  proses bisnis  yang  paling  esensial  dan  sering terjadi  di  Rumah  Sakit  Umum  Daerah Kabupaten Bangli.
Berdasarkan kesimpulan penelitian, maka  penulis  merekomendasikan  beberapa saran  untuk  penelitian  selanjutnya,  yaitu sebagai berikut.
1. Dalam  penelitian  ini  proses  evaluasi mengkhusus pada aspek usability tampilan  saja  berdasarkan  salah  satu modul    yang  paling  esensial  dan  paling sering  terjadi  di  Rumah  Sakit  Umum Daerah  Kabupaten  Bangli.  Untuk  ke depannya  mungkin  dapat  dilakukan evaluasi  pada  modul  lainnya  atau  pada SOP yang diterapkan.
2. Perlu  juga  dilakukan  evaluasi  dengan metode yang lainnya untuk mendapatkan perbandingan  evaluasi  yang  semakin bagus dan sesuai kebutuhan.

## Daftar Pustaka
[1]   E. Susilo, F. D. Wijaya dan R. Hartanto, “Perancangan dan Evaluasi User Interface  Aplikasi  Smart  Grid  Berbasis Mobile  Application,” JNTETI,  Vol.  7, No. 2, p. 151, 2018.
[2]   J.  Nielsen,  “Usability  101:  Introduction to  Usability,”  4  Januari  2012.  [Online]. Available: https://www.nngroup.com/articles/usabil ity-101-introduction-to-usability/.
[3]   A.  Gulati  dan  S.  K.  Dubey,  “Critical Analysis on Usability Evaluation
Techniques,” International  Journal  of Engineering  Science  and  Technology (IJEST), pp. 990-997, 2012.
[4]   A.  P.  Hendradewa,  “Perbandingan Metode Evaluasi Usability (Studi  Kasus :  Penggunaan  Perangkat  Smartphone),” Teknoin Vol. 23 No. 1, pp. 09-18, 2017.
[5]   I.  Astuti,  W.  A.  Kusuma  dan  F. Ardiansyah,  “Analisis  Usability  Home Page  Situs  Web  Perpustakaan  Nasional RI Menggunakan Metode Think Aloud,” Jurnal  Pustakawan  Indonesia  Volume 15 No. 1-2 , pp. 39-47, 2014.
[6]   J. Nielsen, Usability Engineering, California: AP Professional, 1993.
[7]   J.  Nielsen,  “Thinking  Aloud:  The  #1 Usability  Tool,”  16  Januari  2012. [Online]. Available: https://www.nngroup.com/articles/thinki ng-aloud-the-1-usability-tool/.
[8]   H.  B.  Santoso,  M.  Schrepp,  R.  Y.  K. Isal,  A.  Y.  Utomo  dan  B.  Priyogi, “Measuring  User  Experience  of  the Student-Centered e-Learning Environment,” Journal  of  Educators Online, v13 n1, pp. 58-79, 2016.
[9]   World  Health  Organization  (WHO), Developing Health Management Information  Systems: A  Practical  Guide for Developing Countries, 2004.
[10 ] T.  Tullis  dan  B.  Albert,  Measuring  The User  Experience,  Morgan  Kaufmann, 2008. [11
] A.  Toy  dan  W.  Supriyanti,  “Evaluasi Usability  Aplikasi  Jadwal  Terpadu Universitas  Muhammadiyah  Surakarta Dengan  Metode  Kuisioner,” Seminar Nasional  Teknologi  Informasi  dan Multimedia 2014, pp. 31-36, 2014.
[12 ] N.  Bevan,  “What  is  the  difference between  the  purpose  of  usability  and user  experience  evaluation  methods?,”
Interact 2009, pp. 1-4, 2009.
[13 ] D. S. S. Sahid, P. I. Santosa, R. Ferdiana dan  E.  N.  Lukito,  “Evaluation  and measurement  of  Learning  Management System  based  on  user  experience,”
dalam IEEE ,  Yogyakarta,  Indonesia, 2016.
[14 ] W.  O.  Galitz,  The  Essential  Guide  to User  Interface  Design:  An  Introduction to GUI Design Principles and Techniques  (Second  Edition),  John Wiley & Sons Inc, 2002. [15 ] M.  W.  M.  Jaspers,  “A  Comparison  of Usability Methods for Testing Interactive Health Technologies: Methodological  Aspects  and  Empirical Evidence,” International  Journal  of
Medical  Informatics,  vol  78, pp.  340- 353, 2009.
[16 ] V.  Wahyuni  dan  I.  Maita,  “Evaluasi Sistem  Informasi  Manajemen  Rumah
Sakit  (SIMRS)  Menggunakan  Metode
Unified  Theory  of  Acceptance  and  Use of  Technology  (UTAUT),” Jurnal
Rekayasa dan Manajemen Sistem
Informasi, Vol. 1, No. 1, Februari 2015, pp. 55-61, 2015.
[17 ] Dicoding  Intern,  “Apa  itu  Wireframe? Perbedaan  Wireframe,  Mockup,  dan
Prototype,”  4  May  2021.  [Online]. Available: https://www.dicoding.com/blog/wirefra me-adalah/.
[18 ] Sugiyono, Metode Penelitian Kombinasi (Mixed Methods) (Cetakan Ke), Bandung: Alfabeta, 2013. [19 ] M. Schrepp, “User Experience
Questionnaire Handbook Version 8,” 31 December  2019.  [Online].  Available: https://www.ueq- online.org/Material/Handbook.pdf.