## PENGUJIAN USABILITY PADA APLIKASI E-SAKIP KABUPATEN BULELENG MENGGUNAKAN METODE USABILITY TESTING
I Gusti Bagus Bogi Sadewa 1, *, Dewa Gede Hendra Divayana 2 , I Made Ardwi Pradnyana 3
1,2,3 Prodi Pendidikan Teknik Informatika Jurusan Teknik Informatika Fakultas Teknik dan Kejuruan Universitas Pendidikan Ganesha, Jalan Udayana No. 11 Singaraja-Bali 81116

## Abstrak
Kabupaten  Buleleng  telah  menerapkan  Aplikasi  E-SAKIP  dalam  menerapkan akuntabilitas  kepada  lembaga  pemerintah.  Untuk  mengoptimalkan  tingkat  Usability dari  Aplikasi  E-SAKIP  kita  perlu  melakukan  pengujian  Usability.  Pengujian  Usability dalam  Aplikasi  E-SAKIP  Buleleng  dilakukan  dengan  menggunakan  metode  Usability Testing  berdasarkan  tiga  aspek  Usability  yang  diuji,  yaitu  efektivitas,  efisiensi,  dan kepuasan.  Teknik  yang  digunakan  meliputi:  Teknik  Performance  Measurment  yang digunakan untuk mengukur aspek efektivitas dan efisiensi, sedangkan teknik RTA dan kuesioner  QUIS  digunakan  untuk  mengukur  aspek  kepuasan.  Pengujian Usabilitydilakukan  pada  16  responden  operator  menggunakan  Aplikasi  E-SAKIP  di Kabupaten  Buleleng.  Hasil  pengujian  menunjukkan  bahwa:  (1)  Aplikasi  E-SAKIP memiliki  tingkat  efektifitas  dan  efisiensi  yang  baik,  dan  juga  tingkat  kepuasan  yang termasuk  dalam  kategori  baik  karena  nilai  akhir  melebihi  batas  nilai  yaitu  6,60.  (2) Rekomendasi  perbaikan  untuk  meningkatkan  Aplikasi  E-SAKIP  diperoleh  dari  hasil pengujian  Usabilityresponden  dan  dari  delapan  teori  aturan  emas  yang  berkaitan dengan disiplin ilmu yang fokus pada desain, evaluasi dan implementasi interaksi sistem yang digunakan oleh manusia.

## Abstract
Buleleng  Regency  has  implemented  the  E-SAKIP  Application  in  implementing accountability  to  government  agencies.  To  optimize  the  usability  level  of  the  E-SAKIP Application we need to do usability testing. Usability testing in the E-SAKIP Application of  Buleleng  was  carried  out  using  the  usability  testing  method  based  on  the  three usability aspects tested, namely effectiveness, efficiency, and satisfaction. The techniques used  include:  Performance  Measurement  Techniques  used  to  measure  aspects  of effectiveness and efficiency, while the RTA technique and QUIS questionnaire were used to measure aspects of satisfaction. Usability testing was conducted on 16 respondents of operators  using  the  E-SAKIP  Application  in  Buleleng  Regency.  The  results  of  the  tests show that: (1) The E-SAKIP Application has a good level of effectiveness and efficiency, and also the level of satisfaction included in the category is good because the final value exceeds the limit value which is 6.60. (2) Recommendations for improving the E-SAKIP Application are obtained from the results of usability testing of respondents and from eight  golden  rules  theories  relating  to  disciplines  that  focus  on  the  design,  evaluation and implementation of system interactions used by humans.

## 1. PENDAHULUAN
Dewasa  ini  fenomena  akan  kebutuhan  teknologi  dalam  sektor  pemerintahan  sangat  berkembang pesat.  Faktor  semangat  keterbukaan  atau  transparasi  menjadi  salah  satu  faktor  pendukung  munculnya kebutuhan teknologi. Adapun semangat akan keterbukaan di Indonesia sudah lahir sejak masa reformasi yang terjadi pada tahun 1998 (Ersa, 2015). Perbaikan pemerintahan dan sistem manajemen merupakan agenda  penting  dalam  reformasi  birokrasi  yang  sedang  dijalankan  oleh  pemerintah  saat  ini.  Sistem
Kata Kunci: Usability Testing, QUIS Questionnaire, Rekomendasi Perbaikan
Keywords: Usability Testing, QUIS Questionnaire, Improvement Recommendations
manajemen pemerintahan diharapkan berfokus pada peningkatan akuntabilitas serta peningkatan kinerja yang berorientasi pada hasil (outcome). Oleh karena itu, pemerintah telah menetapkan kebijakan untuk penerapan  sistem  pertanggungjawaban  yang  jelas,  teratur,  dan  efektif  yang  disebut  dengan  Sistem Akuntabilitas  Kinerja  Instansi  Pemerintah  secara  Elektronik  atau  yang  biasa  disebut  E-SAKIP  (Setda, 2018).  Sistem  Akuntabilitas  Kinerja  Instansi  Pemerintah  atau  disingkat  dengan  SAKIP  tertuang  dalam Peraturan Presiden Nomor 29 Tahun 2014 tentang Sistem Akuntabilitas Kinerja Instansi Pemerintah yang mana didalamnya menyebutkan SAKIP merupakan rangkaian sistematik dari berbagai aktivitas, alat dan prosedur yang dirancang untuk tujuan penetapan dan pengukuran, pengumpulan data, pengklarifikasian, pengikhtisaran, dan pelaporan kinerja pada instansi pemerintah, dalam rangka pertanggungjawaban dan peningkatan  kinerja  instansi  pemerintah.  E-SAKIP  diharapkan  dapat  meningkatkan  efisiensi,  efektivitas, tranparasi, dan akuntabilitas penyelenggaraan pemerintah (Setda, 2018). Salah satu pemerintahan yang telah menerapkan E-SAKIP adalah Pemerintah Kabupaten Buleleng. Sistem ini berada di bawah naungan Sekretariat  Daerah  Pemerintah  Kabupaten  Buleleng  Bagian  Organisai.  Aplikasi  E-SAKIP  ini  sendiri digunakan oleh setiap operator dari masing-masing Satuan Kerja Perangkat Daerah (SKPD) di Kabupaten Buleleng  dan  Aplikasi  E-SAKIP juga  dapat  diakses  oleh  publik,  dengan  harapan  masyarakat  dapat  turut serta  memantau,  menilai  dan  memberikan  masukan  kepada  Pemerintah  Kabupaten  Buleleng  bilamana terdapat SKPD yang kinerjanya kurang maksimal. Aplikasi E-SAKIP dapat digunakan untuk mengisi data rencana  kerja  tahunan  (RKT),  tujuan  dan  sasaran  SKPD,  strategi,  kebijakan,  program,  kegiatan,  dll. Berdasarkan pada observasi dan wawancara yang telah dilakukan kepada 3 operator SKPD Kab Buleleng masingmasing di Dinas Sekretariat Daerah Kab. Buleleng bersama Bapak I Nyoman Sarassija, S.E. Dinas Kominfosandi  bersama  Bapak  Wawan  Triyudawanto,  S.T.  dan  Dinas  Penanaman  Modal  dan  Perizinan Terpadu  Satu  Pintu  dengan  Ibu  Ayu  Indra  Cahyani,  S.Pd.  diketahui  Aplikasi  E-SAKIP  ini  belum memberikan  kepuasan  atau  kemudahan  pada  pengguna  saat  digunakan,  hal  tersebut  diketahui  dari pengalaman  pengguna  yang  menemukan  permasalahan-permasalahan  ketika  menggunakan  Aplikasi  E- SAKIP. Selain dari hasil wawancara tersebut peneliti juga 3 melakukan analisis awal terhadap Aplikasi E- SAKIP yang mengacu pada teori eight golden rules. Diantaranya yaitu: (1) pada Aplikasi E-SAKIP masih belum memberikan feedback yang informative. Bagian ini terlihat ketika melakukan proses penginputan data  dan  memilih  menu  lain,  data  yang  sudah  diinput  terhapus  dan  memuat  laman  yang  baru  dipilih, tanpa  memberikan  konfirmasi  apapun  kepada  pengguna;  (2)  Pada  aplikasi  ini  masih  belum  dirancang untuk  mencegah  error  yang  dilakukan  oleh  pengguna.  Salah  satunya  saat  pengguna  mencoba  untuk menginput  visi  yang  kosong  pada  sistem  namun  tidak  ada  pemberitahuan  atau  peringatan  dari  sistem. Selain itu, pada salah satu kolom numerik dapat dimasukkan data alfabet; (3) Masih belum terdapat fitur edit/back  untuk  mengoreksi  kesalahan  yang  dilakukan.  Saat  pengguna  E-SAKIP  melakukan  kesalahan dengan memilih menu lain secara tidak sengaja, namun masih dalam tahap penginputan data. Pengguna benar-benar harus menginput ulang karena data yang diinput tidak dapat dipulihkan. Tidak terdapat fitur back  untuk  kembali  keproses  sebelumnya  atau  untuk  membatalkan  perintah  yang  terahkir  diberikan. Berdasarkan data awal tersebut, Aplikasi E-SAKIP Kabupaten Buleleng perlu dievaluasi untuk mengetahui tingkat kebergunaan (usability) sistem bagi pengguna dari segi efektivitas, efisiensi dan kepuasan, hal ini berguna untuk kelangsungan dan pengembangan sistem informasi kedepan (Sadnyana et al., 2017). Setiap sistem  yang telah  dilaksanakan  perlu  dinilai  atau  dievaluasi  unjuk  kerjanya  untuk  melihat  sejauh  mana keberhasilannya  dalam  mencapai  tujuan  dan  sasaran  awal  yang  ditetapkan  (Falahah,  2011).  Hasil  dari penelitian ini akan memberikan Gambaran kepada pengembang mengenai kendala-kendala yang dialami dan  kesulitan  dari  pengguna  ketika  menggunakan  aplikasi.  Penelitian  ini  diharapkan  membantu pengembang  membuat  Aplikasi  E-SAKIP  ini  nyaman  dan  mudah  ketika  digunakan.  Definisi  usability menurut ISO 9241:11 (1998) adalah sejauh mana suatu produk dapat digunakan oleh pengguna tertentu untuk  mencapai  target  yang  ditetapkan  dengan  efektiv,  efesien  dan  mencapai  kepuasan  penggunaan dalam  konteks  tertentu  (Rahadi,  2014).  Pengujian  usability  dapat  dibagi  menjadi  2  kategori  yakni pengujian  kuantitatif  dan  kualitatif,  namun  untuk  pengujian  disarankan  lebih  baik  menggunakan  2 kategori  tersebut  (Adiseshiah,  2017).  Oleh  karena  itu,  peneliti  akan  mengukur  tiga  aspek  usability menurut  ISO  9241:11  yaitu  efektivitas,  efisiensi,  dan  kepuasan  pengguna.  Karena  penelitian  evaluasi menggunakan  ISO  9241:11  terhadap  sistem  informasi  dilakukan  untuk  dapat  memperoleh  indeks kuantitatif  dan  indeks  kualitatif  (Senjaya,  Witono,  &  Alkhala,  2017).  Aspek  efektivitas  dapat  dilihat  dari berapa  banyak  tugas  yang  dapat  diselesaikan,  aspek  efisiensi  dilihat  dari  berapa  banyak  waktu  yang diperlukan untuk menyelesaikan tugas. Kedua aspek ini tergolong ke dalam data kuantitatif, sedangkan untuk  data  kualitatif  akan  di  dapat  dari  aspek  kepuasan  yang  dilihat  dari  reaksi  pengguna  terhadap kemudahan  sistem  dan  diukur  dengan  kuesioner.  Menurut  Zaphiris  dan  Kurniawan  (Utama,  2011) terdapat empat kategori metode yang dapat digunakan dalam melakukan evaluasi usability, antara lain: model/metric-based,  inspection,  testing,  dan  inquiry.  Di  antara  keempat  kategori  metode  tersebut, usability  testing  adalah  metode  yang  paling  banyak  digunakan  untuk  menguji  sebuah  sistem  karena
keakuratan  yang  dihasilkannya  (Utami,  2016).  Metode  usability  testing  memiliki  beberapa  teknik pengambilan data yang berbeda, menurut (Utama, 2011) diantaranya, yang pertama teknik retrospective think  aloud  yakni  suatu  teknik  yang  menginstruksikan  pertisipan  untuk  memverbalisasikan  pikiran, perasaan  dan  pendapat  mereka  saat  berhadapan  dengan  sebuah  produk/sistem.  Teknik  kedua  yakni teknik  performance  measurement  yang  digunakan  untuk  memperoleh  data  kuantitatif  dan  melarang adanya  interaksi  partisipan  dengan  lingkungan  sekitar  saat  proses  pengambilan  data  berlangsung, Berdasarkan pemaparan diatas, peneliti hendak melakukan evaluasi usability pada Sistem Akuntabilitas Kinerja  Instansi  Pemerintah  (E-SAKIP)  Kabupaten  Buleleng  dengan  menggunakan  metode  usability testing.  Pada  pengujian  ini  peneliti  akan  mengukur  variable  yang  mengacu  pada  ISO  9241-11  yaitu efektivitas,  efisiensi,  dan  kepuasan  pengguna.  Untuk  teknik  yang  akan  digunakan  pada  penelitian  ini adalah teknik Performance Measurement dan Teknik Retrospective Think Aloud (RTA). Karena menurut (Guan et al., 2006), kombinasi hasil Performance Measurment dengan RTA akan dapat memberi informasi yang lengkap dan akurat pada pengukuran usability. Teknik Performance Measurement digunakan untuk mengukur  aspek  efektivitas  dan  efisiensi  untuk  memperoleh  data  kuanitatif  tentang  kinerja  peserta tes ketika mereka melakukan tugas selama pengujian usability. Sedangkan untuk mengukur aspek kepuasan pengguna peneliti menggunakan Teknik Retrospective Think Aloud (RTA). Teknik ini adalah teknik yang memungkinkan  seorang  responden  menceritakan  hal  apa  yang  dilakukan  ketika  tes  setelah  selesai dilakukan. Hal ini juga mengacu pada penelitian yang sebelumnya pernah dilakukan oleh Sadnyana et al. (2017),  Yuliyana  (2017)  dan  Senjaya  et  al.  (2017)  yang  mengukur  aspek  efektivitas,  efisiensi  serta kepuasan  pengguna  dengan  menggunakan  teknik  RTA  dan  Perfomance  Measurement.  Pada  penelitian tersebut sama-sama belum pernah dilakukan pengukuran pada aspek usability. Hasil dari analisis evaluasi aspek usability pada Aplikasi E-SAKIP ini nantinya akan dijadikan acuan dalam pembuatan rekomendasi untuk perbaikan E-SAKIP Kabupaten Buleleng.

## 2. METODE
Penelitian  ini  dibagi  berdasarkan  beberapa  tahap:  proses  pengamatan  di  lapangan  terhadap operator  pengguna  Aplikasi  E-SAKIP,  mempelajari  literatur  untuk  pemilihan  metode  dan  teknik  yang digunakan, menentukan sampel penelitian, kemudian mengambil dan menganalisis data. Rincian tahapan penelitian ini dapat dilihat pada Gambar 1.
Berdasarkan  pada  Gambar  1,  diketahui  bahwa  pada  tahap  pengambilan  data  dibagi  menjadi  3 bagian  yakni  efektivitas,  efisiensi,  dan  Kepuasan.  Peneliti  disini  telah  menyiapkan  alur  penelitian  yang dimana  dapat  digunakan  sebagai  pedoman  terkait  tahapan-tahapan  penelitian  yang  digunakan  sebagai acuan  atau  pedoman  oleh  peneliti  untuk  menjaga  konsistensi  perlakukan  terhadap  responden. Berdasarkan  alur  pengujian  peneliti  dapat  memberikan  perlakuan  yang  sama  kepada  masing-masing responden  yang  diamati/diuji.  Adapun  alur  pengujian  usability  pada  Aplikasi  E-SAKIP  akan  dibagi menjadi  3  bagian  secara  garis  besar,  yakni  bagian  persiapan,  pengujian,  dan  pasca  pengujian.  Adapun ketiga bagian yang dimaksud adalah sebagai berikut:

## A. Efektivitas
Pada  tahap  pengujian  aspek  efektivitas  teknik  yang  digunakan  yaitu  teknik  performance measurement.  Dalam  pelaksanaan  pengujian  atau  usability  testing  responden  diberikan  beberapa  task (tugas) yang harus dikerjakan. Adapun alur pengujian ini dapat dilihat pada Gambar 2.

## Gambar 2. Alur Pengujian Efektivitas
Data  yang  didapat  dari  pengukuran  usability  dengan  teknik  Performance  Measurement  akan disajikan  dalam  bentuk  data  berupa  jumlah  task  dan  waktu  penyelesaian  pengerjaan  dari  setiap  tugas yang  dilakukan  oleh  setiap  responden.  Untuk  melihat  keefektifan  dapat  dilihat  dari  penghitungan completion rate yang mengukur tingkat penyel esaian dengan menggunakan angka biner ‘1’ jika berhasil dan  ‘0’  jika  gagal.  Rata -rata  penyelesaian  tugas  minimum  dengan  perhitungan  completion  rate  adalah 78%  (Sauro,  2011).  Selain  menggunakan  perhitungan  completion  rate  peneliti  juga akan  menggunakan perhitungan  number  of  error.  Perhitungan  ini  dilakukan dengan  menghitung  kesalahan  yang  dilakukan pengguna  saat  mencoba  menyelesaikan  sebuah  taks/tugas,  kesalahan  dapat  berupa  tindakan,  kelalaian pengguna.  Menghitung  jumlah  kesalahan  dapat  memperoleh  diagnostik  yang  sangat  baik.  Berdasarkan analisis  tehadap  719  tugas  yang  dilakukan  pengguna  pada  perangkat  lunak,  Jeff  Sauro  menyimpulkan bahwa  rata-rata  jumlah  kesalahan  per  tugas  adalah  0,7  dengan  2  dari  setiap  3  pengguna  melakukan kesalahan.  Hanya  10  %  dari  tugas  yang  diamati  dilakukan  tanpa  kesalahan,  sehingga  mengarah  pada kesimpulan bahwa sangat normal bagi pengguna untuk membuat kesalahan sewaktu mengerjakan tugas (Mifsud, 2015).

## B. Efisiensi
Pada  tahap  pengujian  aspek  efisiensi,  peneliti  juga  menggunakan  Teknik  performance measurement.  Data  yang  akan  dianalisis  pada  aspek  efisiensi  berupa  data  waktu  yang  dibutuhkan responden  untuk  mengerjakan  setiap  tugas  dari  task  scenario  yang  diberikan.  Alur  dari  pengujian  ini dapat dilihat pada Gambar 3.

## Gambar 3. Alur Pengujian Efisiensi
Untuk  mengukur  keefisienan  user  interface  Aplikasi  E-SAKIP  akan  dilakukan  pengolahan  secara statistik  dengan  metode  pengolahan  yang  membandingkan  2  kelompok  independen.  Untuk membandingkan  waktu  pengerjaan  2  kelompok  yang  independen  dapat  dilakukan  pengolahan  data statistik. Sebelum memustuskan menggunakan metode olah data, terlebih dahulu peneliti melakukan uji normalitas dari 2 data independent tersebut. Jika hasil uji normalitas menghasilkan data non parametrik peneliti  akan  menggunakan  uji  statistik  Mann  Whitney  U-test  dan  untuk  hasil  data  uji  normalitas  yang menghasilkan  data  parametrik  peneliti  akan  menggunakan  uji  statistik  t-test.  Metode  ini  dipilih  karena dari beberapa literatur dengan tujuan penelitian yang sama menggunakan pengolahan data dengan uji ini.

## C. Kepuasan
Pengujian  aspek  kepuasan  dilakukan  menggunakan  Teknik  Retrospective  Think  Aloud  dan kuesioner  QUIS  (Questionnaire  User  Interface  for  Satisfaction).  Langkah  yang  dilakukan  menggunakan Teknik  RTA  yaitu  responden  diberikan  arahan  untuk  menjelaskan  apa  yang  dirasakan  ketika menggunakan  produk.  Data  yang  akan  terkumpul  dari  pengalaman  responden  ini  bisa  berupa  data kesimpulan think aloud, data kepuasan, serta data kritik dan saran 34 dari responden terhadap E-SAKIP. Setelah  itu  responden  diberikan  kuesioner  QUIS  untuk  diisi.  Dari  hasil  kuesioner  akan  diolah  untuk mengetahui sejauh mana pengguna puas terhadap Aplikasi E-SAKIP.

## Gambar 4. Alur Pengujian Kepuasan
Data hasil pengolahan dengan teknik RTA adalah berupa data  verbal responden. Untuk membuat data tersebut menjadi data yang dapat disajikan secara tertulis dan visual, penulis mendengarkan putaran ulang  data  rekaman  dari  setiap  responden  tersebut  kemudian  membuatnya  menjadi  data  yang  bisa disajikan  secara  tertulis  dan  visual.  Data  hasil  proses  rekaman  tersebut  akan  disajikan  kedalam  data kesimpulan  think  aloud  dari  responden  peserta  usability  testing.  Sedangkan  pengolahan  data  yang didapat  dari  kuesioner  QUIS,  berdasarkan  penelitian  (Kristianingtyas,  2017),  dapat  peneliti  urutkan langkahlangkah dalam penggunaan kuesioner QUIS untuk mengolah data kuantitatif sebagai berikut:
1.  Hitung  rata-rata  per  indikator  dari  kuesioner  QUIS.  5  indikator  tersebut  yaitu  (1)  reaksi keseluruhan  terhadap  sistem;  (2)  layar  aplikasi;  (3)  terminologi  dan  informasi  sistem;  (4) pembelajaran; (5) kemampuan sistem. Rentang skor nilai berkisar 1-9.
2.  Setelah mendapatkan rata-rata dari 5 indikator dari setiap responden, kemudian akan dihitung rata-rata  total  yang  akan  menjadi  nilai  akhir.  Peneliti  akan  mendapat  5  nilai  akhir  mewakili setiap indikator.
3.  Selanjutnya  menganalisa  hasil.  Menurut  (Geltmeyer,  2017)  pada  masingmasing  indikator kuesioner QUIS memiliki median atau skor standar yang berbeda. Masing-masing nilai median tersebut  yaitu  (1)  reaksi  keseluruhan  terhadap  sistem  (Med=6.50);  (2)  layar  aplikasi (Med=7.00);  (3)  terminologi  dan  informasi  sistem  (Med=7.00);  (4)  pembelajaran  (Med=6.50); (5) kemampuan sistem (Med=6.00). Apabila nilai akhir indikator lebih besar dari nilai median masing-masing,  maka  pengguna  dapat  dikatakan  sudah  puas  terhadap  indikator  tersebut. Sedangkan apabila nilai reaksi keseluruhan terhadap sistem lebih besar dari nilai median 6.50, maka pengguna dapat dikatakan sudah puas menggunakan sistem.
Selain  itu,  dalam  penelitian  ini,  peneliti  menggunakan  beberapa  instrumen  diantaranya  naskah wawancara, task skenario, dan kuesioner QUIS.
Instrumen naskah wawancara digunakan untuk mengkategorikan atau mengelompokan responden yang  terbagi  menjadi  responden  mahir  dan  pemula.  Naskah  wawancara  dirancang  untuk  mengetahui sejauh mana pengalaman responden dalam menggunakan suatu aplikasi. Untuk menentukan responden tersebut  mahir  atau  pemula,  pertama  peneliti  merata-rata  nilai  yang  diperoleh  dari  keseluruhan responden untuk mendapatkan nilai mean atau nilai tengah sebagai acuan. Responden yang memiliki nilai diatas  nilai  mean  dikelompokkan  sebagai  responden  mahir.  Sedangkan  untuk  responden  yang  memiliki nilai dibawah nilai mean dikelompokkan sebagai reponden pemula.
Suatu usability testing diperlukan adanya task skenario. Task skenario mendeskripsikan cerita dan konteks dengan alasan mengapa pengguna tertentu atau suatu kelompok tertentu datang bekunjung pada suatu website (Usability.gov, n.d.). Jumlah task yang seharusnya dilakukan untuk usability testing dibatasi sebanyak  10  atau  12  buah  (Usability.gov,  n.d.).  Task  skenario  menyertai  responden  dan  digunakan sebagai  cara  untuk  menganalisa  sejauh  mana  tingkat  usability  suatu  sistem.  Dalam  pembuatan  task skenario peneliti mengacu pada 3 aturan dari Norman yaitu: 1.) Jadikan Task Realistik; 2.) Buat Task yang Mengarah pada Tindakan; 3.) Hindari membuat Task yang terlalu menunjukan Langkah-langkah dengan detail.
Sedangkan, Instrumen kuesioner QUIS digunakan setelah pengujian usability berlangsung dengan tujuan  untuk  memperoleh  data  kuantitatif  mengenai  kepuasan  pengguna  terhadap  Aplikasi  E-SAKIP. Kuesioner  QUIS  yang  peneliti  gunakan  diadopsi  dari  penelitian  Forza  Rizenda  pada  tahun  2017  yang berjudul “Analisis Kepuasan Pengguna Terhada p Sistem Visualisasi Senyawa Kimia Dengan Mengadopsi QUIS  7.0”.  Kuesioner  ini  terdiri  dari  beberapa  pertanyaan  singkat  yang  harus  dijawab  seluruhnya  oleh responden yang telah melakukan pengujian.

## 3. HASIL DAN PEMBAHASAN
Pada  bagian  ini  kita  akan  membahas  hasil  dari  proses  pengujian  Usability  yang  telah  dilakukan dengan menggunakan Performance Measurment dan teknik berpikir Retrospective keras dalam Aplikasi E-SAKIP  Buleleng.  Hasil  dan  diskusi  penelitian  ini  disajikan  berdasarkan  3  aspek  usability,  yaitu efektivitas, efisiensi, dan kepuasan pengguna, yang dalam aspek kepuasan ini juga akan membahas hasil kuesioner QUIS.

## A. Efektivitas
Proses analisis data pada aspek efektivitas ini peneliti menggunakan perhitungan completion rate yang  dikombinasikan  dengan  number  of  error.  Untuk  proses  analisis  data  yang  peneliti  lakukan menggunakan  perhitungan  completion  rate,  peneliti  menjumlahkan  task  yang  berhasil  dikerjakan  oleh responden  saat  melakukan  pengujian.  Kemudian  jumlah  task  yang  berhasil  dikerjakan  tersebut  dibagi dengan  total  task  untuk  mendapat  persentase  rata-rata  dari  masing-masing  57  responden.  Skor  akhir yang dihasilkan dari perhitungan ini adalah 83% seperti yang terlihat pada Tabel 1.

## a. Completion Rate
Tingkat  efektivitas  dapat  diperoleh  dari  persentase  keberhasilan  pengguna  dalam  menyelesaikan semua tugas. Disebut sebagai metrik Usability dasar, tingkat penyelesaian dihitung dengan menetapkan nilai biner '1' jika peserta tes berhasil menyelesaikan tugas dan '0' jika dia tidak. Hasil perhitungan tingkat penyelesaian masing-masing responden dapat dilihat pada Tabel 1.
Tabel 1. Hasil Completion Rate Respondent Code Task Completed Total Percentage Average Task R01 7 10 70% R02 5 10 50% R03 5 10 50% R04 8 10 80% R05 10 10 100% R06 10 10 100% R07 10 10 100% 83% R08 10 10 100% R09 6 10 60% R10 7 10 70% R11 8 10 80% R12 10 10 100% R13 9 10 90% R14 10 10 100% R15 10 10 100% R16 8 10 80%
Berdasarkan  Tabel  1,  diketahui  bahwa  hasil  akhir  yang  diperoleh  dari  perhitungan  tingkat penyelesaian  adalah  83%.  [10]  Menurut  Sauro  (2011)  Rata-rata  penyelesaian  tugas  minimum  dengan perhitungan  completion  rate  adalah  78%.  Sehingga  aplikasi  E-SAKIP  dapat  dikatakan  efektif  karena persentase tingkat keberhasilan yang dicapai melebihi nilai batas minimum.

## b. Number of Error
Untuk  perhitungan  menggunakan  number  of  error,  peneliti  menganalisis  jumlah  klik  yang dilakukan  responden  untuk  menyelesaikan  sebuah  task  menggunakan  software  whatpulse,  yang kemudian dirata-rata dengan jumlah klik yang benar. Menurut (Sauro, 2015) nilai batas minimal per task adalah 0,7 yang artinya responden dapat dikatakan telah benar-benar berhasil dalam mengerjakan suatu task  jika  nilai  rata-rata  yang  dihasilkan  melebihi  nilai  batas.  Hasil  perhitungan  number  of  error  secara rinci dapat dilihat pada Tabel 2.
Tabel 2. Hasil Number of Error Respondent T1 T2 T3 T4 T5 T6 T7 T8 T9 T10 Code R01 1 1 - - - 0,8 0,5 1 0,5 1 R02 0,5 - - - 1 - 1 1 - 1 R03 0,8 - - - 1 0,8 - 1 - 0,5 R04 1 1 1 1 0,67 - - 0,58 1 0,67 R05 0,58 1 0,34 1 0,45 1 1 1 1 1 R06 1 1 0,67 1 0,8 1 1 0,8 0,5 1 R07 1 1 0,5 1 1 1 1 1 0,75 1 R08 1 1 1 1 0,8 1 1 1 1 1 R09 1 1 - - - 0,45 - 1 1 1 R10 1 1 - - 1 0,58 1 1 - 1 R11 1 1 - - 1 1 1 0,8 1 1 R12 0,8 1 0,5 1 1 1 1 1 0,6 1 R13 0,45 1 0,5 1 1 - 1 1 0,75 0,5 R14 1 1 0,67 1 1 1 1 1 0,6 1 R15 1 1 0,4 0,34 0,67 1 1 1 0,75 1 R16 0,8 1 - - 1 1 1 1 1 1 Average per 18,8% 12,5%  87,5%  50%  31,3%  31,3%  25%  18,8%  43,8%  18,8% Task Total 33,8%
Berdasarkan hasil rekapitulasi perhitungan number of error pada Tabel 2 terdapat beberapa tanda (-) yang menyatakan bahwa responden tersebut gagal menyelesaikan task. Kegagalan dalam penyelesaian task  tersebut  dapat  berupa  tindakan,  kesalahan,  atau  kelalaian  responden  saat  melakukan  pengujian. Berdasarkan Tabel  2 diketahui bahwa responden kode R01 berhasil menyelesaikan 7 dari 10 task yang diberikan  namun,  hanya  5  task  yang  nilai  rata-ratanya  >  dari  nilai  batas  yaitu  0,7.  Hal  ini  dikarenakan responden  melakukan  error  atau  klik  yang  lebih  dari  2  kali  dari  yang  semestinya  dilakukan.  Setelah mendapatkan  hasil  perhitungan  number  of  error  dari  seluruh  responden,  peneliti  kemudian merekapitulasi  nilai  rata-rata  dari  masing-masing  responden.  Selanjutnya,  peneliti  menghitung  jumlah responden  yang  gagal  atau  nilai  errornya  lebih  kecil  dari  nilai  batas  yaitu  0,7.  Kemudian  jumlah responden  yang  melakukan  error  tersebut  dirata-rata  dengan  total  responden  sehingga  didapatkan persentase  ratarata  responden  melakukan  error  pada  masing-masing  task.  Contohnya  pada  task  1 terdapat  3  responden  yang  gagal/error  mengerjakan  task  tersebut  hingga  didapatkan  persentase  rata- rata  responden  melakukan  error  pada  task  1  sebesar  18,8%.  Skor  akhir  persentase  error  keseluruhan diperoleh hasil sebesar 33,8%.
Berdasarkan analisis data pada aspek efektivitas diatas dapat disimpulkan bahwa dari pengolahan data menggunakan completion rate skor akhir yang dihasilkan cukup tinggi yaitu 83%. Sedangkan hasil pengolahan data menggunakan number of error menghasilkan nilai akhir 33,8% yang artinya persentase error  yang  dilakukan  oleh  responden  tergolong  kecil,  jadi  dapat  dikatakan  jika  Aplikasi  E-SAKIP Kabupaten Buleleng sudah efektif karena tingkat penyelesaian tugas diatas rata-rata yaitu 83%.

## B. Efisiensi
Variabel efisiensi data dianalisis dengan membandingkan durasi waktu penyelesaian tugas antara kelompok  mahir  dan  kelompok  pemula  menggunakan  uji  statistik  parametrik  T-test.  Adapun  hasil  uji statistic T-test dapat dilihat pada gambar berikut.
Gambar 5. Hasil Uji Statistik T-tes
Berdasarkan  hasil  t-test  pada  gambar  diatas  diketahui  bahwa  terdapat  2  nilai  pvalue  (Sig.  (2- tailed)). Namun, pvalue yang digunakan adalah pvalue pada baris pertama karena data bersifat homogen. Selanjutnya untuk membuat kesimpulan pengolahan data setiap pvalue masing-masing task dibandingkan dengan nilai α yang bernilai 0,05. Apabila nilai pvalue lebih besar dari 0,05 maka kesimpulannya adalah tidak  menolak  H0.  Berdasarkan  hasil  analisis  data  yang  telah  dilakukan,  diperoleh  kesimpulan  statistik bahwa  dari  10  tugas  yang  ada,  hanya  ada  1  tugas  yang  memiliki  perbedaan  waktu  pemrosesan  yang signifikan antara responden pemula dan mahir. Berdasarkan hal ini, dapat disimpulkan bahwa aplikasi E- SAKIP Buleleng sudah efisien.
C. Kepuasan
Pada aspek kepuasan, peneliti menggunakan instrumen kuesioner QUIS yang dibagikan kepada 15 responden. Peneliti memberikan kuesioner QUIS kepada 15 responden untuk mengukur aspek kepuasan pengguna. Kuesioner QUIS terbagi menjadi 5 bagian yang dimuat pada Aplikasi E-SAKIP yaitu Bagian I = Reaksi  keseluruhan  terhadap  sistem,  Bagian  II  =  Layar,  Bagian  III  =  Penggunaan  istilah  dan  informasi sistem,  Bagian  IV  =  Pembelajaran,  Bagian  V  =  Kemampuan  sistem.  Bagian  tersebut  dijabarkan  dengan beberapa  pertanyaan  menggunakan  rentang  nilai  1  s.d.  9.  Kuesioner  diisi  oleh  responden  setelah melakukan pengujian. Responden memilih salah satu nilai dari 1 s.d. 9, nilai 1 untuk nilai terburuk dan nilai 9 untuk nilai terbaik. Lalu nilai yang dihasilkan dirata-rata berdasarkan indikator.
Tabel 3. Hasil QUIS Questionnaire
Respondent Indicator Code I II III IV V R01 6.80 7.75 8.00 7.40 6.40 R02 7.60 8.00 7.33 7.50 6.40 R03 5.80 6.00 6.00 5.83 5.40 R04 6.40 8.00 7.33 7.00 6.60 R05 4.20 6.75 5.50 7.17 4.80 R06 6.60 8.25 8.00 7.67 6.60 R07 5.20 6.50 7.67 7.67 6.20 R08 7.00 7.50 7.00 6.67 6.60 R09 7.80 7.75 7.17 8.00 6.60 R10 7.80 7.75 7.50 7.50 7.40 R11 5.20 7.75 6.67 7.33 7.20 R12 7.60 8.75 7.83 6.50 7.80 R13 6.80 7.00 7.50 7.50 5.80 R14 7.60 8.50 8.17 8.00 7.80 R15 6.60 6.75 7.67 6.17 6.00 Average 6.60 7.53 7.29 7.19 6.53
Berdasarkan  Tabel  3,  diketahui  bahwa  pada  indikator  I,  reaksi  keseluruhan  terhadap  sistem menghasilkan  nilai  akhir  6,60.  Sedangkan  pada  indikator  bagian  lainnya,  masing-masing  menghasilkan nilai  akhir  yaitu;  layar  =  7,53,  terminologi  =  7,29,  pembelajaran  =  7,19,  kemampuan  sistem  =  6,53. Berdasarkan hasil ini dapat disimpulkan bahwa responden puas dengan aplikasi secara keseluruhan serta indikator  bagian  lain  dari  Aplikasi  E-SAKIP  karena  nilai  akhir  yang  dihasilkan  lebih  dari  nilai  batas minimum. Adapun rincian hasil kuesioner QUIS pada masing-masing indikator dapat dilihat pada Gambar 5.

## Gambar 5. Grafik Hasil Kuesioner QUIS
Sedangkan untuk data yang diperoleh menggunakan Teknik RTA  sebagian besar responden memberikan saran terhadap perbaikan server pada Aplikasi E-SAKIP Kabupaten Buleleng yang seringkali mengalami masalah. Kemudian saran yang termasuk dalam perbaikan usability diberikan oleh responden kode R01, R05,  R15,  R03,  R08,  R16,  R06.  Sedangkan  pada  responden  lainnya  memberikan  saran  yang  termasuk dalam permasalahan user interface.

## D. Rekomendasi Perbaikan
Berdasarkan  kesimpulan  akhir  yang  diperoleh  dari  pengujian  Usability  pada  aplikasi  E-SAKIP, diketahui bahwa aplikasi ini telah memenuhi semua aspek pengujian kegunaan, yang efektif, efisien dan telah  memuaskan  pengguna.  Namun,  berdasarkan  hasil  dari  teknik  Retrospective  berpikir-keras  yang
berisi  kritik  terhadap  saran  dan  juga  kendala  yang  dialami  responden  saat  melakukan  pengujian membuktikan bahwa aplikasi E-SAKIP masih memiliki kelemahan di bagian-bagian tertentu. Oleh karena itu,  dalam  penelitian  ini  para  peneliti  telah  merancang rekomendasi  untuk  perbaikan  untuk  Aplikasi  E- SAKIP Buleleng. Hasil desain perbaikan difokuskan pada penyederhanaan menu dan tampilan, mencegah kesalahan, memberikan umpan balik informatif, dan penggunaan nama istilah yang konsisten.

## 4. SIMPULAN DAN SARAN
Berdasarkan  hasil  pengujian  usability  pada  Aplikasi  E-SAKIP  Kabupaten  Buleleng  dengan menggunakan metode usability testing dapat disimpulkan sebagai berikut:
A. Efektivitas  Aplikasi  E-SAKIP  dinyatakan  telah  efektiv  berdasarkan  data  kuantitatif  yang  dihasilkan menggunakan  teknik  performance  measurment  dan  dianalisis  menggunakan  completion  rate menghasilkan nilai akhir sebesar 83%.
B. Efisiensi Aplikasi E-SAKIP yang diuji menggunakan uji statistik t-test untuk mengukur tingkat efisiensi pada  Aplikasi  E-SAKIP  diketahui  tidak  terdapat  perbedaan  waktu  yang  signifikan  dalam  pengerjaan task skenario antara responden pemula dan juga mahir.
C. Kepuasan Hasil pengukuran aspek kepuasan yang dilakukan menggunakan instrumen kuesioner QUIS didapatkan  hasil  akhir  dari  reaksi  keseluruhan  terhadap  sistem/overall  telah  melempaui  nilai  batas yaitu 6.60 > 6.50. Jadi, bisa dikatakan bahwa Aplikasi E-SAKIP sudah cukup memuaskan. Rekomendasi perbaikan yang dapat peneliti berikan dirancang berdasarkan teori eight golden rules serta kritik dan saran  yang  diberikan  langsung  oleh  responden.  Adapun  perbaikan  pada  yang  dilakukan  difokuskan pada Aplikasi E-SAKIP yaitu penyederhanaan menu dan tampilan, kemudian upaya pencegahan error dan memberikan feedback yang informatif, serta konsistensi penggunaan nama istilah.
D. Rekomendasi  untuk  perbaikan  dibuat  fokus  pada  penyederhanaan  menu  dan tampilan,  upaya  untuk mencegah kesalahan, memberikan umpan balik informatif, dan konsistensi dalam penggunaan nama istilah.
Berdasarkan  pengamatan  dari  peneliti,  terdapat  beberapa  hal  dalam  penelitian  ini  yang  dapat dijadikan pertimbangan untuk ditindak lanjuti yaitu:
1. Pada penelitian selanjutnya perlu adanya pertimbangan yang matang sebelum melakukan teknik RTA mengingat  dibutuhkannya  kemampuan  untuk  bisa  memancing  responden  menceritakan  verbalisasi fikirannya terhadap aplikasi.
2. Kuesioner QUIS yang digunakan diadopsi  dari bahasa asing yang kemudian diterjemahkan ke dalam bahasa Indonesia. Oleh karena itu, untuk penelitian selanjutnya disarankan agar melakukan konsultasi dengan pakar usability untuk validitas pertanyaan yang terdapat pada kuesioner tersebut. Selain itu, pada penelitian selanjutnya dapat menggunakan instrumen kuesioner yang lebih sederhana atau lebih mudah dipahami responden. Salah satu contoh kuesioner yang juga dapat digunakan dalam penelitian ini yaitu kuesioner SUS.

## Ucapan Terima Kasih
Dalam penyusunan skripsi ini tidak terlepas dukungan dari berbagai pihak. Peneliti secara khusus mengucapkan terima kasih yang sebesar-sebesarnya kepada semua pihak yang telah membantu. Peneliti banyak menerima bimbingan, petunjuk dan bantuan serta doronga dari berbagai pihak baik yang bersifat moral maupun material.

## Daftar Pustaka
Adiseshiah, E. G. (2017, October 31). How To Develop Goals In A  Usability Test. Retrieved May 9, 2018, from https://usabilitygeek.com: https://usabilitygeek.com/how-to-develop-goals-usability-test/
Ersa,  M.  A.  2015.  Ussability  Evaluation  Website  E-Government  Layanan  Aspirasi  dan Pengaduan  Online (LAPOR!): Perbandingan Antara Existing Product dan Development Product. Skripsi. Fakultas Ilmu Komputer, Universitas Indonesia.
Falahah., Rijayana, I. (2011). Evaluasi Implementasi Sistem Informasi Dengan Pendekatan Utility System (Studi Kasus Sistem E-Campus Universitas Widyatama ). Jurnal Ilmiah KURSOR, 83-92.
Geltmeyer, K. (2017). Usability Of Registered Electronic Nursing Records Used By Home Cares Nurse In Flanders. Thesis. Faculty of Medicine and Health Sciences, Ghent University.
Guan, Z., Lee, S., Cuddihy, E., & Ramey, J. (2006). The validity of the stimulated retrospective think-aloud method  as  measured  by  eye  tracking.  Procceding  of  the  SIGCHI  Conference  on  Human  Factors  in Computing System – CHI ’06, 1253.
Kristianingtyas, E. (2017). Usability Testing Prototype Aplikasi Fit Me Menggunakan Metode Walkthrough.
Retrieved August 29, 2018 from http://repository.ipb.ac.id/handle/123456789/89468
Mifsud, J. (2015, June 22). Usability Metrics – A Guide To Quantify The Usability Of Any System. Retrieved April  30,  2018,  (from  usabilitygeek.com:  https://usabilitygeek.com/usability-metrics-a-guide-to- quantify-system- usability/)
Rahadi,  D.R.  (2014).  Pengukuran  Usability  Sistem  Mengggunakan  Use  Questionnaire  Pada  Aplikasi Android. Jurnal Sistem Informasi, 661-671.
Rizenda,  F.  (2017).  Analisis  Kepuasan  Pengguna  Terhadap  Sistem  Visualisasi  Senyawa  Kimia  Dengan
Mengadopsi QUIS 7.0. Retrieved October 12, 2018, from
https://repository.ipb.ac.id/jspui/handle/123456789/85445.Rahadi,  D.R.  (2014).  Pengukuran Usability Sistem Mengggunakan Use Questionnaire Pada Aplikasi Android. Jurnal Sistem Informasi, 661-671
Sadnyana, A. W., Darmawiguna, M., & Pradnyana, A. (2017). Evaluasi Usability Sistem Informasi Prakerin Pendidikan  Teknik  Informatika  Di  Undiksha  Dengan  Metode  Usability  Testing. Kumpulan  Artikel Mahasiswa Pendidikan Teknik Inforrmatika (KARMAPATI) .Hasling, D. W., Clancey, W. J., & Rennels, G. R. (1983). Strategic Explanations in Consultation. The International Journal of Man-Machine Studies ,
3 – 19.
Sauro,  J.  (2011,  March  21).  What  is  a  good  taks-complemention  rate.  Retrieved  May  15,  2018,  from Measuringu: https://measuringu.com/task-completion/
Senjaya, F. W., Witono, T., & Alkhala, N. (2017). Perancangan dan Evaluasi Usability Aplikasi Pengelolaan Laboratorium Komputer. Journal of Information Systems Engineering and Business Intelegence.
Utama,  S.  2011.  Perbaikan  User  Interface  Halaman  Internet  Banking  dengan  Metode  Usability  Testing.
Skripsi. Fakultas Teknik, Universitas Indonesia.