Evaluasi Usability Website Sistem Informasi Pelayanan Perizinan Banyumas (SIPANJIMAS) Menggunakan Metode System Usability
Scale (SUS)
Kunaslimah Zainurrohmah, Daniel Yeri Kristiyanto, Darmansah *
Fakultas Informatika, Program Studi Sistem Informasi, Institut Teknologi Telkom Purwokerto, Banyumas, Indonesia Email: 1 18103109@ittelkom-pwt.ac.id, 2 daniel@ittelkom-pwt.ac.id, 3* darmansah@ittelkom-pwt.ac.id Email Penulis Korespondensi: darmansah@ittelkom-pwt.ac.id Submitted: 20/05/2022 ; Accepted: 27/06/2022 ; Published: 30/06/2022
Abstrak –Sistem Informasi Pelayanan Perizinan Banyumas (SIPANJIMAS) merupakan salah satu layanan perizinan online yang diberikan oleh Dinas Penanaman Modal dan Pelayanan Terpadu Satu Pintu (DPMPTSP) Kabupaten Banyumas. Pada pengembangannya,  terdapat  bug  pada  sinkronisasi  e-mail  dan  error  pada  beberapa  fitur  di  SIPANJIMAS.  Permasalahan tersebut  menunjukkan  bahwa  pelayanan  dan  informasi  yang  diberikan  oleh  DPMPTSP  Kabupaten  Banyumas  kepada pengguna, masih belum sesuai dengan kebutuhan, maka perlu dilakukan analisis kegunaan website SIPANJIMAS. Metode yang digunakan pada penelitian ini yaitu System Usability Scale (SUS). Hasilnya menunjukkan bahwa website SIPANJIMAS memiliki rata-rata usability 59,75 yang termasuk pada kategori “C” dengan keterangan “Cukup Layak”.
Kata Kunci: Usability; System Usability Scale; Website; Perizinan.
Abstract– Sistem Informasi Pelayanan Perizinan Banyumas (SIPANJIMAS) is one of the services licensing provided digitally by DPMPTSP Banyumas Regency. In its development, there were bugs in e-mail synchronization and errors in several features in SIPANJIMAS. The problems found show that the services and information by DPMPTSP Banyumas Regency to users are still not as suitable as needed, so it is necessary to analyze the usefulness of the SIPANJIMAS website. The method used in this study is the System Usability Scale (SUS). The results obtained are SIPANJIMAS website has an average usability of 59,75 which is included in category “C” with the description “Quite Decent”.
Keywords : Usability; System Usability Scale; Website; Licensing.

## 1. PENDAHULUAN
Peranan teknologi informasi saat ini semakin maju dalam membantu memenuhi kebutuhan masyarakat [1] [2][3]– [5].  Kebutuhan  mengenai  informasi  menjadi  sangat  mudah  dicari  oleh  masyarakat  [6][7].  Informasi  mengenai pemerintahan menjadi salah satu informasi yang dicari oleh masyarakat [8]. Tidak hanya membantu masyarakat saja, teknologi informasi juga membantu memudahkan pemerintah dalam menjalankan fungsi kerjanya mengenai pelayanan  terhadap  masyarakat  [9][7],  [10]–[12]. E-government telah  dikembangkan  dengan  teknologi  digital untuk  membantu  meningkatkan  efektivitas  sistem  pemerintahan,  agar  informasi  mengenai  pemerintahan  dapat dengan mudah diakses dimana pun dan kapan pun oleh masyarakat [13] [14].
Dinas Penanaman Modal dan Pelayanan Terpadu Satu Pintu (DPMPTSP) Kabupaten Banyumas merupakan salah  satu  instansi  pemerintahan  yang  telah  menerapkan e-government dalam  memberikan  pelayanan  ke masyarakat.  Sistem  Informasi  Pelayanan  Perizinan  Banyumas  (SIPANJIMAS)  merupakan  salah  satu  layanan berbasis website yang  diberikan  oleh  DPMPTSP  Kabupaten  Banyumas  untuk  memudahkan  masyarakat  dalam proses perizinan daerah secara online . Berdasarkan data periode semester 1 2021, yang terhitung dari tanggal 1 Januari hingga 31 Juli 2021, diperoleh total sebanyak 1891 pengguna telah melakukan proses perizinan melalui website SIPANJIMAS. Pengguna pada saat melakukan proses perizinan ditemukan beberapa permasalahan yang ada pada website SIPANJIMAS. Pengguna yang baru membuat akun SIPANJIMAS tidak semua mendapatkan e- mail verifikasi untuk pengiriman password , karena password diperoleh dari pihak SIPANJIMAS, tidak membuat password sendiri dari pihak pengguna. Uniform Resource Locator (URL) dibeberapa fitur ditemukan tidak dapat diakses oleh pengguna. File tidak dapat ditampilkan pada fitur manual book . Error nya tampilan saat melakukan klik pada logo yang ada di menu utama. Pihak admin juga merasakan adanya permasalahan yaitu, saat melakukan cetak data pada fitur SK, terdapat error dari sistem.
Permasalahan  yang  ditemukan  tersebut,  maka  menunjukkan  bahwa  pelayanan  dan  informasi  oleh DPMPTSP Kabupaten Banyumas terhadap pengguna masih  belum sesuai  dengan yang dibutuhkan, maka perlu dilakukan evaluasi terhadap kegunaan dari website SIPANJIMAS. Evaluasi adalah proses yang dilakukan dalam menentukan  nilai  suatu  objek  [15]. Usability adalah  salah  satu  faktor  yang  dapat  mengetahui  apakah  layanan tersebut sudah baik atau belum [16]. Metode yang digunakan dalam penelitian ini yaitu kuesioner System Usability Scale (SUS), yang terdiri dari 10 pertanyaan dengan skor penilaian dari 1 hingga 5 [17]. Tujuan penelitian ini yaitu untuk mengetahui nilai usability pada website SIPANJIMAS oleh pengguna, serta untuk mengetahui aspek kriteria usability yang sudah dimiliki.
Berdasarkan penelitian yang telah dilakukan oleh Adena Nioga, dkk membahas mengenai evaluasi usability aplikasi mobile menggunakan metode SUS. Evaluasi  aspek usability merupakan tujuan dari penelitian tersebut. Metode  yang  digunakan  pada  penelitian  tersebut  yaitu  menggunakan  teknik usability  testing dengan  metode discovery prototyping , yang berfokus pada aplikasi KAI Access .  Tugas apa saja yang dilakukan oleh penggunan
tidak dijelaskan pada penelitian tersebut. Hasil pada penelitian tersebut yaitu diketahui bahwa nilai usability dari aplikasi KAI Access yaitu 57.48%, selanjutnya aplikasi KAI Acess dilakukan perbaikan dan pengujian ulang. Hasil menunjukkan  peningkatan  yaitu  83.03%  setelah  dilakukan  perbaikan  [18].  Berdasarkan  penelitian  yang  telah dilakukan  oleh  Rizal  Halim  Adirasyid,  dkk  membahas  mengenai  evaluasi usability  website .  Metode  yang digunakan  pada  penelitian  tersebut  yaitu  metode usability  testing dan  evaluasi heuristic .  Melakukan  evaluasi usability merupakan tujuan penelitian tersebut. Tugas apa saja yang dilakukan oleh penggunan tidak dijelaskan pada penelitian tersebut. Hasil pada penelitian tersebut yaitu pada usability testing menhasilkan ke efektivitasan web  yaitu  100%.  33  permasalahan  ditemukan  pada  evaluasi  dengan  metode usability  testing .  49  permasalahan ditemukan  pada  evaluasi  dengan  metode heuristic [19].  Berdasarkan  penelitian  yang  telah  dilakukan  oleh Muhammad  Faishal  Erwin,  dkk  membahas  mengenai  evaluasi usability pada website .  Evaluasi  permasalahan usability  merupakan  tujuan  dari  penelitian  tersebut.  Metode  yang  digunakan  pada  penelitian  tersebut  yaitu menggunakan metode task scenario dan prototype . Uji validitas dan uji reliabilitas tidak dilakukan pada kuesioner yang digunakan untuk penelitian tersebut. Hasil penelitian tersebut yaitu ditemukan lima permasalahan usability . 74% merupakan hasil dari tingkat keberhasilan pengujian yang telah dilakukan. Selanjutnya dilakukan perbaikan untuk  tampilan  situs.  98%  diketahui  sebagai  hasil  dari  evaluasi  setelah  dilakukan  perbaikan  [20].  Berdasarkan penelitian yang telah dilakukan oleh Inggrit Larasati membahas mengenai evaluasi website oleh pengguna. Metode yang digunakan pada penelitian tersebut yaitu usability testing . Evaluasi usability merupakan tujuan dari penelitian tersebut. Uji validitas dan uji reliabilitas tidak dilakukan pada kuesioner yang digunakan untuk penelitian tersebut. Hasil penelitian tersebut yaitu ditemukan bahwa secara umum website sudah memperhatikan faktor usability .  3,52 merupakan nilai rata-rata kepuasan pengguna yang termasuk pada aspek learnability . 3,30 merupakan nilai untuk aspek efficiency . 3,15 merupakan nilai untuk aspek memorability . 3,64 merupakan nilai untuk aspek errors . 3,67 merupakan  nilai  untuk  aspek satisfaction [21].  Berdasarkan  penelitian  yang  telah  dilakukan  oleh  Annisa  Nur Fatwa, dkk membahas mengenai evaluasi kebermanfaatan dengan pendekatan usability . Metode yang digunakan pada penelitian tersebut yaitu usability testing . Evaluasi usability merupakan tujuan dari penelitian tersebut. Daftar dari 23 pertanyaan pada penelitian tersebut tidak dijelaskan apa saja pertanyaannya. Alpha cronbach digunakan dalam penelitian tersebut untuk melakukan uji reliabilitas. Hasil pada penelitian tersebut yaitu menunjukan nilai 3.042 untuk nilai rata-rata pada indikator efektifitas, efisiensi dan kepuasan pengguna, hasil tersebut termasuk ke dalam kategori baik, sehingga dapat disimpulkan bahwa kebermanfaatan sudah dapat bermanfaat dengan baik oleh pengguna [22].

## 2. METODOLOGI PENELITIAN
Hasil  kuesioner  SUS  merupakan  bahan  yang  digunakan  pada  penelitian  ini.  Observasi,  wawancara,  dan  studi literatur berdasarkan sumber-sumber tertulis yang berkaitan dengan penelitian dilakukan sebagai data pendukung pada  penelitian  ini.  Objek  pada  penelitian  ini  yaitu website SIPANJIMAS.  Metode  yang  digunakan  dalam penelitian ini adalah sebagai berikut :

## 2.1 Identifikasi dan Perumusan Masalah
Identifikasi dilakukan dengan melakukan observasi terhadap website SIPANJIMAS dan juga wawancara terhadap pihak  DPMPTSP  Kabupaten  Banyumas.  Permasalahan  yang  masih  ditemukan  pada website SIPANJIMAS, sehingga  penelitian  ini  mengambil  topik  mengenai  kegunaan website SIPANJIMAS  terhadap  pengalaman pengguna.

## 2.1.1 Observasi
Observasi  dilakukan  untuk  mengambil  data  primer  pada website SIPANJIMAS  dengan  mengamati  secara langsung. Hasil yang ditemukan yaitu bug pada sinkronisasi e-mail untuk verifikasi akun pengguna baru. Uniform Resource Locator (URL) dan tampilan yang error di beberapa fitur.

## 2.1.2 Wawancara
Menurut pihak DPMPTSP berdasarkan hasil evaluasi terdahulu, error pada sinkronisasi e-mail menjadi hal yang masih belum dapat diperbaiki. Update yang tidak langsung masuk pada sistem.

## 2.2 Tujuan Penelitian
Tujuan  pada  penelitian  ini  yaitu  untuk  mengetahui  nilai  rata-rata usability yang  dimiliki  oleh website SIPANJIMAS dan kriteria usability apa saja yang sudah dimiliki.

## 2.3 Studi Literatur
Studi  literatur  dilakukan  untuk  mengkaji  teori  berdasarkan  sumber  tertulis  yang  materinya  berkaitan  dengan penelitian, sehingga memperkuat penelitian.

## 2.4 Responden
Pemilihan  responden  dilakukan  berdasarkan  data  hasil  rekap  pengguna website SIPANJIMAS  pada  periode semester I 2021, yang merupakan populasi penelitian. Simple random sampling diketahui dengan menggunakan rumus slovin, diketahui 331 orang ditetapkan menjadi responden pada penelitian ini.

## 2.5 Kuesioner System Usability Scale (SUS)
Pada  tahap  ini  dilakukan  penyebaran  kuesioner  SUS  untuk  pengumpulan  data  penelitian  kepada  pengguna terhadap 10 pertanyaan yang tersedia.

## 2.6 Rekapitulasi Kuesioner System Usability Scale (SUS)
Pada tahap ini dilakukan perhitungan hasil pengumpulan data berdasarkan aturan perhitungan kuesioner SUS yaitu dengan syarat sebagai berikut :
1. (Hasil jawaban pertanyaan nomor ganjil) – 1
2. 5 – (Hasil jawaban pertanyaan nomor genap)
3. Skor dijumlahkan, hasilnya dikali 2,5, selanjutnya dibagi dengan jumlah responden.

## 2.7 Analisis Data
Pada tahap ini dilakukan pengolahan data berdasarkan hasil dari pengumpulan data menggunakan kuesioner SUS, maka akan menghasilkan rata-rata usability dari website SIPANJIMAS yang akan diinterpretasikan dengan nilai usability berikut ini :
Tabel 1. Nilai Usability Kategori Nilai (%) Keterangan A 100% - 81% Sangat Layak B 80% - 61% Layak C 60% - 41% Cukup Layak D 40% - 21% Kurang Layak E 20% - 0% Sangat Tidak Layak
Hasil  dari  kuesioner  tersebut  selanjutnya  dilakukan  analisis  berdasarkan  kriteria usability yaitu learnability, efficiency, memorability, errors dan satisfaction . Berdasarkan pertanyaan kuesioner SUS yang berkaitan dengan aspek learnability, efficiency, dan memorability yaitu ada pada pertanyaan bernomor 1, 3, 5, 7, dan 9. Aspek errors ada pada pertanyaan bernomor 2, 4, 6, 8, dan 10. Aspek satisfaction ada pada pertanyaan bernomor 1 dan 9. Hasil masing-masing dari nomor pertanyaan tersebut dikaitkan dengan aspek usability yang berkaitan.

## 3. HASIL DAN PEMBAHASAN

## 3.1 Kuesioner System Usability Scale (SUS)
Setelah dilakukan pengumpulan data pada 331 responden, maka diketahui hasil terhadap 10 pertanyaan pada kuesioner SUS, yang selanjutnya dilakukan perhitungan skor SUS sebagai berikut :

## Tabel 2. Isian Responden
Responden 1 2 3 4 5 6 7 8 9 10 TOTAL
DIKALI 2,5 1 4 4 4 1 2 1 3 3 3 3 28
70 2 4 4 4 4 4 4 4 4 4 4 40 100 3 3 3 2 4 3 3 3 3 1 3
28 70 4 3 3 3 4 3 2 3 2 3 3 29 72.5 5 3 3 3 2 2 2 3 3 4 1
26 65 6 3 3 3 2 4 3 2 4 3 2 29 72.5 7 3 2 3 0 3 3 3 2 2 1 22 55 8 3 3 3 2 3 1 3 3 3 1 25 62.5 9 3 3 3 2 3 3 3 2 2 2
26 65 10 4 3 3 2 3 2 3 3 3 1
27 67.5 dst Jumlah 19775 Rata-Rata (Jumlah SUS : Jumlah Responden) 59,75
Hasil dari pengolahan data kuesioner SUS pada 331 responden terhadap 10 pertanyaan yaitu menunjukkan bahwa website SIPANJIMAS  memiliki  nilai  rata-rata usability 59,75.  Berdasarkan  table  2.  Nilai Usability menunjukkan bahwa nilai 59,75 termasuk pada kategori “C” dengan keterangan “Cukup Layak”.

## 3.2 Kriteria Usability
Aspek learnability, efficiency dan memorability terkait pada pertanyaan nomor 1, 3, 5, 7 dan 9. Berdasarkan hasil dari  pertanyaan  bernomor  1,  3,  5,  7  dan  9,  responden  menjawab  setuju  untuk  kriteria usability pada  aspek learnability, efficiency dan memorability. Berdasarkan nilai tersebut, maka menunjukkan website SIPANJIMAS mudah digunakan karena dapat dengan cepat dipelajari, membantu pengguna dimudahkan dalam proses perizinan secara online, sehingga tidak perlu datang langsung ke tempat pelayanan, dan juga untuk tampilan antarmukanya dapat diingat pengguna dengan mudah.
Aspek errors berkaitan  pada  pertanyaan  nomor  2,  4,  6,  8  dan  10.  Berdasarkan  hasil  dari  jawaban  pada pertanyaan bernomor 2, 4, 6, 8 dan 10, responden menjawab setuju, netral dan tidak setuju untuk kriteria usability pada aspek errors . Pengguna masih merasakan adanya kesalahan sistem pada website SIPANJIMAS.
Gambar 3. Aspek Errors
Aspek satisfaction berkaitan  pada  pertanyaan  nomor  1  dan  9.  Berdasarkan  hasil  dari  jawaban  pada pertanyaan  bernomor  1  dan  9,  responden  menjawab  setuju  untuk  kriteria usability pada  aspek satisfaction . Pengguna  merasakan  bahwa  saat  menggunakan website SIPANJIMAS  sudah  puas  terhadap  pengalaman  yang dilalui.
Gambar 4. Aspek Satisfaction
Berdasarkan  hasil  analisis  tersebut  menunjukkan  bahwa website SIPANJIMAS  sudah  masuk  ke  dalam kriteria pada aspek learnability, efficiency, memorability dan saticfaction .

## 4. KESIMPULAN
Berdasarkan  hasil  penelitian,  menggunakan  kuesioner  SUS,  dilakukan  penyebaran  kuesioner  terhadap  331 responden, maka dapat disimpulkan bahwa rata-rata untuk nilai usability pada website SIPANJIMAS yaitu 59,75 dengan kategori “C” dengan keterangan berdasarkan table 2 yaitu “Cukup Layak”. Hasil kuesioner SUS pada 10 pertanyaan  di  analisis  terhadap  kriteria usability .  Pertanyaan  yang  menunjukkan  kriteria usability pada  aspek learnability, efficiency, dan memorability , yaitu ada pada pertanyaan bernomor 1, 3, 5, 7, dan 9. Pertanyaan yang menunjukkan kriteria usability pada aspek errors yaitu ada pada pertanyaan bernomor 2, 4, 6, 8, dan 10. Pertanyaan yang  menunjukkan  kriteria usability pada  aspek satisfaction yaitu  ada  pada  pertanyaan  bernomor  1  dan  9. Pertanyaan nomor 1 menunjukkan hasil 39,6%. Pertanyaan nomor 2 menunjukkan hasil 40,2%. Pertanyaan nomor 3 menunjukkan hasil 43,5%. Pertanyaan nomor 4 menunjukkan hasil 31,1%. Pertanyaan nomor 5 menunjukkan hasil  47,7%.  Pertanyaan  nomor  6  menunjukkan  hasil  32,6%.  Pertanyaan  nomor  7  menunjukkan  hasil  38,7%. Pertanyaan nomor 8 menunjukkan hasil 34,1%. Pertanyaan nomor 9 menunjukkan hasil 37,2%. Pertanyaan nomor 10  menunjukkan  hasil  33,2%.  Aspek  kriteria usability yang  ada  pada website SIPANJIMAS  yaitu  pada  aspek learnability,  efficiency,  memorability dan saticfaction .  Aspek errors pengguna  menunjukkan  hasil  pada  setuju, netral  dan  tidak  setuju  karena  masih  ditemukan  kesalahan  sistem  pada website SIPANJIMAS. Bug pada sinkronisasi e-mail dan error di beberapa fitur, masih ditemukan saat dilakukan evaluasi, maka perlu dilakukan perbaikan sistem.

## REFERENCES
[1] L.  Harahap,  “Prosiding  Seminar  Nasional  Teknologi  Pendidikan  Pascasarjana  UNIMED  PERAN  TEKNOLOGI INFORMASI DAN KOMUNIKASI DALAM PENDIDIKAN,” pp. 375–381, 2019.
[2] W.  Setiyawati,  “Evaluasi  Asuhan  Keperawatan  Di  Rumah  Sakit,”  vol.  2,  no.  3,  pp.  28–31,  2019,  doi: 10.31227/osf.io/6qkrn.
[3] R. T. Subagio, Kusnadi, T. E. Putri, P. Sokibi, S. Z. Harahap, and Darmansah, “Application of Genetic Algorithm to Optimize Lecture Scheduling Based on Lecturers’ Teaching Day Willingness,” J. Phys. Conf. Ser. , vol. 1842, no. 1, 2021, doi: 10.1088/1742-6596/1842/1/012007.
[4] J. S. Komputer and S. S. Informasi, “Perancangan Sistem Informasi Pengelolaan Data Pedagang Menggunakan Metode Prototype pada Pasar Wage,” vol. 6, pp. 340–350, 2022.
[5] D. D. Darmansah, I. Chairuddin, and T. N. Putra, “Perancangan Sistem Pakar Tipe Kepribadian Menggunakan Metode Forward Chaining Berbasis Web,” JATISI (Jurnal Tek. Inform. dan Sist. Informasi) , vol. 8, no. 3, pp. 1200–1213, 2021, doi: 10.35957/jatisi.v8i3.1033.
[6] D. Simanjuntak, “Peranan Teknologi Informasi dan Komunikasi dalam Kurikulum 2013,” J. Pendidik. Penabur , vol. No.21/Tahu, no. 77–78, pp. 1–8, 2020.
[7] T. N. Darmansah, Putra, I. Chairuddin, S. Informasi, S. Tinggi, T. Pekanbaru, and S. Informasi, “Design Of The Sirp To Record Community Travels During The Pandemi Period ( Case Study : Kecamatan IV Koto Aur Malintang),” vol. 8, no. 2, 2021.
[8] T.  Prasetyaningtias,  H.  Muslimah  Az-Zahra,  and  A.  Hendra  Brata,  “Analisis  Usability  Pada  Aplikasi  Mobile  E- Government Layanan Aspirasi dan Pengaduan Online Rakyat (LAPOR!) Dengan Heuristic Evaluation,” J. Pengemb. Teknol. Inf. dan Ilmu Komput. , vol. 2, no. 11, pp. 4647–4653, 2018.
[9] O. M. . Tavares., “Analisis dan Perancangan Layanan Aspirasi Dan Informasi Pada Kelurahan Oebufu Terkait hal tersebut ,  Kelurahan  Oebufu  masih  belum  memiliki  sarana  yang  dapat  menginformasikan  berbagai  layanan  ,  program  serta informasi terkini dari kelurahan kepada masyarak,” J. Teknol. Terpadu , vol. 5, no. 2, pp. 303–313, 2019.
[10]  D.  D.  Darmansah,  N. W.  Wardani,  and  M.  Y.  Fathoni,  “Perancangan  Absensi  Berbasis  Face  Recognition  Pada  Desa Sokaraja Lor Menggunakan Platform Android,” JATISI (Jurnal Tek. Inform. dan Sist. Informasi) , vol. 8, no. 1, pp. 91– 104, 2021, doi: 10.35957/jatisi.v8i1.629.
[11]  A.  B.  Praja  and  S.  Wijayanto,  “Sistem  Informasi  Pencatatan  Surat  Masuk  dan  Surat  Keluar  Berbasis  Website Menggunakan Metode Waterfall,” vol. 3, 2022, doi: 10.30865/json.v3i3.3914.
[12]  S. Kasus et al. , “BERBASIS WEBSITE MENGGUNAKAN METODE,” vol. 09, no. 1, pp. 71–84, 2022.
[13]  L. T. Pradilla and M. P. Priyadi, “IMPLEMENTASI E-GOVERNMENT PADA PELAYANAN E-SAMSAT DALAM MENCIPTAKAN GOOD GOVERNANCE PADA KANTOR SAMSAT SURABAYA,” Ilmu dan Ris. Akuntasi , vol. 11, no. 4, 2022.
[14]  W.  Tryanti  and  A.  Frinaldi,  “Efektivitas  Implementasi  E-Government  Dalam  Pelayanan  Kependudukan  Di  Dinas Kependudukan Dan Pencatatan Sipil Kota Padang,” J. Multidicsiplinary Res. Dev. , vol. 1, no. 3, pp. 424–435, 2019.
[15]  L Idrus, “EVALUASI DALAM PROSES PEMBELAJARAN,” Manaj. Pendidik. Islam , vol. 9, no. 2, pp. 920–935, 2019, doi: https://doi.org/10.35673/ajmpi.v9i2.427.
[16]  I.  P.  G.  Astawa,  I.  G.  M.  Darmawiguna,  and  N.  Sugihartini,  “Evaluasi  Usability  Sistem  Informasi  Kepegawaian Kabupaten Badung (Simpeg Badung) Menggunakan Metode Usability Testing (studi kasus : SMP Negeri 3 Petang),” Kumpul. Artik. Mhs. Pendidik. Tek. Inform. , vol. 8, no. 2, p. 209, 2019, doi: 10.23887/karmapati.v8i2.18325.
[17]  M.  L.  Nuriman  and  N.  Mayesti,  “Evaluasi  Ketergunaan  Website  Perpustakaan  Universitas  Indonesia  Menggunakan System Usability Scale,” J. Dokumentasi Dan Inf. , vol. 41, no. 2, pp. 253–269, 2020, doi: 10.14203/j.baca.v41i2.622.
[18]  A. Nioga, K. C. Brata, and L. Fanani, “Evaluasi Usability Aplikasi Mobile KAI Access Menggunakan Metode System Usability Scale (SUS) Dan Discovery Prototyping (Studi Kasus PT KAI),” J-PTIIK J. Pengemb. Teknol. Inf. dan Ilmu Komput. , vol. 3, no. 2, pp. 1396–1402, 2019.
[19]  R.  H.  Adirasyid,  H.  M.  Az-zahra,  and N.  Y.  Setiawan,  “Evaluasi  Usability  Situs  Web  Resmi  Pemerintah Kabupaten Sidoarjo Menggunakan Metode Usability Testing dan Evaluasi Heuristic,” J. Pengemb. Teknol. Inf. dan Ilmu Komput. , vol. 3, no. 9, pp. 8804–8813, 2019.
[20]  M. F. Erwin, N. H. Wardani, and A. R. Perdanakusuma, “Evaluasi Usability Pada Website Malangmenyapa . malangkota . go . id Dinas Kebudayaan dan Pariwisata Kota Malang Menggunakan Metode Usability Testing,” J. Pengemb. Teknol. Inf. dan Ilmu Komput. , vol. 3, no. 9, pp. 9334–9340, 2019.
[21]  I. Larasati, “Evaluasi Penggunaan Website Universitas Islam Negeri Syarif Hidayatullah Jakarta Dengan Menggunakan Metode Usability Testing,” Comput. J. Comput. Sci. Inf. Syst. , vol. 4, no. 1, pp. 68–77, 2020.
[22]  U. G. Mada, A. N. Fatwa, and S. Nafisah, “Evaluasi kebermanfaatan perpustakaan digital dengan pendekatan Usability Testing : Studi pada Perpustakaan Digital Fakultas Teknik,” J. Kaji. Perpustakaan, Informasi, dan Kearsipan , vol. 3, no. 1, pp. 12–21, 2021.