## EVALUASI USABILITY APLIKASI PEDULILINDUNGI MENGGUNAKAN METODE USABILITY TESTING DAN SYSTEM USABILITY SCALE

## USABILITY EVALUATION OF PEDULILINDUNGI APPLICATION USING
USABILITY TESTING METHOD AND SYSTEM USABILITY SCALE.
Fiqhy Darmawansyah 1 , Santi Adilah 2 , Sindi Atikah 3 , Lia Mazia 4 , Siti Fauziah 5 1,2,3,5 Fakultas Teknologi Informasi, Program Studi Sistem Informasi
4 Fakultas Ekonomi dan Bisnis, Program Studi Bisnis Digital Universitas Nusa Mandiri lia.lmz@nusamandiri.ac.id

## Abstrak
Aplikasi  PeduliLindungi  merupakan  terobosan  pemerintah  berbentuk  aplikasi  untuk dapat melacak guna menghentikan penularan Corona Virus Disease (COVID-19). Aplikasi ini memiliki ulasan negatif seperti loading yang terlalu lama saat membuka aplikasi, aplikasi yang terkesan memaksa untuk selalu diperbaharui, dan seringnya terjadi kegagalan saat melakukan check-in .  Oleh  karena  itu  diperlukan  penggalian  masalah  dan  pengukuran  tingkat usability . Pada penelitian ini digunakan usability testing dan system usability scale dengan menggunakan task  scenario dan  kuesioner.  Masalah  yang  didapatkan  dari  pengujian  pada  aplikasi PeduliLindungi ialah mahasiswa merasa kesulitan karena tidak adanya lokasi yang akurat dan lengkap, mahasiswa mengalami kesulitan untuk menentukan lokasi terdekat karena tidak ada radius jarak, dan mahasiswa mengalami kesulitan menemukan rute untuk menuju ke lokasi. Hasil tingkat usability diantaranya adalah tingkat kemudahan mahasiswa sebesar 100%, tingkat kecepatan mahasiswa 0,02 goals/sec , tingkat kesalahan mahasiswa 0,075 dan tingkat kepuasan mahasiswa sebesar 0%-51% pada aplikasi PeduliLindungi.

## Kata Kunci: Usability, Usability Testing, Aplikasi PeduliLindungi

## Abstract
The  PeduliLindung  application  is  a  government  breakthrough  in  the  form  of  an application able to track to stop the transmission of Corona Virus Disease 2019 (COVID-19). This application has negative reviews such as loading that takes too long when opening  the application, applications that seem forced to always be updated, and frequent check-in failures. Therefore,  it  is  necessary  to  explore  the  problem  and  measure  the  level  of  usability.  In  this study  usability  testing  and  system  usability  scale  were  used  by  using  task  scenarios  and questionnaires.  The  problem  obtained  from  testing  the  PeduliLindung  application  is  that students  find  it  difficult  because  there  is  no  accurate  and  complete  location,  students  have difficulty  determining  the  closest  location  because  there is  no  distance  radius,  and  students have difficulty finding routes to get to the location. The results of the usability level include a student convenience level of 100%, a student speed level of 0.02 goals/sec, a student error rate of 0.075, and a student satisfaction level of 0%-51% in the PeduliLindung application. Keywords: Usability, Usability Testing, PeduliLindungi Application.

## PENDAHULUAN
Corona  Virus  Disease 19  pertama  kali mewabah  di  Kota  Wuhan,  Tiongkok  dan akhirnya  menyebar  hampir  di  seluruh  dunia dan  menjadi  trending  topik  pada  awal  tahun 2020.    Wabah  ini  menimbulkan  kepanikan berlebih di kalangan masyarakat seluruh dunia. Gejala  awal  penyakit  ini  seperti  penyakit  flu pada  umumnya  lalu  menyebar  ke  sesama manusia  melalui  tetesan  kecil  (droplet)  yang dikeluarkan  pada  saat  seseorang  batuk  atau bersin.  Lamanya  tubuh  manusia  dalam memperkuat  antibodi  menyebabkan  virus  ini menyebar  hingga  ke  paru-paru  dan  akhirnya terjadi infeksi pada bagian paru-paru (pneumonia) [1].
Berbagai upaya dilakukan oleh pemerintah Republik Indonesia guna
menghentikan penyebaran virus Covid-19 dan salah  satu  terobosan  yang  dihadirkan  adalah tersedianya  aplikasi  PeduliLindungi  yang berfungsi untuk membantu instansi pemerintah melakukan pelacakan digital guna menghentikan  penyebaran  virus  Corona. Adapun manfaat dari aplikasi PeduliLindungi adalah  1)  memberikan  peringatan  pada pengguna  ketika  berada  di  kawasan  zona merah atau berada di lingkugan yang terinfeksi Covid-19  positif  atau  ada  Orang  Dalam Pengawasan (ODP) 2) memudahkan
pemerintah mengidentifikasi,  mengawasi dan mendeteksi  pergerakan  orang-orang  yang terpapar  COVID-19  selama  14  hari  ke belakang  melalui  lacak  data  lokasi  dan informasi  secara  digital  3)  mengunduh sertifikat  vaksin  bagi  masyarakat  yang  telah disuntik vaksin COVID-19 4) melihat hasil tes PCR atau swab antigen dari laboratorium yang terafiliasi dengan pemerintah 5) Sebagai bukti untuk  mengakses  layanan  publik  seperti bandara,  pusat  perbelanjaan  atau  tempat layanan publik lainnya. Keterlibatan masyarakat pada aplikasi ini sangat diperlukan
untuk  dapat  menelusuri  riwayat  kontak penderita  virus  Covid-19  [1].  Seiring berjalannya  waktu, user menjadi  lebih sering membicarakan layanan dari aplikasi  PeduliLindungi. User sering memberikan  pendapat  dan  opininya melalui  ulasan  komentar  pada  aplikasi PeduliLindungi yang disediakan di Google Play Store . Opini yang diberikan user melalui  komentar  pada  ulasan PeduliLindungi diantaranya, loading yang terlalu  lama  saat  membuka  aplikasi, aplikasi  yang  terkesan  memaksa  untuk selalu  diperbaharui,  masih  seringnya terjadi  kegagalan  saat  melakukan check- in , dan tidak bisa melakukan scan barcode
jika tidak ada akses internet.
Ulasan–ulasan pada aplikasi PeduliLindungi  di Google  Play  Store membawa berbagai macam dampak untuk pihak pengembang aplikasi karena melingkupi komentar yang negatif. Ulasan user pada aplikasi PeduliLindungi dapat  digunakan  untuk  evaluasi  bagi pengembang aplikasi  untuk memperbaiki aplikasi  PeduliLindungi.  Dari  banyaknya pertanyaan tersebut maka dilakukan usaha lebih  lanjut  untuk  dapat  memahami persoalan  yang  ada  di  dalam  aplikasi PeduliLindungi.
Salah satu cara untuk mengevaluasi aplikasi  PeduliLindungi  dengan  cara melakukan  pengujian usability kepada user . Menurut Nielsen dalam [4] usability digunakan  untuk  menilai  kemudahan antarmuka  yang  digunakan  untuk user . Dengan  adanya  persoalan usability pada aplikasi  PeduliLindungi,  maka  dari  itu harus diketahui tingkatan usability . Tingkat usability diperlukan untuk mengetahui sudah  sejauh mana tingkatan dari  pandangan user tentang usability pada aplikasi PeduliLindungi.
Sebuah pengujian dilakukan agar mengetahui  tingkatan usability pada  suatu aplikasi.  Menurut  Nielsen  dalam  [4]  untuk mengetahui  tingkat usability dapat  dilakukan dengan  cara  mengukur  seberapa  mudah user dengan mengetahui kecepatan dan kemudahan user dalam  menjalankan  tugas,  mengukur kesalahan  agar  tahu  apa  saja  kesalahan  yang terjadi  pada user ,  serta  mengukur  tingkat kepuasan user agar  tahu  apakah user merasa puas  saat  menjalankan  aplikasi.  Poin  penting dari  pengujian usability yaitu  pengalaman yang  dirasakan user saat  menggunakan aplikasi  [5].  Pada  penelitian  ini  dilakukan pengujian usability
pada
aplikasi
PeduliLindungi,  diharapkan  penelitian  ini memberikan  informasi  permasalahan  dan tingkat usability.

## LANDASAN TEORI Aplikasi PeduliLindungi
Aplikasi PeduliLindungi ditetapkan melalui  Keputusan  Menteri  Komunikasi  dan Informatika Nomor 171 Tahun 2020
sebagaimana  telah  diubah  dengan  Keputusan Menteri  Komunikasi  dan  Informatika  Nomor 253  Tahun  2020  tentang  Perubahan  Atas Keputusan
Menteri Komunikasi dan Informatika  Nomor  171  Tahun  2020  tentang Penetapan  Aplikasi  PeduliLindungi  Dalam Rangka  Pelaksanaan  Surveilans  Kesehatan Penanganan  Corona  Virus  Disease  2019 (Covid-19) [3].
Pemerintah memanfaatkan aplikasi PeduliLindungi  guna  mencegah  penyebaran virus  Covid-19  [2].  Aplikasi  PeduliLindungi dipergunakan  untuk  dapat  melacak  penularan Covid-19  dengan  melakukan  penelusuran, pelacakan, dan juga memberi peringatan yang bertujuan untuk mewujudkan kehidupan yang baru [3]. Aplikasi PeduliLindungi masih terus dikembangkan oleh Pemerintah dengan melengkapi  fitur-fitur  yang  ada  didalamnya
untuk mempermudah masyarakat Indonesia  di  masa  kenormalan  baru. Adapun fitur yang tersedia pada Aplikasi PeduliLindungi saat ini dapat dilihat pada gambar 1.
Gambar 1. Fitur Aplikasi PeduliLindungi

## Usability
Menurut International Standards
Organizations  ISO dalam  [6] usability adalah  dimana  sistem  bisa  dipergunakan user agar mencapai target yang diinginkan dengan  hasil  yang  didapat  agar  efisiensi, efektivitas  dan  kepuasan user pada kondisi tertentu.
Menurut  Nielsen  dalam  [7] usability terdiri dari lima kriteria, antara lain: a. Learnability adalah menilai kemudahan user dalam  menjalankan tugas saat pertama kali menggunakan sistem.
b. Efficiency berguna  untuk  mengetahui seberapa  cepat  dan  tepat user dalam menjalankan  tugas  yang  disediakan setelah mengamati desain tersebut.
c. Memorability berguna untuk mengukur kemudahan user mengingat sistem setelah tidak menggunakannya dalam waktu yang cukup lama.
d. Error berguna  untuk  mengetahui banyaknya  kesalahan  yang  didapat user saat  menggunakan  sistem  dan
kemudahan user dalam  membenarkan kesalahan.  Banyaknya  kesalahan  membuat rendahnya usability pada sistem.
e. Satisfaction berguna  untuk  mengukur kepuasan user terhadap  sistem  dari  sisi kenyamanan.

## Usability Testing
Menurut Hom dalam [8] metode usability testing biasanya dilakukan menggunakan think aloud  protocol.  User diberikan  tugas  dalam lingkungan  pengujian  dan  didorong  untuk berpikir  keras  ketika  menyelesaikan  tugas– tugas tersebut. Menurut Kaikkonen and Kallio dalam  [8]  dari  pengujian  tersebut,  muncul informasi yang dibutuhkan tentang bagaimana desain antarmuka user yang sesuai dengan cara alami manusia dalam berpikir.

## System Usability Scale (SUS)
Menurut Brooke dalam [8] kuesioner SUS banyak digunakan dalam pengukuran kepuasan user karena  keunggulannya  dalam pengelolaannya  yang  cepat  dan  murah.  SUS merupakan  alat  yang  digunakan  dalam mengumpulkan data yang nyata dan mendapatkan  skor  yang  jelas  dan  tepat.  Oleh karena  itu  pengukuran  SUS  sering  disebut “ Quick and Dirty test” [6].
Daftar  pernyataan  SUS  terdiri  dari  10 pernyataan  yang  dapat  dilihat  pada  tabel  1. Pernyataan nomor 1, 3, 5, 7 dan 9 merupakan pernyataan positif dan pernyataan nomor 2, 4, 6, 8, dan 10 merupakan pernyataan negatif.
Tabel 1 Daftar Pernyataan SUS Sumber: Sharfina & Santoso dalam [8] Menurut Brooke dalam [9] Perhitungan  kuesioner  SUS  dilakukan dengan cara berikut:
1. Tiap  pernyataan  mempunyai  nilai diantaranya 0 sampai 4
2. Tiap pernyataan ganjil (1,3,5,7,9) nilai yang  diperoleh  dari  hasil  skala dikurangkan 1;
3. Tiap  pernyataan  genap  (2,4,6,8,10) nilai  5  dikurang  dengan  hasil  skala yang diperoleh.
4. Jumlah  yang  sudah  diperoleh  dari pernyataan  ganjil  dan  pernyataan genap  dikali  2,5  untuk  memperoleh nilai dari kuesioner SUS.
5. Kuesioner SUS terdapat nilai 0 hingga 100
Gambar 2. Nilai kuesioner SUS Sumber: [10]
Berikut tahapan penelitian yang
dilaksanakan oleh peneliti:
Gambar 3. Tahapan Penelitian Sumber : Hasil Peneliti
Adapun  penjelasan  untuk  tahapan  penelitian yang dilaksanakan sebagai berikut:
a. Studi Literatur
Untuk  menunjang    penelitian  ini  peneliti melakukan  studi  literatur  tentang  analisis usability terhadap aplikasi PeduliLindungi dengan  menggunakan  metode usability testing yang  didapat  dari  jurnal  penelitian terdahulu dan buku yang ada hubungannya
pada penelitian ini.

## b. Persiapan Pengumpulan Data
Pada  tahap  persiapan  pengumpulan data, tahap pertama yang dilaksanakan dengan  pembuatan task  scenario . Berikut  ini  adalah task  scenario :  “Hari ini  kamu  ingin  melakukan  vaksinasi Moderna tetapi kamu belum mengetahui lokasi  vaksinasi  tersebut.  Lalu  kamu melakukan  pencarian  melalui  aplikasi P eduliLindungi.”
Tahap kedua adalah peneliti memberikan  beberapa  pertanyaan  untuk melakukan wawancara kepada mahasiswa.  Berikut  pertanyaan  yang diberikan  peneliti  kepada  mahasiswa setelah selesai mengerjakan task scenario: 1. Apa yang anda rasakan saat mengerjakan  tugas  dalam  aplikasi PeduliLindungi? 2. Kesulitan apa yang anda rasakan saat mengerjakan  tugas  dalam  aplikasi PeduliLindungi?
3. Adakah  yang  harus  diperbaiki  pada aplikasi  PeduliLindungi  untuk  lebih mudah saat digunakan?
Tahap ketiga adalah peneliti membuat kuesioner  yang  akan  diberikan  kepada mahasiswa.

## c. Pelaksanaan Pengumpulan Data
Tahap pelaksanaan pengumpulan data melalui tiga tahapan diantaranya, usability testing ,  wawancara,  dan  penyebaran kuesioner.

## Gambar 4. Tampilan kuesioner
d. Analisis Hasil
Untuk  memperoleh  hasil  evaluasi  data yang  digunakan  dari  hasil usability  testing , wawancara,  dan  hasil  kuesioner.  Untuk analisis  hasil  evaluasi  mempunyai  2  metode diantaranya,  metode  analisis  kualitatif  dan metode analisis kuantitatif.
1. Metode Analisis Kualitatif
Metode  kualitatif  menghasilkan  masalah- masalah yang ada pada aplikasi PeduliLindungi yang nantinya akan dibuatkan penggambaran  masalah  yang  didapat  dari jawaban  mahasiswa,  lalu  peneliti  akan menyimpulkan masalah yang didapat menggunakan  bahasa  yang  lebih  formal  dan mudah dipahami.

## 2. Metode Analisis Kuantitatif Data
Hasil analisis kuantitatif ini akan diketahui tingkatan usability berdasarkan hasil perhitungan success rate, time based efficiency, error rate, dan skor system usability scale.

## HASIL DAN PEMBAHASAN
Hasil  dan  pembahasan  penelitian  ini menjelaskan  data  yang  terkumpul  dari
usability testing , wawancara dan kuesioner dari mahasiswa akan didapatkan evaluasi usability pada aplikasi  PeduliLindungi.  Data  hasil evaluasi akan dianalisis guna mengetahui masalah usability dan mengetahui tingkatan usability aplikasi PeduliLindungi. Analisis Kualitatif Analisis kualitatif menguraikan tentang  masalah usability dari  aplikasi PeduliLindungi  melalui  wawancara  yang sudah dilakukan kepada mahasiswa. Hasil wawancara akan diuraikan dengan bahasa yang lebih formal dan mudah dipahami.
Pada  masalah  pertama  terjadi  ketika mahasiswa merasa kesulitan karena tidak adanya  lokasi  yang  akurat  dan  lengkap. Mahasiswa  merasa  kesulitan  karena aplikasi  tidak  menampilkan  alamat  yang lengkap.
Masalah kedua terjadi ketika mahasiswa ingin mengetahui jarak lokasi terdekat, karena tidak ada radius jaraknya
Masalah ketiga terjadi ketika mahasiswa ingin mendapatkan rute untuk menuju ke lokasi yang diinginkan, karena aplikasi  tidak  dapat  langsung  terhubung ke google maps.
Gambar 5. Tampilan informasi lokasi
yang didatangi pada Aplikasi PeduliLindungi Sumber: Aplikasi PeduliLindungi

## Analisis Kuantitatif
Pengukuran tingkat usability dari aplikasi  PeduliLindungi  dilakukan  dengan menggunakan  analisis  kuantitatif.  Untuk mengukur  tingkat  kemudahan  mahasiswa terhadap  keberhasilan  tugas  yang  dikerjakan menggunakan perhitungan success rate. Untuk tingkat kecepatan mahasiswa dalam mengerjakan tugas pengukuran menggunakan perhitungan time based efficiency. Perhitungan error  rate digunakan untuk mengukur  tingkat  kesalahan  yang  didapat mahasiswa saat mengerjakan tugas dan system usability  scale digunakan  untuk  mengukur tingkat  kepuasaan  setiap  mahasiswa  terhadap aplikasi PeduliLindungi 1. Perhitungan Succes Rate Pengukuran tingkat kemudahan
mahasiswa  terhadap  keberhasilan  tugas  yang dikerjakan dapat dilihat sebagai berikut:

## 𝑆𝑢𝑐𝑐𝑒𝑠𝑠 𝑅𝑎𝑡𝑒
= 𝑆𝑢𝑐𝑐𝑒𝑠𝑠 𝑇𝑎𝑠𝑘 + (𝑃𝑎𝑟𝑡𝑖𝑎𝑙 𝑆𝑢𝑐𝑐𝑒𝑠𝑠 𝑇𝑎𝑠𝑘  ×  0.5)
𝑇𝑜𝑡𝑎𝑙 𝑇𝑎𝑠𝑘 ×  100% 5 + (0  × 0.5)
1 × 100
= 100 %
Hasil evaluasi
dari aplikasi
PeduliLindungi berdasarkan perhitungan success rate adalah 100%.
2. Perhitungan Time-Based Efficiency Pengukuran  tingkat  kecepatan  mahasiswa saat  menyelesaikan  tugas  yang  dilakukan dengan  menggunakan time  based  efficiency dapat dilihat sebagai berikut:
𝑇𝑖𝑚𝑒 𝐵𝑎𝑠𝑒𝑑 𝐸𝑓𝑓𝑖𝑐𝑖𝑒𝑛𝑐𝑦 = ∑ ∑ 𝑁𝑖𝑗 𝑡𝑖𝑗 𝑁 𝑖=1 𝑅 𝑗=1 𝑁𝑅 = 1 44 + 1 39 + 1 43 + 1 46 + 1 40 5
= 0,02 goals/sec
Hasil evaluasi dari aplikasi PeduliLindungi  berdasarkan  perhitungan time  based  efficiency adalah  0,02 goals/sec.

## 3. Perhitungan Error Rate
Hasil  pengukuran  tingkat  kesalahan yang didapat mahasiswa saat mengerjakan tugas  dilakukan  dengan  menggunakan error rate.
𝐷𝑒𝑓𝑒𝑐𝑡𝑖𝑣𝑒 𝑟𝑎𝑡𝑒 = 𝑇𝑜𝑡𝑎𝑙 𝐷𝑒𝑓𝑒𝑐𝑡𝑠 𝑇𝑜𝑡𝑎𝑙 𝑂𝑝𝑝𝑜𝑟𝑡𝑢𝑛𝑖𝑡𝑖𝑒𝑠 = 3 8  × 5 = 0,075 Hasil evaluasi dari aplikasi
PeduliLindungi  berdasarkan  perhitungan error  rate adalah 0,075 .  Menurut  Sauro dalam  [11]  rata-rata  kesahalan  user  saat menyelesaikan  tugas  sebesar  0,7.  Hasil yang diperoleh ialah 0,075 tidak lebih dari 0,7  maka  kesalahan  yang  dialami  user masih dapat dikatakan wajar.
4. System Usability Scale (SUS) Dilakukan analisis menggunakan system  usability  scale untuk  mengukur tingkat  kepuasaan  tiap  mahasiswa  pada aplikasi
PeduliLindungi. Awalnya dilakukan  perhitungan  nilai  skor  setiap pernyataan  dari  tiap  mahasiswa.  Berikut merupakan contoh perhitungan skor SUS dari  1  mahasiswa  yang  digunakan  untuk setiap mahasiswa:
𝑆𝑘𝑜𝑟 = (𝑄1 − 1) + (5 − 𝑄2) × 2,5
Skor = (3-1) + (5-4) + (3-1) + (5-4) + (2-1) + (5-2)
+ (1-1) + (5-4) + (2-1) + (5-5) x 2,5 = 30
Gambar 6. Hasil SUS dari setiap Mahasiswa
Setelah memperoleh hasil kuesioner dari setiap  mahasiswa,  dilakukan  perhitungan  rata – rata keseluruhan nilai mahasiswa. Hasil yang diperoleh  dari  100  mahasiswa  adalah  sebesar 34,07.  Setelah  mengetahui  hasil  SUS, dilakukan normalisasi untuk dirubah kedalam bentuk presentase. Untuk nilai 34,07 presentase  yang  diperoleh  0%-51%.  Skor  ini setara  dengan  nilai  F  pada grade  scale ,  dan juga setara dengan poor pada adjectives rating .

## KESIMPULAN
Kesimpulan yang diperoleh berdasarkan hasil penelitian yang telah dilakukan terhadap evaluasi usability dari aplikasi PeduliLindungi menggunakan metode usability testing , sebagai berikut:
Masalah  yang  didapatkan  dari  pengujian pada aplikasi PeduliLindungi ialah mahasiswa merasa  kesulitan  karena  tidak  adanya  lokasi yang akurat dan lengkap, mahasiswa mengalami kesulitan untuk menentukan lokasi terdekat  karena  tidak  ada  radius  jarak,  dan mahasiswa  mengalami  kesulitan  menemukan rute  untuk  menuju  ke  lokasi.  Hasil  tingkat usability diantaranya adalah tingkat kemudahan mahasiswa sebesar 100%, tingkat kecepatan  mahasiswa  0,02  goals/sec,  tingkat kesalahan  mahasiswa  0,075  dan  tingkat kepuasan  mahasiswa  sebesar  0%-51%  pada aplikasi PeduliLindungi.
Berikut  saran  yang  diberikan  untuk pengembangan lebih lanjut tentang evaluasi usability dari aplikasi PeduliLindungi, diantaranya: 1. P enelitian  ini  dapat  digunakan  oleh pengembang aplikasi untuk meningkatkan  kualitas  layanan  yang ada pada aplikasi PeduliLindungi agar dapat memenuhi kebutuhan user. 2. Dapat  melakukan  metode  evaluasi lainnya untuk melakukan
perbandingan  hasil  yang  diperoleh dari penelitian ini.
3. Ruang  lingkup  penelitian  selanjutnya bisa diperluas sehingga dapat mengetahui  kebutuhan  user  terhadap aplikasi PeduliLindungi .

## DAFTAR PUSTAKA
[1] W.  Sudiarsa  and  G.  B.  Wiraditya, “ Heuristic  Evaluation  Usability Analysis on Information and
Tracking  Covid-19  Application Peduli  Lindungi  Using  Heuristic Evaluation ,” Journal of Information Technology and Computer  Science (INTECOMS), vol. 3, no. 2, pp. 354–364, 2020. [2] PeduliLindungi, “ Apa itu
PeduliLindungi?, ” Online ,  2020. https://www.pedulilindungi.id/#ten tang (accessed May 18, 2022).
[3] C.  E.  Putri  and  R.  E.  Hamzah, “ Aplikasi  Pedulilindungi  Mitigasi Bencana  Covid-19  Di  Indonesia,” Jurnal Pustaka Komunikasi, vol. 4, no.  1,  pp.  66–78,  2021,  doi: 10.32509/pustakom.v4i1.1321.
[4] S. W. Ningrum, I. Akrunanda, and ..., “ Evaluasi dan Perbaikan Usability Aplikasi
Mobile Ojesy Menggunakan  Metode  Usability Testing dan Use Questionnaire,” …
Teknologi Informasi dan …, vol. 3, no. 5,  pp.  4825–4834,  2019,  [Online].
Available: http://j-
ptiik.ub.ac.id/index.php/j- ptiik/article/view/5350
[5] A.  Kasih  and  V.  I.  Delianti,  “ Analisis Usability  Nagari  Mobile  Banking Menggunakan Metode Usability Testing dengan Use Questionnaire ,” Voteteknika (Vocational Teknik Elektronika dan Informatika), vol. 8, no.
1, p. 124, Mar. 2020, doi: 10.24036/voteteknika.v8i1.107966
[6] R. H. Adirasyid, H. M. Az-zahra, and N. Y. Setiawan,  “ Evaluasi  Usability  Situs
Web  Resmi  Pemerintah  Kabupaten Sidoarjo Menggunakan Metode Usability Testing dan Evaluasi Heuristic ,” Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, vol. 3, no. 9, pp. 8804–8813, 2019.
[7] A.  H.  Brata,  L.  Fanani,  and  L.  Rosalina, “ Evaluasi  Usability  Sistem  Informasi
Program KB Berbasis Android Menggunakan  USE  Questionnaire ,”
Cybernetics, vol. 4, no. 01, p. 50, 2020,
doi: 10.29406/cbn.v4i01.1599.
[8] T. Wahyuningrum, Buku Referensi
Mengukur  Usability  Perangkat  Lunak . Yogyakarta: Deepublish,
2021. [Online].
[9] W.  A.  Febrianto  and  W.  H.  N.  Putra, “ Aplikasi  Sistem  Informasi  Puskesmas
Paperless menggunakan Metode Usability  Testing  dan  User  Experience Questionnaire  (UEQ)  (Studi  Kasus: Puskesmas Tarik),” Jurnal Pengembangan  Teknologi  Informasi dan  Ilmu  Komputer,  vol.  3,  no.  6,  pp.
6099–6106,  2019,  [Online].  Available: http://j-ptiik.ub.ac.id/index.php/j- ptiik/article/view/5648
[10] A.  Fatmawati,  “ Evaluasi  Usability pada Learning Management System OpenLearning Menggunakan  System  Usability Scale,” INOVTEK Polbeng - Seri Informatika, vol.  6, no.  1, p. 120,
2021, doi: 10.35314/isi.v6i1.1881. [11] M.  I.  Farouqi,  I.  Aknuranda,  and  A.
D. Herlambang, “ Evaluasi Usability  pada  Aplikasi  Go-Jek Dengan  Menggunakan  Metode Pengujian Usability,” Jurnal Pengembangan Teknologi
Informasi  dan  Ilmu  Komputer, vol.  2,  no.  10,  pp.  3150–3156, 2018, [Online]. Available: http://j- ptiik.ub.ac.id/index.php/j- ptiik/article/download/2396/947