## Evaluasi Usability pada Aplikasi DANA dengan Menggunakan Metode Usability Testing

## Evaluate the Usability of the DANA Application by Using Usability Testing
Kanero Juniar 1) , Agil Dwi Anugra 2) Nurul Huda 3)
1 Program Studi Teknik Informatika, Fakultas Sains Teknologi, Universitas Bina Darma Jl. Jenderal Ahmad Yani No.3, 9/10 Ulu, Kecamatan Seberang Ulu I, Kota Palembang,
Sumatera Selatan 30111 Telp : (0711) 515582 E-mail : kanero.095@gmail.com 1) agildwianugrah2@gmail.com 2) nurul_huda@binadarma.ac.id 3)

## Abstract
The  DANA  app  is  a  popular  electronic  wallet  used  by  the  public  in  our  country.  It  offers  convenient  features  for  various transactions, including money transfers, payments, game top-ups, and more. Currently, the DANA app has a rating of 4.3 out of  5  on  Google  PlayStore,  with  over  50  million  downloads.  However,  some  users  have  given  it  a  rating  of  1,  indicating dissatisfaction.  To  evaluate  its  performance,  usability  testing  was  conducted.  The  results  of  the  usability  test  revealed  a learnability value of 1.06, suggesting that new users can quickly grasp the system. In terms of efficiency, the app scored 93.82%, indicating a high level of efficiency. As for memorability, the average number of clicks and steps in subsequent tests (25.33 and 23.67) did not differ significantly from the initial tests (28 and 26.67). This implies that users can remember how to use the DANA  app  even  after  a  long  break.  Regarding  the  error  criterion,  the  app  scored  2%,  reflecting  a  low  rate  of  errors. Furthermore, user satisfaction was measured using the SUS questionnaire, resulting in a score of 68.6, which exceeded the average rating score.
Keywords: usability, DANA, SUS, usability testing

## Abstrak
Aplikasi DANA merupakan salah satu aplikasi dompet elektronik yang dikenal dan digunakan oleh masyarakat dan negara. Aplikasi  DANA  memberikan  kemudahan  kepada  pengguna  untuk  melakukan  transaksi  apapun,  seperti  transfer  uang, melakukan  pembayaran,  Top-Up  game,  dan  lainnya.  Aplikasi  DANA  dalam  Google  PlayStore  saat  ini  (29/5/2023) mendapatkan rating 4.3 dari skala 5 dan telah diunduh oleh pengguna sebanyak 50 juta lebih. Dari rating 4.3, terdapat sejumlah pengguna yang memberikan rating 1 pada aplikasi DANA yang artinya aplikasi DANA dinilai oleh pengguna masih sangat kurang.  Oleh  karena  itu,  dilakukan  pengujian  penggunaan  metode Usability  Testing .  Dari  hasil  pengujian  didapatkan  nilai learnability  1,06  yang  menunjukkan  bahwa  sistem  dapat  cepat  dipelajari  oleh  pengguna  baru.  Untuk  kriteria  efficiency didapatkan  nilai  93,82%  artinya  tingkat  efisiensi  pada  sistem  sangat  tinggi.  Sedangkan  kriteria  memorability  menunjukkan rata-rata perbandingan jumlah klik dan langkah yang tidak terlalu jauh dari pengujian pertama dan kedua sebesar yang awalnya 28 dan 26,67 menjadi 25,33 dan 23,67 sehingga dapat dikatakan bahwa aplikasi DANA dapat diingat oleh pengguna pada saat pengguna  tidak  menggunakan  sistem  lagi  dalam  jangka  waktu  lama.  Untuk  kriteria  error  didapatkan  nilai  2%  yang  artinya untuk  kriteria  ini  dapat  dikategorikan  rendah.  Sedangkan  untuk  satisfaction  didapatkan  skor  68,6  dari  kuesioner  SUS  dan hasilnya berada diatas rata-rata skor penilaian.
Kata kunci : usability, DANA, SUS, pengujian usability

## 1. Pendahuluan
Perkembangan teknologi yang pesat diiringi dengan perkembangan zaman semakin meningkat. Sudah tidak dapat dipungkiri banyak dari aspek kehidupan kita telah memanfaatkan  hasil  dari  perkembangan  teknologi, khususnya  perkembangan  internet.  Perkembangan internet pun berpengaruh pada banyak aspek kehidupan terutama  pada  sistem  pembayaran.  Sistem  pembayaran merupakan  komponen  penting  dalam  perekonomian terutama  untuk  menjamin  terlaksananya  transaksi pembayaran  yang  dilakukan  masyarakat  dan  dunia usaha.  Selain  itu,  pembayaran  juga  berperan  penting dalam mendukung terciptanya stabilitas sistem keuangan  dan  pelaksanaan  kebijakan  moneter.  Industri Fintech  merupakan  industri  penyedia  jasa  keuangan
yang paling populer dan sedang berkembang pesat di era digital  sekarang  ini.  Sistem  pembayaran  berbasis teknologi  menjadi  salah  satu  sektor  dalam  industri Fintech yang paling berkembang di Indonesia [1]. Salah satu aplikasi pembayaran berbasis teknologi yang sering dan banyak digunakan adalah aplikasi DANA.
DANA  merupakan  perusahaan  penyedia  Finansial Technology  (fintech)  yang  menyediakan  berbagai layanan dompet digital berbasis server dengan menjadi salah  satu  pihak  yang  terlibat  dalam  penyelenggaraan pemrosesan  transaksi  pembayaran  secara  mobile. DANA  didirikan  dan  diselenggarakan  oleh  PT.  Espay Debit  Indonesia  Koe  (EDIK)  (www.dana.id)  pada tanggal 29 februari 2016. Aplikasi DANA dalam Google PlayStore  saat  ini  (29/5/2023)  mendapatkan  rating  4.3
Jurnal Ilmiah Binary STMIK Bina Nusantara Jaya Vol.   0 5 No. 02 Tahun 2023, ISSN : 2657– 2117 | DOI 10.52303/jb.v5i2.103
dari skala 5 dan telah diunduh oleh pengguna sebanyak 50  juta  lebih.  Dari  rating  4.3,  terdapat  sejumlah pengguna  yang  memberikan  rating  1  pada  aplikasi DANA  yang  artinya  aplikasi  DANA  dinilai  oleh pengguna  masih  sangat  kurang.  Beberapa  pengguna mengatakan bahwa aplikasi yang digunakan memerlukan waktu yang sangat lama untuk menampilkan  halaman  dan  proses  transaksi  yang dilakukan  oleh  pengguna,  serta  optimasi  yang  sangat buruk.
Berdasarkan permasalahan di atas, peneliti memutuskan  untuk  melakukan  evaluasi usability pada aplikasi DANA versi 2.35.0 untuk melakukan pengujian usability pada  aplikasi  dengan  menggunakan  metode Usability  Testing untuk  mengetahui  tingkat usability dari  aplikasi  tersebut[2].  Alasan  peneliti  menggunakan metode Usability Testing karena metode ini melibatkan pengguna  sebagai  partisipan.  Usability  merupakan penilaian  terhadap  antarmuka  dalam  seberapa  mudah digunakan[3]. Perancangan sistem yang terstruktur dan baik akan menghasilkan antarmuka yang mudah dalam interaksi  oleh  penggunanya  [4],  [5].  Perancangan antarmuka dengan baik juga dapat membuat pengunjung website akan kembali berkunjung  karena  mendapatkan kepuasan dalam penggunaanya [6], [7].

## 2. Tinjauan Pustaka
Berdasarkan penelitian terdahulu terdapat penelitian sejenis,  dimana  para  peneliti  itu  mengukur  tingkat usability dengan  metode  yang  sama  akan  tetapi  masih relevan  dengan  pembahasan  dalam  penelitian  ini. Berikut hasil penelitian terdahulu yang didapatkan.
 Penelitian yang berjudul “Evaluasi Usability pada Aplikasi  MyTelkomsel  dengan  Menggunakan Metode Usability  Testing ”  dapat  disimpulkan bahwa  dari  hasil  pengujian  menunjukkan  tingkat usability dari  kriteria learnability sebesar  1,12 lebih cepat dipelajari oleh pengguna baru, kriteria memorability berdasarkan jumlah klik dan langkah mudah  diingat  dari  23  dan  17,33  menjadi  22  dan 16,33,  kriteria efficiency sebesar  95,97%  yang berarti cukup tinggi, kriteria error didapatkan nilai 1,31%  yang  berarti  sangat  rendah,  dan  kriteria satisfaction sebesar  69  dari  kuesioner  SUS  yang berarti cukup tinggi[8].
 Penelitian  yang  berjudul  “Implementasi  Metode Usability  Testing Dengan System  Usability  Scale
Dalam Penilaian Website RS Siloam Palembang”, pada penelitian tersebut dilakukan untuk mengetahui  seberapa  efektif  dan  efisiennya website  RS  Siloam  Palembang.  Metode  yang digunakan  adalah usability  testing dan system usability scale (SUS)[9].
 Penelitian  berjudul  “Evaluasi Usability pada
Aplikasi BNI Mobile Banking Dengan Menggunakan  Metode Usability  Testing dan System  Usability  Scale (SUS).  Penelitian  tersebut
bertujuan  untuk  permasalahan  pada  aplikasi  BNI Mobile  dengan  menggunakan  tiga  tahapan  yaitu tahapan pertama untuk mengukur metrik learnability, efficiency,error dan satisfaction yang diperoleh  dengan  menggunakan  metode Usability Testing dan System Usability Scale (SUS), tahapan kedua  memberikan  rekomendasi  perbaikan  yang dihasilkan  dari  wawancara,  dan  tahapan  ketiga melakukan  pengujian  terhadap  rekomendasi perbaikan yang telah dibuat serta membandingkan hasil  pengukuran  hasi  dengan  hasil  pengukuran pengujian awal[10].
 Penelitian yang berjudul “Evaluasi Usability Web Unipin  dengan  Menggunakan  Metode Usability Testing ”.  Penelitian  tersebut  untuk  mengukur usability,  dan  simpulkan  berdasarkan  analisis yakni Learnability 77%, Efficiency 75%,
memorability 79%, error 71%,  dan satisfaction 70% [11].
 Penelitian yang berjudul “Evaluasi Usability pada Aplikasi  m-KantorPos  dengan  Menggunakan Metode Usability Testing ”. Penelitian ini bertujuan untuk mengevaluasi m-KantorPos dengan mengukur tingkat usability dan menggali permasalahan  untuk  menghasilkan  rekomendasi perbaikan  aplikasi.  Berdasarkan    hasil  pengujian didapatkan  tingkat  kemudahan  sebesar  75,00%, tingkat  kecepatan  sebesar  0,04  goals/sec,  tingkat kesalahan  sebesar  0,11  dan  tingkat  kepuasan sebesar  50,00%  -  60,00%.  Dan  terdapat  9 permasalahan usability seperti menu tidak terlihat, judul  menu  yang  terlalu  panjang,  warna  tombol yang  samar,  waktu  loading  lambat,  layout antarmuka  aplikasi  tidak  fleksibel  dan  responsif, tombol  kurang  responsif.  Dari  permasalahan tersebut  dirumuskan  rekomendasi  perbaikan menurut  usability  guidelines  yang  sesuai  dengan fungsi, fitur, dan konten aplikasi m-KantorPos[12].

## 3.   Metodologi Penelitian
Pada bab ini menjelaskan tentang metode penelitian yang akan digunakan, tahapan penelitian mulai dari studi literatur sampai dengan hasil dari penelitian yang berupa kesimpulan dan saran.
Jurnal Ilmiah Binary STMIK Bina Nusantara Jaya Vol.   0 5 No. 02 Tahun 2023, ISSN : 2657– 2117 | DOI 10.52303/jb.v5i2.103
Gambar 1.Metodologi Penelitian
3.1 Studi Literatur
Studi  literatur  ini  digunakan  untuk  mendukung penelitian  terdahulu  terkait Usability  Testing .  Sumber dari studi literatur didapatkan dari buku maupun jurnal terkait usability dan  pengujian usability .  Tujuan  dari studi  literatur  adalah  untuk  dijadikan  referensi  dalam melakukan penelitian.
3.2 Pengujian Usability
Dalam  tahapan  ini  dilakukan  pengujian  usability terhadap  sistem  untuk  mengetahui  permasalahan usability  di  aplikasi  DANA.  Untuk  melakukan pengujian  usability  dibutuhkan  beberapa  tahapan sebelum  diujikan  kepada  pengguna  dengan  melakukan persiapan  pengujian  untuk  mempersiapkan  apa  saja yang  akan  peneliti  dibutuhkan  dalam  melakukan evaluasi.  Setelah  mempersiapkan  pengujian,  dilakukan pengujian  skenario  tugas  kepada  pengguna/partisipan untuk  mencapai  tujuan  dari  evaluasi.  Selain  itu,  dalam tahapan  pengujian  dilakukan  penyebaran  kuesioner kepada pengguna/partisipan untuk menggali lebih dalam akan  kenyamanan  pengguna  dalam  menggunakan aplikasi DANA.
1) Penelitian Responden Penentuan responden dilakukan untuk menentukan siapa  saja  pengguna  yang  akan  melakukan pengujian  usability  terhadap  aplikasi  Dana. Responden  untuk  kuesioner  menggunakan  20 responden  sedangkan  dalam  pengujian  skenario tugas  diuji  kepada  6  partisipan  untuk  melakukan tugas  yang  akan  diberikan.  Dalam  menentukan partisipan,  peneliti  membagi  ke  dalam  2 responden,  yaitu  pengguna  sesekali  (Occasional User)  dan  pengguna  rutin  (Frequent  User). Pengguna sesekali adalah mereka yang menggunakan aplikasi Dana hanya secara sporadis atau  pada  situasi  tertentu,  seperti  saat  melakukan
transaksi  yang  jarang  dilakukan  atau  kebutuhan mendesak.  Pengguna  rutin  adalah  mereka  yang menggunakan  aplikasi  Dana  secara  teratur  dan memiliki  pemahaman  yang  lebih  mendalam tentang fitur-fitur yang tersedia.
2) Penentuan Task Scenario
Skenario  tugas  yang  dibuat  telah  ditentukan  oleh peneliti  berdasarkan  dari  kegunaan  dari  aplikasi
DANA.  Skenario  tugas diantaranya yakni melakukan TopUp saldo DANA, transfer uang ke rekening  lain,  mengetahui  riwayat  transaksi, mengatur  pengingat  pembayaran  tagihan,  melihat informasi  saldo  dan  transaksi  terakhir  di  aplikasi DANA.
3.3 Pengujian Task Skenario
Skenario  tugas  berisi  tugas  yang  akan  dilakukan  oleh partisipan  terkait  aplikasi  yang  telah  disiapkan  oleh peneliti.  Saat  partisipan  melakukan  tugasnya,  peneliti melakukan observasi terhadap perilaku partisipan dalam menggunakan  aplikasi  tersebut.  Dengan  melakukan observasi terhadap pengguna yang melakukan aktivitas dalam  sistem,  kita  akan  mendapatkan  gambaran mengapa pengguna merasa kesulitan dalam penggunaannya sehingga hal ini dapat membantu dalam perbaikan untuk meningkatkan sistem aplikasi.
Dalam  skenario  tugas,  langkah  pembuatan  task berpengaruh pada alur berjalannya pengujian. Beberapa tips  penulisan  skenario  tugas  yang  akan  meningkatkan hasil  output  dari  evaluasi  usability  menurut  Nielsen adalah[13]:
1) Membuat tugas yang realistis.
2) Membuat  tugas  yang  meminta  pengguna  untuk melakukan aksi.
3) Hindari memberi petunjuk dan langkah-langkah.
3.4 Wawancara
Tahapan wawancara dilakukan setelah selesai melakukan pengujian skenario tugas kepada pengguna. Jenis wawancara pada penelitian ini adalah wawancara tidak  terstruktur,  hal  ini  dipilih  dengan  pertimbangan bahwa  peneliti  ingin  menggali  informasi  yang  lebih dalam  terkait  aplikasi  DANA  dari  pengguna  setelah menjalankan  tugas  yang  diberikan  dan  menemukan permasalahan-permasalahan yang tidak bisa didapatkan selama  pengujian  skenario  tugas  berlangsung.  Dari permasalahan  tersebut  kemudian  dicatat  dan  nantinya akan dianalisis untuk menghasilkan rekomendasi solusi yang tepat untuk perbaikan aplikasi kedepannya.

## 3.5 Kuesioner
Pada  tahapan  ini  peneliti  memberikan  kuesioner menggunakan  System  Usability  Scale  (SUS)  yang memiliki  sepuluh  pertanyaan  kepada  partisipan  setelah mengerjakan  skenario  pengujian  [14],[18].  Kuesioner berisi  pertanyaan  seputar  kesan  partisipan  saat menggunakan  sistem.  Dengan  menggunakan  penilaian
Jurnal Ilmiah Binary STMIK Bina Nusantara Jaya Vol.   0 5 No. 02 Tahun 2023, ISSN : 2657– 2117 | DOI 10.52303/jb.v5i2.103
dengan skala likert yang jelas dan pertanyaan yang tidak terlalu sulit, partisipan bisa dengan mudah memberikan jawaban pada kuesioner. Pemberian kuesioner bertujuan untuk mendukung data yang telah didapat dari skenario pengujian yang nantinya akan diolah dan menghasilkan suatu kesimpulan bagi penelitian.

## 3.6 Wawancara
Setelah  proses  semua  proses  evaluasi  pengujian  telah dilakukan,  peneliti  melakukan  analisis  data-data  yang telah dikumpulkan saat penelitian evaluasi usability dari partisipan. Adapun kriteria-kriteria yang diujikan dalam penelitian ini adalah sebagai berikut[19], [20]:
 Learnability Kriteria  learnability  mengukur  seberapa  mudah bagi  pengguna  saat  mereka  menyelesaikan  tugas- tugas  dasar  saat  partisipan  menggunakan  aplikasi DANA.
 Memorability Dalam  kriteria  ini,  peneliti  mengamati  seberapa ingat pengguna dalam mengakses kembali aplikasi setelah tidak  menggunakan aplikasi dalam jangka waktu tertentu.
 Efficiency Kriteria  ini  adalah  pengukuran  terhadap  tingkat kecepatan  partisipan  saat  mereka  menggunakan aplikasi. Dari sini kita bisa melihat seberapa mudah tampilan  yang  telah  dibangun  digunakan  oleh partisipan untuk mencapai suatu goal.
 Error Dalam  kriteria  error  ini,  peneliti  melakukan pengamatan  terhadap  seberapa  banyak  kesalahan yang  dilakukan  pengguna  saat  menggunakan aplikasi.  Apakah  mereka  menemukan  ambiguitas dalam menu pada aplikasi sehingga menyebabkan terjadinya kesalahan.
 Satisfaction Pada  kriteria  ini  dilakukan  pengukuran  terhadap tingkat  kepuasan  pengguna  terhadap  sistem  yang ada saat ini. Hal ini bisa dilihat dari pendapat yang diberikan  pengguna  meliputi  pernyataan  negatif atau positif.
3.7 Kesimpulan dan Saran
Pada  tahapan  ini  dilakukan  penarikan  kesimpulan dengan  data-data  yang  telah  dikumpulkan  sebelumnya dari  hasil  analisis  pengujian  usability  yang  mencakup tugas  skenario,  wawancara,  dan  pengisian  kuesioner. Setelah  itu,  peneliti  menarik  kesimpulan  yang  telah diperoleh  dari  usability  testing  dan  memberikan rekomendasi saran kedepannya untuk perbaikan aplikasi DANA.

## 4.   Hasil dan Pembahasan
4.1 Hasil Pengumpulan Data
Berikut  merupakan  hasil  pengumpulan  data  penelitian yang  telah  dilakukan  peneliti  terhadap  pengguna- pengguna yang menggunakan aplikasi DANA.
1) Partisipan
Pengguna  aplikasi  dan  dibagi  menjadi  2  yaitu, pengguna sesekali dan pengguna rutin. Data yang diambil  dari  6  partisipan  yang  dimana  3  dari pengguna  sesekali  dan  3  lainnya  dari  pengguna rutin.  Data  tersebut  nantinya  akan  diolah  untuk menghitung tingkat usability sistem.
2) Hasil Keberhasilan Partisipan
Menurut  Nielsen  J.,  terdapat  kriteria  untuk mengukur tingkat kesuksesan pengerjaan skenario tugas, yakni:
 Sukses (S) : mengindikasi bahwa tes tugas yang diberikan kepada partisipan berhasil dikerjakan atau  berhasil  mencapai  tujuan  dan  tidak  ada kesalahan dalam pengerjaannya.
 Sebagian Berhasil (SB) :  mengindikasi bahwa tes  tugas  yang  diberikan  kepada  partisipan berhasil dikerjakan namun ditemukan kesalahan saat pengerjaannya.
 Gagal  (G)  :  mengindikasi  bahwa  partisipan tidak  berhasil  mengerjakan  tugas  yang diberikan.  Berikut  ini  adalah  hasil  dari pengujian skenario tugas terhadap partisipan.
Berikut  ini  adalah  hasil  dari  pengujian  skenario tugas terhadap partisipan:
Tabel 1.Hasil Pengujian Skenario Tugas
Nama Task 1 Task 2 Task 3 Task 4 Task 5 R1 S S S SB S R2 S S S S S R3 S S S SB S R4 S S S S S R5 S S S S S R6 S S S S S
3) Waktu Pengerjaan Partisipan Untuk mengukur tingkat efficiency pada usability memerlukan hasil dari waktu pengerjaan pengguna terhadap aplikasi dalam menyelesaikan tugas yang diberikan.  Waktu  pengerjaan  menilai  seberapa efisien  suatu  sistem  dalam  usabilitas  pengguna. Pengukuran waktu pengerjaan pada skenario tugas dilakukan  dengan  menggunakan  stopwatch  pada smartphone  untuk  memudahkan  peneliti  dalam melaksanakan penelitian.
Tabel 2.Waktu (s) Pengerjaan Partisipan
Nama Task 1 Task 2 Task 3 Task 4 Task 5 Total R1 33 24 11 37 6 111 R2 37 33 9 26 6 111
R3 29 28 8 38 4 107 R4 36 25 6 26 5 98 R5 34 27 6 24 4 95 R6 26 24 8 22 5 85 Total 607
4) Jumlah Klik dan Langkah
Jumlah  klik  dan  langkah  dilakukan  untuk mengukur  tingkat  memorability  dalam  aplikasi Dana.  Dalam usability untuk  menghitung  tingkat memorability  ditentukan  oleh  jumlah  klik  dan langkah pada pengujian pertama dan kedua dengan membandingkannya.
Tabel 3. Rata-Rata Jumlah Langkah dan Langkah Klik
Nama Jumlah Langkah Jumlah Klik P1 P2 P1 P2 R1 28 23 26 25 R2 25 24 28 25 R3 27 24 30 26 Rata-rata 26,67 23,67 28,00 25,33
5) Wawancara
Wawancara dilakukan untuk menggali lebih dalam mengenai  permasalahan  yang  ada  pada  saat pengguna menggunakan aplikasi DANA. Tabel 4.Hasil Wawancara No Nama Permasalahan Kode Masalah 1 R1 Proses  loading  cukup  lama saat menampilkan halaman M1 2 R2 Proses transaksi yang sangat lama M2 3 R3 - - 4 R4 Optimasi aplikasi yang sangat buruk M3 5 R5 - - 6 R6 - - 4.2 Pembahasan
Setelah  data  sudah  dikumpulkan  semua,  pada  bab  ini dilakukan  analisis  data  yang  telah  dilakukan  dari evaluasi usability untuk  menghitung  seberapa  besar tingkat usability dari  aplikasi  Dana.  Data  yang terkumpul nantinya akan dihitung berdasarkan dari tiap kriteria usability -nya.
1) Kriteria Learnability Learnability  diukur  berdasarkan  rata-rata  waktu pengerjaan pengguna dalam pelaksanaan evaluasi. Rata-rata  waktu  hasil  pengujian  pertama  akan dibagi  dengan  rata-rata  waktu  hasil  pengujian kedua.
Tabel 5.Waktu (s) Pengujian Pertama
Nama Task 1 Task 2 Task 3 Task 4 Task 5 Total R1 33 24 11 37 6 111
R2 37 33 9 26 6 111 R3 29 28 8 38 4 107 Total 329 Rata-rata 109,67 Tabel 6.Waktu (s) Pengujian Kedua Nama Task 1 Task 2 Task 3 Task 4 Task 5 Total R1 30 22 10 35 6 103 R2 35 32 8 26 5 106 R3 26 29 8 34 4 101 Total 310 Rata-rata 103,33
Setelah  mendapatkan  data  waktu  pengerjaan  dari setiap  partisipan  pada  pengujian  pertama  dan pengujian kedua selanjutnya akan didapatkan rasio learnability-nya dengan persamaan 1.
𝑟𝑎𝑡𝑎 − 𝑟𝑎𝑡𝑎 𝑤𝑎𝑘𝑡𝑢 𝑝𝑒𝑛𝑔𝑢𝑗𝑖𝑎𝑛 𝑝𝑒𝑟𝑡𝑎𝑚𝑎 𝑟𝑎𝑡𝑎 − 𝑟𝑎𝑡𝑎 𝑤𝑎𝑘𝑡𝑢 𝑝𝑒𝑛𝑔𝑢𝑗𝑖𝑎𝑛 𝑘𝑒𝑑𝑢𝑎
= 109,67 103,33 = 1,06
Jika jarak perbandingan jauh maka pengguna sulit belajar tentang sistem dan jika jarak perbandingan kecil  maka  pengguna  mudah  mempelajari  sistem tersebut.  Hasil  dari  pengujian  satu  dan  pengujian dua didapatkan rasio learnability  1,06 yang artinya pengguna  membutuhkan  waktu  1,06  lebih  cepat dalam  menggunakan  aplikasi  Dana  untuk  yang kedua kalinya.
2) Kriteria Efficiency Dalam  kriteria  efficiency  diukur  berdasarkan waktu  yang  berhasil  diselesaikan  oleh  partisipan dalam  melakukan  pengujian usability .  Pada  tiap tugas yang telah diberikan kepada partisipan akan diakumulasikan  dengan  waktu  penyelesaian  tiap tugas.
Tabel 7.Perhitungan Kriteria Efficiency Waktu Pengerjaan x Keberhasilan Pengguna
Nama Task 1 Task 2 Task 3 Task 4 Task 5 Total R1 33 24 11 18,5 6 92,5 R2 37 33 9 26 6 111 R3 29 28 8 19 4 88 R4 36 25 6 26 5 98 R5 34 27 6 24 4 95 R6 26 24 8 22 5 85 Total 569,5 Perhitungan  kriteria  efficiency  menggunakan persamaan berikut:
𝑇𝑖𝑚𝑒 𝐵𝑎𝑠𝑒𝑑 𝐸𝑓𝑓𝑖𝑐𝑖𝑒𝑛𝑐𝑦 = ∑ ∑ 𝑁 𝑖𝑗 𝑡 𝑖𝑗 𝑁 𝑖=1 𝑅 𝐽 𝑁𝑅 𝑥 100% = 569,5 607 𝑥 100% = 93,82
Jurnal Ilmiah Binary STMIK Bina Nusantara Jaya Vol.   0 5 No. 02 Tahun 2023, ISSN : 2657– 2117 | DOI 10.52303/jb.v5i2.103
Hasil dari pengujian dari kriteria efficiency adalah sebesar 93,82% yang artinya dalam aplikasi Dana bisa dengan cepat digunakan oleh pengguna dalam mencapai tujuannya sebesar 93,82%.
3) Kriteria Memorability Pada  pengukuran  memorability  menggunakan hasil  dari  pengujian  pertama  dan  kedua  dengan mengamati  jumlah  klik  dan  jumlah  langkah  yang telah dilakukan oleh pengguna dalam menjalankan sistem.

## Gambar 2.Perbandingan Jumlah Klik dan Jumlah Langkah
4) Kriteria Error Analisis  kriteria  error  dilakukan  dengan  jumlah error  yang  ditemukan  saat  melakukan  pengujian kepada  partisipan.  Jika  pada  pengujian usability ditemukan  kesalahan  pada  saat  pengujian  maka akan dihitung dan dimasukkan dalam salah (error) dan  jika  partisipan  bisa  melakukan  tugas  yang diberikan dengan benar maka akan dihitung benar. Pada setiap langkah pengerjaan akan diakumulasi dengan nilai (B) untuk benar dan (S) untuk salah.
Tabel 8.Perhitungan Kriteria Error Nama Task 1 Task 2 Task 3 Task 4 Task 5 Total Salah B S B S B S B S B S R1 5 0 5 0 5 0 3 2 5 0 2 R2 5 0 5 0 5 0 5 0 5 0 0 R3 5 0 5 0 5 0 4 1 5 0 1 R4 5 0 5 0 5 0 5 0 5 0 0 R5 5 0 5 0 5 0 5 0 5 0 0 R6 5 0 5 0 5 0 5 0 5 0 0 Total 3 𝑇𝑖𝑛𝑔𝑘𝑎𝑡 𝐸𝑟𝑟𝑜𝑟 = 𝐽𝑢𝑚𝑙𝑎ℎ 𝐾𝑒𝑠𝑎𝑙𝑎ℎ𝑎𝑛 𝐽𝑢𝑚𝑙𝑎ℎ 𝑇𝑢𝑔𝑎𝑠 𝑥 100 = 3 150 𝑥 100 = 2%
Pada tabel dapat dilihat bahwa tingkat error  yang didapat adalah 2 %. Nilai tersebut cenderung kecil dan dikategorikan rendah sehingga dapat disimpulkan bahwa tingkat error yang terjadi pada aplikasi Dana sangat rendah
5) Kriteria Satisfaction Dalam  kriteria  satisfaction,  diukur  dari  hasil kuesioner  yang  diisi  oleh  para  responden. Kuesioner  yang  digunakan  menggunakan  SUS dengan  skala  likert  1  sampai  dengan  5.  Berikut persamaan yang digunakan untuk menghitung skor SUS.
Tabel 9. Skor SUS yang Didapat Nama Total Skor R1 34 66 R2 38 74 R3 43 84 R4 31 60 R5 41 80 R6 25 48 R7 38 74 R8 34 66 R9 37 72 R10 37 72 R11 32 62 R12 41 80 R13 29 56 R14 31 60 R15 37 72 R16 33 64 R17 33 64 R18 42 82 R19 33 64 R20 37 72 Total 68,6
Berdasarkan  penelitian,  skor  SUS  dengan  nilai diatas 68 akan dianggap di atas rata-rata dan dapat dikatakan  bahwa  sistem  tersebut  sudah  baik (Affairs, 2013). Dari hasil penghitungan berdasarkan  kuesioner  SUS  yang  telah  didapat untuk pengukuran satisfaction pada aplikasi Dana adalah  sebesar  68,6  yang  artinya  sistem  tersebut sudah diatas rata-rata
6) Analisis Permasalahan dan Solusi Berikut  adalah  berbagai  masalah  yang  dihadapi dan rekomendasi solusinya:
 Masalah 1 (M1) : Proses loading cukup lama saat  menampilkan  halaman.  Saat  pengguna ingin  masuk  ke  dalam  aplikasi  terjadi  proses penampilan halaman yang sangat lama bahkan membuat pengguna menjadi jenuh menunggu.
Solusi :  Melakukan  optimasi  kode  dan  aset aplikasi,  menerapkan  teknik  caching,  serta optimalisasi performa  server  yang baik sangat penting  untuk  mempercepat  proses  loading ketika memuat halaman aplikasi.
 Masalah 2 (M2) : Proses transaksi yang sangat lama.  Pengguna  harus  menunggu  lama  saat melakukan  transaksi  sehingga  pengguna  tidak mengetahui apakah sistem itu sudah melakukan perintah  transaksi  yang  dilakukan  oleh pengguna atau tidak.
Solusi : Menambahkan sebuah Pop-Up berupa informasi bertuliskan “Mohon tunggu sebentar, saat  ini  sistem  sedang  sibuk”.  Informasi tersebut  diberikan  guna  untuk  mengetahui bahwa  sistem  saat  itu  sudah  mengerjakan perintah yang telah dilakukan oleh pengguna ke dalam sistem (Visibility of System Status).
 Masalah  3  (M3) :  Optimasi  aplikasi  yang sangat  buruk.  Pengguna  mengalami  masalah dengan  performa  aplikasi  yang  rendah  dan tidak  efisien.  Hal  ini  ditandai  dengan  kinerja yang lambat, lag, dan sering terjadi crash saat menggunakan aplikasi. Pengguna merasa tidak nyaman  dan  tidak  menyenangkan  akan  hal tersebut.
Solusi : Mengidentifikasi dan mengoptimalkan pengunaan  sumber  daya  perangkat.  Ini  bisa melibatkan  pengunaan  teknik  caching  data, pengaturan  prioritas  tugas,  dan  pengurangan permintaan jaringan tidak perlu.

## 5.   Kesimpulan
Dari  hasil  evaluasi usability dan  analisis  yang  telah dilakukan  pada  aplikasi  DANA,  maka  peneliti mengambil kesimpulan berikut:

## 5.1 Simpulan
Evaluasi  usability  pada  aplikasi  DANA menggunakan  metode  Usability  Testing  dengan menggunakan 5 kriteria yang tersedia, yaitu learnability, efficiency,  memorability,  error,  dan  satisfaction.  Dari hasil  pengujian  didapatkan  nilai  learnability  1,06  yang menunjukkan bahwa sistem dapat cepat dipelajari oleh pengguna  baru.  Untuk  kriteria  efficiency  didapatkan nilai 93,82% artinya tingkat efisiensi pada sistem sangat tinggi.  Sedangkan  kriteria  memorability  menunjukkan rata-rata  perbandingan  jumlah  klik  dan  langkah  yang tidak  terlalu  jauh  dari  pengujian  pertama  dan  kedua sebesar yang awalnya 28 dan 26,67 menjadi 25,33 dan 23,67 sehingga dapat dikatakan bahwa aplikasi DANA dapat  diingat  oleh  pengguna  pada  saat  pengguna  tidak menggunakan  sistem  lagi  dalam  jangka  waktu  lama. Untuk  kriteria  error  didapatkan  nilai  2%  yang  artinya untuk kriteria ini dapat dikategorikan rendah. Sedangkan untuk  satisfaction  didapatkan  skor  68,6  dari  kuesioner SUS dan hasilnya berada diatas rata-rata skor penilaian.
5.2 Saran
Berbagai  permasalahan  yang  diperoleh  dari wawancara  ditemukan  berbagai  solusi  oleh  peneliti. Beberapa solusi untuk mengatasi keluhan permasalahan oleh pengguna pada aplikasi seperti optimasi kode dan aset  aplikasi,  menerapkan  teknik  caching,  serta optimalisasi  performa  server,  menampilkan  Pop-Up notifikasi  jaringan  sedang  bermasalah,  pengoptimalan agar aplikasi dapat menyesuaikan dengan sumber daya perangkat,  dan  menyederhanakan  tampilan  menu  awal saat  dan  setelah  login,  serta  mengimplementasikan mekanisme  penanganan  kesalahan  yang  lebih  baik dalam aplikasi dan rutin melakukan pembaharuan pada aplikasi.

## Daftar Rujukan
[1] S. C. Cania, “Faktor-faktor Yang Mempngaruhi Layanan  Go-Pay  Pada  Pelanggan  Maupun Pengemudi  Go-jek,”  Undergraduate  Thesis, Universitas Islam Indonesia, Yogyakarta, 2018.
[2] B.  Beny,  H.  Yani,  and  G.  M.  Ningrum, “Evaluasi Usability Situs Web Kemenkumham Kantor Wilayah Jambi dengan Metode Usability Test dan System Usability Scale,” RESEARCH : Computer,  Information  System  &  Technology Management , vol. 2, no. 1, p. 30, Apr. 2019, doi: 10.25273/research.v2i1.4282.
[3] J.  Nielsen,  “Usability  101:  Introduction  to Usability,” 2012.
[4] D.  Stone,  C.  Jarrett,  M.  Woodroffe,  and  S. Minocha, User Interface Design and Evaluation . 2014.
[5] F.  S.  Handayani  and  A.  Adelin,  “Interpretasi Pengujian  Usabilitas  Wibatara  Menggunakan System Usability Scale,” Techno.Com , vol. 18, no.  4,  pp.  340–347,  Nov.  2019,  doi: 10.33633/tc.v18i4.2882.
[6] I. Salamah, “Evaluasi Usability Website Polsri dengan Menggunakan System Usability Scale,” Jurnal Nasional Pendidikan Teknik Informatika , vol.  8,  no.  3,  pp.  176–183,  2019,  doi: 10.23887/janapati.v8i3.17311.
[7] S. Suyanto and U. Ependi, “Pengujian Usability dengan  Teknik  System  Usability  Scale  pada Test  Engine  Try  Out  Sertifikasi,” MATRIK : Jurnal  Manajemen,  Teknik  Informatika  dan Rekayasa Komputer , vol. 19, no. 1, pp. 62–69, Nov. 2019, doi: 10.30812/matrik.v19i1.503.
[8] W.  A.  Pramono,  H.  M.  Az-Zahra,  and  R.  I. Rokhmawati, “Evaluasi Usability pada Aplikasi
Jurnal Ilmiah Binary STMIK Bina Nusantara Jaya Vol.   0 5 No. 02 Tahun 2023, ISSN : 2657– 2117 | DOI 10.52303/jb.v5i2.103
MyTelkomsel  dengan  Menggunakan  Metode Usability  Testing,” Jurnal  Pengembangan Teknologi Informasi dan Ilmu Komputer , vol. 3, no.  3,  pp.  2951–2959,  Jan.  2019,  [Online]. Available: https://j-ptiik.ub.ac.id/index.php/j- ptiik/article/view/4853
[9] N.  Huda,  “IMPLEMENTASI  METODE USABILITY  TESTING  DENGAN  SYSTEM USABILITY  SCALE  DALAM  PENILAIAN
WEBSITE  RS  SILOAM  PALEMBANG,” KLIK - KUMPULAN JURNAL ILMU KOMPUTER ,  vol.  6,  p.  36,  Feb.  2019,  doi: 10.20527/klik.v6i1.177.
[10] I. M. H. Kusumawardhana, N. H. Wardani, and A. R. Perdanakusuma, “Evaluasi Usability Pada Aplikasi BNI Mobile Banking Dengan
Menggunakan  Metode  Usability  Testing  dan System Usability  Scale  (SUS),” Jurnal Pengembangan  Teknologi  Informasi  dan  Ilmu Komputer ,  vol.  3,  no.  8,  pp.  7708–7716,  Aug.
2019, [Online]. Available: https://j- ptiik.ub.ac.id/index.php/j- ptiik/article/view/6052
[11] D.  A.  Febrianti,  S.  H.  Wijoyo,  and  H.  M.  Az- Zahra, “Evaluasi Usability Web UniPin dengan Menggunakan  Metode  Usability  Testing,” Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer , vol. 3, no. 11, pp. 10547–10555, Jan.  2020,  [Online].  Available:  https://j- ptiik.ub.ac.id/index.php/j- ptiik/article/view/6710
[12] T.  K.  Situmorang,  H.  M.  Az-Zahra,  and  A.  D. Herlambang, “Evaluasi Usability Pada Aplikasi m-KantorPos  dengan  Menggunakan  Metode Usability  Testing,” Jurnal  Pengembangan Teknologi Informasi dan Ilmu Komputer , vol. 3, no.  5,  pp.  4349–4356,  Apr.  2019,  [Online]. Available: https://j-ptiik.ub.ac.id/index.php/j- ptiik/article/view/5201
[13] J.  Nielsen,  “Task  Scenarios  for  Usability Testing,”
https://www.nngroup.com/articles/taskscenario s-usability-testing/ , Aug. 31, 2014.
[14] U.  Ependi,  T.  Kurniawan,  and  F.  Panjaitan, “SYSTEM USABILITY SCALE

## VS
HEURISTIC  EVALUATION:  A  REVIEW,”
Simetris: Jurnal Teknik Mesin, Elektro dan Ilmu
Komputer ,  vol.  10,  pp.  65–74,  Apr.  2019,  doi: 10.24176/simet.v10i1.2725.
[15] J.  Brooke,  “SUS:  A  quick  and  dirty  usability scale,” Usability Eval. Ind. , vol. 189, Nov. 1995.
[16] J.  Brooke,  “SUS:  a  retrospective,” J  Usability Stud , vol. 8, pp. 29–40, Jan. 2013.
[17] U.  Wahidin,  “IMPLEMENTASI  LITERASI MEDIA DALAM PROSES PEMBELAJARAN PENDIDIKAN  AGAMA  ISLAM  DAN  BUDI PEKERTI,” Edukasi Islami : Jurnal Pendidikan Islam ,  vol.  7,  no.  02,  p.  229,  Sep.  2018,  doi: 10.30868/ei.v7i2.284.
[18] F.  Khasan  and  G.  Z.  Muflih,  “Pengukuran Usability  pada  Website  SMK  Ma’arif  3 Somalangu  Kebumen  Menggunakan  System Usability  Scale  (SUS),” Jurnal  Ilmiah  Binary STMIK Bina Nusantara Jaya Lubuklinggau , vol. 4,  no.  2,  pp.  67–72,  Oct.  2022,  doi: 10.52303/jb.v4i2.77.
[19] P.  D.  Sugiyono, Metode  Penelitian  dan Pengembangan  (Research  and  Development) . 2015.
[20] N.  Huda,  “IMPLEMENTASI  METODE USABILITY  TESTING  DENGAN  SYSTEM USABILITY  SCALE  DALAM  PENILAIAN
WEBSITE  RS  SILOAM  PALEMBANG,”
KLIK - KUMPULAN JURNAL ILMU
KOMPUTER ,  vol.  6,  p.  36,  Feb.  2019,  doi: 10.20527/klik.v6i1.177.