## ANALISIS USABILITAS PADA APLIKASI MANDIRI ONLINE
Astrid Wahyu Adventri Wibowo* 1 , Rayanda Utomo 2 , Hana Silvia Dwi Putri 3
1 Jurusan Teknik Industri, Fakultas Teknik Industri, Universitas Pembangunan Nasional Veteran Yogyakarta, Jl. Babarsari 2, Tambakbayan, Yogyakarta, Indonesia 55281
2 Departemen Teknik Mesin dan Industri, Fakultas Teknik, Universitas Gadjah Mada Yogyakarta, Jl. Grafika No. 2, Bulaksumur, Yogyakarta, Indonesia 55284
3 Jurusan Teknik Industri, Fakultas Teknik, Politeknik Meta Industri Cikarang, Jl. Inti I No.7, Bekasi, Jawa Barat, Indonesia 17550
(Received: September 3, 2019/ Accepted: February 18, 2020)

## Abstrak
Internet  banking  atau  mobile banking adalah  salah  satu  bentuk  aplikasi  yang  berbasis  internet  yang dapat  digunakan  sebagai  pintu  gerbang  menuju  dunia  perbankan  masa  depan.  Dalam  memberikan layanan, pihak bank tidak ingin  mengecewakan nasabahnya karena aplikasi  internet  banking  yang sulit digunakan  sehingga  mengakibatkan  nasabah  gagal  dalam  mencari  informasi  atau  gagal  melakukan aktivitas perbankan. Melihat pentingnya usabilitas sebuah aplikasi, maka dilakukan penelitian terhadap aplikasi  Mandiri  Online  untuk  mengetahui  kelayakan  dari  aplikasi  tersebut,  mengidentifikasi permasalahan  usabilitas,  serta  menyusun  rekomendasi  perbaikan.  Aplikasi  tersebut  diuji  menggunakan System Usability Scale (SUS) dan pendekatan heuristic evaluation dengan responden sebanyak 40 orang untuk metode SUS dan  5  evaluator  dengan kriteria  single-expert untuk pendekatan heuristic evaluation. Hasil  pengujian  aplikasi  Mandiri  Online  dengan  instrumen  SUS  adalah  sebesar  79,6  yang  berarti aplikasi Mandiri Online dinyatakan dapat diterima (acceptable), termasuk dalam grade B dengan rating good. Dari penelitian ini juga  diketahui bahwa  terdapat  beberapa permasalahan  usabilitas mayor yang harus segera diperbaiki  dan harus diberi  prioritas tinggi. Dalam  menyelesaikan permasalahan  tersebut membutuhkan  beberapa usaha,  seperti   menambahkan fitur search untuk mencari  nama bank,  membuat pengelompokkan instansi  pada menu multipayment, membuat atau  menambahkan panduan  penggunaan atau flowchart penggunaan Mandiri Online, dan menambahkan fitur help pada Mandiri Online.

## Kata kunci: Evaluasi Heuristik; System Usability Scale; Usabilitas

## Abstract
[Title: Usability Analysis of Mandiri Online Apllication] Internet banking or mobile banking is a form of internet-based application that can be used as a gateway to the future of banking. In providing services, banks  won’t  to  let  down  their  customers  because  of  internet  banking  applications  are  difficult  to  use, resulting  in  failure  to  find  information  or  fail  to  conduct  banking  activities.  Seeing  the  importance  of application usability, a study of Mandiri Online application was conducted to find out the appropriatness of the application, identify usability issues, and construct recommendations for application improvement. This  application  was  tested  using  the  System  Usability  Scale  (SUS)  and  heuristic  evaluation  approach with 40 respondents for the SUS and 5 evaluators with single-expert criteria for the heuristic evaluation. The  result  of  testing  the  Mandiri  Online  application  with  the  SUS  instrument  amounted  to  79,6  which means this application was declared acceptable, included in grade B, and with a good rating. From this study  it  is  also  known  that  there  are  some  major usability  problems  that  must  be  corrected  immediately and must be given high priority. In solving these problems requires several efforts, such as adding search feature  to  search  the  bank’s  name,  creating  agency  groups  on  multipayment  menu,  creating  or  adding
usage  guidelines  or  flowcharts  for  using  Mandiri Online, and adding help feature to Mandiri Online.
Keywords: Heuristic Evaluation; System Usability Scale; Usability
*Penulis Korespondensi. E-mail: astrid.wahyu@upnyk.ac.id

## 1. Pendahuluan
Pengguna internet di Indonesia semakin meningkat  dari  tahun  ke  tahun.  Pada  tahun  2015 pengguna  internet  di  Indonesia  sebanyak  110,2  juta orang, tahun 2016 sebanyak 132,7 juta orang, dan tahun 2017 sebanyak 143,26 juta orang (Asosiasi Penyelenggara  Jasa  Internet  Indonesia  (APJII),  2017). Peningkatan  pengguna  internet  ini  sebagai  dampak  dari era globalisasi yang menuntut pertukaran informasi yang serba  cepat.  Tidak  hanya  akses  informasi  yang  cepat, rupanya  karakteristik  pengguna  internet  di  Indonesia lebih  senang  jika  mengunakan  perangkat  yang  praktis. Mengacu  pada  banyaknya  jumlah  pengguna  internet  di tahun  2017,  perangkat  yang  sering  digunakan  untuk mengakses  internet  adalah smartphone / tablet pribadi yaitu  sebanyak  44,16%,  menggunakan  komputer/laptop pribadi sebanyak 4,49%,
menggunakan smartphone / tablet pribadi  dan  komputer/laptop  pribadi sebanyak  39,28%,  dan  menggunakan  perangkat  lainnya sebanyak 12,07% (APJII,2017).
Internet  membuka  kesempatan  baru  di  semua lapisan  kehidupan.  Dengan  adanya  fasilitas  internet, kegiatan  bisnis  sekarang  dapat  dijalankan  secara online tanpa  ada  pertemuan  fisik  baik  di  toko,  bank,  ataupun tempat  tertentu.  Terkait  hal  ini,  Bank  Indonesia  yakin bahwa electronic  banking atau internet  banking  atau mobile  banking adalah  salah  satu  bentuk  aplikasi berbasis  internet  yang  dapat  digunakan  sebagai  pintu gerbang  menuju  dunia  perbankan  masa  depan  (Sujadi dan  Edy,  2011).  Berdasarkan  hasil survey yang dilakukan  oleh  Pricewaterhouse  Coopers  (2018), terdapat  86%  responden  memiliki  aplikasi mobile banking berbasis smartphone . Hal ini dapat menjelaskan bahwa internet  banking atau mobile  banking dapat memberikan kemudahan bagi nasabah untuk mengkases hampir  semua  jenis  layanan  perbankan  (kecuali pelayanan secara tunai) di mana saja dan kapan saja.
Dalam  memberikan  layanan internet  banking , sebuah bank pasti ingin memberikan layanan yang baik, aman,  dan  mudah  bagi  nasabahnya.  Pihak  bank  tidak ingin  mengecewakan  nasabahnya  karena  aplikasi internet  banking yang  sulit  digunakan  sehingga mengakibatkan  nasabah  gagal  dalam  mencari  informasi atau  gagal  melakukan  aktivitas  perbankan. Human Computer  Interaction (HCI)  merupakan  disiplin  ilmu yang digunakan untuk mempelajari bagaimana seseorang  dapat  menggunakan  sebuah web dengan mudah. HCI berakar dari tiga area utama yaitu industrial engineering,  human  factor, dan cognitive  psychology (Sarmento,  2004).  Untuk  mendapatkan  produk  yang sesuai dengan kebutuhan  baik dari segi desain tampilan maupun  sistem  yang  digunakan,  tentunya  perlu dilakukan  analisis  terkait  usabilitas  produk.  Usabilitas merupakan  atribut  kualitas  yang  digunakan  untuk mengukur  seberapa  mudah  suatu  produk  atau interface yang  digunakan  (Nielsen,1993). Usability berasal  dari
kata usable  y ang  berarti  dapat  digunakan  dengan  baik. Usability secara  umum  dapat  diartikan  sebagai  proses optimasi interaksi antara pengguna dengan sistem  yang  dapat  dilakukan  dengan  interaktif  (Sidik, 2018).
Banyak  metode  digunakan  oleh  penelitian- penelitian sebelumnya untuk mengetahui apakah sebuah aplikasi website sesuai  atau  tidak  dengan  kebutuhan pelaku  bisnis.  Penelitian  mengenai  evaluasi usability pada  aplikasi  Go-Jek  pernah  dilakukan  oleh  Farouqi dkk.  (2018).  Hasil  yang  didapatkan  dari  penelitian  ini menunjukkan  bahwa  terdapat  lima  permasalahan usability yang  ada  pada  aplikasi  GO-JEK.  Selain  itu hasil  tingkat usability yang  terdiri  dari  tingkat kemudahan  adalah  sebesar  100%,  tingkat  kecepatan adalah  sebesar  0,01 goals/sec ,  tingkat  kesalahan  adalah sebesar  0,1  dan  tingkat  kepuasan  adalah  sebesar  60%  - 70%.
Aziza  dan  Hidayat  (2019)  melakukan  penelitian yang  bertujuan  untuk  mengevaluasi  desain user interface yang  diterapkan  pada website Tokopedia menggunakan  metode heuristic  evaluation .  Dari  hasil pengolahan data menunjukkan bahwa website Tokopedia  memiliki  rata-rata  nilai severity  ranking 1, hal  ini  berarti  bahwa website Tokopedia  mempunyai kekurangan  atau  kendala  yang  tidak  dipermasalahkan atau tidak berdampak besar bagi pengguna.
Mastrisiswadi  dkk.  (2016)  telah  melakukan perbandingan  tingkat  usabilitas  pada webmail  services Gmail dan Hotmail. Dari penelitian yang telah dilakukan didapatkan kesimpulan bahwa Gmail lebih baik dari sisi learnability dan  juga memorability .  Sementara  itu, Hotmail memberikan tingkat error yang lebih kecil serta tingkat efficiency yang  lebih  baik.  Dalam  penelitian  ini juga didapatkan hasil bahwa pengguna expert cenderung puas  sedangkan  pengguna novice merasa  kurang  puas terhadap kedua webmail yang digunakan. Usability  testing pada  E-Academic  D4  Teknik Informatika Politeknik Harapan Bersama telah dilakukan  oleh  Wibowo  (2016).  Laman web tersebut perlu  diukur  agar  diketahui  kualitas  situs web tersebut dari  sisi  pengguna.  Tahapan  penelitian  yang  dilakukan adalah  menentukan evaluator, melakukan survei dengan kuisioner,  melakukan  pemilihan  fungsi,  membuat  tugas usability ,  menyusun  skrip usability  test ,  melaksanakan usability  test dengan  wawancara,  melakukan  analisis data,    dan  menyusun  rekomendasi  perbaikan  aplikasi. Hasil  dari usability  testing tersebut  menandakan  bahwa website E-Academic  Politeknik  Harapan  Bersama dinyatakan baik.
Alturki dan Gay (2017) telah melakukan usability testing pada  aplikasi fitness pada smart  phone yang menggunakan  bahasa  Arab  sebagai  bahasa  pengantar. Atribut  usabilitas  yang  diuji  adalah effectiveness, efficiency, satisfaction, memorability, errors, learnability, dan cognitive  load. Hasil  penelitian
menyatakan  bahwa aplikasi tersebut  memiliki usabilitas yang rendah.
Heuristic  evaluation pada  sistem internet banking di  Bank  Mandiri  telah  dilakukan  oleh  Elliyana dan  Sari  (2014).  Pada  penelitian  tersebut  diketahui bahwa  terdapat  tiga  dimensi heuristic yang  termasuk dalam  katagori  baik  yaitu error  prevention,  flexibility and  efficiency  of  use, dan aesthetic  and  minimalis design .  Sedangkan  tujuh  dimensi  lainnya  masuk  ke dalam  kategori  sangat  baik.  Pada  hasil  penelitian  ini belum ditemukan permasalahan usabilitas yang ada pada internet  banking Bank  Mandiri  dan  rekomendasi perbaikan yang dapat diusulkan.
Melihat  pentingnya  usabilitas  sebuah  produk, maka  dilakukan  penelitian  terhadap  aplikasi  Mandiri Online untuk  mengidentifikasi  permasalahan  usabilitas yang  ada  pada  aplikasi  tersebut.  Mandiri Online merupakan aplikasi internet banking dan mobile banking untuk  nasabah  Bank  Mandiri. Penelitian  ini  dilakukan guna  mengevaluasi  kegunaan  ( usability )  dari  aplikasi Mandiri Online serta  untuk  mengukur  kelayakan  dari aplikasi tersebut. Metode yang digunakan adalah System Usability  Scale (SUS)  untuk  melihat  apakah  aplikasi Mandiri Online layak  untuk  digunakan  dari  sisi pengguna dan heuristic evaluation untuk mengidentifikasi  permasalahan  usabilitas  baik  pada tampilan  maupun  sistem  yang  digunakan.  Sehingga, hasil  dalam  penelitian  ini  dapat  digunakan  sebagai rekomendasi  perbaikan  untuk  Bank  Mandiri  dalam mengembangkan aplikasi Mandiri Online.

## 2. Metode Penelitian
Obyek  pada  penelitian  ini  adalah  aplikasi Mandiri Online berbasis  Android.  Aplikasi  tersebut berguna  untuk  melakukan  transaksi  perbankan  yang dikembangkan  oleh  Bank  Mandiri.  Obyek  penelitian tersebut  akan  dianalisis  menggunakan System  Usability Scale (SUS) dan pendekatan heuristic evaluation.
Tahapan  metodologi  penelitian  yang  dilakukan adalah  menentukan evaluator dan responden,  menyusun
skrip usability test , melakukan pengujian usabilitas oleh responden  dan  evaluator,  melakukan  analisis  data  dari hasil System  Usability  Scale (SUS)  dan heuristic evaluation, serta  menyusun  rekomendari  perbaikan aplikasi.
a. System Usability Scale (SUS)
Untuk  melihat  seberapa  besar  keberhasilan website diperlukan sebuah pengukuran untuk mengukur usability pada website (Sidik,  2018).  Ada banyak  kuisioner  yang  tersedia  untuk  mengukur usability ,  salah  satunya  adalah System  Usability  Scale (SUS) (Brooke, 1996). Penelitian pengukuran usabilitas aplikasi  Mandiri Online menggunakan  metode  SUS karena  memiliki  karakteristik  yang  berbeda  dari kuisioner  lain,  yaitu  sudah  tervalidasi  dan  teruji reliabilitasnya  walaupun  dengan  nilai  sampel  kecil (Brooke,  2013).  SUS  terdiri  dari  sepuluh  pertanyaan, sehingga  relatif  cepat  dan  mudah  bagi  responden  untuk menyelesaikan  (Sidik,  2018).  SUS  menggunakan teknologi  agnostik,  yang  berarti  dapat  digunakan secara  luas  dan  mengevaluasi  hampir  semua  jenis interface (Sidik,  2018),  serta  hasil  kuisioner  adalah nilai  tunggal,  mulai  dari  skor  0  sampai  100,  dan relatif  mudah  dipahami  oleh  berbagai  disiplin, baik individu maupun kelompok (Sidik, 2018).
Responden  pada  penelitian  ini  adalah  pengguna aktif  aplikasi  Mandiri Online ,  dimana  kuisioner  SUS akan  disebar  secara online dan  acak  kepada  40  orang. Menurut  APJII  (2017)  yang  bekerjasama  dengan PusKaKom  UI  pengguna  Internet  paling  aktif  di Indonesia  yaitu  usia  18-35  tahun,  dengan  total persentase  sebesar  82,8%.  Untuk  itu,  peneliti  akan menggunakan  sampel  usia  18-35  tahun  sebagai  obyek penelitian.
SUS  terdiri  dari  sepuluh  pertanyaan  yang masing-masing  pertanyaan  memiliki  skala  lima  poin yang  berkisar  dari  “Sangat  Tidak  Setuju”  hingga “Sangat  Setuju”.  Terdapat  lima  pernyataan  positif  dan lima  pernyataan  negatif.    Instrumen  pengujian    SUS dapat diihat pada Tabel 1.
Tabel 1. Instrumen Pengujian SUS No Pertanyaan Skala 1 Saya pikir saya akan sering menggunakan aplikasi Mandiri Online . 1 s/d 5 2 Saya merasa aplikasi Mandiri Online terlalu rumit padahal dapat dibuat lebih sederhana. 1 s/d 5 3 Saya rasa aplikasi Mandiri Online mudah untuk digunakan. 1 s/d 5 4 Saya pikir saya membutuhkan bantuan dari orang teknis untuk dapat menggunakan aplikasi Mandiri Online . 1 s/d 5
5 Saya menemukan bahwa terdapat berbagai macam fitur yang terintegrasi dengan baik dalam sistem aplikasi Mandiri Online . 1 s/d 5
6 Saya rasa banyak hal yang tidak konsisten pada aplikasi Mandiri Online . 1 s/d 5
7 Saya rasa mayoritas pengguna akan dapat mempelajari aplikasi Mandiri Online dengan cepat. 1 s/d 5
8 Saya menemukan bahwa aplikasi Mandiri Online sangat tidak praktis ketika digunakan. 1 s/d 5 9 Saya sangat yakin dapat menggunakan aplikasi Mandiri Online . 1 s/d 5 10 Saya harus belajar banyak hal terlebih dahulu sebelum saya dapat menggunakan aplikasi Mandiri Online . 1 s/d 5

## b. Heuristic Evaluation
Penentuan  evaluator  pada heuristic  evaluation mengacu pada penelitian sebelumnya yang merekomendasikan  penggunaan  3  hingga  5  evaluator single-expert untuk  menemukan  74%  hingga  87% permasalahan  usabilitas  (Molich  dan  Nielsen,  1990; Alroobaea  dkk.,  2013).  Maka  dari  itu  penelitian  ini menggunakan  5 evaluator single-expert, dimana evaluator  tersebut  telah  memahami  teknik  evaluasi usabilitas  namun  tidak  menguasai  produk  yang  akan diuji. Heuristic  evaluation yang  digunakan  pada penelitian ini dapat dilihat pada Tabel 2.
Pada heuristic  evaluation ,  evaluator  dibebaskan untuk  mengevaluasi semua tugas  yang dapat dikerjakan dengan  Mandiri Online. Penentuan  evaluator  yang menjadi  evaluator  pertama,  kedua,  dan  seterusnya didasari  oleh  waktu  pengambilan  data.  Pada  evaluasi heuristik terdapat  penilaian  tingkat  permasalahan  yang ditemui  dan  pernilaian  terhadap  kemudahan  dalam menyelesaikan permasalahan tersebut ( fixing ).

## 3. Hasil dan Pembahasan

## a.  Pengujian  Usabilitas  Menggunakan  System Usability Scale (SUS)
Evaluasi  usabilitas  aplikasi  Mandiri Online menggunakan  metode  SUS  telah  dilaksanakan  dengan
responden  sebanyak  40  orang.  Berdasarkan  pengujian tersebut,  penggunaan  aplikasi  Mandiri Online memiliki nilai  SUS  rata-rata  79,6.  Setelah  mendapatkan  hasil akhir  penilaian  responden  maka  selanjutnya  adalah menentukan grade hasil penilaian. Untuk menentukan grade hasil  penilaian  ada  tiga  cara yang  dapat  digunakan  (Brooke,  2013).  Penentuan pertama  dilihat  dari  sisi  tingkat  penerimaan  pengguna, dimana  terdapat  tiga  kategori  yaitu not  acceptable, marginal, dan acceptable ,  penentuan  kedua  dilihat  dari grade scale , dengan enam skala yaitu A, B, C, D, E, dan F,  serta  penentuan  ketiga  dilihat  dari  nilai adjective rating ,  dengan  enam  kategori  yaitu worst  imaginable , poor, ok, good, excellent, dan best imaginable .
Penentuan
acceptability, grade scale,
adjective  rating digunakan  untuk  melihat  sejauh mana perspective pengguna  terhadap  aplikasi  Mandiri Online .  Untuk  menentukan acceptability,  grade  scale, adjective  rating maka  dilakukan  perbandingan  hasil penilaian  rata-rata  responden  sebesar  79,6  dengan ketentuan  penilaian  seperti  Gambar  1.  Berdasarkan ketentuan  tersebut,  hasil  penilaian  terhadap  aplikasi Mandiri Online sebagai  berikut,  tingkat  penerimaan pengguna  masuk  dalam  kategori acceptable ,  penentuan grade  scale masuk  dalam  kategori  B,  serta adjective rating masuk ke dalam kategori good .
Tabel 2. Aturan Heuristik (Kendall & Kendall,2011) No. Heuristic Rules 1 Visibility of System Status 2
Match Between System and The Real World
3 Use Control and Freedom
4 Consistency and Standard
5 Error Prevention
6 Recognition Rather Than Recall
7 Flexibility and Efficient of Use
8 Aesthetic and Minimalist Design
9 Help Users Recognize, Dialogue, Recovers from Errors
10 Help and Documentations
Gambar 1. Penentuan Hasil Penilaian SUS (Bangor, Kortum, & Miller, 2009)
Berdasarkan  hasil  penilaian  tersebut,  maka penggunaan  aplikasi  Mandiri Online dapat  diterima dengan  mudah  oleh end  user dan  dapat  juga  dijadikan
sebagai  alat  perbankan online ,  walaupun  aplikasi tersebut masuk dalam kategori B untuk grade scale dan good untuk adjective  rating .  Tahap  selanjutnya  adalah
menyusun  rekomendasi  perbaikan  terhadap  aplikasi Mandiri Online berdasarkan  permasalahan  usabilitas yang ditemukan dengan pendekatan heuristic evaluation .
b.  Pengujian  Usabilitas  Menggunakan  Heuristic Evaluation
Heuristic  evaluation adalah  seperangkat  prinsip atau  aturan  yang  digunakan  oleh  pakar  untuk  meneliti antarmuka  dan  menemukan  kesalahan  sendiri.  Kelima evaluator yang digunakan pada penelitian ini menemukan 80% permasalahan usabilitas.
Berikut  merupakan  rekap  permasalahan  yang ditemukan  beserta  penilaian  untuk  masing-masing rule. Tabel  3  menunjukkan  permasalahan  pada rule 1  yaitu bahasa  transaksi  yang  sulit  dimengerti.  Bahasa  (kode) yang  ditampilkan  tidak  menggunakan  bahasa  yang mudah  dimengerti  oleh  nasabah.  Permasalahan  tersebut masuk  ke  dalam  kategori  kesalahan  kosmetik,  tidak perlu  diperbaiki,  kecuali  terdapat  waktu tambahan.  Dan permasalahan tersebut mudah untuk diperbaiki. Rekomendasi  perbaikan  yang  dilakukan  adalah  dengan mengubah  bahasa  transaksi  agar  menjadi  lebih  mudah dipahami.
Gambar 2. Usability Problem Found
Tabel 3. Permasalahan Rule 1 ( Visibility of System Status ) No Permasalahan Penilaian Permasalahan Penyelesaian Masalah 1 Bahasa transaksi yang sulit dimengerti 1 1
Tabel 4. Permasalahan Rule 3 ( User Control and Freedom ) No Permasalahan Penilaian Permasalahan Penyelesaian Masalah 1 Dalam melakukan pencarian nama bank, daftar transfer, dan lain- lain tidak muncul papan ketik untuk menuliskan kata kunci 2 2
Tabel  4  menunjukkan  permasalahan  pada rule 3 yaitu  dalam  melakukan  pencarian  nama  bank,  daftar transfer,  dan  lain-lain  tidak  muncul  papan  ketik  untuk menuliskan  kata  kunci  sehingga  pencarian  masih dilakukan secara manual dengan melakukan scroll down dan scroll  up .  Permasalahan  tersebut  masuk  ke  dalam kategori kesalahan minor, untuk memperbaikinya hanya diberi  prioritas  rendah.  Dan  permasalahan  tersebut membutuhkan beberapa usaha dalam menyelesaikannya.
Rekomendasi  perbaikan  yang  dilakukan  adalah  dengan menambahkan  fitur search untuk  mencari  nama  bank, daftar transfer, dan lain-lain.
Tabel  5  menunjukkan  permasalahan  pada rule 4 yaitu  konten  status  transaksi  dan  histori  transaksi memiliki  tujuan  yang  sama.  Permasalahan  tersebut masuk  ke  dalam  kategori  kesalahan  kosmetik,  tidak perlu  diperbaiki,  kecuali  terdapat  waktu tambahan.  Dan permasalahan  tersebut  membutuhkan  beberapa  usaha
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 0 1 2 3 4 5 Us abil it y P roblem F ound Evaluator
dalam  menyelesaikannya.  Rekomendasi  perbaikan  yang dilakukan  adalah  dengan  menggunakan  salah  satu konten  saja.  Masalah  berikutnya  adalah  tombol back memiliki fungsi yang sama dengan log out . Permasalahan  tersebut  masuk  ke  dalam  kategori kesalahan  kosmetik,  tidak  perlu  diperbaiki,  kecuali terdapat  waktu  tambahan.  Dan  permasalahan  tersebut mudah untuk diselesaikan. Rekomendasi perbaikan yang dilakukan adalah  membedakan tombol back dengan log out.
Pada  aplikasi  Mandiri Online ,  terdapat  menu Pembukaan  Rekening  Baru.  Menu  tersebut  tidak  bisa langsung  digunakan,  nasabah  tetap  harus  mengunjungi teller bank  apabila  ingin  membuka  rekening  baru. Permasalahan tersebut masuk kedalam kategori
kesalahan  kosmetik,  tidak  perlu  diperbaiki,  kecuali terdapat  waktu  tambahan.  Dan  permasalahan  tersebut mudah untuk diselesaikan. Rekomendasi perbaikan yang dilakukan  adalah  tidak  perlu  memberikan  menu pembukaan rekening baru pada aplikasi Mandiri Online . Tabel  6  menunjukkan  permasalahan  pada rule 5 yaitu  dalam  melakukan  pencarian  nama  bank,  daftar transfer,  dan  lain-lain  tidak  muncul  papan  ketik  untuk menuliskan kata kunci. Permasalahan tersebut masuk ke dalam kategori kesalahan minor, untuk memperbaikinya hanya  diberi  prioritas  rendah.  Dan  permasalahan tersebut membutuhkan beberapa usaha dalam menyelesaikannya. Rekomendasi perbaikan yang dilakukan  adalah  dengan  menambahkan  fitur search untuk mencari nama bank, daftar transfer, dan lain-lain.
Tabel 5. Permasalah Rule 4 ( Consistency and Standards) No Permasalahan Penilaian Permasalahan Penyelesaian Masalah 1 Konten Status transaksi dan history transaksi memiliki tujuan yang sama 1 2 2 Tombol “ back ” memiliki fungsi yang sama dengan “ log out ” 1 1 3 Terdapat menu “pembukaan rekening baru”, namun tetap harus mengunjungi teller bank apabila ingin digunakan 1 1 4 Kesamaan konten dalam pengecekan status transaksi dan history transaksi 3 2 5 Bahasa transaksi yang sulit dimengerti 1 1
Tabel 6. Permasalah Rule 5 ( Error Prevention ) No Permasalahan Penilaian Permasalahan Penyelesaian Masalah 1 Dalam melakukan pencarian nama Bank, daftar transfer, dan lain-lain tidak muncul papan ketik untuk menuliskan kata kunci 2 2
Tabel  7  menunjukkan  permasalahan  pada rule 7 yaitu tidak terdapat pengelompokkan jenis instansi pada pembayaran multipayment . Permasalahan tersebut masuk  ke  dalam  kategori  kesalahan  kosmetik,  tidak perlu  diperbaiki,  kecuali  terdapat  waktu tambahan.  Dan permasalahan  tersebut  mudah  untuk  diselesaikan. Rekomendasi perbaikan yang dilakukan adalah membuat  pengelompokkan  instansi  pada multipayment. Kemudian  pengoperasian  aplikasi  yang  cenderung memakan  waku  yang  lama  juga  merupakan  salah  satu permasalahan  muncul  di rule 7.  Permasalahan  tersebut masuk  ke  dalam  kategori  permasalahan  mayor,  penting untuk  diperbaiki  sehingga  harus  diberi  prioritas  yang tinggi.  Dan  permasalahan  tersebut  membutuhkan beberapa usaha dalam menyelesaikannya.
Permasalahan  lain  ditemukan  pada default nama pada menu utama untuk 2 rekening dengan satu pemilik akun  sama,  sehingga  membingungkan  pengguna saat akan memilih rekening yang akan digunakan.
Permasalahan  tersebut  masuk  ke  dalam  kategori permasalahan  mayor, penting untuk diperbaiki  sehingga harus  diberi  prioritas  yang  tinggi.  Dan  permasalahan tersebut membutuhkan beberapa usaha dalam menyelesaikannya. Rekomendasi perbaikan yang diusulkan  adalah  membedakan  nama default menjadi rekening A 1 dan rekening A 2.
Tabel  8  menunjukkan  permasalahan  pada rule 8 yaitu kurs mata uang asing tidak lengkap. Permasalahan tersebut  masuk  ke  dalam  kategori  kesalahan  kosmetik, tidak perlu diperbaiki, kecuali terdapat waktu tambahan. Dan  tidak  ada  permasalahan  dengan usability pada tampilan  yang  ada.  Rekomendasi  perbaikan  yang dilakukan adalah dengan  menambahkan  jenis kurs  mata uang  asing.  Permasalahan  berikutnya  adalah  tidak terdapat pengelompokkan jenis instansi pada pembayaran multipayment . Permasalahan tersebut masuk  ke  dalam  kategori  kesalahan  mayor,  penting untuk  diperbaiki  sehingga  harus  diberi  prioritas  yang
tinggi.  Dan  permasalahan  tersebut  mudah  untuk diselesaikan.  Rekomendasi  perbaikan  yang  dilakukan adalah membuat pengelompokkan instansi pada multipayment.
Kemudian  aplikasi    Mandiri Online ternyata membutuhkan tempat penyimpanan yang besar, sehingga membebani device yang digunakan. Permasalahan  tersebut  masuk  ke  dalam  kategori permasalahan  mayor, penting untuk diperbaiki  sehingga harus diberi prioritas yang tinggi. Permasalahan tersebut membutuhkan beberapa usaha dalam menyelesaikannya. Usulan  perbaikan  dari  permasalahan  tersebut  adalah membuat  versi lite atau  versi  minimalis  dari  Mandiri Online .
Tabel  9  menunjukkan  permasalahan  pada rule 9 yaitu  tidak  ada  menu  untuk  panduan  penggunaan
Mandiri Online . Permasalahan tersebut masuk ke dalam kategori  kesalahan  mayor,  penting  untuk  diperbaiki sehingga harus diberi prioritas yang tinggi. Permasalahan  tersebut  membutuhkan  beberapa  usaha dalam  menyelesaikannya.  Rekomendasi  perbaikan  yang dilakukan  adalah  dengan  menambahkan  panduan penggunaan atau flowchart penggunaan Mandiri Online . Tabel  10  menunjukkan  permasalahan  pada rule 10  yaitu  tidak  terdapat  bantuan  dalam  pengoperasian Mandiri Online . Permasalahan tersebut masuk ke dalam kategori  kesalahan  mayor,  penting  untuk  diperbaiki sehingga  harus  diberi  prioritas  yang  tinggi.  Dan permasalahan  tersebut  membutuhkan  beberapa  usaha dalam  menyelesaikannya.  Rekomendasi  perbaikan  yang dilakukan  adalah  dengan  menambahkan  fitur help dan FAQ untuk versi aplikasi pada Mandiri Online .
Tabel 7. Permasalahan Rule 7 ( Flexibility and Efficiency of Use ) No Permasalahan Penilaian Permasalahan Penyelesaian Masalah 1 Pengoperasian yang cenderung memakan waku yang lama 3 2 2 Tidak terdapat pengelompokan jenis instansi pada pembayaraan Multipayment , sehingga pengguna membutuhkan waktu yang lama dalam mencari instansi terkait 3 1 3 Default nama pada menu utama untuk 2 rekening dengan satu pemilik akan sama, sehingga membingungkan pengguna saat akan memilih rekening yang akan digunakan 3 2 4 Daftar instansi tidak berkelompok menjadikan waktu pencarian menjadi lama 1 1 5 Untuk transaksi multipayment , karena daftarnya cukup banyak sehingga membutuhkan waktu lama untuk mencari tujuan yang diinginkan. 3 1 6 Dalam melakukan pencarian nama Bank, daftar transfer, dan lain-lain tidak muncul papan ketik untuk menuliskan kata kunci 2 2
Tabel 8. Permasalah Rule 8 ( Aesthetic and Minimalist Design ) No Permasalahan Penilaian Permasalahan Penyelesaian Masalah 1 Kurs mata uang asing tidak lengkap 1 0 2 Tidak terdapat pengelompokan jenis instansi pada pembayaraan multipayment , sehingga pengguna membutuhkan waktu yang lama dalam mencari instansi terkait 3 1 3 Aplikasi memakan memori besar, sehingga membebani device yang digunakan 3 2
Tabel 9. Permasalahan Rule 9 ( Help Users Recognize, Diagnoze, and Recover From Errors ) No Permasalahan Penilaian Permasalahan Penyelesaian Masalah 1 Tidak ada menu untuk panduan penggunaan Mandiri Online itu sendiri 3 2
Tabel 10. Permasalahan Rule 10 ( Help and Documentation ) No Permasalahan Penilaian Permasalahan Penyelesaian Masalah 1 Tidak terdapat bantuan dalam pengope-rasian Mandiri Online 3 2 2 Tidak ditemukan tombol bantuan pada aplikasi Mandiri Online 2 1 3 Tidak ada menu untuk panduan penggunaan Mandiri Online itu sendiri 3 2

## 4. Kesimpulan
Nilai  SUS  dari  aplikasi  Mandiri Online adalah sebesar  79,6,  dimana  tingkat  penerimaan  pengguna masuk  dalam  kategori acceptable ,  penentuan grade scale masuk  dalam  kategori  B,  serta adjective  rating masuk  ke  dalam  kategori good .  Kemudian  dilakukan penyusunan  rekomendasi  perbaikan  terhadap  aplikasi Mandiri Online berdasarkan  permasalahan  usabilitas dengan pendekatan heuristic evaluation .
Berdasarkan  evaluasi  heuristik  yang  telah dilakukan, evaluator sudah menemukan 80% permasalahan  usabilitas.  Permasalahan-permasalahan tersebut muncul pada dimensi visibility of system status , use  control  and  freedom,  consistency  and  standard , e rror prevention , flexibility and efficient of use , aesthetic and  minimalist  design , help  users  recognize,  dialogue, recovers  from  errors, dan help  and  documentations . Dari  dimensi-dimensi  tersebut,  terdapat  beberapa permasalahan  usabilitas  mayor  yang  harus  segera diperbaiki  dan  harus  diberi  prioritas  tinggi,  dimana dalam menyelesaikan permasalahan tersebut membutuhkan beberapa usaha dalam menyelesaikannya.
Beberapa  rekomendasi  yang  dihasilkan  dari penelitian  ini  adalah  menambahkan  fitur search untuk mencari  nama  bank,  daftar  transfer,  dan  lain-lain, membuat pengelompokkan instansi pada menu multipayment ,  membuat  atau  menambahkan  panduan penggunaan atau flowchart penggunaan Mandiri Online , menambahkan fitur help pada Mandiri Online, membuat versi lite atau  versi  minimalis  dari  Mandiri Online, menambahkan jenis kurs mata uang asing,  membedakan nama default menjadi  rekening  A  1  dan  rekening  A  2 bagi  nasabah  yang  memiliki  nomor  rekening  lebih  dari 1,  dan  mengubah  bahasa  transaksi  agar  menjadi  lebih mudah dipahami.
Dengan  disusunnya  rekomendasi  perbaikan terhadap  aplikasi  Mandiri Online ,  diharapkan  pihak terkait  dapat  mempertimbangkannya  sebagai  bahan perbaikan  aplikasi  sehingga  dapat  meningkatkan  nilai grade scale dan adjective rating yang belum sempurna.

## 5. Ucapan Terima Kasih
Terima  kasih  disampaikan  kepada  semua  pihak yang sudah turut membantu dalam penelitian ini.

## 6. Daftar Pustaka
Alroobaea, R.S., Al-Badi, A.H., & Mayhew, P.J. (2013).
Generating  a  Domain  Specific  Inspection Evaluation  Method  Through  an  Adaptive Framework: A Compaative Study an Educational Websites. International  Journal  of  Human Computer Interaction (IJHCI) , 4(2), 88-116.
Asosiasi  Penyelenggara Jasa Internet Indonesia. (2017).
Penetrasi  dan  Perilaku  Pengguna  Internet Indonesia -- Page 7 . [Online]
https://apjii.or.id/survei2017/kirimlink  [9  Juni 2019].
Alturki,  R.,  &  Gay,  V.  (2017).  Usability  Testing  of Fitness  Mobile  Application:  Methodology  and Quantitative  Results. Computer  Science  & Information Technology (CS & IT) , 97-114. Aziza,  R.F.A.,  &  Hidayat,  Y.T.  (2019).  Analisa Usability  Desain  User  Interface  pada  Website Tokopedia Menggunakan Metde Heuristik Evaluation. Jurnal Teknokompak , 12(1), 7-11. Bangor,  A.,  Kortum,  P.T.,  &  Miller,  J.  (2009). Determining  What  Individual  SUS  Score  Mean: Adding  An  Adjective  Rating  Scale. Journal  of Usability Studies , 114-123.
Brooke,  J.  (1996). SUS  –  A  quick  and  dirty  usability scale .  United  Kingdom:  Redhatch  Consulting Ltd.
Brooke,  J.  (2013).  SUS:  A  Retrospective. Journal  of Usability Studies, 29-40.
Farouqi,  M.I.,  Aknuranda,  I.,  &  Herlambang,  A.D. (2018). Evaluasi  Usability  pada  Aplikasi  Go-Jek dengan Menggunakan Metode Pengujian Usability. Jurnal  Pengembangan  Teknologi Informasi dan Ilmu Komputer , 2(9), 3110-3117.
Hamid, H. (2014). Uji Kemanan Aplikasi Email Bawaan Android pada Jaringan Nirkabel. Jurnal Cybermatika , 2(1), 13-19.
Kendall,  K.E.,  &  Kendall,  J.E.  (2011). System  Analysis & Design. United State of America: Pearson. Mastrisiswadi,  H.,  Yul,  F.A.,  Orshella,  D.D.,  Habibah, Y., & Dharmastiti, R. (2016). Analisis Perbandingan  Tingkat  Usabilitas  pada  Webmail Services  (Gmail  &  Hotmail).  In Seminar Nasional  Teknik  Industri  Universitas  Gadjah Mada (pp.  75-85).  Yogyakarta,  Indonesia:
Departement  of  Mechanical  and  Industrial Engineering, Gadjah Mada University. Molich,  R.,  &  Nielsen,  J.  (1990).  Improving  a  Human-
Computer  Dialogue. Communications  of  The ACM , 33(3), 338-348. Nielsen,  J.  (1993). Usability  Engineering .  San  Diego: Academic Press. Nielsen,  J.  (1995).  Severity  Ratings  for  Usabilty Problems. Paper and Essays , 54, 1-2. Pricewaterhoise  Coopers.  (2018). PwC  Survey:  Digital Bankingin  Indonesia  2018 -- Page  12 .  [Online] https://www.pwc.com/id/en/publications/assets/fi nancialservices/digital-banking-survey-2018- pwcid.pdf [10 Juli 2019].
Sidik,  A.  (2018).  Penggunaan  System  Usability  Scale (SUS)  Sebagai  Evaluasi  Website  Berita  Mobile.. Technologia , 9(2), 83-88.
Sujadi,  S.,  &  Edy,  P.S.  (2011).  E-Banking:  Urgensi
Aspek Trust di Era S-Service. Telematika .
Sarmento,  A.  (2004).  Issues  of  Human  Computer Interaction. Information  Management ,  17(3/4),
22-23.
Wibowo, D.S. (2016). Usability Testing Sistem pada E-
Academic  Politeknik  Harapan  Bersama. Jurnal Emitor , 16(1), 16-22.