## Usability Testing Pada APPFIN Menggunakan Metode System Usability Scale Studi Kasus PT. Maja Kerta Wangi
Budiman * 1 , Rd. Yadi Rakhman Alamsyah 2 , Ahmad Fauzi Ramadhan 3
1,2 Informatika Universitas Informatika dan Bisnis Indonesia
3 Sistem Informasi Universitas Informatika dan Bisnis Indonesia E-mail: *1 budiman@unibi.ac.id, 2 r.yadi@unibi.ac.id, 3 afr.ahmadfauzi@gmail.com

## Abstrak
User experience sangat diperlukan di dalam usability testing, sehingga sistem yang dibangun dapat berhasil dan sesuai dengan harapan pengguna. Usability testing pada penelitian ini menggunakan metode System  Usability  Scale  yang  dapat  menentukan  tingkat  penerimaan,  grade,  dan  rating  berdasarkan kuesioner.  Responden  dalam  penelitian  ini  yaitu  pengguna  akhir  pada  aplikasi  APPFIN  untuk  seluruh kantor cabang dan pusat. Terdapat 29 responden yang telah mengisi kuesioner dengan tingkat penerimaan cukup baik. Skor System Usability Scale yang diperoleh sebesar 82. Hasil tersebut menunjukkan bahwa APPFIN termasuk dalam kategori “GOOD” dengan grade B yang mengindikasikan bahwa APPFIN yang diukur  memiliki tingkat  kepuasan  pengguna  yang  cukup  baik.  Jika  dilihat  dari  hasil  jawaban  responden mayoritas  pengguna  akhir  cenderung  merasa  puas  dengan  pengalaman  penggunaan  APPFIN,  sehingga APPFIN dapat diterima (acceptable) oleh pengguna.
Kata Kunci: APPFIN, Usability Testing, System Usability Scale

## Abstract
Ensuring a positive user experience is essential for the success of usability testing and meeting user expectations in system development. In this study, the System Usability Scale method is employed for usability testing, utilizing a questionnaire to assess acceptance, grading, and ratings. The research involves end users of the APPFIN application across all branches and head offices, with twenty-nine respondents achieving a notably favorable acceptance rate. The System Usability Scale score of 82 places APPFIN in the "GOOD" category with a B grade, indicating a reasonably high level of user satisfaction. The majority of respondents expressed contentment with their experience using APPFIN, reflecting a positive reception and acceptance among users.
Keywords — APPFIN, Usability Testing, System Usability Scale
Diajukan: 13 November 2023 Disetujui: 20 Januari 2024 Dipublikasi: 26 Januari 2024

## 1. PENDAHULUAN
Aplikasi  Operasional  Departemen  Finance  (APPFIN)  merupakan  merupakan  aplikasi  berbasis web yang dibuat untuk membantu kinerja pegawai dalam operasional perusahaan pada departemen Finance, baik  dalam  pembuatan  surat  jalan  dari  cabang  berdasarkan  purchase  order,  validasi  surat  jalan,  dan pembuatan laporan
Gambar 1 Sistem APPFIN User  Experience  terdapat  pengukuran tingkat usability, yaitu kegiatan untuk mengevaluasi  kemudahan  suatu  produk  yang sudah dibuat dengan melihat dari beberapa aspek dari kepuasan pengguna[1]. Salah satu Evaluasi Usability  yang  bisa  dilakukan  adalah  dengan menggunakan System Usability Scale (SUS)[2]. System  Usability  Scale  (SUS)  dikembangkan oleh  Brooke  (1996)  sebagai  skala  survei  yang “quick  and  dirty”  yang  mengizikan  praktisi usability  menilai  usability  dari  sebuah  produk atau  layanan  dengan  cepat  dan  mudah[3]. Metode  SUS  berfokus  pada  pengembangan sistem  penilaian  usability  berbasis  web  melalui pendekatan  dengan  meminta  pengguna  untuk mengevaluasi halaman web secara subjektif [4]. Usability  akan  berdampak  pada  pengalaman pengunjung  yang  paling  mendasar,  mengacu pada bagaimana seseorang menggunakan website  tersebut  secara  mudah,  khususnya  bagi seseorang  yang  pertama  kali  mengunjungi  atau menggunakan  website[5][6].  Evaluasi  secara global  terhadap  web  merupakan  langkah  awal untuk menilai keberhasilan pelaksanaan implementasi  website[7].  SUS  bertujuan  untuk mendapatkan  pengukuran  secara  subyektif mengenai  kegunaan  sistem[8].  Metode  SUS dapat  mengetahui  apakah  desain  sudah  sesuai dengan pengguna atau untuk mengetahui tingkat kepuasan  pengguna  [9][10].  SUS        digunakan oleh   Rasmila  dalam [11] untuk   menentukan tingkatan usabiIity sistem pada tingkat acceptable,  grade,  dan  rating  berdasarkan kuesioner  yang  diisi  oleh  penggunanya. Usability  merupakan  salah  satu  faktor  penentu kesuksesan  dan  kualitas  sistem  [12][13][6], sehingga dapat menemukan kesalahan-kesalahan yang ada pada sistem[14].
Penelitian  sebelumnya  yang  dilakukan hanya  sampai  tahap  implementasi  belum dilakukan pengujian[15]. Penelitian ini bertujuan untuk melakukan pengukuran terhadap APPFIN yang  digunakan  oleh  pengguna  akhir  dengan menggunakan  metode  SUS  sehingga  dapat mengetahui kategori dan grade sistem berdasarkan  kepuasan  pengguna  dan  kegunaan dari  sistem.  Di  harapkan  dengan  penelitian  ini dapat  memperbaiki  APPFIN  dalam  tingkat
usability  sehingga  menjadi  perbaikan  dan pengembangan sistem kedepannya.

## 2. METODE PENELITIAN
Metode  penelitian  ini  menggunakan  metode kuantitaif  dengan  tahapan  penelitian  pada gambar 1 sebagai berikut:
Gambar 2 Tahapan Penelitian A. Pendahuluan Penelitian inin memiliki tujuan untuk mengevaluasi kegunaan sistem dengan
menggunakan  metode  SUS.  Sistem  yang  di evaluasi  adalah  APPFIN  pada  Departemen Finance untuk seluruh kantor cabang dan pusat. Evaluasi  ini  akan  memberikan  sejauh  mana pengguna aplikasi merasakan kegunaan sistem.
B. Penentuan Sasaran Penelitian Sasaran  penelitian  adalah  pengguna  sistem APPFIN yang aktif pada seluruh kantor cabang dan pusat, sehingga pengguna dapat memberikan feedback  kegunaan  sistem  dari  sudut  pandang end-user.
C. Persiapan Alat Pengukuran Alat  pengukuran  yang  digunakan  dalam penelitian adalah System Usability Scale (SUS) yang  terdiri  dari  sepuluh  pertanyaan  yang dikemukan  oleh  John  Brooke  yang  diarahkan untuk  mengukur  kualitas  kegunaan  suatu sistem[16].  Item  pertanyaan  ditunjukan  pada tabel 1[8].
Pendahuluan Penentuan Sasaran
Penelitian Persiapan Alat Pengukuran Pengumpulan Data Pengumpulan Data Analisis Data Interpretasi Hasil Kesimpulan
Tabel 1 Item Pertanyaan SUS
No  Item Pertanyaan
1 Saya  berpikir  akan  menggunakan sistem ini lagi
2 Saya  merasa  sistem  ini  rumit  untuk digunakan
3 Saya  merasa  sistem  ini  mudah digunakan
4 Saya membutuhkan bantuan dari orang lain  atau  teknisi  dalam  menggunakan sistem ini
5 Saya  merasa  fitur-fitur  sistem  ini berjalan dengan semestinya
6 Saya merasa ada banyak hal yang tidak konsisten (tidak serasi pada sistem ini)
7 Saya merasa orang lain akan memahami  cara  menggunakan  sistem ini dengan cepat 8 Saya merasa sistem ini membingungkan
9 Saya merasa tidak ada hambatan dalam menggunakan sistem ini
10 Saya  perlu  membiasakan  diri  terlebih dahulu  sebelum  menggunakan  sistem ini
Kuesioner  pada  tabel  1  akan  disebar  setelah responden menggunakan dan berinteraksi dengan sistem.
D. Pengumpulan Data Responden  akan  diminta  untuk  menggunakan dan  berinteraksi  dengan  sistem  sesuai  dengan experience  user.  Kemudian  pengguna  akan diminta  untuk  mengisi  kuesioner  SUS  yang berisi pertanyaan-pertanyaan kegunaan sistem. Penilaian  kuesioner  SUS  menggunakan  lima skala  likert  yaitu  Sangat  Tidak  Setuju,  Tidak Setuju,  Ragu-Ragu,  Setuju,  dan  Sangat  Setuju. Skala likert dapat ditunjukkan pada Tabel 2.
Tabel 2 Skala Likert Jawaban Skor Penilaian Sangat Tidak Setuju (STS) 1 Tidak Setuju (TS) 2 Ragu-Ragu (RG) 3 Setuju (S) 4 Sangat Setuju (SS) 5
E. Analisis Data Hasil  pengumpulan  data  dari  kuesionar  diolah menggunakan  standar  penilaian  yang  telah ditetapkan oleh John Brooke. Skor akan dihitung untuk  setiap  responden.  Selanjutnya  dilakukan
analisis statistik untuk mendapatkan pemahaman terkait kegunaan sistem.
Aturan  perhitungan  skor  SUS  berdasarkan pertanyaan  positif  dan  pertanyaan  negatif. Pertanyaan  positif  terdapat  pada  pertanyaan nomor  ganjil  sedangkan  pertanyaan  negatif terdapat pada pertanyaan nomor genap.
Perhitungan skor untuk pertanyaan nomor ganjil yaitu  skor  jawaban  responden  dikurangi  1 sedangkan  skor  untuk  pertanyaan  nomor  genap yaitu 5 dikurangi skor jawaban responden. Skor SUS  didapat  dari  hasil  penjumlahan  setiap jawaban  dikali  2,5.  Pernyataan  1  merupakan rumus untuk menghitung skor SUS[17]:
𝑆𝑘𝑜𝑟 𝑆𝑈𝑆 = (((𝑃1 − 1) + (5 − 𝑃2) + (𝑃3 − 1) + (5 − 𝑃4) + (𝑃5 − 1) + (5 − 𝑃6) + (𝑃7 − 1) + (5 − 𝑃8) + (𝑃9 − 1) + (5 − 𝑃10)) ∗ 2.5) (1) Pernyataan 2 merupakan rumus untuk menghitung rata-rata skor SUS:
𝑋 = ∑ 𝑥 𝑛 (2)
Dimana  X  adalah  rata-rata  skor  dan ∑ 𝑥 merupakan jumlah seluruh skor SUS sedangkan n merupakan total responden.
F. Interpretasi Hasil Hasil  analisis  data  akan  diinterpretasikan  untuk mengetahui  tingkat  kegunaan  sistem.  Hasil interpretasi akan dilakukan peninjauan terhadap tujuan penelitian dan perbaikan pada pengembangan  sistem  selanjutnya.  Gambar  2 merupakan  intepretasi  skor  SUS.  Kategori penilaian skor SUS berdasarkan adjective rating terdiri  dari  worst  imaginable,  poor,  ok,  good, excellent dan best imaginable. Sedangkan tingkat Grade hasil penilaian terdiri dari A, B, C, D, dan F,  dimana  A  adalah  kelas  terbaik  dan  F  kelas terburuk.  SUS  juga  dapat  dipahami  sebagai rating  sifat    untuk  lebih  memperjelas  tingkat kegunaan  sistem,  yang  kemudian  ditransfer  ke tingkat  penerimaan  pengguna  terhadap    sistem (range  of  Acceptability)  untuk  menentukan apakah sistem dapat diterima oleh pengguna[18].
Gambar 3 Interpretasi Skor SUS [8]
G. Kesimpulan
Kesimpulan akan memberikan gambaran umum terkait  kegunaan  sistem  dan  memberikan  arah untuk  penelitian  lebih  lanjut  atau  perbaikan sistem.

## 3. HASIL DAN PEMBAHASAN
Hasil kuesioner diperoleh dari responden  yang  merupakan  pegawai  yang
bekerja  pada  departemen  finance  diseluruh kantor  cabang  dan  pusat.  Penilaian  yang dilakukan berdasarkan kegunaan sistem APPFIN yang  digunakan  untuk  operasional  pada departemen tersebut.
Tabel  3  menunjukkan  hasil  jawaban responden terhadap kegunaan sistem. Tabel 3 Hasil Jawaban Responden No  Item Pertanyaan STS TS RG S SS 1 Saya berpikir akan menggunakan sistem ini lagi 0 0 2 9 18 2 Saya merasa sistem ini rumit untuk digunakan 5 20 4 0 0 3 Saya merasa sistem ini mudah digunakan 0 0 1 14 14 4 Saya membutuhkan bantuan dari orang lain atau teknisi dalam menggunakan sistem ini 6 19 4 0 0 5 Saya  merasa  fitur-fitur  sistem  ini  berjalan  dengan semestinya 0 0 1 14 14 6 Saya merasa ada banyak hal yang tidak konsisten (tidak serasi pada sistem ini) 12 14 3 0 0 7 Saya  merasa  orang  lain  akan  memahami  cara menggunakan sistem ini dengan cepat 0 0 3 8 18 8 Saya merasa sistem ini membingungkan 11 15 3 0 0 9 Saya  merasa  tidak  ada  hambatan  dalam  menggunakan sistem ini 0 0 2 18 9 10 Saya  perlu  membiasakan  diri  terlebih  dahulu  sebelum menggunakan sistem ini 8 16 3 2 0
Terdapat  18  responden  atau  62%  dari total  responden  akan  menggunakan  kembali sistem APPFIN. Terdapat 20 responden atau 60 %  dari  total  responden  menyatakan  sistem APPFIN tidak rumit untuk digunakan. Terdapat 28 responden yang yang terdiri dari 14 responden menyatakan  setuju  dan  14  responden  sangat setuju bahwa sistem APPFIN mudah digunakan. Sebanyak  19  responden  atau  66  %  dari  total responden menyatakan bahwa tidak membutuhkan  bantuan  dari  orang  lain  dalam menggunakan  sistem  APPFIN.    Terdapat  28 responden  yang  yang  terdiri  dari  14  responden menyatakan  setuju  dan  14  responden  sangat setuju  bahwa  fitur-fitur  yang  terdapat  dalam APPFIN berjalan dengan semestinya. Sebanyak
14  responden  menyatakan  tidak  setuju  dan  12 responden menyatakan sangat tidak setuju bahwa terdapat banyak hal yang tidak konsisten dalam sistem  APPFIN.  Sebanyak  18  responden  atau 62%  dari  total  responden  menyatakan  bahwa orang  lain  akan  memahami  cara  menggunakan APPFIN  dengan  cepat.  Sebanyak  11  reponden menyatakan sangat tidak setuju dan 15 responden menyatakan  tidak  setuju  bahwa  APPFIN membingungkan  pengguna  akhir.  Sebanyak  18 responden  menyatakan  setuju  dan  9  responden menyatakan  sangat  setuju  bahwa  tidak  ada hambatan  dalam  menggunakan  sistem  ini. Sebanyak 16 responden menyatakan tidak perlu membiasakan  diri  terlebih  dahulu  sebelum menggunakan APPFIN.
Tabel 4 Hasil Perhitungan SUS Responden Skor Hasil Jawaban Responden Jumlah Skor SUS (Jumlah x 0.25) 1 2 3 4 5 6 7 8 9 10
R1 4 4 4 4 4 3 4 4 3 4 38 95 R2 4 3 4 2 4 3 4 4 4 1 33 83 R3 3 3 3 3 3 3 2 3 3 3 29 73 R4 4 3 4 3 4 3 4 4 4 2 35 88 R5 4 3 3 3 3 3 4 3 4 3 33 83 R6 3 3 3 3 4 4 4 3 4 3 34 85 R7 4 4 4 4 4 3 4 4 3 4 38 95 ……………… R25 3 2 4 4 4 4 4 3 2 3 33 83
Responden Skor Hasil Jawaban Responden Jumlah Skor SUS (Jumlah x 0.25) 1 2 3 4 5 6 7 8 9 10 R27 4 3 3 4 4 3 3 4 3 4 35 88 R28 3 3 4 3 2 3 3 3 3 4 31 78 R29 4 2 4 3 3 4 4 4 3 4 35 88 Rata-Rata Skor SUS 82
Tabel 4 menunjukkan hasil perhitungan dari jawaban responden sebagai pengguna akhir dari  APPFIN.  Berdasarkan  hasil  perhitungan rata-rata  skor  SUS  sebesar  82.  Hasil  tersebut menunjukkan  bahwa  APPFIN  termasuk  dalam kategori  “GOOD”  dengan  grade  B  yang mengindikasikan  bahwa  APPFIN  yang  diukur memiliki tingkat kepuasan pengguna yang cukup baik.  Jika  dilihat  dari  hasil  jawaban  responden mayoritas  pengguna  akhir  cenderung  merasa puas  dengan  pengalaman  penggunaan  APPFIN, sehingga  APPFIN  dapat  diterima  (acceptable) oleh pengguna.
Gambar 4 Interpretasi Hasil Skor SUS.

## 4. KESIMPULAN
Berdasarkan hasil pengujian Usability
menggunakan  metode  SUS  terhadap  sebanyak 29  responden  maka  dari  ditarik  kesimpulan sebagai berikut:
a. Rata-rata  skor  SUS  adalah  82  yang mengindikasikan  bahwa  adjective  rating berada  dalam  kategori  “GOOD”  dengan skala grade “B”.
b. Hasil penilaian pengguna secara keseluruhan cukup baik, sehingga kepuasan pengguna  terhadap  kegunaan  sistem  dapat diterima.

## 5. SARAN
Berdasarkan  hasil  pegujian  bahwa  terdapat jawaban-jawaban  responden  yang  masih  ragu pada terkait pertanyaan nomor 2 dan 4 sehingga perlu  dipertimbangkan  untuk  pendampingan penggunaan  sistem,  perbaikan  sistem,  atau pengembangan  sistem.  Hal  ini  dilakukan  untuk perbaikan secara iterasi terhadap sistem.

## REFERENSI
[1]  T.  P.  Y.  Titan,  Budiman,  and  J.  H.  F.  E.
Putra,  “Perancangan  Prototype  User Interface  Dan  Pengujian  User  Experience Aplikasi Rental Mobil Berbasis Menggunakan  Metode  Design  Thinking  ( Studi Kasus : Pt Trans Berjaya Khatulistiwa),” NUANSA  Inform. ,  vol.  17, no.  2,  Art.  no.  2,  Jul.  2023,  doi: 10.25134/ilkom.v17i2.9.
[2]  D.  Setiawan  and  S.  L.  Wicaksono, “Evaluasi  Usability  Google  Classroom Menggunakan  System  Usability  Scale,” Walisongo  J.  Inf.  Technol. ,  vol.  2,  no.  1,
Art. no. 1, Jun. 2020, doi: 10.21580/wjit.2020.2.1.5792.
[3]  Z.  Elma,  “Implementasi  Metode  Usability Testing  Dengan  System  Usability  Scale
Dalam Evaluasi Website Layanan Penyedia Subtitle  (Studi  Kasus:  Subscene),” Ultima InfoSys J. Ilmu Sist. Inf. , vol. 10, no. 2, pp. 104–110, 2019, doi: 10.31937/si.v10i2.1197.
[4]  R.  Widayanti  and  J.  Maknunah,  “Analisis Website STIMATA Menggunakan System Usability Scale (SUS),” J. Ilm. Komputasi , vol. 20, no. 3, Art. no. 3, Aug. 2021.
[5]  I.  Maryati,  E.  I.  Nugroho,  and  Z.  O. Indrasanti,  “Analisis  Usability  pada  Situs Perpustakaan  UC  dengan  Menggunakan System Usability Scale,” J. MEDIA Inform. BUDIDARMA , vol. 6, no. 1, Art. no. 1, Jan. 2022, doi: 10.30865/mib.v6i1.3472.
[6]  A.  Sidik,  “Penggunaan  System  Usability Scale  (SUS)  Sebagai  Evaluasi  Website Berita Mobile,” Technol. J. Ilm. , vol. 9, no.
2, Art. no. 2, Apr. 2018, doi: 10.31602/tji.v9i2.1371.
[7]  A.  W.  Soejono,  A.  Setyanto,  and  A.  F. Sofyan,  “Evaluasi  Usability  Website UNRIYO  Menggunakan  System  Usability Scale  (Studi  Kasus:  Website  UNRIYO),” Respati ,  vol.  13,  no.  1,  Art.  no.  1,  Mar.
2018, doi: 10.35842/jtir.v13i1.213.
[8]  J.  Brooke,  “SUS:  a  retrospective,” J. Usability Stud. , vol. 8, no. 2, pp. 29–40.
[9]  M. R. Sanjaya, A. Saputra, B. W. Putra, N. Sari, R. Destriani, and M. R. U. Rahmany, “Designing  a  Web-Based Online Tutoring
Application  in  Palembang  City  Using  the SUS  (System  Usability  Scale)  Method,” presented  at  the  4th  Forum  in  Research, Science,  and  Technology  (FIRST-T1-T2- 2020), Atlantis Press, Feb. 2021, pp. 523– 528. doi: 10.2991/ahe.k.210205.088.
[10]  N.  Bevan,  “International  Standards  for Usability  Should  Be  More  Widely  Used,” vol. 4, no. 3, 2009.
[11]  M. U. A. Iryanto, W. H. N. Putra, and A. D. Herlambang,  “Evaluasi  Usability  Aplikasi SIAP  TARIK  Dengan  Menggunakan Metode  Usability  Testing  dan  System
Usability  Scale  (SUS)  Pada  Puskesmas Tarik  Sidoarjo,” J.  Pengemb.  Teknol.  Inf.
Dan Ilmu Komput. , vol. 3, no. 7, Art. no. 7,
Aug. 2019.
[12]  I.  Salamah,  “EVALUASI  USABILITY
WEBSITE POLSRI DENGAN MENGGUNAKAN SYSTEM USABILITY  SCALE,” J.  Nas.  Pendidik. Tek. Inform. JANAPATI , vol. 8, no. 3, Art. no. 3, Dec. 2019,
doi:
10.23887/janapati.v8i3.17311.
[13]  E.  Kurniawan,  N.  Nofriadi,  and  A.  Nata, “PENERAPAN  SYSTEM  USABILITY SCALE  (SUS)  DALAM  PENGUKURAN KEBERGUNAAN WEBSITE PROGRAM
STUDI  DI  STMIK  ROYAL,” J.  Sci.  Soc.
Res. , vol. 5, no. 1, Art. no. 1, Feb. 2022, doi: 10.54314/jssr.v5i1.817.
[14]  B.  Beny,  H.  Yani,  and  G.  M.  Ningrum, “Evaluasi Usability
Situs Web Kemenkumham  Kantor  Wilayah  Jambi dengan Metode Usability Test dan System Usability Scale,” Res. J. Comput. Inf. Syst.
Technol. Manag. , vol. 2, no. 1, Art. no. 1,
Apr.
2019, doi: 10.25273/research.v2i1.4282.
[15]  B. Budiman, R. Y. R. Alamsyah, and A. F. Ramadhan,  “Rancang  Bangun  Aplikasi Operasional  Departemen  Finance  Studi Kasus  PT.  Maja  Kerta  Wangi,” NUANSA Inform. , vol. 17, no. 2, Art. no. 2, Jul. 2023, doi: 10.25134/ilkom.v17i2.12.
[16]  Y.  Thamilarasan,  R.  R.  R.  Ikram,  M. Osman,  L.  Salahuddin,  W.  Y.  W.  Bujeri, and  K.  Kanchymalay,  “Enhanced  System Usability Scale using the Software Quality
Standard  Approach,” Eng.  Technol.  Appl. Sci.  Res. ,  vol.  13,  no.  5,  Art.  no.  5,  Oct.
2023, doi: 10.48084/etasr.5971.
[17]  D.  Supriyadi,  S.  T.  Safitri,  and  D.  Y. Kristiyanto, “Higher Education e-Learning Usability Analysis Using System Usability Scale,” IJISTECH Int. J. Inf. Syst. Technol. , vol.  4,  no.  1,  Art.  no.  1,  Nov.  2020,  doi: 10.30645/ijistech.v4i1.81.
[18]  A.  Bangor,  P.  Kortum,  and  J.  Miller, “Determining  what  individual  SUS  scores mean: Adding an adjective rating scale,” J. Usability Stud. , vol. 4, no. 3, pp. 114–123,
2009.