## KESATRIA: Jurnal Penerapan Sistem Informasi (Komputer & Manajemen)

## User Experience dan Usability Testing Bank Maluku Malut Mobile Banking Menggunakan User Experience Questionnaire dan System Usability Scale
Nataldo Noya 1 , Nina Setiyawati 2 1,2 Universitas Kristen Satya Wacana (UKSW), Salatiga, Indonesia E-mail: naldonoya@gmail.com

## Abstract
Mobile  banking  is  another  major  technological  advancement  in  the  banking  sector. Due  to  the  widespread  use  of  smartphones,  banks  have  developed  mobile  applications that  enable  customers  to  carry  out  various  financial  transactions  through  their  mobile devices.  For  this  reason,  good  user  experience  (UX)  and  usability  are  very  necessary because  they  have  a  direct  impact  on  the  user  experience  and  the  success  of  the application. Good user experience and usability of an application not only increases user satisfaction,  but  also  influences  user  confidence  in  the  product  or  service  and  its  long- term success. This research aims to evaluate the level of UX and  usability of the Maluku Malut  mobile  banking  application  by  using  the  User  Experience  Questionnaire  (UEQ) and System Usability Scale (SUS) to determine user perceptions of the UX and  usability of  the  Maluku  Malut  mobile  banking  application.  The  measurement  results  provide  a positive impression in almost all aspects, and have acceptable usability for users.
Keywords: user experience; usability; mobile banking; user experience questionnaire; system usability scale

## Abstrak
Mobile  banking  adalah  kemajuan  teknologi  besar  lainnya  di  sektor  perbankan. Karena  meluasnya  penggunaan  ponsel  pintar,  bank  telah  mengembangkan  aplikasi seluler  yang  memungkinkan  nasabah  melakukan  berbagai  transaksi  keuangan  melalui perangkat  selulernya.  Untuk  itu,  user  experience  (UX)  dan  usability  yang  baik  sangat diperlukan  karena  berdampak  langsung  pada  pengalaman  pengguna  dan  keberhasilan aplikasi.  Pengalaman  pengguna  yang  baik  dan  kegunaan  suatu  aplikasi  tidak  hanya meningkatkan  kepuasan  pengguna,  namun  juga  mempengaruhi  kepercayaan  pengguna terhadap  produk  atau  layanan  dan  kesuksesan  jangka  panjangnya.  Penelitian  ini bertujuan untuk mengevaluasi tingkat UX dan  usability aplikasi mobile banking Maluku Malut dengan menggunakan User Experience Questionnaire (UEQ) dan System Usability Scale  (SUS)  untuk  mengetahui  persepsi  pengguna  terhadap  UX  dan  usability  mobile banking  Maluku  Malut  aplikasi.  Hasil  pengukuran  memberikan  kesan  positif  di  hampir semua aspek, dan memliki usability yang dapat diterima oleh pengguna.
Kata  Kunci: user  experience;  usability;  mobile  banking;  user  experience questionnaire; system usability scale

## 1. Pendahuluan
Perkembangan  teknologi  di  sektor  perbankan  telah  merevolusi  cara  penyampaian layanan  keuangan.Perkembangan  besar  adalah  diperkenalkannya  layanan  perbankan online .  Perbankan online memungkinkan  pelanggan  mengakses  rekening  mereka  dari rumah  atau  saat  bepergian  untuk  mentransfer  uang,  membayar  tagihan,  dan  meninjau riwayat transaksi. Hal  ini menghilangkan  kebutuhan nasabah  untuk mengunjungi cabang bank  fisik  untuk  melakukan  transaksi  perbankan  rutin,  sehingga  sangat  meningkatkan kenyamanan dan aksesibilitas.

## KESATRIA: Jurnal Penerapan Sistem Informasi (Komputer & Manajemen)
Mobile  banking adalah  perkembangan  teknologi  penting  lainnya  dalam  industri perbankan.  Dengan  meluasnya  penggunaan smartphone ,  bank  telah  mengembangkan aplikasi  seluler  yang  memungkinkan  nasabah  melakukan  berbagai  transaksi  perbankan melalui perangkat selulernya. Keunggulan  yang dimiliki Mobile banking adalah nasabah dapat  melakukan  aktivitas  transaksi  kapanpun  dan  dimanapun[1][2]. Mobile  banking memungkinkan pelanggan untuk memeriksa saldo rekening, mentransfer uang, membayar tagihan,  dan  bahkan  menyetor  cek  menggunakan  perangkat  seluler.  Hal  ini  membuat layanan  perbankan  lebih  mudah  diakses  dan  efisien  bagi  nasabah.  Untuk  itu, User Experience (UX)  dan Usability yang  baik  diperlukan  karena  memiliki  dampak  langsung pada pengalaman pengguna dan keberhasilan aplikasi tersebut.
User  Experience  (UX)  adalah  salah  satu  aspek  terpenting  ketika  membangun  sistem yang baik karena melalui UX dapat dilihat  kemudahaan dan efisiensi dalam penggunaan sistem informasi yang ada[3]. User Experience mencakup keseluruhan penerimaan  suatu produk  atau  layanan,  termasuk  semua  aspek  termasuk  pragmatis  dan  hedonis  suatu produk[4]  yang  berhubungan  dengan  persepsi  seseorang  terhadap  aspek  praktis  seperti kegunaan,  kemudahan  penggunaan,  dan  efisiensi  sistem[5]  saat  digunakan.  Beberapa penelitian  terdahulu  yang  berkaitan  dengan user  experience menunjukan  bahwa user experience berkaitan  dengan  penerimaan,  kepuasan,  dan  kelanjutan  penggunaan  suatu aplikasi. Penelitian Lei dan Lee (2020) menunjukan  bahwa user experience adalah faktor penting yang mempengaruhi niat terus-menerus menggunakan game seluler[6]. Hyun dan Marsden  (2023)  menemukan  bahwa  mencapai  tingkat  kesinambungan  bergantung  pada kemampuan  merek  untuk  memberikan user  experience yang  memuaskan  di  berbagai aplikasi,  dan  dengan  demikian user  experience menjadi  titik  interaksi  penting  dan berperan  yang  menghubungkan  pengguna  dengan  merek  secara  lancar[7].  Ramadhan  H dkk  (2023)  juga  menemukan  bahwa user  experience berpengaruh  positif  dan  signifikan terhadap customer satisfaction pada aplikasi seluler streaming Vidio[8].
Usability adalah atribut kualitas yang menilai kemudahan antarmuka sistem dari suatu aplikasi[9]. Usability berhubungan  dengan  kemudahan  penggunaan,  pembelajaran,  dan kepuasan  pengguna  yang  merupakan  salah  satu  atribut  penting  dalam  mendesain  suatu produk[10]  untuk  dapat  menyediakan  lingkungan  yang  aman  dimana  pengguna  dapat melakukan  tugas  secara  efektif  dan  efisien[11].  Chen  J  dkk  (2021)  menunjukkan  bahwa pengalaman pelanggan  yang positif atas usability dan daya tanggap chatbot menciptakan tingkat  kepuasan  pelanggan  yang  tinggi[12].  Setiyawati  dan  Bangkalang  (2022) menejalskan  bawha  aspek usability seperti  kesederhanaan  dan  kemudahan  penggunaan membuat  interaksi  manusia-komputer  menjadi  lebih  efisien  untuk  kesenjangan  antara manusia dan komputer, dan perangkat lunak menjadi lebih dekat dengan antarmuka yang baik, membuat penggunaan  suatu  aplikasi menjadi lebih efektif[10]. Secara  keseluruhan, User  Experience dan Usability yang  baik  dalam  pada  sebuah  aplikasi  tidak  hanya meningkatkan  kepuasan  pengguna,  tetapi  juga  berdampak  pada  kepercayaan  pengguna terhadap produk atau layanan serta keberhasilan jangka panjang penggunaan. Pengalaman yang  positif  dapat  meningkatkan  retensi  pengguna,  memperluas  basis  pengguna,  dan meningkatkan loyalitas, yang pada gilirannya berkontribusi pada pertumbuhan bisnis.
Pada  penelitian  ini,  peneliti  akan  mengevaluasi  tingkat  UX  dan usability aplikasi Maluku Malut Mobile Banking menggunakan User Experience Questionnaire (UEQ) dan System  Usability  Scale (SUS)  untuk  mengetahui  persepi  pengguna  tentang  UX  dan usability aplikasi Maluku Malut Mobile Banking.

## 2. Metodologi Penelitian
Penelitian  ini  dilakukan  dengan  menggunakan  alur  penelitian  seperti  pada  gambar  1. Penelitian  dimulai  dengan  studi  literatur,  dilanjutkan  dengan  melakukan  pengumpulan data  dengan  menggunakan google  form ,  kemudian  akan  dilakukan  analisis  data

## KESATRIA: Jurnal Penerapan Sistem Informasi (Komputer & Manajemen)
menggunakan UEQ dan SUS dan diakhiri dengan menarik kesimpulan berdasarkan  hasil analisis data.
Gambar 1. Alur Penelitian

## 2.1. Studi Literatur
Pada  tahap  studi  literatur,  peneliti  mempelajari  teori  pendukung  dan  penelitian sebelumnya  mengenai user  experience , usability ,  UEQ,  dan  SUS  dari  berbagai  sumber seperti jurnal, artikel, dan referensi terkait yang lain. Studi literatur ini dilakukan dengan tujuan agar dapat memahami lebih baik tentang  hal-hal yang berkaitan UX dan usability serta cara untuk mengukur atau mengevaluasi UX dan usability .

## 2.2. Pengumpulan Data
Pada  pengumpulan  data,  kuesioner  UEQ  dan  SUS  dibagikan  menggunakan  google form kepada pengguna aplikasi Maluku Malut Mobile Banking. Kuesioner UEQ dan SUS dibagikan  menggunakan google  form kepada  pengguna mobile  banking .  Sebanyak  91 orang  bepartisipasi  sebagai  responden.  Masing-masing  pertanyaan  UEQ  termasuk evaluasi  pengukuran  dibagi  menjadi  enam  skala  (aspek)  dengan  26 item (atribut) yaitu[13]:
1. Attractivenes (Daya Tarik): Kesan keseluruhan dari produk.
2. Perspicuity (Kejelasan): Apakah mudah untuk mengenal produk?
3. Efficiency (Efisiensi):  Jumlah  waktu  yang  dibutuhkan  dalam  menyelesaikan suatu tugas.
4. Dependability (Ketergantungan):  Apakah  pengguna  memiliki  kendali  atas aplikasi?
5. Stimulation (Stimulasi): Sejauh mana pengguna termotivasi untuk menggunakan produk?
6. Novelty (Kebaruan): Inovasi pada suatu sistem, layanan, dan produk.
Dari  6  aspek  UEQ[10],  daya  Tarik  merupakan  dimensi  valensi  murni.  Sedangkan kejelasan,  efisiensi  dan  ketergantungan  merupakan  aspek  kualitas  pragmatis  ( goal- directed ),  dan  Stimulasi  dan  Kebaruan  merupakan  aspek  kualitas  hedonis  (tidak goal- directed )[14].
System Usability Scale  adalah  kuesioner  10 item [15]  sederhana  yang  memberikan pandangan  global  tentang  penilaian  subjektif usability [16]  masing-masing  dengan  5 langkah yang diberi label “Sangat Tidak Setuju” dan “Sangat Setuju”[17]. SUS digunakan
Studi Literatur Pengumpulan Data Analisis Data Kesimpulan

## KESATRIA: Jurnal Penerapan Sistem Informasi (Komputer & Manajemen)
untuk  mengukur  atribut  kegunaan  dalam  aplikasi  mobile  banking,  meliputi  efektivitas, efisiensi, kepuasan, kemudahan belajar, kemudahan mengingat dan sedikit kesalahan[10]. Setelah  data  hasil  kuesioner  dikumpulkan,  data  akan  diolah  dan  diukur  menggunakan metrik  UEQ  dan  SUS.  Skor  jawaban  setiap  pertanyaan  UEQ  berkisar  antara  1  sampai dengan  7  sesuai  dengan  indikator  masing-masing  aspek[10]  dengan  titik  akhir  Tidak penting sama sekali (1) dan Sangat penting (7)[14].
Gambar 2. Daftar Pertanyaan UEQ
Gambar 3. Daftar Pertanyaan SUS

## KESATRIA: Jurnal Penerapan Sistem Informasi (Komputer & Manajemen)

## 2.3. Analisa Data
Pada  tahap  ini,  setelah  mendapatkan  hasil  kuesioner  UEQ  dan  SUS  yang  cukup, kemudian  akan  dianalisa  menggunakan  metode  pengukuran  UEQ  dan  SUS.  Pengolahan dan analisis data kuesioner UEQ dilakukan dengan menggunakan alat UEQ Data Analysis Tool versi 12 yang berformat Excel .
Sedangkan  untuk  memperoleh  skor  SUS,  akan  dilakukan  penjumlahan  terdahap kontribusi skor dari setiap item . Skala penilaian untuk setiap item berkisar antara 0 hingga 4. Pada item ganjil seperti 1,3,5,7, dan 9 kontribusi skornya adalah posisi skala dikurangi 1.  Sedangkan item genap  seperti  2,4,6,8  dan  10,  kontribusi  skornya  adalah  5  dikurangi posisi skala. Kemudian  jumlah  skor dikalikan  dengan 2,5 untuk mendapatkan  skor total SUS.  Skor  rata-rata  SUS  didapatkan  dengan  menjumlahkan  seluruh  skor  total  item  dan dibagi dengan jumlah responden.

## 2.4. Kesimpulan
Pada  tahap  ini  peneliti  akan  menyimpulkan  hasil  evaluasi  dari  pengolahan  data  dan pengukuran UEQ dan SUS aplikasi Maluku Maluku Mobile Banking.

## 3. Hasil dan Pembahasan
Data  hasil  kuesioner  UEQ  dan  SUS  yang  telah  dikumpulkan  kemudian  diolah menggunakan UEQ dan SUS metrik dimana terdapat 91 responden. Data kuesioner UEQ diolah  menggunakan Data  Analysis  Tool yang  didapat  dari website resmi  UEQ  untuk memperoleh  evaluasi user  experience aplikasi  Maluku  Malut  Mobile  Banking  dan menggunakan metrik SUS untuk mendapatkan persepsi pengguna terkait usability aplikasi Maluku Malut Mobile Banking. Gambar 4 menunjukan rata-rata hasil pengolahan UEQ.
Gambar 4 . Tabel Rata-rata dan Variansi
Gambar  4  memperlihatkan  hasil  pengukuran user  experience aplikasi  Maluku  Malut Mobile  Banking  dimana  daya  tarik  1,908,  kejelasan  2,143,  efisiensi  1,970,  ketepatan 1,841,  simulasi  1,783,  kebaruan  1,030.  Berdasarkan  pada  intepretasi  skala  UEQ,  nilai antara -0,8 sampai 0,8 merupakan nilai evaluasi netral, nilai lebih dari 0,8 merupakan nilai evaluasi positif dan nilai kurang dari -0,8 merupakan evaluasi negatif[14], maka aplikasi Maluku Malut Mobile Banking memiliki aspek daya tarik, kejelasan, efisiensi, ketepatan, stimulasi,  dan  kebaruan  mendapatkan  hasil  yang  positif.  Hasil  keseluruhan  dari pengukuran UEQ dapa dilihat pada tabel 2.
Tabel 1. Interpretasi Rata-rata aplikasi Maluku Malut Mobile Banking
Skala Maluku Malut Mobile Banking Daya Tarik Positif Kejelasan Positif Efisiensi Positif Ketepatan Positif Stimulasi Positif Kebaruan Positif

## KESATRIA: Jurnal Penerapan Sistem Informasi (Komputer & Manajemen)
Gambar 5. Grafik Rata-rata Aplikasi Maluku Malut Mobile Banking
Tabel 2. Hasil Pengolahan data UEQ
Kategori Hasil Rata-rata Aspek UEQ Hasil Rata-rata Attractiveness 1,91 Attractiveness 1,908 Pragmatic 1,98 Perspicuity 2,143 Efficiency 1,970 Dependability 1,841 Hedonic 1,41 Stimulation 1,783 Novelty 1,030
Gambar  6  dan  7  menunjukkan  hasil  perbandingan  dari benchmark .  Hasil  tersebut menujukkan  bahwa  aplikasi  Maluku  Malut  Mobile  Banking  memiliki  aspek  daya  tarik, kejelasan,  efisiensi,  ketepatan,  simulasi  berada  pada  kategori excellent dan  aspek kebaruan berada pada kategori above average .
Gambar 6. Tabel Benchmark
Gambar 7. Grafik Benchmark Aplikasi Maluku Malut Mobile Banking

## KESATRIA: Jurnal Penerapan Sistem Informasi (Komputer & Manajemen)
Tabel  2  menunjukan  hasil  pengukuran  persepsi  pengguna  terkait usability aplikasi Maluku Malut Mobile Banking menggunakan SUS.
Tabel 1. Hasil Pengukuran SUS Respon den Jumlah Skor Hasil Akhir Respon den Jumlah Hasil Akhir Respon den Jumlah Skor Hasil Akhir 1 33 82,5 32 29 72,5 63 26 65 2 32 80 33 36 90 64 36 90 3 21 52,5 34 31 77,5 65 24 60 4 26 65 35 33 82,5 66 36 90 5 36 90 36 19 47,5 67 40 100 6 40 100 37 25 62,5 68 36 90 7 31 77,5 38 20 50 69 40 100 8 35 87,5 39 40 100 69 40 100 9 40 100 40 38 95 71 36 90 10 28 70 41 40 100 72 31 77,5 11 28 70 42 34 85 73 31 77,5 12 36 90 43 32 80 74 40 100 13 8 20 44 40 100 75 36 90 14 33 82,5 45 40 100 76 29 72,5 15 23 57,5 46 36 90 77 29 72,5 16 26 65 47 30 75 78 39 97,5 17 39 97,5 48 16 40 79 40 100 18 35 87,5 49 36 90 80 23 57,5 19 25 62,5 50 32 80 81 30 75 20 29 72,5 51 32 80 82 31 77,5 21 29 72,5 52 33 82,5 83 3 7,5 22 25 62,5 53 26 65 84 20 50 23 32 80 54 25 62,5 85 40 100 24 23 57,5 55 32 80 86 30 75 25 31 77,5 56 32 80 87 32 80 26 30 75 57 40 100 88 33 82,5 27 34 85 58 28 70 89 17 42,5 28 32 80 59 31 77,5 90 40 100 29 28 70 60 40 100 91 23 57,5 30 26 65 61 31 77,5 31 20 50 62 39 97,5 Skor Rata-Rata (Skor SUS) : 77,5
Skor  rata-rata  (pada  persentil  ke-50)  adalah  68,  yang  menyiratkan  bahwa  skor  yang lebih  besar  dari  68 berada  di  atas  rata-rata  dan  skor  yang  lebih  rendah  dari  68  berada  di bawah  rata-rata.  Skor  SUS  dapat  di  interpretasikan  berdasarkan  beberapa  pengukuran seperti yang dilihat pada gambar 8.
Gambar 8. Interpretasi Skor Pengukuran SUS

## KESATRIA: Jurnal Penerapan Sistem Informasi (Komputer & Manajemen)
Hasil  interpretasi  pengukuran  SUS  mendapatkan  skor  77,5.  Hasil  skor  tersebut menunjukan  bahwa  aplikasi  Maluku  Malut  Mobile  Banking  mendapatkan  hasil Good pada adjective  rating ,  mendapatkan “Grade C ” pada grade  scale ,  dan  mendapatkan “ Acceptable” pada acceptability  ranges .  Hasil  ini  menunjukan  bahwa  pengguna memberikan  respon  positif  dan  menerima usability aplikasi  Maluku  Malut  Mobile Banking.

## 4. Kesimpulan
Penelitian  ini  bertujuan  untuk  mengukur User  Experience menggunakan User Experience Questionaire dan Usability menggunakan System Usability Scale dari aplikasi Maluku  Malut  Mobile  Banking.  Hasil  pengukuran User  Experience menunjukan  bahwa aplikasi Maluku Malut Mobile Banking meiliki kesan yang positif pada aspek daya tarik, kejelasan, efisiensi, ketepatan, simulasi dan aspek kebaruan. Hasil pengukuran UEQ juga menunjukan  evaluasi benchmark aplikasi  Maluku  Malut  Mobile  Banking  menunjukan aspek  Daya  Tarik,  Kejelasan,  Efisiensi,  Ketepatan,  dan  Stimulasi  berada  pada  kategori Excellent sedangkan aspek Kebaruan berada pada kategori Above Average . Hasil pengukuran SUS pada aplikasi Maluku Malut Mobile Banking mendapatkan skor 77,5 mendapatkan Grade C pada grade scale, Acceptable pada adjective ranges . Hasil ini menunjukan  bahwa  pengguna  memiliki  respon  yang  positif  terhadap Usability dari aplikasi Maluku Malut Mobile Banking.

## Daftar Pustaka
[1] A. N. Makmuriya dan K. M. Vanni, “Analisis Faktor-Faktor Yang Mempengaruhi Kepuasan  Nasabah  Dalam  Menggunakan  Layanan  Mobile  Banking  (Studi  Kasus Pada Nasabah Bank Syariah Mandiri di Kota Semarang).”.
[2] Badaruddin  dan  Risma,  “Pengaruh  Fitur  Layanan  Dan  Kemudahan  Terhadap Minat Menggunakan Mobile Banking (Studi Pada Masyarakat Desa Rantau Rasau Kecamatan  Berbak)  The  Influence  Of  Service  Feature  And  Ease  Of  Use  On Interest  Of  Using  Mobile  Banking  (Study  on  the  Village  Community  of  Rantau Rasau Berbak District).”
[3] R. Hiariej, N. Setiyawati, F. Teknologi, D. Informasi, U. Kristen, dan S. Wacana, “Evaluasi User Experience Dan Usability Sistem Informasi Tugas Akhir Fti Uksw Menggunakan  User  Experience  Questionnaire  Dan  System Usability Scale,” JOISIE  Journal  Of  Information  System  And  Informatics  Engineering ,  vol.  6,  no. Desember, hlm. 58–63, 2022.
[4] M.  A.  Yazid  dan  A.  H.  Jantan,  “User  Experience  Design  (UXD)  of  Mobile Application: An Implementation of a Case Study”.
[5] A. Svilar dan J. Zupančič, “User experience with security elements in internet and mobile  banking,” Organizacija ,  vol.  49,  no.  4,  hlm.  251–260,  Des  2016,  doi: 10.1515/orga-2016-0022.
[6] B. Lei dan ․jungmann  Lee, “Analysis on Continuous Usage  Intention of Chinese Mobile  Games  from  the  Perspective  of  Experiential  Marketing  and  Network Externality  Journal  Of  I  Nformati  On  Technology  Appli  Cati  Ons  & Management,” J.  Inf.  Technol.  Appl. Manag ,  vol.  27,  no. 6,  hlm.  197–224,  2020, doi: 10.21219/jitam.2020.27.6.197.
[7] H.  Hyun  dan  J.  Marsden,  “The  Importance  of  User  Experience  in  Brand Experience,” 2023. doi: 10.5772/intechopen.113141.
[8] H.  A.  Ramadhan,  B.  M.  Purwaamijaya,  dan  R.  G.  Guntara,  “Pengaruh  User Experience  terhadap  Customer  Satisfaction  pada  Aplikasi  Seluler  Streaming Vidio,” JTIM :  Jurnal  Teknologi  Informasi  dan  Multimedia ,  vol.  5,  no.  2,  hlm.
122–133, Agu 2023, doi: 10.35746/jtim.v5i2.367.

## KESATRIA: Jurnal Penerapan Sistem Informasi (Komputer & Manajemen)
[9] P.  Weichbroth,  “ Usability Of  Mobile  Applications:  A  Systematic  Literature Study,” IEEE Access , vol. 8, hlm. 55563–55577, 2020, doi: 10.1109/ACCESS.2020.2981892.
[10] N.  Setiyawati  dan  D.  H.  Bangkalang,  “The  Comparison  of  Evaluation  on  User Experience and Usability of Mobile Banking Applications Using User Experience Questionnaire  and  System Usability Scale,”  MDPI  AG,  Sep  2022,  hlm.  87.  doi: 10.3390/proceedings2022082087.
[11] A.  Adel,  V.  Gay,  dan  A.  Ryan,  “The  Evaluation  of  the Usability in  Mobile Applications,” hlm. 23–24, 2022, [Daring]. Tersedia pada:
https://www.researchgate.net/publication/365873044.
[12] J.  S.  Chen,  T.  T.  Y.  Le,  dan  D.  Florence,  “ Usability and  Responsiveness  of Artificial  Intelligence  Chatbot  on Online Customer  Experience  in  E-retailing,” International Journal of Retail and Distribution Management , vol. 49, no. 11, hlm. 1512–1531, Okt 2021, doi: 10.1108/IJRDM-08-2020-0312.
[13] S.  Viski  Izabal,  I.  Aknuranda,  dan  H.  Muslimah  Az-Zahra,  “Evaluasi  dan Perbaikan  User  Experience  Menggunakan  User  Experience  Questionnaire  (UEQ) dan  Focus  Group  Discussion  (FGD)  pada  Situs  Web  FILKOM  Apps  Mahasiswa Fakultas  Ilmu  Komputer  Universitas  Brawijaya,”  2018.  [Daring].  Tersedia  pada: http://j-ptiik.ub.ac.id.
[14] M. Schrepp, “User Experience Questionnaire Handbook.” [Daring]. Tersedia pada: www.ueq- online .org.
[15] J. Sauro, “Measuring Usability with  the  System Usability Scale (SUS).” Diakses:
27 Oktober 2023. [Daring]. Tersedia pada: https://measuringu.com/sus/.
[16] J.  Brooke,  “SUS:  A  Quick  And  Dirty Usability Scale  Display  Design  For  Fault Diagnosis View Project.” [Daring]. Tersedia pada: https://www.researchgate.net/publication/228593520.
[17] J. R. Lewis dan J. Sauro, “ Item Benchmark s for the System Usability Scale,” 2018. [Daring]. Tersedia pada: https://www.researchgate.net/publication/330225055.