## Analisis Pengalaman Pengguna dengan Metode System Usability Scale dan User Experience Questionnaire pada Aplikasi Kampus Gratis
Taufik Ridwan* 1 , Ririn Yulia Ekadianti 2 , Nono Heryana 3
1 Universitas Singaperbangsa Karawanng
2,3 Ssistem Informasi Universitas Singaperbangsa Karawang E-mail: * 1 2010631250073@student.unsika.ac.id , 2 nono@unsika.ac.id, 3 taufik.ridwan@cs.unsika.ac.id

## Abstrak
Aplikasi Kampus Gratis merupakan sebuah aplikasi mobile yang dibuat  oleh tim yang ada  di  PT.  Menara  Indonesia  (M-Knows  Consulting)  untuk  mahasiswa.  Aplikasi mobile ini dirancang  untuk  memberikan  akses  belajar  yang  mudah  bagi  peserta  tanpa  syarat.  Namun Aplikasi  ini  masih  dalam  tahap final  launching pada  internal  perusahaan.  Mengingat  aplikasi Kampus  Gratis  terbilang  baru,  belum  ada  tinjauan  atau  evaluasi  formal  yang  dilakukan  untuk menilai sejauh mana aplikasi dapat memenuhi kebutuhan dan kelayakan oleh pengguna. Tujuan dari penelitian ini adalah untuk mengetahui sejauh mana tingkat usability pada aplikasi Kampus Gratis  berdasarkan  efektivitas,  efisiensi  dan  kepuasan  pengguna.  Serta  mengetahui  tingkat pengalaman  pengguna  berdasarkan attractiveness,  perspicuity,  efficiency,  dependablity, stimulation, novelty pada aplikasi Kampus Gratis. Penelitian ini berhasil mengumpulkan sampel sebanyak 44 responden dengan menggunakan teknik random sampling. Metode analisis data yang diterapkan yaitu analisis kuantitatif dengan pengujian validitas dan reliabilitas. Hasil  pada tingkat usability menunjukkan bahwa Aplikasi Kampus Gratis memberikan tingkat kepuasan, efektivitas dan  efisiensi  yang  cukup  baik  bagi  para  penggunanya.  Sementara  itu,  hasil  pada  tingkat pengalaman  pengguna  berdasarkan  variabel attractiveness (1,18), dependability (1,31), stimulation (1,20 ) ,  dan novelty (0,77)  mendapatkan  kategori  di  atas  rata-rata.  Namun  untuk variabel perspicuity (1,06), efficiency (0,94) mendapatkan kategori di bawah rata-rata.
Kata  Kunci —  Analisis,  Pengalaman  Pengguna, System  Usability  Scale , User  Experience Questionnaire

## Abstract
Kampus Gratis application is a mobile application created by the team at PT Menara Indonesia  (M-Knows  Consulting)  for  students.  This  mobile  application  is  designed  to  provide easy access to learn for participants without conditions. However, this application is still in the final  launching  stage  within  the  company.  Considering  that  the  Kampus  Gratis  application  is relatively new, no formal review or evaluation has been conducted to assess the extent to which the  application  can  meet  the  needs  and  feasibility  of  users.  The  purpose  of  this  study  is  to determine the extent of the usability level of the Kampus Gratis application based on effectiveness, efficiency,  and  user  satisfaction.  As  well  as  knowing  the  level  of  user  experience  based  on attractiveness, perspicuity, efficiency, dependability, stimulation, novelty in the Kampus Gratis application. This Study managed to collect a sample of 44 respondents using random sampling techniques. The data analysis method applied is quantitative analysis with validity and reliability testing. The result at the usability level shows that the Kampus Gratis application provides a fairly good level of satisfaction, effectiveness and efficiency for its users. While the result at the user experience level based on the variables of attractiveness (1.18) , dependability (1.31) , stimulation (1.20) , novelty  (0.77)  get  above  average  categories.  However,  for  perspicuity  (1.06)  and efficiency (0.94) variables get a category below average.
Keywords — Analysis , User Experience , System Usability Scale , User Experience Questionnaire
Diajukan: 10 Juni 2024 Disetujui: 16 Juli 2024 Dipublikasi: 20 Juli 2024

## 1. PENDAHULUAN
Pendidikan  menempati  posisi  yang sangat  penting  dalam  kehidupan  manusia, karena  berfungsi  sebagai  landasan  untuk memupuk pertumbuhan individu dan kemajuan  masyarakat[1].  Dalam  proses pembelajaran, terdapat sejumlah faktor yang memengaruhi  proses  pembelajaran.  Salah satu faktor  yang  berpengaruh  adalah  faktor ekonomi. Berdasarkan hasil Survei Ekonomi Nasional  (Susenas)  tahun  2021,  sebanyak 76% keluarga menyatakan bahwa anak-anak mereka  terpaksa  putus  sekolah  karena kendala  ekonomi  [2].  Hal  ini  membuat  M- Knows  Consulting,  memutuskan  untuk membuat  aplikasi  Kampus  Gratis,  sebuah platform digital  untuk  memberikan  akses pendidikan dengan gratis kepada mahasiswa di seluruh Indonesia.
Aplikasi ini masih dalam tahap final launching pada internal perusahaan.
Mengingat aplikasi Kampus Gratis terbilang baru,  belum  ada  tinjauan  atau  evaluasi formal yang dilakukan untuk menilai sejauh mana  aplikasi  dapat  memenuhi  kebutuhan dan  kelayakan  oleh  pengguna.  Perangkat lunak  memiliki  faktor  yang  sangat  penting terhadap  kualitas  produk.  Oleh  karena  itu, diperlukan  analisis  kebutuhan.  Salah  satu metode  evaluasi  yang  digunakan  adalah System  Usability  Scale. Selain  pengukuran kebutuhan  dan  kelayakan  aplikasi  oleh pengguna, juga perlu dilakukan pengukuran pengalaman pengguna dengan metode User Experience Questionnaire . System Usability Scale (SUS merupakan suatu metode yang bersifat quick and  dirty. Metode  ini  umum  digunakan untuk  menilai  tingkat  kegunaan  suatu aplikasi  atau  sistem  dengan  menggunakan kuesioner [3]. User Experience Questionnaire merupakan  alat  penilaian untuk pengalaman pengguna yang memungkinkan mendapatkan evaluasi secara  cepat  terhadap  suatu  produk  atau sistem. Dalam menyajikan beberapa
pertanyaan  yang  terstruktur,  metode  UEQ menilai  aspek-aspek  pengalaman pengguna dengan melibatkan 6 skala pengukuran yaitu daya tarik, efisiensi, ketergunaan, ketepatan, stimulasi serta kebaruan[4].
Jakob  Nielsen  mengatakan  pada artikelnya  yang  berjudul “Usability  101: Introduction to Usability” usability merupakan suatu atribut yang mengevaluasi seberapa mudah pengguna dalam menggunakan  antarmuka  pengguna  atau user interface [5] . Dalam penelitian Kaya, Gumussoy,  dan  Ozturk  Istilah usability disebutkan  pertama  kali  oleh  ISO  9241-11 (1998)    merupakan  sejauh  mana  suatu aplikasi dapat dipergunakan oleh pengguna dan meraih tujuan tertentu dengan efektivitas,  efisiensi,  atau  kepuasan  dalam suatu situasi penggunaan tertentu [6] .
Seperti pada penelitian terkait evaluasi usability pada  aplikasi  Permata mobile X  menggunakan  metode System Usability Scale (SUS) dan Usability Testing untuk mengukur tingkat learnability , efficiency , error , satysfaction [7] . Kemudian pada penelitian yang lain mengenai evaluasi ketergunaan  aplikasi  Frostid,    penelitian tersebut  berhasil    menggunakan  metode System Usability Scale (SUS) yang berjalan dengan baik serta memaksimalkan pengalaman pengguna dalam menggunakan aplikasi  [8].  Selain  itu  pada  analisis ketergunaan dan pengalaman pengguna pada aplikasi  Musea  AR  dengan  menerapkan metode System  Usability  Scale dan User Experience Qestionnaire menghasilkan kesimpulan bahwa pada aplikasi Musea AR pada  uji  kelayakan  dengan  metode  SUS mendapat  hasil  cukup  sedangkan  dalam pengalaman pengguna dengan metode UEQ mendapatkan hasil bad [9].

## 2. METODE PENELITIAN
Pada pelaksanaan penelitian
usability  testing menggunakan  metode System  Usability  Scale (SUS)  dan User
Experience Questionnaire (UEQ),
metodologi yang diterapkan adalah pendekatan  penelitian  kuantitatif  yang melibatkan serangkaian tahapan seperti pada Gambar 1:
Gambar 1. Rancangan Penelitian

## 2.1. Studi Literatur
Pada tahap pertama dilakukan studi literatur untuk mencari informasi mengenai topik  penelitian.  Informasi  diperoleh dengan  mengumpulkan  sumber-sumber penelitian  yang  valid  dan  akurat,  seperti jurnal,  buku,  artikel  dan  penelitian sebelumnya.

## 2.2 Pengumpulan Data
Setelah  dilakukan  studi  literatur, tahap  berikutnya  melakukan  pengumpulan data  berupa  penyebaran  kuesioner  melalui Google  Form yang  disebarkan  kepada mahasiswa peserta magang MSIB Batch 5 di M-Knows  Consulting  yang  menggunakan aplikasi  Kampus  Gratis  dengan  jumlah responden  44.  Terdiri  dari  10  pertanyaan yang  dibuat  berdasarkan  metode system usability  scale seperti  pada  Gambar  2 berikut:
Gambar 2. Pertanyaan Kuesioner SUS
(Sumber: Edi Susilo, 2019)
Sementara  untuk  metode user experience  questionnaire terdiri  dari  26 pertanyaan seperti pada Gambar 3 berikut:
Gambar 3. Pertanyaan Kuesioner UEQ
(Sumber: ueq-online.org)

## 2.3. Analisis Data
Sesudah  melakukan  pengambilan data dari para responden yang telah mengisi kuesioner,  maka  diperlukan  pengujian kebenaran  data  dalam  kuesioner  dengan menerapkan uji validitas dan uji reliabilitas. Peneliti  menggunakan tools  Statistical Program for Social Science (SPSS) versi 26 dalam melakukan pengujian tersebut. Setelah  melakukan  pengujian  validitas  dan
reliabilitas,  langkah  selanjutnya  melakukan perhitungan  berdasarkan  metode system usability scale dan user experience questionnaire.

## 2.4 Penyusunan Laporan
Tahap  terakhir  peneliti  melakukan penyusunan  laporan  akhir,  tahap  ini  akan mendapatkan kesimpulan dan saran dari data yang sudah diolah dalam penelitian ini.

## 3. HASIL DAN PEMBAHASAN
3.2 Uji Validitas dan Reliabilitas
Dasar pengambilan keputusan dalam  uji  validitas  dilakukan  dengan membandingkan nilai r hitung dengan r tabel. Dalam menentukan r tabel yaitu df =  N  –  2  yang  di  mana  N  merupakan jumlah sampel. Sampel pada penelitian ini  berjumlah  44,  maka  r  tabel  nya adalah df = 44 – 2, yaitu 42. Berdasarkan r  tabel product  moment dengan  tingkat signifikasi 0,05 nilai r tabel nya adalah 0,304.
Tabel 1. Hasil Uji Validitas SUS
Item  r Hitung r Tabel Ket. Q1 0,585 0,304 Valid Q2 0,809 0,304 Valid Q3 0,801 0,304 Valid Q4 0,761 0,304 Valid Q5 0,662 0,304 Valid Q6 0,771 0,304 Valid Q7 0,826 0,304 Valid Q8 0,838 0,304 Valid Q9 0,820 0,304 Valid Q10 0,535 0,304 Valid
Tabel 2. Hasil Uji Validitas UEQ Item r Hitung r Tabel Ket. Q1 0,804 0,304 Valid Q2 0,781 0,304 Valid Q3 0,674 0,304 Valid Q4 0,692 0,304 Valid Q5 0,538 0,304 Valid Q6 0,755 0,304 Valid Q7 0,706 0,304 Valid Q8 0,428 0,304 Valid
Q9 0,465 0,304 Valid Q10 0,482 0,304 Valid Q11 0,688 0,304 Valid Q12 0,613 0,304 Valid Q13 0,676 0,304 Valid Q14 0,790 0,304 Valid Q15 0,603 0,304 Valid Q16 0,827 0,304 Valid Q17 0,463 0,304 Valid Q18 0,733 0,304 Valid Q19 0,657 0,304 Valid Q20 0,726 0,304 Valid Q21 0,729 0,304 Valid Q22 0,786 0,304 Valid Q23 0,782 0,304 Valid Q24 0,705 0,304 Valid Q25 0,748 0,304 Valid Q26 0,730 0,304 Valid
Pada Tabel 1 dan Tabel 2 menampilkan data r hitung lebih besar dari r tabel, maka semua pertanyaan pada setiap kuesioner dinyatakan valid.
Penilaian reliabilitas menggunakan rumus Cronbach's  Alpha merupakan  indikasi reliabilitas  yang  memadai,  jika  nilai Cronbach’s  Alpha >  0,7  maka  realibilitas dianggap konsisten.
Tabel 3. Hasil Uji Realibilitas SUS Cronbach’s Alpha Alpha Ket. 0,906 0,70 Konsisten Tabel 4. Hasil Uji Realibilitas UEQ Cronbach’s Alpha Alpha Ket. 0,951 0,70 Konsisten Pada Tabel 3 dan Tabel 4 menampilkan data uji realibiltas yang memiliki lebih dari nilai
Cronbach’s Alpha maka kuesioner tersebut dianggap reliable atau konsisten.

## 3.2 Hasil Menggunakan Metode SUS
Hasil  kuesioner  merupakan  hasil  dari penyebaran  kuesioner kepada  mahasiswa peserta magang MSIB Batch 5 di M-Knows Consulting  yang  menggunakan  aplikasi Kampus Gratis .

## Tabel 6. Hasil Skor SUS
R Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8 Q9 Q10 Jumlah Jumlah x 2,5 R1 2 2 3 1 3 3 3 3 2 1 23 57,5 R2 3 2 4 3 2 1 2 1 2 0 20 50 R3 2 3 3 1 2 2 1 3 1 0 18 45 R4 2 3 3 4 2 2 3 3 2 2 26 65 R5 1 1 1 1 2 0 1 1 1 0 9 22,5 R6 2 3 3 2 2 3 2 2 2 2 23 57,5 R7 2 4 4 4 2 2 4 4 4 4 34 85 R8 0 0 0 0 0 0 0 0 0 0 0 0 R9 3 2 2 2 2 2 3 2 2 2 22 55 R10 4 3 3 4 3 3 3 3 3 1 30 75 ........................................................................................... R44 2 1 2 2 2 1 3 1 2 1 17 42,5 Skor hasil rata-rata (hasil akhir) 1073 60,9 Berdasarkan Tabel 6 diperoleh hasil
akhir  untuk  aplikasi  Kampus  Gratis  yaitu 1073 dan mendapat skor rata-rata nya 60,9. maka  untuk  kategori acceptability  ranges termasuk  pada  kategori Marginal ,  untuk kategori grade  scale yaitu  D  serta  kategori adjective  ratings mendaptkan  hasil  OK.
Berikut  pada Gambar 4 merupakan gambar percentile range atau SUS skor.

## Gambar 4. Skor SUS
3.3 Hasil Menggunakan Metode UEQ
Data dari seluruh responden
dimasukkan ke dalam sheet excel , sehingga data  akan dihitung secara otomatis. Setelah data dimasukkan akan ditransformasi sesuai perhitungan  metode  UEQ  yaitu  menjadi rentang  nilai  dari  -3  hingga  +3.  Angka  -3 mewakili  nilai  yang  paling  negatif  dan  +3 mewakili nilai yang paling positif.
Hasil  perhitungan  menggunakan Data Analysis  Tool akan  memberikan kesimpulan pada setiap skala penilaian. Jika hasil  dari  setiap  variabel  pada  kuesioner UEQ  mencapai  rata-rata  di  atas  0,8,  itu menandakan  penilaian  yang  positif.  Jika nilai  rata-ratanya  berada  di  antara  -0,8  dan 0,8,  itu  menunjukkan  evaluasi  yang  netral, sementara  jika  nilai  rata-ratanya  di  bawah 0,8, itu menunjukkan evaluasi yang negatif.
Tabel 7. Rata-rata impresi dan varian Skala Mean Variance Attractiveness (Daya Tarik) 1,182 1,07 Perspicuity (Kejelasan) 1,063 1,42 Efficiency (Efisiensi) 0,943 1,11 Dependability (Ketepatan) 1,313 0,84 Stimulation (Stimulasi) 1,205 1,33 Novelty (Kebaruan) 0,773 1,15
Tabel 7 menunjukkan hasil rata-rata impresi  dan  varian  skala  yang  didapat  dari perhitungan  data  pada  variabel  kuesioner user experience .
Gambar 5. Grafik Rata-rata
Dapat dilihat pada Gambar 5 grafik rata-rata  pada  setiap  variabel  menunjukkan hasil  yang  positif,  kecuali  pada  variabel novelty yaitu menunjukka penilain netral.
-3 -2 -1 0 1 2 3
Pengelompokan hasil evaluasi
berdasarkan nilai rata-rata dan varians yang di  kelompokkan  menjadi  evaluasi  negatif, positif  dan  netral  seringkali  belum  mampu memberikan  pemahaman  yang  jelas  bagi para  praktisi  dalam  memahami  hasil evaluasi  suatu  produk.  Maka  diperlukan
perbandingan  dengan  produk  yang  telah  di evaluasi  menggunakan  metode  UEQ.  Data Bencmark digunakan  untuk  mengukur kualitas  suatu  produk  dengan  standar  rata- rata yang sudah ada.
Tabel 8. Perbandingan Hasil set Data Bencmark
Scale Mean Comparisson to bencmark Interpretation Attractiveness 1,18 Above Average 25% of result better , 50% of result worse Perspicuity 1,06 Bellow Average 50% of result better , 25% of result worse Efficiency 0,94 Bellow Average 50% of result better , 25% of result worse Dependablity 1,31 Above Average 25% of result better , 50% of result worse Stimulation 1,20 Above Average 25% of result better , 50% of result worse Novelty 0,77 Above Average 25% of result better , 50% of result worse
Berdasarkan  Tabel  8  variabel attractiveness nilai rata-rata yang diperoleh yaitu  (1,18),  variabel dependability nilai rata-rata  yang  diperoleh  yaitu  (1,31), variabel stimulation nilai  rata-rata  yang diperoleh yaitu (1,20), variabel novelty nilai rata-rata  yang  diperoleh  yaitu  (0,77). Sementara  variabel perspicuity nilai  rata- rata  yang  diperoleh  yaitu  (1,06),  variabel efficiency nilai rata-rata yang diperoleh yaitu
(0,94)  termasuk  pada  kategori bellow average (di bawah rata-rata).
Gambar 6. Grafik set standar Bencmark

## 4. KESIMPULAN
Berdasarkan  dari  penelitian yang  telah  dilakukan,  maka  dapat disimpulkan sebagai berikut:
1. Tingkat  pengalaman  pengguna  pada aplikasi  Kampus  Gratis  menggunakan metode system usability scale
mendapatkan  skor  akhir  rata-rata  60,9. Dapat diartikan bahwa aplikasi Kampus Gratis  termasuk  dalam  kategori  OK pada  penilaian adjective  rating , dan mendapatkan grade D  pada penilain grade  scale .  Namun,  pada  penilaian
acceptability termasuk  dalam  kategori marginal atau cukup bisa diterima oleh pengguna.
2. Secara  umum  hasil  evaluasi  aplikasi Kampus Gratis menunjukkan hasil yang positif, namun perlu adanya peningkatan kreativitas dan inovasi dalam pengembangan. Sementara itu perbandingan dengan bencmark menunjukkan attractiveness (1,18), dependability (1,31), stimulation (1,20), dan novelty (0,77) mendapatkan kategori above  average (di  atas  rata-
rata). Namun untuk variabel perspicuity (1,06), efficiency (0,94)  mendapatkan kategori bellow average (di bawah rata- rata)

## 5. SARAN
Diharapkan penelitian selanjutnya  menggunakan  metode berbeda  dan  menambah  jumlah responden untuk memperdalam hasil  analisis.  Aplikasi  Kampus Gratis  perlu  dikembangkan  dan disempurnakan secara berkala untuk kualitas yang baik.

## DAFTAR PUSTAKA
[1] D.  Komalasari  and  M.  Ulfa,
-1.00 -0.50 0.00 0.50 1.00 1.50 2.00 2.50 Attractiveness Perspicuity Efficiency Dependability Stimulation Novelty Excellent Good Above Average Below Average Bad Mean
“Pengujian Usability Heuristic Terhadap Perangkat Lunak Pembelajaran Matematika,” MATRIK ,  vol.  19,  2020,  doi: https://doi.org/10.30812/matrik.v19i
2.687.
[2] V.  Azkiya,  “Rata-rata  Biaya  Kuliah
di DI Yogyakarta Tertinggi Nasional.” [Online].  Available:
https://databoks.katadata.co.id/datap ublish/2022/07/01/rata-rata-biaya- kuliah-di-di-yogyakarta-tertinggi- nasional
[3] A. Kusuma, R. Indah, and F. Amalia, “Evaluasi Usability Pada Website E- commerce XYZ Dengan Menggunakan  Metode  Cognitive Walkthrough  dan  System  Usability Scale (SUS),” JPTIK , vol. 3, 2019.
[4] D.  M.  Schrepp, User  Experience Questionnaire Handbook . 2023.
[5] J. Nielsen, “Usability 101:
Introduction  to  Usability,”  Nielsen Norman Group. [Online]. Available: https://www.nngroup.com/articles/u sability-101-introduction-to- usability/
[6] A.  Kaya,  C.  A.  Gumussoy,  and  R.
Ozturk,  “Usability  Measurement  of Mobile  Applications  with  System Usability  Scale  (SUS),”  2020,  doi: https://doi.org/10.1007/978-3-030- 03317-0_32.
[7] I.  Isnainrajab,  S.  H. Wijoyo,  and  A. R. Perdanakusuma, “Evaluasi UsabilityPada Aplikasi PermataMobile X Dengan Menggunakan Metode Usability TestingDan System Usability Scale(SUS),” Pengemb.  Teknol.  Inf. dan Ilmu Kompute , vol. 4, 2020.
[8] A.  Pratama,  A.  Faroqi,  and  E.  P. Mandyartha, “Analisis Tingkat Usability  Pada  Aplikasi  Frostid Menggunakan System Usability Scale (SUS),” Edutic , vol. 8, 2021.
[9] G.  P.  Putra  and  M.  N.  Al  Azam,
“Analisis  Usability  Dan  User Experience Pada Aplikasi Musea AR Dengan  Metode  System  Usability Scale dan USER Experience Qestionnaire,” JATI  (Jurnal  Mhs.
Tek. Inform. , vol. 7, 2023.