## EVALUASI USER EXPERIENCE DAN USABILITY SISTEM INFORMASI AKADEMIK MENGGUNAKAN METODE USER EXPERIENCE QUESTIONNAIRE DAN SYSTEM USABILITY SCALE
Mutiara Fajaria 1) , Ken Ditha Tania 2*) .
1,2 Fakultas Ilmu Komputer, Universitas Sriwijaya, Palembang, Indonesia email: 1 mutiarafajaria723@gmail.com, 2 kenya.tania@gmail.com

## Abstract
Sriwijaya  University's  Academic  Information  System  (SIMAK  UNSRI)  plays  an  important  role  in improving student services. Therefore, it is necessary to conduct an evaluation to find out how users perceive  this  website.  This  research  aims  to  evaluate  the  usability  and  user  experience  of  SIMAK UNSRI by using the User experience questionnaire (UEQ) and System Usability Scale (SUS) methods. The data was analyzed based on 4 different batches, namely batches 2020 to 2023. The results of the UEQ analysis show that the class of 2023 has a better assessment than the class of 2020-2022, the highest score in all classes is on the perspicuity scale with an average value of 1.790 while the lowest score is on the novelty scale with an average value of  -0.617. The results in the SUS analysis, the highest score obtained by the 2022 batch was 71.525 while the lowest score was obtained in the 2020 batch which was 68.2, overall all batches were in the "Good" category. It can be concluded that the SIMAK UNSRI website is acceptable and the class of 2020-2023 already has a good user experience, but it still needs to be improved, especially in the aspect of novelty.
Keywords:  Evaluation,  Academic  Information  System,  User  Experience  Questionnaire,  System Usability Scale.

## Abstract
Sistem Informasi Akademik Universitas Sriwijaya (SIMAK UNSRI) memiliki peranan penting dalam meningkatkan  pelayanan  kepada  mahasiswa.  Oleh  karena  itu  perlu  dilakukan  evaluasi  untuk mengetahui  bagaimana  pandangan  pengguna  terhadap  website  ini.  Penelitian  ini  bertujuan  untuk mengevaluasi usability dan user  experience SIMAK  UNSRI  dengan  menggunakan  metode User experience  questionnaire (UEQ)  dan System  Usability  Scale (SUS).  Data  dianalisis  berdasarkan  4 angkatan berbeda yaitu angkatan 2020 sampai 2023. Hasil analisis UEQ menunjukan bahwa angkatan 2023 memiliki penilaian yang lebih baik dibandingkan dengan angkatan 2020-2022, nilai tertinggi pada semua angkatan berada pada skala perspicuity dengan nilai rata rata yaitu 1.790 sedangkan nilai terendah  berada  pada  skala novelty dengan  nilai  rata  rata  -0.617.  Hasil  pada  analisis  SUS,  skor tertinggi  diperoleh  angkatan  2022  yaitu  71.525  sedangkan  skor  terendah  diperoleh  pada  angkatan 2020  yaitu  68.2,  secara  keseluruhan  semua  angkatan  masuk  dalam  kategori  “Good”.  Dapat disimpulkan bahwa website SIMAK UNSRI dapat diterima dan angkatan 2020-2023 sudah memiliki pengalaman  pengguna  yang  baik,  tetapi  masih  perlu  dilakukan  peningkatan  terutama  pada  aspek kebaruan.
Kata  Kunci :  Evaluasi,  Sistem  Informasi  Akademik ,  User  Experience  Questionnaire,  System Usability Scale.

## 1. PENDAHULUAN
Pemanfaatan  teknologi  informasi  terus meningkat  dari  tahun  ke  tahun.  Berdasarkan data  statistic  dari  We  Are  Social,  terjadi peningkatan  sebanyak  5,44%  dalam  jumlah pengguna internet di Indonesia jika dibandingkan  dengan  tahun  sebelumnya.  Per januari  2023,  penggunaan  internet  mencapai 213  juta  orang  atau  setara  dengan  77%  dari
total  populasi  Indonesia.  Perkembangan teknologi informasi ini mendorong perguruan tinggi  untuk    terus  mengembangkan  layanan yang  dapat  memberikan  peluang  untuk meningkatkan  layanan  kepada  mahasiswa. Salah  satu  contoh  pemanfaatan  teknologi informasi untuk pelayanan kepada mahasiswa adalah penggunaan sistem informasi akademik mahasiswa  (Anggraini  et  al.,  2020).  Sistem Informasi  Akademik  adalah  platform  khusus
yang dibuat untuk melihat dan mengelola data akademik mahasiswa dan mengelola prosedur operasional pada lembaga pendidikan (Sari et al., 2021).
Universitas  Sriwijaya  adalah  salah  satu perguruan  tinggi  yang  juga  menggunakan sistem  informasi  akademik  untuk  mengelola dan  memberikan  informasi  mengenai  data- data  akademik  seluruh  mahasiswa  secara elektronik. Sistem Informasi Akademik
(SIMAK)  di  Universitas  Sriwijaya  ini dimanfaatkan  untuk  mengelola  administrasi akademik seperti mengisi Kartu Rencana Studi (KRS), mengakses nilai pada Kartu Hasil Studi (KHS),  serta  melihat  data  transkrip  nilai. Dengan  menggunakan  sistem  informasi akademik,  mahasiswa  dapat  secara  efektif memantau seluruh data terkait akademik.
Kualitas  sistem  informasi  akademik  ini sangat  berpengaruh  terhadap  kelancaran kegiatan  akademik  (Anggraini  et  al.,  2020). Sistem  informasi  akademik  yang  sulit digunakan dapat mengurangi efisiensi pengguna dalam menemukan informasi penting, hal ini dapat berdampak pada kinerja akademik  secara  keseluruhan  (Sanjaya  & Febriandirza,  2023).  Maka  dari  itu,  pihak perguruan  tinggi  perlu  melakukan  evaluasi terhadap  website  sistem  informasi  akademik agar  dapat  memenuhi  tujuannya.  Untuk menjamin  sebuah  layanan  dapat  memenuhi tujuannya  maka  perlu  untuk  mengetahui bagaimana  pandangan  pengguna  terhadap layanan  tersebut  (Tujni  &  Syakti,  2019). Evaluasi  pengalaman  pengguna  penting dilakukan mengingat website sistem informasi akademik ini merupakan  website  yang  sering digunakan  oleh  mahasiswa  dan  berperan penting  dalam mengelola  data-data  akademik mahasiswa (Sukmasetya et al., 2020). Evaluasi berguna  untuk  mengindentifikasi  kelebihan dan kekurangan dari suatu sistem (Maricar et al., 2021).
Metode  yang  digunakan  pada  penelitian ini adalah User Experience Questionnaire dan System Usability Scale . Penggabungan metode UEQ  dan  SUS  bertujuan  untuk  memperoleh wawasan  berharga  yang  berkaitan  dengan pengalaman pengguna dan kegunaan sehingga dapat meningkatkan dan menambah pemahaman  yang  lebih  menyeluruh  (Ibrahim et  al.,  2023).  Penggunaan  metode  SUS dilakukan  untuk  mengevaluasi  penerimaan pengguna  terhadap  tampilan  website  dengan menganalisis  3  kelompok  yaitu acceptability
ranges (rentang  penerimaan) ,  grade  scale skala  kelas) , dan adjective  ratings (rentang kata sifat) sedangkan metode UEQ dilakukan untuk  mengevaluasi  pengalaman  pengguna dengan  menganalisis  dari  sisi attractiveness, perspicuity, dependability, efficiency,
stimulation dan novelty (Yulianto et al., 2020). Oleh karena itu, menggabungkan metode UEQ dan  SUS  diharapkan  dapat  memberikan perspektif yang lebih komprehensif.
Metode  UEQ  dipilih  karena  memiliki cakupan  yang  luas  untuk  evaluasi,  UEQ mengevaluasi 6 skala, bukan hanya satu skala secara  umum  (Angela  et  al.,  2022).  Evaluasi menggunakan UEQ penting untuk  mengetahui bagaimana  pengalaman  pengguna  dalam menilai  produk  yang  lebih  berfokus  pada tingkat kenyamanan pengguna dalam menggunakan produk tersebut (Maricar et al., 2021).  Sedangkan  metode  SUS  digunakan karena  SUS  adalah  salah  satu  metode  yang efisien  untuk  memperoleh  data  statistik  yang dapat diandalkan dan  menghasilkan skor yang jelas  dan  cukup  akurat  (Muflih  et  al.,  2023; Wahyuningrum, 2021). Kelebihan lainnya dari metode SUS yaitu skala pengujiannya mudah dipahami,  hasil  yang  didapatkan  terpercaya walaupun dengan jumlah sampel  sedikit, dan dapat membedakan perangkat lunak yang bisa digunakan atau tidak dengan tepat (Ependi et al., 2019; Nuriman & Mayesti, 2020).
Pada penelitian ini, data dianalisis pada 4 angkatan  yang  berbeda  yaitu  angkatan  2020 hingga  2023  untuk  mengetahui  bagaimana pandangan pengguna website SIMAK UNSRI berdasarkan lama penggunaannya (Nuriman & Mayesti, 2020). Dengan mengetahui usability dan user  experience dari  SIMAK  UNSRI  ini maka  dapat  diketahui  permasalahan  dari system  informasi  akademik  sehingga  dapat dijadikan  referensi  untuk  perbaikan  SIMAK UNSRI  agar  dapat  meningkatkan  kepuasan penggunanya (Hiariej & Setiyawati, 2022).

## 1. METODE PENELITIAN
Penelitian  ini  melibatkan  serangkaian langkah  penelitian  dari  permulaan  hingga penyelesaian. Rincian tahapan penelitian yang akan  dilaksanakan  ditunjukan  dalam  gambar 1.(Ibrahim et al., 2023):
Gambar 1. Tahapan penelitian

## 1.1 TEKNIK PENGAMBILAN SAMPEL
Tahap  ini  bertujuan  untuk  menentukan jumlah sampel dan teknik perhitungan sampel yang  tepat.  Populasi  pada  penelitian  ini mencakup  seluruh mahasiswa  aktif  pengguna sistem informasi akademik Universitas Sriwijaya yang berjumlah 28.287 mahasiswa. Sampel  diambil  dengan  menggunakan  teknik stratified  random  sampling yaitu  sampel dipilih  secara  acak  berdasarkan  karakteristik tertentu  dalam  sebuah  populasi  (Nuriman  & Mayesti, 2020). Pada penelitian ini sampelnya adalah  mahasiswa  UNSRI  angkatan  2020 sampai 2023. Kriteria ini dipilih untuk melihat bagaimana  pandangan  pengguna  berdasarkan lama penggunaannya. Jumlah sampel dihitung menggunakan  rumus  slovin  dengan  margin error  sebesar  5%  (Anggraini  et  al.,  2020). Berdasarkan hasil perhitungan jumlah sample yang  mewakili  penelitian  ini  adalah  395 responden.

## 1.2 PENGUMPULAN DATA
Data  dikumpulkan  berdasarkan  jumlah responden yang telah ditentukan. Penelitian ini melakukan  survey  dengan  menggunakan kuesioner pengujian UEQ dan SUS yang berisi 26 pertanyaan mengenai pengalaman pengguna  dan  10  pertanyaan  mengenai kegunaan sistem.

## 1.2.1 PENGUMPULAN DATA UEQ
User  Experience  Questionnare (UEQ) merupakan salah satu metode untuk
mengevaluasi pengalaman pengguna.
Kuesioner UEQ memiliki 6 skala yang berisi 26 poin pertanyaan, yaitu daya tarik, kejelasan, efisiensi,  ketepatan,  stimulasi  dan  kebaruan.
(Sari, Arafah, et al., 2021).
Efisiensi,  kejelasan  dan  ketepatan  adalah aspek  UX  yang  terkait  dengan  tujuan kegunaan.  Stimulasi  dan  kebaruan  adalah aspek  UX  yang  tidak  terkait  dengan  tujuan pengalaman  pengguna.  Daya  tarik adalah spektrum  positif-negatif  yang  mendasar,  dan diyakini bahwa evaluasi penilaian ini dipengaruhi oleh faktor-faktor yang berhubungan  dengan  tujuan  kegunaan  dan yang  tidak  berhubungan  dengan  tujuan kegunaan (Kushendriawan et al., 2021).
Gambar 2. Instrumen pengujian UEQ (Kharis et al., 2019)

## 1.2.2 PENGUMPULAN DATA SUS
System  Usability  Scale (SUS)  adalah  cara langsung untuk menilai kegunaan suatu sistem secara  mudah,  dengan  sepuluh  skala  yang menyajikan evaluasi kegunaan yang komprehensif.  SUS  menggunakan  format skala  Likert  sederhana,  di  mana  responden menunjukkan tingkat persetujuan atau ketidaksetujuan mereka menggunakan skala 5 poin (Salamah, 2019).
System  Usability  Scale memiliki  10 pertanyaan,  dimana  setiap  pertanyaan  terdiri dari skala 1-5 untuk menunjukkan sejauh mana responden  menyetujui  pernyataan  terkait
produk atau fitur yang sedang dievaluasi. Nilai 1  mengindikasikan  ketidaksetujuan  yang sangat tinggi, sementara nilai 5 mencerminkan persetujuan  yang  sangat  tinggi  terhadap pernyataan  yang  diberikan.  Pertanyaan  yang digunakan sebagai indicator dalam mengevaluasi seperti  yang tertera pada  Tabel 1 (Welda et al., 2020).
Tabel 1. Alat pengujian SUS No Pertanyaan Skor 1 Saya  rasa  saya  akan  lebih  sering menggunakan website ini. 1-5 2 Saya  merasa  sulit  menggunakan website Simak Unsri 1-5 3 Saya merasa website Simak Unsri mudah digunakan 1-5
4 Saya rasa saya akan butuh bantuan dari orang teknis dalam menggunakan situs website ini 1-5 5 Menurut  saya  fitur  di  website  ini diintegrasikan dengan baik 1-5 6 Saya merasa ada banyak inkonsistensi dalam website ini 1-5 7 Saya  pikir  bahwa  sebagian  besar orang dapat dengan cepat memahami website ini 1-5 8 Saya merasa website Simak Unsri ini membingungkan 1-5 9 Saya  merasa  tidak  menemui hambatan apapun Ketika menggunakan situs web ini 1-5 10 Saya  memerlukan  waktu  untuk membiasakan  diri  sebelum  saya dapat memulai menggunakan website ini dengan baik 1-5

## 1.3 ANALISIS DATA PENGUJIAN
Proses  analisis  data  dilakukan  dengan menganalisis inconsistencies data  UEQ, analisis  data  kuantitatif  SUS  dan  analisis menggunakan  metode  UEQ  dan  SUS  untuk menilai  pengalaman  pengguna  dan  kegunaan dari  Sistem  informasi  Akademik  Univeristas Sriwijaya.
1.3.1

## ANALISIS INCONSISTENCIES UEQ
Inconsistencies data pada UEQ dianalisis dengan menggunakan UEQ data analysis tools versi  12.  Analisis  ini  dapat  mengidentifikasi data yang mencurigakan berdasarkan ketidakkonsistenan  jawaban  responden.  Nilai kritis yang lebih besar dari 2 dan nilai panjang kritis  yang  melebihi  15  digunakan  sebagai kriteria  untuk  mengidentifikasi  kesalahan dalam  pengisian  kuesioner.  Jika  kesalahan
tersebut  terdeteksi  maka  data  tersebut disarankan untuk dihapus.

## 1.3.2 ANALISIS  DATA  KUANTITATIF SUS
Pada tahap ini akan dilakukan pengujian validitas dan reabilitas terhadap data SUS yang diperoleh  dengan  menggunakan  IBM  SPSS statistic 25. Validitas akan dinilai berdasarkan nilai  korelasi  Pearson  pada  masing-masing indikator variabel. Sedangkan reliabilitas akan dinilai berdasarkan nilai Cronbach's alpha (α) untuk setiap variabel yang diuji.

## 1.3.3 ANALISIS  USER  EXPERIENCE QUESTIONNAIRE (UEQ)
UEQ  memiliki  26  pertanyaan  dengan skala penilaian 1-7 yang terdiri dari sepasang makna  yang  berlawanan  dari  “negative” sampai “positif” atau sebaliknya. Setiap skala UEQ memiliki bobot nilai dari -3 sampai +3, dimana  bobot  nilai  -3  menunjukan  jawaban yang  sangat  negative  dan  +3  menunjukan jawaban  yang  sangat  positif.  Pengolahan  dan analisis data dilakukan dengan memanfaatkan UEQ data  analysis  tools yang  bisa  diakses melalui website resmi UEQ ( https://www.ueq- online.org/ ) (Ahda & Ratnasari, 2023) .
Dalam  perhitungan  UEQ,  langkah  awal adalah  menghitung mean , varience dan standard  deviation dari  jawaban  responden.
Kemudian  hasil  dari  nilai  rata-rata  tersebut dianalisis berdasarkan 6 skala pada UEQ. Jika nilai yang diperoleh berada dalam kisaran -0.8 hingga 0.8 maka hasilnya adalah normal, jika nilainya melebihi 0.8 hasil evaluasi positif dan jika nilai kurang dari -0.8 hasil evaluasi negatif (Schrepp, 2023).

## 1.3.4 ANALISIS  SYSTEM  USABILITY SCALE
Proses  perhitungan  nilai  SUS  dimulai dengan  pertanyaan  nomor  ganjil  nilai  skala dikurangi  satu  dan  untuk  pertanyaan  dengan nomor  genap  lima  dikurangi  nomor  skala. Selanjutnya jumlah nilai dikalikan dengan 2,5 untuk mendapat keseluruhan nilai SUS.
Hasil  penilaian  SUS  dikategorikan  ke dalam tiga perspektif yaitu rentang penerimaan ( acceptability), skala kelas ( grade scale), dan rentang kata sifat ( adjective ratings) . Terdapat tiga  tingkatan  pada Acceptability yaitu not acceptable, marginal , dan acceptable. Sedangkan grade scale mencakup nilai A, B,
C, D dan F. Tingkatan pada adjective rating s
Fajaria, Evaluasi User Experience dan Usability Sistem Informasi Akademik Menggunakan Metode User Experience Questionnaire Dan System Usability Scale, 204-213 | 208
antara lain worst imaginable, poor, ok, good, excelent dan best imanginable (Ependi  et  al., 2019).

## 2. HASIL DAN PEMBAHASAN

## 2.1 ANALISIS  INCONSISTENCIES  DATA UEQ
Untuk  menganalisis inconsistencies data, penelitian ini menggunakan UEQ data analysis tools. Analisis  ini  meningkatkan  kredibilitas penelitian  dengan  menghapus  kemungkinan tanggapan yang ceroboh atau tidak lulus. Nilai kritis yang lebih dari 2 dan panjang kritis lebih besar  dari  15  menunjukan  adanya  kesalahan dalam mengisi kuesioner
atau ketidakkonsistenan jawaban responden, sehingga  disarankan  untuk  menghapus  data tersebut  (Ibrahim  et  al.,  2023).  Setelah dilakukan  penghapusan  data  yang  tidak konsisten, dari 445 responden yang terkumpul berkurang menjadi 400 responden.

## 2.2 ANALISIS DATA KUANTITATIF SUS
Sebelum melakukan penelitian sebenarnya,
dilakukan tahap pengujian atau pilot test untuk melihat  apakah  kuesioner  sudah  layak.
Sebelum pengumpulan data dimulai, dilakukan uji validitas dan reabilitas kepada 30 responden, jika  nilai  r  hitung  melebihi  nilai  pada  r  table maka item tersebut dianggap valid dan jika nilai Cronbach’s alpha melebihi 0.60 maka dianggap reliabel  (Ibrahim  et  al.,  2023).  Untuk  30 responden nilai signifikan yang digunakan 5% sehingga di dapat r table sebesar 0.361. Tabel 2 dan 3 menunjukan hasil validitas dan reabilitas SUS.

## Table 2. Uji validitas SUS
Item r hitung r tabel keterangan SUS1 SUS2 SUS3 SUS4 SUS5 SUS6 SUS7 SUS8 0.427 0.579 0.410 0.674 0.541 0.365 0.367 0.661 0.361 0.361 0.361 0.361 0.361 0.361 0.361 0.361 Valid Valid Valid Valid Valid Valid Valid Valid
SUS9 SUS10 0.486 0.748 0.361 0.361 Valid Valid
Tabel  2  menunjukan  semua  item pertanyaan  SUS  dianggap  valid  karena  r hitung melebihi nilai r table.
Table 3. Uji reabilitas SUS Cronbach’s alpha N of items 0.708 10
Tabel  3  menunjukan  semua  item  SUS dianggap  reliabel  karena  Cronbach’s  alpha  > 0.60.

## 2.3 ANALISIS RESPONDEN PENELITIAN
Ada  400  responden  pada  penelitian  ini.
Data  tersebut  akan  dikelompokkan  menjadi  4 bagian yaitu angkatan 2020 - 2023 (Tabel 4).

## Tabel 4. Jumlah responden perangkatan
Angkatan Jumlah 2020 (semester 7) 100 Responden 2021 (semester 5) 100 Responden 2022 (semester 3) 100 Responden 2023 (semester 1) 100 Responden 2.4 ANALISIS USER

## EXPERIENCE
QUESTIONNAIRE (UEQ) Pengolahan data UEQ dipisahkan berdasarkan  4  angkatan  yang  berbeda.  Skala penilaian  1-7  akan  dikonversi  menjadi  bobot nilai  -3  hingga  +3,  dimana  -3  menunjukan jawaban  yang  sangat  negative  dan  +3 menunjukan jawaban yang sangat positif. Data yang telah dikonversi akan diolah menggunakan tools UEQ  untuk  mendapatkan
Mean, Varian dan standard deviation nya.

## 2.4.1 HASIL  PENILAIAN  ANGKATAN 2020

## Gambar 3. Grafik hasil pengolahan UEQ
(angkatan 2020)
Gambar  3  menunjukan  bahwa  skala attractiveness,  perspicuity,  efficiency  dan dependability memiliki  hasil  evaluasi  yang positif dengan rata-rata >0.8. sedangkan skala stimulation  dan  novelty berada  pada  rentang nilai -8 sampai 0.8 yang berarti memiliki hasil evaluasi netral.
Gambar 4. Gambar grafik benchmark (angkatan 2020)
Tabel 5. Set data benchmark (angkatan 2020) Scale Mean Comparisson to benchmark Attractiveness 1.03 Below average Perspicuity 1.41 Above Average Efficiency 1.01 Below Average Dependability 0.90 Below Average Stimulation 0.53 Below Average Novelty -0.50 Bad
Berdasarkan  hasil  penilaian  data  set benchmark didapatkan  pada  angkatan  2020 skala perspicuity masuk  pada  kategori above average .  skala attractiveness,  efficiency, dependability  dan  stimulation masuk  di kategori below  average. Sedangkan  untuk skala novelty masuk pada kategori bad .
2.4.2

## HASIL  PENILAIAN  ANGKATAN
2021

## Gambar 5. Grafik hasil pengolahan UEQ
(angkatan 2021)
Gambar  5  menunjukan  bahwa  skala attractiveness,  perspicuity,  efficiency dan dependability memiliki  hasil  evaluasi  yang positif dengan rata-rata >0.8. Sedangkan skala stimulation dan novelty berada  pada  rentang nilai -8 sampai 0.8 yang berarti memiliki hasil evaluasi netral.
Gambar 6. Grafik benchmark (angkatan 2021)
Tabel 6. Set data benchmark (angkatan 2021) Scale Mean Comparisson to benchmark Attractiveness 1.20 Above average Perspicuity 1.70 Above Average Efficiency 1.18 Above Average Dependability 1.10 Below Average Stimulation 0.70 Below Average Novelty -0.62 Bad
Berdasarkan  hasil  penilaian  data  set benchmark didapatkan  pada  angkatan  2021 skala attractiveness, perspicuity dan efficiency masuk  pada  kategori above  average .  Skala dependability dan stimulation berada  di kategori below  average .  Sedangkan  skala novelty berada pada kategori bad .

## 2.4.3 HASIL  PENILAIAN  ANGKATAN
2022 Gambar 7. Grafik hasil pengolahan UEQ
(angkatan 2022)
Gambar  7  menunjukan  bahwa  skala attractiveness, perspicuity, efficiency, dependability dan stimulation memiliki  hasil evaluasi  yang  positif  dengan  rata-rata  >0.8. sedangkan  skala novelty berada  pada  rentang nilai -8 sampai 0.8 yang berarti memiliki hasil evaluasi netral.
Gambar 8. Grafik benchmark (angkatan 2022)
Tabel 7. Set data benchmark (angkatan 2022) Scale Mean Comparisson to benchmark Attractiveness 1.48 Above Average Perspicuity 1.72 Above Average Efficiency 1.46 Above Average Dependability 1.27 Above Average Stimulation 1.03 Above Average Novelty -0.07 Bad
Berdasarkan  hasil  penilaian  data  set benchmark didapatkan  pada  angkatan  2022 skala attractiveness,  perspicuity,  efficiency, dependability dan stimulation masuk  pada kategori above  average .  Sedangkan  skala novelty masuk pada kategori bad . 2.4.4

## HASIL  PENILAIAN  ANGKATAN
2023

## Gambar 9. Grafik hasil pengolahan UEQ
(angkatan 2023)
Gambar  9  menunjukan  bahwa  skala attractiveness, perspicuity, efficiency,
dependability dan stimulation memiliki  hasil evaluasi  yang  positif  dengan  rata-rata  >0.8. sedangkan  skala novelty berada  pada  rentang nilai -8 dampai 0.8 yang berarti memiliki hasil evaluasi netral.
Gambar 10. Grafik benchmark (angkatan 2023)
Tabel 8. Set data benchmark (angkatan 2023) Scale Mean Comparisson to benchmark Attractiveness 1.62 Good Perspicuity 1.79 Good Efficiency 1.65 Good Dependability 1.46 Above Average Stimulation 1.31 Above Average Novelty 0.41 Below Average
Berdasarkan  hasil  penilaian  data  set benchmark didapatkan  pada  angkatan  2023 skala attractiveness,  perspicuity,  efficiency masuk dalam kategori good . Skala dependability, dan stimulation berada dikategori above  average .  Sedangkan  skala novelty masuk pada kategori below average .
2.5 ANALISIS SYSTEM USABILITY SCALE (SUS)
Perhitungan skor SUS ini dilakukan secara terpisah pada 4 angkatan yaitu angkatan 2020 – angkatan 2023. Hasil skor akhir SUS dapat dilihat pada Tabel 9 .
Tabel 9.  Hasil akhir skor SUS angkatan 2020-2023 Angkatan Jumlah responden Skor akhir SUS 2020 100 Responden 68.2 2021 100 Responden 71.375 2022 100 Responden 71.525 2023 100 Responden 71.25
Hasil  nilai  SUS  pada  table  9 menunjukan  bahwa  pada  angkatan  2020  skor rata-ratanya  adalah  68.2,  angkatan  2021 71.375,  angkatan  2022  71.525  dan  angkatan 2023  71.25.  Pada  4  angkatan  tersebut, angkatan  2022  mendapatkan  nilai  skor tertinggi dan angkatan 2020 mendapatkan nilai skor  terendah.  Perbedaan  angkatan  ini mempengaruhi  penilaian  terhadap  website SIMAK,  dimana  angkatan  2022  memiliki penilaian  yang  lebih  baik  dibandingkan angkatan  2020  yang memiliki  penilaian lebih rendah  jika  dilihat  dari  skor  SUS  yang didapatkan.  Untuk  menentukan  hasil  berupa tingkat  penerimaan  pengguna  berdasarkan acceptability  ranges (rentang  penerimaan), grade scale (skala kelas ) dan adjective ratings (rentang  kata  sifat)  dapat  dilihat  berdasarkan gambar berikut :
Gambar 11. Penentuan hasil usability scale
Berdasarkan  gambar  11,dapat  dilihat bahwa  pada  kategori  acceptability  ranges terdiri dari 3 bagian yaitu not acceptable (tidak dapat diterima), marginal (rendah dan tinggi) dan acceptable (dapat  diterima).  Angkatan
2020 - 2023 masuk dalam kategori “Marginal high“ yang berarti tinggi secara marginal. Hal ini  menunjukan  bahwa  pengguna  sudah memiliki  pengalaman  yang  baik  terhadap
website  SIMAK  UNSRI,  tetapi  masih  perlu untuk dilakukan perbaikan.
Skala  nilai  yang  digunakan  untuk menentukan  tingkatan  nilai  terdiri  dari  huruf A, B, C, D, E dan F. Jika skor akhir SUS pada setiap  angkatan  dikonversi  ke  nilai  huruf, maka tingkat grade scale pada angkatan 2021, 2022 dan 2023 masuk pada kategori nilai “C”. sedangkan  pada  angkatan  2020  masuk  pada kategori nilai “D”.
Untuk adjective  rating ,  skor  SUS pada  semua  angkatan  masuk  dalam  kategori “Good“. Artinya,  semua  angkatan  merasa puas  dengan  pengalaman  pengguna  website SIMAK UNSRI.

## 3. SIMPULAN
Hasil pengukuran User Experience menggunakan  metode  UEQ  menunjukan bahwa  Angkatan  2023  memiliki  pengalaman pengguna  yang  lebih  baik  dibandingkan dengan  Angkatan 2020  –  2022.  Pada  analisis data menggunakan benchmark, nilai  tertinggi pada  semua  angkatan  berada  pada  skala perspicuity ,  artinya  website  Simak  Unsri sudah  sangat  jelas  sedangkan  nilai  terendah berada  pada  skala novelty. Skala novelty memiliki nilai mean yang paling rendah pada semua angkatan dan pada analisis benchmark skala novelty termasuk  dalam  kategori  di bawah rata rata (angkatan 2023) dan kategori buruk (angkatan 2020-2022) sehingga penting untuk  segera  dilakukan  pembaruan  tampilan, fitur dan fungsi website .
Pengukuran usability menggunakan metode System Usability Scale , skor tertinggi diperoleh  angkatan  2022  yaitu  71.525 sedangkan  skor  terendah  diperoleh  pada angkatan 2020 yaitu 68.2 . Secara keseluruhan semua  angkatan  masuk  dalam  kategori
“marginal high” dalam kategori keberterimaan.  Dalam  skala  nilai,  angkatan 2021-2023  mendapatkan  nilai  “C”  dan angkatan  2020  mendapatkan  nilai  “D”, sedangkan  untuk adjective  rating ,  skor  SUS pada  semua  angkatan  masuk  dalam  kategori “Good”.
Sebagai  website  yang  berperan  penting dalam mengelola data akademik, Simak Unsri sudah  berada  pada  kategori  baik.  Secara keseluruhan  berdasarkan  hasil  pada  angkatan
Fajaria, Evaluasi User Experience dan Usability Sistem Informasi Akademik Menggunakan Metode User Experience Questionnaire Dan System Usability Scale, 204-213 | 212
2020-2023,  pengguna  sudah  merasa  puas dengan  Simak  unsri.  Selain  itu,  Simak  Unsri juga  sudah  memiliki  pengalaman  pengguna yang  baik  terutama  pada  aspek  kejelasan. Simak  Unsri  juga  dinilai  positif  pada  aspek daya  tarik,  efisiensi  dan  ketepatan  sehingga dapat dikatakan Simak Unsri telah memenuhi tujuannya.  Akan  tetapi  masih  perlu  untuk dilakukan  perbaikan  khususnya  pada  aspek kebaruan.

## 4. UCAPAN TERIMAKASIH
Terimakasih kepada Universitas Sriwijaya yang  telah  memberikan  saya  kesempatan untuk  melakukan  penelitian  terhadap user experience dan usability Sistem  Informasi Akademik Universitas Sriwijaya. Peneliti juga mengucapkan  terimakasih  terhadap  semua pihak  yang  telah  berkontribusi  hingga terselesaikannya penelitian ini.

## 5. DAFTAR PUSTAKA
Ahda,  A.  S.,  &  Ratnasari,  C.  I.  (2023).  User Experience Testing on the UII Informatics  Department  Website  using the  User  Experience  Questionnaire. Sistemasi:  Jurnal  Sistem  Informasi , 12 (2), 527–536.
Angela,  A.,  Halim,  F.,  Pramana,  T.  A.,  & Simanjuntak, A. (2022). USER EXPERIENCE  EVALUATION ON MUSIC STREAMING APPLICATIONS WITH UEQ METHOD. JURTEKSI (Jurnal Teknologi  Dan  Sistem  Informasi) , 8 (2), 209–218.
Anggraini, W., Candra, R. M., & Sari, W. U. (2020).  Analisis  Pada  Sistem  Informasi Akademik  Mahasiswa  Menggunakan Metode  System  Usability  Scale. Jurnal Penelitian Saintek , 25 (2), 184–194. Dr. Martin Schrepp. (2023). User Experience Questionnaire Handbook .
Ependi, U., Kurniawan, T. B., & Panjaitan, F. (2019).  System  usability  scale  vs heuristic  evaluation:  a  review. Simetris: Jurnal  Teknik  Mesin,  Elektro  Dan  Ilmu Komputer , 10 (1), 65–74.
Hiariej, R., & Setiyawati, N. (2022). Evaluasi
User  Experience  Dan  Usability  Sistem Informasi  Tugas  Akhir  Fti  Uksw
Menggunakan User Experience Questionnaire  Dan  System  Usability
Scale. JOISIE  (Journal  Of  Information Systems  And  Informatics  Engineering) ,
6 (2), 58–63.
Ibrahim,  A.,  Alexandera,  O.,  Tania,  K.  D.,
Putra,  P.,  &  Meiriza,  A.  (2023). Assessing User Experience and Usability in  the  OVO  Application:  Utilizing  the User  Experience  Questionnaire  and System  Usability  Scale  for  Evaluation. Jurnal  RESTI  (Rekayasa  Sistem  Dan Teknologi Informasi) , 7 (4), 953–963. Kharis,  Santosa,  P.  I.,  &  Winarno,  W.  W.
(2019). Evaluasi  User  Experience  pada Sistem Informasi Pasar Kerja Menggunakan User Experience Questionnare (UEQ) . https://api.semanticscholar.org/CorpusI
D:204973496
Kushendriawan, M. A., Santoso, H. B., Putra, P.  O.  H.,  &  Schrepp,  M.  (2021). Evaluating User Experience of a Mobile Health Application ‘Halodoc’using User Experience  Questionnaire  and  Usability Testing. Jurnal Sistem Informasi , 17 (1),
58–71.
Maricar,  M.  A.,  Pramana,  D.,  &  Putri,  D.  R. (2021).  Evaluasi  Penggunaan  SLiMS Pada  E-library  Dengan  Menggunakan User  Experience  Questionnaire  (UEQ). Jurnal  Teknologi  Informasi  Dan  Ilmu Komputer (JTIIK) , 8 (2), 319–328.
Muflih, G. Z., Nurlaeli, I., & Triyanto, A. R. (2023).  Pengukuran  Usability  Pada Learning  Management  System  UMNU
Kebumen
Menggunakan
System
Usability  Scale. JOINTECS  (Journal  of Information  Technology  and  Computer Science) , 8 (2), 57–66.
Nuriman,  M.  L.,  &  Mayesti,  N.  (2020).
Evaluasi Ketergunaan Website Perpustakaan Universitas Indonesia Menggunakan  System  Usability  Scale.
Baca  J.  Dokumentasi  Dan  Inf , 41 (2), 253.
Salamah, I. (2019). Evaluasi usability website polsri  dengan  menggunakan  system usability scale. Jurnal Nasional Pendidikan Teknik Informatika: JANAPATI , 8 (3), 176–183.
Sanjaya,  M.  W.,  &  Febriandirza,  A.  (2023).
PENERAPAN METODE DESIGN THINGKING TERHADAP PENINGKATAN PENGALAMAN PENGGUNA PADA SISTEM
AKADEMIK UHAMKA. JOISIE (Journal  Of  Information  Systems  And
Informatics Engineering) , 7 (1), 7–16. Sari,  Y.,  Arafah,  M.,  &  Novitasari.  (2021). Evaluasi  Usability  Sistem  Informasi Akademik  Dosen  Menggunakan  User Experience  Questionnaire  dan  Heuristic Walkthrough. Jurnal  RESTI  (Rekayasa Sistem  Dan  Teknologi  Informasi) , 5 (2), 247–253.
https://doi.org/10.29207/resti.v5i2.3022
Sari, Y., Novitasari, N., & Pratiwi, H. (2021).
Evaluation  of  lambung  mangkurat university student academic portal using user  experience  questionnaire  (UEQ). ILKOM Jurnal Ilmiah , 13 (1), 45–50.
Sukmasetya, P., Setiawan, A., & Arumi, E. R. (2020).  Penggunaan  Usability  Testing Sebagai  Metode  Evaluasi  Website  Krs Online  Pada  Perguruan  Tinggi. JST
(Jurnal Sains Dan Teknologi) , 9 (1), 58–
67.
Tujni,  B.,  &  Syakti,  F.  (2019).  Implementasi Sistem  Usability  Scale  Dalam  Evaluasi Perspektif  Pengguna  Terhadap  Sistem Informasi  Akademik  Berbasis  Mobile. ILKOM Jurnal Ilmiah , 11 (3), 241–251. Wahyuningrum,  T.  (2021). Buku  Referensi Mengukur  Usability  Perangkat  Lunak .
Deepublish.
Welda, W., Putra, D. M. D. U., & Dirgayusari, A. M. (2020). Usability Testing Website Dengan  Menggunakan  Metode  System Usability  Scale  (Sus)  s. International Journal of Natural Science and Engineering , 4 (3), 152–161.
Yulianto,  D.,  Hartanto,  R.,  &  Santosa,  P.  I. (2020).  Evaluation  on  augmented- reality-based  interactive  book  using system usability scale and user experience  questionnaire. Jurnal  RESTI
(Rekayasa Sistem Dan Teknologi Informasi) , 4 (3), 482–488.