Hal 1714−1721 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom

## Evaluasi Pengalaman Pengguna Aplikasi SIMARIS UPN “Veteran” Jawa Timur Menggunakan Metode UEQ
Anisa Rahma Salsabila * , Tri Lathif Mardi Suryanto, Eristya Maya Safitri
Ilmu Komputer, Sistem Informasi, Universitas Pembangunan Nasional “Veteran” Jawa Timur, Surabaya, Indonesia Email: 1,* anisarsalsabila@gmail.com, 2 trilathif.si@upnjatim.ac.id , 3 maya.si@upnjatim.ac.id Email Penulis Korespondensi : anisarsalsabila@gmail.com Submitted 02-11-2022 ; Accepted 23-11-2022 ; Published 30-12-2022

## Abstrak
Penerapan teknologi informasi dan komunikasi pada perguruan tinggi makin meningkat disesuaikan dengan kebutuhan masing-masing perguruan tinggi. Kegiatan penelitian dan pengabdian masyarakat yang  dilakukan oleh  dosen di UPN “Veteran” Jawa Timur telah diwadahi oleh sebuah aplikasi yang bernama SIMARIS.  Dalam penerapannya, aplikasi ini masih memiliki beberapa permasalahan terkait pengalaman pengguna yang dirasakan oleh dosen, seperti  kesusahan saat melihat detail usulan, keterbatasan saat upload file , tidak  terdapat  fitur preview untuk  melihat file ,  dan  tidak  berfungsinya  menu  penilaian reviewer bagi  dosen.  Pada  penelitian  ini, pengalaman pengguna aplikasi SIMARIS  dievaluasi  menggunakan metode User Experience Questionnaire (UEQ) . Data kuesioner yang didapatkan nantinya akan dianalisis menggunakan UEQ Data Analysis Tool . Hasil pengukuran menunjukkan  bahwa masing- masing skala memiliki nilai mean yang tinggi dengan nilai skala  Daya Tarik 1.61, Kejelasan 1.52, Efisiensi 1.64, Ketepatan 1.44, Stimulasi 1.51, dan Kebaruan 1.25. Tingkat konsistensi dari seluruh skala menunjukkan nilai Cronbach’s Alpha > 0.70. Hal ini berarti tingkat konsistensi yang tinggi dimiliki oleh seluruh skala.
Kata Kunci: Evaluasi; Pengalaman Pengguna; Aplikasi SIMARIS; User Experience Questionnaire (UEQ)

## Abstract
The  implementation  of  information  and  communication  technology  in  a  university  is  increasing  according  to  the  needs  of  each university. Research and community service activity carried out by lecturers at UPN "Veteran" East Java have been accommodated by an application called SIMARIS. In its implementation, this application still has several complaints related to the user experience felt by lecturers, such as difficulties when viewing proposal details, limitations for uploading files, no preview feature to view files, and the reviewer assessment menu doesn’t work for lecturers. In this study, the user experience of SIMARIS application was evaluated using the User Experience Questionnaire (UEQ) method. The questionnaire data obtained will be analyzed using UEQ Data Analysis Tool. The measurement results show that each scale has a high mean value with the scale of Attractiveness 1.61, Perspicuity 1.52, Efficiency 1.64, Dependability 1.44, Stimulation 1.51, and Novelty 1.25. The consistency level of all scales shows that Cronbach's Alpha value > 0.70. This means a high level of consistency is owned by all scales.
Keywords : Evaluation; User Experience; SIMARIS Application; User Experience Questionnaire (UEQ)

## 1. PENDAHULUAN
Tuntutan global di era digital membuat segala aspek kehidupan mulai beralih dari yang konvensional menjadi berbasis teknologi. Implementasi TIK pada perguruan tinggi berupa sistem informasi menjadi salah satu faktor keberhasilan dan kemajuan  perguruan  tinggi  [1].  Adanya  implementasi  sistem  informasi  memberikan  kemudahan  dalam  terciptanya informasi mengenai kebutuhan dan kepentingan perguruan tinggi serta pengolahan data terkait aktivitas yang berkaitan dengan perguruan tinggi [2]. Perguruan Tinggi mengembangkan berbagai jenis sistem informasi yang bersifat mandatory institutional ,  diantaranya  yaitu  sistem  informasi  terkait  akademik,  kemahasiswaan,  keuangan,  serta  penelitian  dan pengabdian masyarakat.
Perguruan Tinggi memiliki kewajiban dalam menegakkan Tri Dharma Perguruan Tinggi, yaitu kegiatan penelitian dan  pengabdian  masyarakat.  Kegiatan  tersebut  dapat  diimplementasikan  oleh  dosen  melalui  sebuah  aplikasi  yang tersistematis. Salah satu Perguruan Tinggi Negeri, yaitu UPN “Veteran” Jawa Timur memiliki sebuah sistem informasi yang  bernama  SIMARIS  untuk  mewadahi  penelitian  dan  pengabdian  masyarakat  yang  dilakukan  oleh  dosen.  Pada dasarnya, aplikasi SIMARIS terbagi menjadi beberapa tampilan antarmuka pengguna, yaitu dosen, reviewer , admin, dan operator. Akan tetapi, pada penelitian ini berfokus pada tampilan antarmuka pengguna dosen.
Aplikasi  SIMARIS  merupakan  aplikasi  dibawah  naungan  LPPM  UPN  “Veteran”  Jawa  Timur.  Dalam penerapannya, aplikasi ini masih menimbulkan beberapa keluhan bagi pengguna, diantaranya kesusahan untuk melihat detail informasi usulan, tidak berfungsinya menu penilaian reviewer , tidak adanya fitur preview untuk melihat file yang telah di upload , dan terbatasnya jumlah kapasitas upload file laporan. Adanya beberapa kendala tersebut menimbulkan ketidaknyamanan  dosen  dalam  menggunakan  aplikasi  SIMARIS,  sehingga  mengakibatkan  dosen  merasa  tidak  puas dengan kualitas layanan yang diberikan pada aplikasi SIMARIS.
Sebuah sistem informasi dikatakan baik jika mampu memberikan kualitas layanan yang optimal bagi pengguna. Hidayatuloh,  dkk.  [3]  mengatakan  makin  tinggi  kualitas  layanan  yang  diberikan,  makin  besar  pula  kepuasan  yang dirasakan pengguna secara signifikan. Faktor kepuasan pengguna timbul akibat adanya pengalaman pengguna terhadap penggunaan  sebuah  aplikasi.  Pengalaman  pengguna  memiliki  kaitan  erat  dengan  adanya  konsep  interaksi  manusia komputer. Di area studi Interaksi Manusia Komputer, gagasan tentang pengalaman pengguna menjadi sebuah perhatian terkait  topik  penelitian  yang  utama  dan  menarik.  Pengalaman  pengguna  biasanya  melibatkan  pengalaman  seseorang ketika  berinteraksi  dengan  suatu  produk  pada  kondisi  tertentu  [4].  Tujuan  dari  pengalaman  pengguna  yaitu  untuk
Hal 1714−1721 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom
menggambarkan esensi pengalaman pengguna yang dirasakan, seperti adanya interaksi yang memuaskan, menyenangkan, dan menarik [5]. Pengalaman pengguna didefinisikan sebagai pendapat dan umpan balik individu dari penggunaan sistem, produk,  atau  layanan  [6].  Menurut  ISO  9241-210:2010,  pengalaman  pengguna  diartikan  sebagai  impresi  dan  reaksi pengguna  dalam  menggunakan  suatu  sistem,  produk,  atau  layanan.  Cakupan  pengalaman  pengguna  meliputi  tingkat perasaan, keyakinan, prioritas, impresi, reaksi tubuh dan psikis, tingkah laku dan tingkat kinerja pengguna yang terjadi sebelum,  sewaktu,  dan  sesudah  penggunaan  [7].  Pengalaman  pengguna  umumnya  dipahami  sebagai  konstruksi multidimensi [8]. Aspek pengalaman pengguna memiliki peranan penting dalam sebuah pengembangan aplikasi. Adanya kualitas sistem dan layanan yang kurang optimal dapat menciptakan pengalaman pengguna yang buruk dalam berbagai aspek, diantaranya aspek kualitas pragmatis seperti pengguna kesusahan dalam mengoperasikan produk atau layanan serta pengguna  tidak  dapat  menuntaskan  tugas  secara  cepat  dan  efisien.  Hal  tersebut  akan  membuat  pengguna  bosan  dan mengalami  ketidaktertarikan  dalam  menggunakan  produk  atau  layanan (hedonic  quality) .  Sebuah  interpretasi  berbeda mendefinisikan “pengalaman pengguna” sebagai seperangkat parameter yang memiliki perbedaan kualitas, [9] meliputi parameter kegunaan klasik, seperti ketepatan sistem dalam memenuhi kebutuhan pengguna, tingkat kontrol dalam belajar, serta parameter kualitas hedonis atau non-goal directed , seperti stimulasi, senang dalam menggunakan produk, kebaruan, emosi  [10],  atau  estetika.  Santoso,  dkk.  [11]  mendefinisikan  pengalaman  pengguna  yang  baik  dapat  mempengaruhi interaksi yang baik pula antara pengguna dan sistem. Tujuan utama evaluasi pengalaman pengguna ialah mengidentifikasi efektivitas, efisiensi, dan kepuasan pengguna serta masalah yang dapat menyebabkan kesalahan dan frustasi pengguna [12]. Pengalaman pengguna mengacu pada pekerjaan diluar yang memiliki keterkaitan dengan hasil [13].
Pada  penelitian  [14],  penulis  melakukan  evaluasi  pengalaman  pengguna  pada Learning  Management  Systems menggunakan UEQ dengan hasil pengukuran menunjukkan aspek pragmatic quality memiliki nilai mean yang baik dari skala  Daya  Tarik  (1.68),  skala  Kejelasan  (1.82),  dan  skala  Efisiensi  (1.70),  terkecuali  untuk  skala  Ketepatan  yang memiliki nilai diatas rata-rata (1.44). Sedangkan untuk aspek hedonic quality menunjukkan nilai mean yang baik untuk skala Stimulasi (1.51) dan skala Kebaruan (1.22). Penelitian lain [15] memberikan hasil pengukuran yaitu keseluruhan dari aplikasi Grab memiliki nilai masing-masing variabel, yaitu variabel Attractiveness (1.64), variabel Perspicuity (1.69), variabel Efficiency (1.60), variabel Dependability (1.29), variabel Stimulation (1.57), dan variabel Novelty (1.21). Temuan UEQ tersebut berada dalam kisaran relatif normal. Penelitian sebelumnya [16] menunjukkan hasil bahwa evaluasi UEQ menghasilkan  penilaian  yang  baik  karena  nilai  mean  setiap  variabel  bernilai  diatas  1.  Begitupun  dengan  nilai  aspek kualitas  pragmatis  (1.72)  dan  kualitas  hedonis  (1.73).  Sedangkan  pada  penelitian  [17],  penulis  mendapatkan  hasil pengukuran yaitu nilai Daya Tarik (0.85), Efisiensi (0.96), Ketepatan (0.85), dan Stimulasi (1.08), dimana menghasilkan nilai mean impresi diatas 0.8. Berbeda dengan nilai Kejelasan (0.71) dan Kebaruan (0.71) memiliki hasil netral karena menghasilkan nilai mean impresi diantara -0,8 hingga 0,8. Penelitian terdahulu [18] menyimpulkan hasil bahwa aspek Daya Tarik memiliki nilai mean yang tinggi dibandingkan dengan kedua aspek lainnya, yaitu aspek kualitas pragmatis dan kualitas hedonis. Hal tersebut menunjukkan bahwa pengguna merasa senang menggunakan aplikasi BeeCEO.
Berdasarkan  keluhan  pengguna  yang  telah  dijelaskan  diatas,  tujuan  dari  penelitian  ini  yaitu  mengevaluasi pengalaman  pengguna  aplikasi  SIMARIS  UPN  “Veteran”  Jawa  Timur  menggunakan  metode User  Experience Questionnaire (UEQ). User Experience Questionnaire (UEQ) merupakan suatu model ukur atau metode evaluasi untuk mengukur  pengalaman  pengguna  melalui  penggunaan  kuesioner  dengan  26  item  pertanyaan  yang  terbagi  atas  6  skala pengukuran, yaitu Daya Tarik, Kejelasan, Efisiensi, Ketepatan, Stimulasi, dan Kebaruan. Tujuan dari metode UEQ ialah adanya kecepatan dalam mengukur pengalaman pengguna pada produk interaktif [19]. Hasil evaluasi dari pengukuran ini dapat  menjadi  bahan  rekomendasi  untuk  melakukan  perbaikan  dan  pengembangan  aplikasi  SIMARIS  kedepannya ditinjau dari beberapa aspek, diantaranya yaitu daya tarik, kualitas pragmatis, dan kualitas hedonis.

## 2. METODOLOGI PENELITIAN
Hal 1714−1721 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom
Penelitian ini mengimplementasikan metode UEQ sebagai model ukur dalam mengevaluasi pengalaman pengguna aplikasi SIMARIS UPN “Veteran” Jawa Timur . Tahapan penelitian yang dilakukan dijelaskan melalui flowchart seperti pada Gambar 1.

## 2.1 Identifikasi dan Perumusan Masalah
Peneliti  melakukan  identifikasi  masalah  berdasarkan  proses  observasi  dan  wawancara.  Selain  itu,  studi  literatur  juga menjadi pendukung peneliti dalam menentukan pokok permasalahan pada penelitian. Perumusan masalah didapatkan dari hasil  analisis  permasalahan  yang  telah  diidentifikasi  oleh  peneliti.  Rumusan  masalah  yang  didapatkan  ialah  evaluasi pengalaman  pengguna  aplikasi  SIMARIS  UPN  “Veteran”  Jawa  Timur  menggunakan  metode User  Experience Questionnaire (UEQ) dilihat berdasarkan hasil perbandingan nilai skala pengukuran.

## 2.2 Sampling
Populasi pada penelitian ini yaitu dosen UPN “Veteran” Jawa Timur yang menggunakan aplikasi SIMARIS. Berdasarkan data  pengguna  aplikasi  SIMARIS  yang  didapatkan  peneliti  selama  dua  tahun  terakhir,  terdapat  329  dosen  yang mengajukan usulan proposal pada aplikasi SIMARIS, sehingga jumlah tersebut menjadi sumber utama populasi. Sampel penelitian diambil menggunakan teknik simple random sampling , dimana sampel dipilih secara acak dari populasi dengan tidak melihat tingkatan yang terdapat pada populasi tersebut. Penentuan jumlah sampel berdasarkan buku pedoman UEQ yang  ditulis  oleh  Dr.  Martin  Schrepp  bahwa  untuk  mengevaluasi  suatu  produk  dibutuhkan  sekitar  20-30  orang  guna menghasilkan pengukuran yang relatif stabil [20]. Oleh karena itu, peneliti menentukan sampel yang dibutuhkan yaitu sebanyak 30 sampel.

## 2.3 Penyusunan Instrumen Pertanyaan
Instrumen pertanyaan disajikan dalam bentuk kuesioner UEQ versi Bahasa Indonesia seperti pada Gambar 2.
Hal 1714−1721 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom
Kuesioner UEQ terdiri dari 26 item pertanyaan dan dikelompokkan ke dalam 6 skala pengukuran berikut [20]:
a. Attractiveness : Kesan pengguna secara keseluruhan terhadap suatu produk terkait suka atau tidak suka.
b. Perspicuity : Kejelasan/familiar terhadap produk serta kemudahan belajar mengenai aturan penggunaan produk.
c. Efficiency : Pengguna mampu menuntaskan tugas secara cepat dan menggunakan upaya yang kecil.
d. Dependability : Tingkat kontrol yang dialami pengguna selama berinteraksi dengan produk.
e. Stimulation : Pengguna merasa tertarik dan semangat untuk menggunakan produk.
f. Novelty : Produk memiliki inovasi dan kreativitas yang dapat menarik minat pengguna.
Pada  dasarnya,  skala  dalam  UEQ  terbagi  atas  tiga  aspek,  yaitu attractiveness (daya  tarik) ,  pragmatic  quality (kualitas  pragmatis) , dan hedonic  quality (kualitas  hedonis) seperti  pada  Gambar  3.  Aspek attractiveness ialah  aspek primer UEQ yang menjadi dimensi murni terhadap persepsi pengguna pada daya tarik produk. Aspek pragmatic quality yang terdiri atas dimensi perspicuity (kejelasan), efficiency (efisiensi), dan dependability (ketepatan) merupakan aspek teknis  yang  berfokus  pada  pencapaian  tujuan.  Sedangkan  aspek hedonic  quality yang  terdiri  atas  dimensi stimulation (stimulasi) dan novelty (kebaruan) merupakan aspek non teknis yang berfokus pada kesan pengguna ketika menggunakan suatu produk. Kuesioner UEQ berbentuk semantik diferensial, dimana setiap item pertanyaan diwakili oleh dua istilah makna yang berlawanan. Skala pengukuran dalam UEQ memiliki tujuh indikator penilaian dengan rentang nilai dari -3 (paling negatif) hingga +3 (paling positif) dihitung dari paling kiri.

## Gambar 3. Struktur Skala UEQ

## 2.4 Analisis Data
Peneliti  melakukan  pengolahan  dan  analisis  data  setelah  data  responden  terkumpul.  Data  dilakukan  pengukuran menggunakan UEQ Data Analysis Tool versi 10 dalam bentuk Excel. Analisis data dalam UEQ meliputi uji reliabilitas data  berdasarkan sheet Scale  Consistency ,  nilai  mean  dan  standar  deviasi  tiap  skala  berdasarkan sheet  Results ,  nilai interval kepercayaan 5% tiap skala berdasarkan sheet Confidence Intervals, serta nilai benchmark tiap skala berdasarkan sheet Benchmark.

## 3. HASIL DAN PEMBAHASAN

## 3.1 Uji Reliabilitas Data
Uji reliabilitas data dilihat dari nilai koefisien Cronbach’s Alpha pada Tabel 1. Apabila nilai Cronbach’s Alpha > 0.70, maka variabel dikatakan reliabel [21].
Tabel 1. Nilai Koefisien Cronbach’s Alpha
Hal 1714−1721 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom
Melihat hasil pengukuran pada Tabel 1 diatas, dapat diketahui bahwa nilai Cronbach’s Alpha dari seluruh skala > 0.70. Dengan begitu, dapat dikatakan bahwa seluruh skala dinyatakan reliabel.

## 3.2 Nilai Mean Skala UEQ
Setelah  mendapatkan  nilai  koefisien Cronbach’s Alpha ,  selanjutnya  yaitu  melihat  nilai  mean  dan  standar  deviasi  dari setiap skala berdasarkan pada Tabel 2 dan grafik mean pada Gambar 4.
Tabel 2. Nilai Mean Tiap Skala
Gambar 4. Grafik Nilai Mean dari Tiap Skala
Dari  hasil Tabel  2 diatas menunjukkan aplikasi  SIMARIS memiliki daya tarik (menyenangkan, atraktif, ramah pengguna)  dengan  nilai  mean  1.61  dan  standar  deviasi  0.73.  Kemudian,  pengguna  merasa  aplikasi  SIMARIS  mudah dipahami, sistemnya mudah digunakan dan jelas dilihat dari skala Kejelasan yang memiliki nilai mean 1.52 dan standar deviasi  0.96.  Skala  Efisiensi  menunjukkan  nilai  mean  1.64  dan  standar  deviasi  0.93  yang  berarti  aplikasi  SIMARIS bekerja  secara  efisien  dalam  memenuhi  kebutuhan  pengguna.  Dalam  hal  ketepatan,  aplikasi  SIMARIS  memiliki  nilai mean 1.44 dan standar deviasi 0.96. Hal ini mengindikasikan bahwa aplikasi SIMARIS dirasa aman dalam mendukung penelitian  yang  diajukan  oleh  dosen.  Selain  itu,  dosen  juga  merasa  bahwa  aplikasi  SIMARIS  telah  sesuai  ekspektasi pengguna  dan  cukup  tepat  dalam  memenuhi  kebutuhan  penelitian.  Untuk  skala  Stimulasi  dan  Kebaruan  pada  aplikasi SIMARIS, masing-masing  memberikan nilai  mean 1.51, 1.25 dan standar deviasi  0.96. Hal  ini berarti bahwa aplikasi SIMARIS dapat bermanfaat dan menarik minat pengguna dengan memberikan layanan yang inovatif, berdaya cipta, dan cukup kreatif bagi pengguna. Selain hasil pengukuran mean dari setiap skala, UEQ juga mampu mengukur nilai mean dari ketiga aspek, diantaranya aspek daya tarik, kualitas pragmatis, dan kualitas hedonis. Tabel 3 menampilkan nilai mean dari ketiga aspek tersebut dan Gambar 5 menampilkan grafik mean aspek UEQ.
Tabel 3. Nilai Mean Aspek UEQ
Gambar 5. Grafik Mean dari Aspek UEQ
Hal 1714−1721 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom
Tabel  3  menunjukkan  aspek  daya  tarik  memiliki  nilai  mean  1.61.  Kualitas  pragmatis  yang  terdiri  dari  skala Kejelasan, Efisiensi, dan Ketepatan memiliki nilai mean 1.53. Sedangkan aspek kualitas hedonis (Stimulasi, Kebaruan) memiliki  nilai  mean  1.38.  Kualitas  pragmatis  digambarkan  sebagai  aspek  yang  berkaitan  dengan  pelaksanaan  tugas, sedangkan kualitas hedonis digambarkan sebagai aspek yang tidak berkaitan dengan pelaksanaan tugas. Berdasarkan hasil Tabel 3 dan Gambar 5, dapat diketahui bahwa aspek yang memiliki nilai mean paling tinggi yaitu aspek daya tarik. Hal ini mengindikasikan bahwa aplikasi SIMARIS dapat menarik minat pengguna dalam menggunakan aplikasi SIMARIS secara kontinu yang nantinya dapat mempengaruhi kedua aspek lainnya.
Tabel 4 menunjukkan nilai interval kepercayaan 5% untuk mean dari tiap skala. Interval kepercayaan didefinisikan sebagai ukuran ketepatan taksiran rata-rata dari tiap skala. Nilai kepercayaan pada tiap skala didapatkan dari perhitungan kepercayaan 5% terhadap nilai standar deviasi dan jumlah responden.  Berbeda dengan nilai interval kepercayaan yang didapatkan dari hasil pengurangan dan penjumlahan antara nilai mean dengan nilai kepercayaan. Makin kecil nilai interval kepercayaan yang dihasilkan, makin tinggi presisi estimasi terhadap hasil yang dapat dipercaya. Berdasarkan hasil pada Tabel 4, dapat diketahui bahwa nilai kepercayaan dari beberapa skala memiliki hasil yang sama yaitu 0.34. Sedangkan skala efisiensi memiliki nilai kepercayaan sebesar 0.33 dan skala daya tarik memiliki nilai kepercayaan terkecil sebesar 0.26. Hal tersebut mengindikasikan bahwa skala daya tarik memiliki presisi estimasi hasil yang lebih tinggi untuk dapat dipercaya dibandingkan dengan skala lainnya.
Tabel 4. Interval Kepercayaan Tiap Skala

## 3.3 Nilai Benchmark
Nilai benchmark dari  aplikasi  SIMARIS  didapatkan  dari  hasil  komparasi  terhadap  468  produk  yang  telah  dilakukan penelitian  sebelumnya. Benchmark mendefinisikan  sejauh  mana  aplikasi  SIMARIS  mampu  mengukur  tingkat pengalaman  pengguna  dengan  membandingkan  terhadap  aplikasi  lain  yang  telah  dilakukan  evaluasi  menggunakan metode UEQ. Tabel 5 menampilkan hasil pengukuran benchmark dari aplikasi SIMARIS dan Gambar 6 menampilkan grafik nilai benchmark .
Tabel 5. Nilai Benchmark Aplikasi SIMARIS
Gambar 6. Grafik Benchmark Aplikasi SIMARIS
Berdasarkan Tabel 5 dan Gambar 6, dapat diketahui bahwa keempat skala UEQ (daya tarik, efisiensi, stimulasi, dan  kebaruan)  memiliki  hasil  perbandingan benchmark yaitu good/ baik.  Hal  ini  mengindikasikan  bahwa  aplikasi SIMARIS dinilai baik oleh pengguna dalam hal daya tarik, efisiensi, stimulasi dan kebaruan sistemnya. Dengan begitu
Hal 1714−1721 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom
interpretasi  yang  muncul  yaitu  aplikasi  SIMARIS  dinyatakan 10%  of  results  better  and  75%  of  results  worse dibandingkan 468 penelitian lainnya. Berbeda dengan skala kejelasan dan ketepatan yang memiliki hasil perbandingan benchmark yaitu above  average /diatas  rata-rata.  Hal  tersebut  mengindikasikan  bahwa  aplikasi  SIMARIS  dinilai  oleh pengguna memiliki nilai diatas rata-rata dalam hal kejelasan dan ketepatan sistem dalam memenuhi kebutuhan pengguna. Artinya, interpretasi yang dihasilkan oleh aplikasi SIMARIS yaitu 25% of results better and 50% of results worse jika dibandingkan dengan 468 penelitian lain.
Secara  keseluruhan,  hasil  evaluasi  pengalaman  pengguna  pada  aplikasi  SIMARIS  ditampilkan  pada  Tabel  1 sampai Tabel 5. Hasil tersebut menunjukkan bahwa masing-masing skala memiliki nilai mean yang tinggi, dimana nilai skala  Daya  Tarik  1.61,  Kejelasan  1.52,  Efisiensi  1.64,  Ketepatan  1.44,  Stimulasi  1.51,  dan  Kebaruan  1.25.  Tingkat konsistensi  dari  seluruh skala memperlihatkan nilai  koefisien Cronbach’s Alpha > 0.70, yang bermakna  seluruh skala memiliki  tingkat  konsistensi  yang  tinggi.  Kemudian,  untuk  perbandingan  ketiga  aspek  pada  skala UEQ  menunjukkan aspek  kualitas  hedonis  memiliki  nilai  terendah  dibandingkan  aspek  lainnya.  Hal  ini  menunjukkan  rendahnya  tingkat motivasi dan ketertarikan pengguna pada aplikasi SIMARIS. Hasil temuan benchmark pada aplikasi SIMARIS terhadap produk  lainnya  menunjukkan  skala  Kejelasan  dan  Ketepatan  memerlukan  peninjauan  dan  peningkatan  kembali  untuk mengoptimalkan kenyamanan dan kemudahan pengguna dalam menggunakan aplikasi SIMARIS.

## 4. KESIMPULAN
Penelitian ini bertujuan untuk melakukan evaluasi pengalaman pengguna aplikasi SIMARIS UPN “Veteran” Jawa Timur. Metode User  Experience  Questionnaire  (UEQ) dipilih  sebagai  model  ukur dalam  penelitian  ini  dengan  sampel  yaitu dosen UPN “Veteran” Jawa Timur yang mengajukan usulan proposal pada aplikasi SIMARIS dalam kurun waktu dua tahun  terakhir  (2020-2022).  Berdasarkan  hasil  pengukuran  yang  telah  dilakukan  menunjukkan  keenam  skala  UEQ memiliki nilai Cronbach’s Alpha > 0.70, yang bermakna seluruh skala dinyatakan reliabel. Untuk nilai mean dari masing- masing  skala  maupun  ketiga  aspek  UEQ  (daya  tarik,  kualitas  pragmatis,  kualitas  hedonis)  memiliki  nilai  yang  tinggi ditunjukkan dengan nilai diatas 1. Berdasarkan nilai benchmark terhadap produk lain, aplikasi SIMARIS dikatakan baik ditinjau  dari  keempat  skala  (Daya  Tarik,  Efisiensi,  Stimulasi,  Kebaruan),  tetapi  untuk  skala  Kejelasan  dan  Ketepatan memiliki  nilai  diatas  rata-rata  yang  mengindikasikan  sistem  sudah  cukup  baik  namun  memerlukan  peningkatan  agar pengguna  lebih  paham  mengenai  penggunaan  aplikasi  dan  sistem  berjalan  dengan  tepat  dalam  memenuhi  kebutuhan pengguna. Rekomendasi kedepan untuk aplikasi SIMARIS dari segi skala Kejelasan dan Ketepatan yaitu diperlukannya pembaruan dan pengembangan aplikasi dengan memberikan tampilan menu yang teratur, user friendly , dan terotomatisasi pada beberapa menu seperti menu Penelitian, Pengabdian, dan Penilaian Reviewer . Saran untuk penelitian selanjutnya yaitu  melakukan  analisis  pengalaman  pengguna  aplikasi  SIMARIS  dengan  aplikasi  lain  yang  sejenis  atau  melakukan evaluasi pengalaman pengguna pada aplikasi SIMARIS yang berfokus pada tampilan antarmuka pengguna lainnya.

## REFERENCES
[1] N. L. D.  Gitajayanti, I. P. Satwika, and A. A. I. I. Paramitha, “Evaluasi Sistem Informasi Skripsi dan Tugas Akhir STMIK Primakara (PRISKA) Menggunakan Metode Usability Testing,” Kumpul. Artik. Mhs. Pendidik. Tek. Inform. , vol. 10, no. 1, p. 59, 2021, doi: 10.23887/karmapati.v10i1.31770.
[2] S. Aswati, N. Mulyani, Y. Siagian, and A. Z. Syah, “Peranan Sistem Informasi Dalam Perguruan Tinggi,” J. Teknol. dan Sist. Inf. , vol. 1, no. 2, pp. 79–86, 2015, [Online]. Available: http://is.its.ac.id/pubs/oajis/index.php/file/download_file/1466
[3] S.  Hidayatuloh,  R.  H.  Kusumaningtyas,  and  Y.  Aziati,  “Analisis  Pengaruh  User  Experience  Terhadap  Kepuasan  Pengguna Mobile Application E-Commerce Shopee Menggunakan Model Delone & Mclean,” Appl. Inf. Syst. Manag. , vol. 2, no. 2, pp. 77–80, 2021, doi: 10.15408/aism.v2i2.20159.
[4] R. Roth, “User Interface and User Experience (UI/UX) Design,” in Geographic  Information  Science  &  Technology  Body  of Knowledge , Q2 ed., vol. 2017, 2017. doi: 10.22224/gistbok/2017.2.5.
[5] C. Baird, “Useful, Usable, Desirable: Applying User Experience Design to Your Library,” J. Electron. Resour. Libr. , vol. 27, no. 2, pp. 142–143, 2015, doi: 10.1080/1941126x.2015.1029781.
[6] A. Hinderks, M. Schrepp, F. J. Domínguez Mayo, M. J. Escalona, and J. Thomaschewski, Developing a UX KPI based on the user experience questionnaire , vol. 65, no. April 2018. Elsevier, 2019. doi: 10.1016/j.csi.2019.01.007.
[7] S. SAITO and K. OGAWA, Ergonomics of human-system interaction , vol. 30, no. 1. 1994. doi: 10.5100/jje.30.1.
[8] G. A. Boy, The Handbook of Human-Machine Interaction: A Human-Centered Design Approach , 1st Ed. London: CRC Press, 2017. doi: https://doi.org/10.1201/9781315557380.
[9] Y. Preece, J., Sharp, H., Rogers, Interaction Design: Beyond Human-Computer Interaction , 4th Ed. Wiley, 2015.
[10]  D. A. Norman, Emotional Design: Why We Love (or Hate) Everyday Things . Basic Books, 2003.
[11]  H. B. Santoso, M. Schrepp, R. Yugo Kartono Isal, A. Y. Utomo, and B. Priyogi, “Measuring user experience of the student - centered E-learning environment,” J. Educ. Online , vol. 13, no. 1, pp. 1–79, 2016.
[12]  H. Y. Abuaddous, A. M. Saleh, O. Enaizan, F. Ghabban, and A. B. Al-Badareen, “Automated User Experience (UX) Testing for Mobile  Application:  Strengths  and  Limitations,” Int.  J.  Interact.  Mob.  Technol. ,  vol.  16,  no.  4,  pp.  30–45,  2022,  doi: 10.3991/ijim.v16i04.26471.
[13]  I.  Díaz-Oreiro,  G.  López,  L.  Quesada,  and  L.  Guerrero,  “Standardized  Questionnaires  for  User  Experience  Evaluation:  A Systematic Literature Review,” no. October 2018, p. 14, 2019, doi: 10.3390/proceedings2019031014.
[14]  A. M. Saleh, H. Y. Abuaddous, I. S. Alansari, and O. Enaizan, “The Evaluation of User Experience of Learning Management Systems Using UEQ,” Int. J. Emerg. Technol. Learn. , vol. 17, no. 7, pp. 145–162, 2022, doi: 10.3991/ijet.v17i07.29525.
[15]  I.  D.  Sabukunze  and  A.  Arakaza,  “User  Experience  Analysis  on  Mobile  Application  Design  Using  User  Experience
Hal 1714−1721 http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom
Questionnaire,” Indones. J. Inf. Syst. , vol. 4, no. 1, pp. 15–26, 2021, doi: 10.24002/ijis.v4i1.4646.
[16]  I. N. S. W. Wijaya, P. P. Santika, I. B. A. I. Iswara, and I. N. A. Arsana, “Analisis dan Evaluasi Pengalaman Pengguna  PaTik Bali dengan Metode User Experience Questionnaire (UEQ),” J. Teknol. Inf. dan Ilmu Komput. , vol. 8, no. 2, p. 217, 2021, doi: 10.25126/jtiik.2020762763.
[17]  M.  A.  Maricar,  D.  Pramana,  and  D.  R.  Putri,  “Evaluasi  Penggunaan  SLiMS  pada  E-Library  dengan  Menggunakan  User Experience Question (EUQ),” J. Teknol. Inf. dan Ilmu Komput. , vol. 8, no. 2, p. 319, 2021, doi: 10.25126/jtiik.2021824443.
[18]  N.  Limantara,  F.  Jingga,  and  S.  Surja,  “The  Evaluation  of  Business  Process  Simulation  Software  from  User  Experience Perspective using the User Experience Questionnaire,” Proc. 2019 Int. Conf. Inf. Manag. Technol. ICIMTech 2019 , vol. 1, no. August, pp. 261–265, 2019, doi: 10.1109/ICIMTech.2019.8843820.
[19]  A. Sularsa and A. S. Prihatmanto, “Evaluasi User Experiences Produk iDigital Museum dengan Menggunakan UEQ,” J. Teknol. Inf. , vol. 2, no. 2, pp. 56–62, 2015.
[20]  M. Schrepp, “User Experience Questionnaire Handbook Version 8,” URL https//www. Res. net/publication/303880829_User_Experience_Questionnaire_Handbook_Version_2.(Accessed  02.02.  2017) ,  no.  September 2015, pp. 1–15, 2019, [Online]. Available: www.ueq-online.org
[21]  I.  Ghozali, Aplikasi  Analisis  Multivariate  dengan  Program  IBM  SPSS  25 ,  9th  Ed.  Semarang:  Badan  Penerbit  Universitas Diponegoro, 2018.