## Pengujian Pengalaman Pengguna pada Website Jurusan Informatika UII menggunakan User Experience Questionnaire
User Experience Testing on the UII Informatics Department Website using the User Experience Questionnaire
1 Aulia Safira Ahda, 2 Chanifah Indah Ratnasari*
1,2 Program Studi Informatika, Fakultas Teknologi Industri, Universitas Islam Indonesia Jalan Kaliurang KM. 14,5 Sleman Yogyakarta 55584 *e-mail: chanifah.indah@uii.ac.id
( received : 14 Mei 2023, revised : 15 Mei 2023, accepted : 17 Mei 2023)

## Abstrak
Website  merupakan  salah  satu  media  yang  dimanfaatkan  sebagian  instansi  pendidikan  untuk menyampaikan  informasi.  Salah  satunya  adalah  Jurusan  Informatika  Universitas  Islam  Indonesia (UII). Salah satu hal mendasar yang perlu diperhatikan ketika mengembangkan suatu website adalah pengalaman pengguna ( user experience /UX) ketika berinteraksi dengan website tersebut. Pengalaman pengguna  mengukur  tingkat  kenyamanan  pengguna  ketika  berinteraksi  dengan  suatu  produk. Pengalaman pengguna perlu dievaluasi secara berkala agar website dapat terus memenuhi ekspektasi penggunanya.  Namun,  hingga  saat  ini  belum  ada  penelitian  terkait  evaluasi  maupun  pengujian pengalaman  pengguna  pada  website  Jurusan  Informatika  UII.  Penelitian  ini  bertujuan  untuk mengetahui  tingkat  pengalaman  pengguna  website  Jurusan  Informatika  UII.  Penelitian  ini dilaksanakan  menggunakan  metode  penelitian  kuantitatif  dengan  memanfaatkan  metode User Experience Questionnaire (UEQ). Pada pengujian menggunakan perhitungan mean, website Jurusan Informatika  UII  mendapatkan  hasil  evaluasi  positif  pada  dimensi  kejelasan,  efisiensi,  daya  tarik, ketepatan,  dan  stimulasi,  serta  evaluasi  negatif  pada  dimensi  kebaruan.  Pada  analisis benchmark , dimensi  kejelasan  dan  efisiensi  masuk  ke  dalam  kategori above  average .  Sedangkan  dimensi kebaruan,  stimulasi,  ketepatan,  dan  daya  tarik  masuk  ke  dalam  kategori below  average .  Hasil  dari penelitian  ini  dapat  digunakan  sebagai  acuan  untuk  mengembangkan  website  Jurusan  Informatika dengan versi yang lebih sesuai dengan kebutuhan pengguna.
Kata kunci: evaluasi, pengujian, pengalaman pengguna, user experience questionnaire

## Abstract
The website is one of the media used by some educational institutions to convey information. One of them  is  the  Department  of  Informatics  at  the Universitas  Islam  Indonesia ( UII ).  One  of  the  basic things that need to be considered when developing a academic website is the user experience (UX) a user has when engaging with a website. User experience measures the comfort level of a user when interacting with a product. User experience needs to be evaluated regularly so that the website can continue  to  meet  the  expectations  of  its  users.  However,  there  has  been  no  research  related  to evaluating or testing user experience on the UII Informatics Department website. This study aims to assess  the  level  of  experience  of  UII  Informatics  Department  website  visitors.  This  study  employed quantitative research methods, specifically the User Experience Questionnaire (UEQ) method. Using the  mean  calculation,  the  UII  Informatics  Department  website  received  positive  assessments  on  the dimensions  of  perspicuity,  efficiency,  attractiveness,  dependability,  and  stimulation,  but  received negative  evaluations on the  novelty  dimension.  According to the  benchmark  analysis, the  aspects  of perspicuity  and  efficiency  are  above-average.  While  the  dimensions  of  novelty,  stimulation, dependability,  and  attractiveness  are  below-average.  The  results  of  this  study  can  be  used  as  a reference for developing a website for the Department of Informatics with a version that is more in line with user needs.
Keywords: evaluation, testing, user experience, user experience questionnaire

## 1 Pendahuluan
Pemanfaatan  teknologi  sudah  menjadi  salah  satu  kebutuhan  khusus  bagi  setiap  lapisan masyarakat. Hampir setiap sektor telah memanfaatkan teknologi dengan mengandalkan akses internet. Salah  satu  sektor  yang  saat  ini  banyak  memanfaatkan  internet  adalah  sektor  pendidikan.  Saat  ini banyak instansi pendidikan di Indonesia, terutama perguruan tinggi, memanfaatkan teknologi berbasis website  untuk  menyampaikan  berbagai  informasi  kepada civitas  academica maupun  masyarakat umum.  Penggunaan  website  dalam  pelaksanaan  kegiatan  akademis  di  tingkat  universitas  memiliki berbagai manfaat. Website dapat menjadi media penyedia informasi akademis sesuai yang dibutuhkan audiensnya [1, 2]. Selain itu, penggunaan website dapat memfasilitasi serta meningkatkan efektivitas kegiatan  belajar  mengajar  [3,  4].  Penggunaan  website  juga  merupakan  peluang  yang  besar  sebagai media  promosi  untuk  membantu  penyebarluasan  kegiatan  akademis  [5,  6].  Sebagai  media  promosi, website  dapat  berperan  ganda  untuk  meningkatkan  citra  positif  instansi  kepada  masyarakat.  Citra positif  dapat  digunakan  untuk  membangun  kepercayaan  antara  penyedia  informasi  dan  target penerima  informasi  [7,  8].  Informasi  yang  disampaikan  harus  dapat  diterima  dengan  mudah  oleh pengguna.  Oleh  karena  itu,  website  harus  dapat  digunakan  dan  dipahami  oleh  penggunanya  dengan mudah. Hal tersebut akan memengaruhi tingkat kualitas website [9].
Kualitas  suatu  website  berkaitan  dengan  pengalaman  pengguna  ketika  menggunakan  produk tersebut.  Pengalaman  pengguna  atau  sering  disebut  dengan  istilah user  experience (UX)  merupakan salah  satu  aspek  yang  menjadi  perhatian  dalam  pengembangan  suatu  website.  UX  mempelajari bagaimana perilaku pengguna, sejauh mana mereka akan merasa senang dan puas ketika berinteraksi dengan website tersebut. Terdapat banyak pengukuran yang dapat menilai tingkat UX suatu website. Beberapa  di  antaranya  adalah  pengukuran  pada aspek  efektivitas,  efisiensi,  dan kepuasan  pengguna. Untuk mengetahui hal tersebut, website perlu diuji dan dievaluasi.
Jurusan Informatika Universitas Islam Indonesia (UII) merupakan salah satu bagian dari instansi pendidikan  yang  memanfaatkan  website  sebagai  sarana  untuk  menyampaikan  informasi.  Saat  ini, alamat  website  yang  digunakan  secara  aktif  adalah https://informatics.uii.ac.id/ .  Website  tersebut menyediakan  informasi  mengenai  layanan  pendidikan  bagi  mahasiswa,  dosen,  wali  mahasiswa,  dan masyarakat  umum.  Hal  tersebut  menunjukkan  bahwa  website  Informatika  digunakan  secara  aktif untuk  memberikan  informasi  kepada  penggunanya.  Namun,  hingga  saat  ini  masih  belum  dilakukan penelitian  mengenai  evaluasi  maupun  pengujian  UX  terhadap  website  Informatika.  Website  yang memberikan  informasi  secara  aktif  tidak  menjamin  bahwa  pengguna  sudah  merasa  nyaman  dengan kondisi  website  saat  ini.  Tidak  menutup  kemungkinan  masih  terdapat  pengguna  yang  merasa kesulitan,  kurang  nyaman,  maupun  kebingungan  ketika  mengakses  informasi  dari  website  tersebut. Oleh karena itu, makalah ini memiliki tujuan untuk melakukan pengujian pengalaman pengguna pada website  Jurusan  Informatika  UII  berdasarkan  dimensi  yang  terdapat  pada User  Experience Questionnaire atau  yang  disingkat  dengan  UEQ.  Hasil  dari  pengujian  tersebut  dapat  digunakan sebagai  dasar  dan  acuan  untuk  pengembangan  website  ke  depannya  sesuai  dengan  kebutuhan pengguna.

## 2 Tinjauan Literatur
Pengalaman pengguna atau biasa disebut dengan istilah user experience (UX) merupakan salah satu ilmu  yang  mempelajari  interaksi  seseorang  ketika  menggunakan  suatu  produk  [10].    Salah satu hal  utama  ketika  mengkaji  UX  adalah  melihat  apakah  suatu  produk  sudah  cukup  memenuhi kebutuhan  penggunanya  atau  masih  perlu  dikembangkan  lebih  lanjut.  UX  juga  mengkaji  seberapa jauh pengguna dapat merasa nyaman ketika menggunakan produk tersebut. Namun, untuk memenuhi standar  kualitas  UX  yang  baik,  diperlukan  penggabungan  beberapa  disiplin  ilmu  seperti  teknik, pemasaran,  desain  industri,  dan  desain  antarmuka  [11].  Penerapan  UX  yang  baik  akan  berpengaruh pada tingginya loyalitas pengguna terhadap produk yang digunakan.
Untuk  menciptakan  UX  yang  baik,  perlu  dilakukan  evaluasi  atau  pengukuran  UX  sejauh  mana produk  dapat  memenuhi  ekspektasi  pengguna.  Pada  penelitian  Kushendriawan  [12]  beranggapan bahwa evaluasi UX perlu dilakukan secara berkala agar produk dapat terus menyesuaikan kebutuhan dan ekspektasi pengguna. Hal tersebut sebagaimana yang disampaikan pada penelitian yang dilakukan Schrepp [13] yang menyatakan bahwa pengukuran UX dapat dilakukan sebagai:
1. improvisasi berkelanjutan terhadap versi terbaru dari produk;
e-ISSN:2540-9719
http://sistemasi.ftik.unisi.ac.id
2. perbandingan dengan produk lain di pasaran;
3. pengujian apakah produk sudah memenuhi ekspektasi pengguna; dan
4. menentukan area atau aspek agar dapat diimprovisasi.
Terdapat  beberapa  macam  metode  yang  dapat  digunakan  untuk  mengukur  dan  menganalisis tingkat  pengalaman  pengguna  pada  suatu  produk.  Pelaksanaan  pengukuran  UX  dapat  dilakukan menggunakan  metode  dengan  berbagai  basis,  seperti  wawancara,  kuesioner,  dan  observasi  [14,  15]. Pada  penelitian  Amalia  dkk  [1]  membahas  tentang  pengujian  UX  pada  sistem  informasi  akademik (SIAKAD) Poltekbang Palembang menggunakan UEQ. UEQ merupakan metode berbasis kuesioner. Penelitian  ini  dilaksanakan  untuk  mengetahui  tingkat  UX  pada  produk  yang  diteliti  apakah  dapat memenuhi  ekspektasi  pengguna.  Peneliti  mengukur  tingkat  UX  berdasarkan  enam  dimensi  yang terdapat  pada  UEQ,  yaitu  daya  tarik  ( attractiveness ),  kejelasan  ( perspicuity ),  efisiensi  ( efficiency ), ketepatan  ( dependability ),  stimulasi  ( stimulation ),  dan  kebaruan  ( novelty )  [16].  Penelitian  tersebut menyimpulkan bahwa pada dimensi kejelasan, daya tarik, efisiensi, stimulasi, dan ketepatan SIAKAD Poltekbang Palembang sudah berada pada evaluasi positif. Namun, masih terdapat dimensi  kebaruan yang  mendapatkan  evaluasi  negatif.  Penelitian  menggunakan  UEQ  juga  dilakukan  oleh  Henim  dan Sari [17]. Penelitian tersebut mengevaluasi UX terhadap sistem informasi akademik mahasiswa pada Politeknik  Caltex  Riau.  Penelitian  dilakukan  dengan  menganalisis  data  menggunakan  perhitungan mean dan analisis benchmark . Peneliti menyimpulkan bahwa dimensi kebaruan adalah dimensi yang membutuhkan perhatian khusus untuk ditingkatkan.
Selanjutnya, penelitian yang dilakukan oleh Darmawan dkk [18] memanfaatkan metode Cognitive Walkthrough (CW). Penelitian ini menguji UX pada website Universitas Singaperbangsa Karawang. Metode tersebut menguji usabilitas website dengan melakukan skenario tugas terhadap 5 responden. Secara  spesifik,  penelitian  mencari  kendala  yang  dialami  responden  ketika  mengerjakan  skenario tugas. Selanjutnya, terdapat penelitian dari Dewi dkk  [19] yang melakukan evaluasi UX terhadap E- Report Application . Evaluasi ini dilakukan dengan menggabungkan metode CW, Heuristic Evaluation (HE) ,  dan  UEQ.  Metode  HE  mengevaluasi  tampilan  website  berdasarkan  sembilan  prinsip  Nielsen [20].  Berdasarkan  pengujian  menggunakan  metode  CW,  penggunaan E-Report  Application masih belum  efektif.  Namun,  pengujian  dengan  metode  UEQ  menunjukkan  hasil  bahwa  responden  sudah merasa  puas  dengan  sistem.  Peneliti  memberikan  rekomendasi  perbaikan  berdasarkan  pengujian metode CW dan HE.
Berdasarkan  beberapa  literatur  tersebut,  dapat  disimpulkan  bahwa  metode  berbasis  kuesioner memberikan hasil pengujian berupa tingkat UX pada suatu produk. Metode UEQ memberikan lingkup penilaian pada enam dimensi untuk dapat melihat tingkat UX. Pengujian menggunakan metode CW memberikan gambaran terkait seberapa efisien produk dapat digunakan oleh penggunanya. CW juga memberikan  detail  kesalahan  pada  produk  yang  diuji.  Hal  tersebut  juga  terdapat  pada  metode  HE. Website Jurusan Informatika sendiri merupakan website yang belum pernah dilakukan pengujian dan evaluasi  UX.  Oleh  karena  itu,  penggunaan  metode  UEQ  akan  memberikan  kemudahan  untuk mengetahui aspek-aspek UX yang perlu diperbaiki sebelum dilakukan tahapan penelitian lebih lanjut.

## 3 Metode Penelitian
Pengujian  pengalaman  pengguna  pada  website  Jurusan  Informatika  UII  dilaksanakan  dengan menggunakan  metode  pengujian  berbasis  kuesioner,  yaitu User  Experience  Questionnaire (UEQ). Pengumpulan  data  dilakukan  dalam  waktu  satu  bulan.  Kriteria  responden  yang  dibutuhkan  pada penelitian ini adalah mahasiswa aktif Informatika UII, alumni Informatika UII, dan masyarakat umum yang  pernah  mengakses  website  Jurusan  Informatika  UII.  Metode  kuesioner  pada  pengujian pengalaman pengguna membutuhkan setidaknya 40 orang untuk mendapatkan data yang ideal dengan target data yang terkumpul adalah sebanyak-banyaknya untuk menghasilkan analisis yang lebih akurat [21,  22].  Penentuan  jumlah  responden  minimal  tersebut  didasarkan  pada  tinjauan  literatur  dari beberapa penelitian yang melakukan pengujian serupa terkait UX. Berdasarkan hal tersebut diketahui bahwa angka 40 merupakan jumlah responden yang ideal untuk melakukan pengujian menggunakan kuesioner [23]. Penelitian ini memuat beberapa tahapan sebagaimana ditunjukkan pada Gambar 1.

## Gambar 1. Alur Penelitian
Tahapan  pertama  pada  penelitian  ini  adalah  studi  literatur.  Studi  literatur  dilakukan  untuk mencari  acuan  dasar  teori  dan  literatur  terkait  penelitian  yang  dilakukan.  Tahapan  selanjutnya  yaitu persiapan  instrumen  pengujian.  Tahapan  ini  mencakup  penentuan  sampel  dan  persiapan  instrumen pengujian.  Instrumen  pengujian  yang  berupa  kuesioner  UEQ  disebarkan  kepada  responden menggunakan google  form .  Kuesioner  didistribusikan  dan  diisi  secara  daring.  Kuesioner  ini menampilkan  26  pernyataan  di  bagian  kiri  dan  kanan  dengan  rentang  skala  1-7.  Rentang  tersebut memiliki  nilai  acak  di  mana  skala  terendah  tidak  menginterpretasikan  nilai  negatif  atau  positif maupun  sebaliknya.  Gambar  2  merupakan  kuesioner  UEQ  terkait  produk  yang  akan  dinilai.  Setelah itu,  dilakukan  tahapan  pengumpulan  data.  Pada  tahapan  ini,  formulir  UEQ  disebar  secara  daring kepada  responden  dengan  kriteria  yang  sudah  ditentukan.  Responden  mengisikan  formulir pengukuran UEQ secara daring.

## Gambar 2. Kuesioner 26 Pernyataan UEQ
Setelah data didapatkan, dilakukan pengolahan dan analisis data. Tahapan ini dilakukan dengan memanfaatkan UEQ  data  analysis  tool yang  terdapat  pada  website  resmi  UEQ  ( https://www.ueq- online.org/ ). Tahapan ini dimulai dengan memasukkan data yang sudah dihimpun ke dalam analysis tool . Data yang telah dimasukkan akan ditransformasikan menjadi nilai -3 untuk menginterpretasikan nilai  negatif  terendah  sampai  dengan  nilai  +3  untuk  menginterpretasikan  nilai  positif  tertinggi. Pengolahan dan analisis data mencakup beberapa tahapan sebagai berikut. (a) Reduksi inkonsistensi data,  dilakukan  untuk  menghilangkan  data-data  yang  tidak  konsisten.  (b)  Pengujian  reliabilitas, pengujian  dilakukan  dengan  menggunakan Cronbachs  Alpha-Coefficient untuk  menentukan  apakah data sudah cukup reliabel untuk dianalisis lebih lanjut [24]. (c) Perhitungan mean , dari dimensi UEQ untuk mendapatkan hasil akhir dari pengujian pengalaman pengguna. Keenam dimensi tersebut akan dikategorikan menjadi attractiveness , hedonic quality , dan pragmatic quality . Pada pengukuran mean
e-ISSN:2540-9719
dalam  UEQ,  terdapat  standar  nilai  yang  merepresentasikan  tingkat  evaluasi  pengalaman  pengguna. Mean dengan nilai < -0.8 merepresentasikan hasil evaluasi negatif, rentang nilai -0.8 s.d. 0.8 mewakili evaluasi netral, sedangkan nilai > 0.8 merepresentasikan evaluasi positif. Pengolahan dan analisis data selanjutnya  yaitu  (d)  Analisis benchmark data  set .  Perhitungan  ini  merupakan  perbandingan  produk dengan 468 studi bermacam-macam produk yang telah disediakan oleh UEQ data analysis tool [22]. Analisis benchmark dibagi ke dalam 5 kategori sebagai berikut [16].
1. Excellent .  Kategori  ini  menafsirkan  bahwa  produk  yang  dievaluasi  sudah  termasuk  ke dalam 10% produk terbaik.
2. Good . Kategori ini menafsirkan bahwa terdapat 10% produk lain lebih baik dari produk yang dievaluasi, sedangkan 75% produk sisanya lebih buruk.
3. Above average . Terdapat 25% produk yang lebih baik dan 50% sisanya lebih buruk.
4. Below average . Pada kategori ini, 50% produk lebih baik dan 25% persen sisanya lebih buruk.
5. Bad .  Kategori  ini  menafsirkan  bahwa  produk  yang  dievaluasi  masuk  ke  dalam  25% produk terburuk.
Kategori tersebut dikelompokkan berdasarkan standar interval nilai benchmark yang ditampilkan pada Tabel 1.
Tabel 1. Standar Interval Nilai Benchmark Kategori Daya Tarik  Kejelasan Efisiensi Ketepatan Stimulasi Kebaruan Excellent ≥ 1.75 ≥ 1.9 ≥ 1.78 ≥ 1.65 ≥ 1.55 ≥ 1.4 Good < 1.75 ≥ 1.52 < 1.9 ≥ 1.56 < 1.78 ≥ 1.47 < 1.65 ≥ 1.48 < 1.55 ≥ 1.31 < 1.4 ≥ 1.05 Above average < 1.52 ≥ 1.17 < 1.56 ≥ 1.08 < 1.47 ≥ 0.98 < 1.48 ≥ 1.14 < 1.31 ≥ 0.99 < 1.05 ≥ 0.71 Below average < 1.17 ≥ 0.7 < 1.08 ≥ 0.64 < 0.98 ≥ 0.54 < 1.14 ≥ 0.78 < 0.99 ≥ 0.5 < 0.71 ≥ 0.3 Bad < 0.7 < 0.64 < 0.54 < 0.78 < 0.5 < 0.3
Dengan  perhitungan  menggunakan benchmark dapat  diketahui  bagaimana  kualitas  website Jurusan  Informatika  UII  ketika  dibandingkan  dengan  produk-produk  lain.  Perhitungan benchmark cukup  membantu  penilaian  ketika  suatu  produk  baru  diuji  menggunakan  UEQ  untuk  pertama  kali [16].  Tahapan  terakhir  yaitu  pengambilan  kesimpulan  dan  pemberian  saran.  Saran  diberikan berdasarkan hasil dari pengujian UX yang telah dilakukan.

## 4 Hasil dan Pembahasan
Pengujian  pengalaman  pengguna  pada  website  Jurusan  Informatika  UII  dilaksanakan  dengan menyebarkan formulir UEQ secara daring kepada orang-orang dengan kriteria yang telah ditentukan. Berdasarkan  formulir  yang  telah  disebarkan  selama  satu  bulan,  didapatkan  73  responden  yang  turut berpartisipasi. Selanjutnya, data tersebut dimasukkan ke dalam UEQ data analysis tool . Alat analisis tersebut  akan  mengolah  nilai  dari  setiap  variabel.  Alat  akan  mengkalkulasikan  data  menjadi  nilai dimensi dan menampilkan visualisasi berupa diagram.
Sebelum dilakukan pengujian reliabilitas, dilakukan identifikasi inkonsistensi data. Inkonsistensi jawaban  dapat  terjadi  apabila  responden  yang  berpartisipasi  tidak  mengisi  kuesioner  dengan  serius. Oleh karena itu, UEQ melakukan heuristik sederhana untuk mengidentifikasi inkonsistensi. Data yang memiliki nilai skala kritikal >2 (dilabeli dengan warna merah) akan dihapus. Gambar 3 menampilkan sampel data yang mengandung inkonsistensi jawaban.

## Gambar 3. Sampel Data dengan Inkonsistensi Jawaban
Dari  73  data  yang  telah  didapatkan,  terdapat  12  data  yang  dihilangkan  karena  teridentifikasi adanya  inkonsistensi  jawaban.  Setelah  didapatkan  data  yang  cukup  ideal,  dilakukan  pengujian realiabilitas.  Pengujian  reliabilitas  diperlukan  untuk  mengetahui  lebih  lanjut  apakah  tingkat  akurasi dan  konsistensi  data  yang  diperoleh  dapat  dipercaya  kebenarannya.  Pengujian  ini  menggunakan metode Cronbachs  Alpha-Coefficient pada  setiap  dimensi  UEQ.  Pada  Tabel  2  tertampil  hasil  dari pengujian reliabilitas.
Tabel 2. Hasil Pengujian Reliabilitas Dimensi UEQ Nilai Cronbachs Alpha Keterangan Daya tarik ( Attractiveness ) 0.85 Reliabel Kejelasan ( Perspicuity ) 0.81 Reliabel Efisiensi ( Efficiency ) 0.81 Reliabel Ketepatan ( Dependability ) 0.78 Reliabel Stimulasi ( Stimulation ) 0.70 Reliabel Kebaruan ( Novelty ) 0.75 Reliabel
Beberapa  penelitian  yang  menggunakan Cronbachs  Alpha mengasumsikan  bahwa  nilai Cronbach  Alpha yang  ideal  berada  pada  kisaran  >0.6  atau  >0.7.  Pada  penelitian  ini,  peneliti menggunakan standar >0.7. Tabel 2 menunjukkan hasil pengujian reliabilitas dengan nilai Cronbach Alpha yang  sudah  melebihi  nilai  minimum.  Dari  pengujian  ini  dapat  disimpulkan  bahwa  data  UEQ yang didapatkan sudah layak untuk dilanjutkan pada tahap analisis data.
Dari  26  skala  UEQ  dikelompokkan  menjadi  enam  dimensi  UEQ  dan  diperoleh  perbandingan hasil mean seperti yang terlihat pada Gambar 4 dan detail nilainya ditunjukkan pada Tabel 3.
http://sistemasi.ftik.unisi.ac.id
Tabel 3. Hasil Perhitungan Mean Kategori Mean Dimensi UEQ Mean Attractiveness 1.14 Daya tarik 1.142 Pragmatic Quality 1.18 Kejelasan 1.242 Efisiensi 1.189 Ketepatan 1.098 Hedonic Quality 0.67 Stimulasi 0.885 Kebaruan 0.459
Hasil  pengujian  pada  Tabel  3  menunjukkan  bahwa  kategori attractiveness mendapatkan  nilai mean >0.8.  Kategori  ini  hanya  diukur  menggunakan  satu  dimensi  yaitu  daya  tarik.  Hasil  pengujian menunjukkan  bahwa  dimensi  daya  tarik  mendapatkan  evaluasi  positif.  Hal  tersebut  menunjukkan bahwa  responden  merasa  senang  dan  puas  ketika  menggunakan  produk  serta  menganggap  bahwa produk memiliki tampilan dan desain yang menarik.
Kategori  selanjutnya  yaitu  kategori pragmatic  quality .  Kategori  ini  mendapatkan  nilai  >0.8 sehingga  dapat  dikategorikan  sebagai  evaluasi  positif. Pragmatic  quality merupakan  kategori  yang mengukur sejauh mana produk dapat memenuhi kebutuhan fungsional pengguna. Kategori ini diukur melalui  tiga  dimensi,  yaitu  kejelasan  ( perspicuity ),  efisiensi  ( efficiency ),  dan  ketepatan ( dependability ).  Dimensi  kejelasan  merupakan  dimensi  yang  menilai  tingkat  kemudahan  pengguna ketika  memahami  informasi  yang  disajikan  oleh  produk.  Dengan  nilai  evaluasi  positif,  aspek kejelasan  menunjukkan  bahwa  produk  sudah  dapat  dipahami  oleh  responden.  Dimensi  efisiensi mengukur  seberapa  cepat  pengguna  dapat  menyelesaikan  suatu  tugas  ketika  menggunakan  produk. Perhitungan mean pada  dimensi  efisiensi  memiliki  evaluasi  positif  sehingga  produk  ini  dikatakan dapat  digunakan  oleh  pengguna  secara  efisien.  Selanjutnya,  terdapat  dimensi  ketepatan  yang mengukur  tingkat  keandalan,  konsistensi,  dan  ketepatan  produk  ketika  digunakan  pengguna.  Hasil pengukuran mean pada dimensi ini menunjukkan evaluasi positif sehingga dapat disimpulkan bahwa pengguna sudah merasa bahwa produk dapat diandalkan.
Selanjutnya,  terdapat  kategori hedonic  quality yang  membahas  bagaimana  produk  dapat memberikan  kepuasan  secara  emosional.  Berdasar  Tabel  3  ditunjukkan  bahwa  kategori  ini mendapatkan  evaluasi  negatif. Hedonic  quality diukur  melalui  dua  dimensi,  yaitu  stimulasi ( stimulation )  dan  kebaruan  ( novelty ).  Berdasarkan  hasil  pengujian,  dimensi  stimulasi  mendapatkan evaluasi  positif.  Dimensi  ini  mengukur  sejauh  mana  produk  dapat  memberikan  pengalaman menyenangkan  dan  menarik  bagi  pengguna,  sehingga  dapat  disimpulkan  bahwa  pengguna  sudah mendapatkan pengalaman penggunaan produk yang menyenangkan dan mengasyikkan. Pada dimensi kebaruan,  hasil  pengujian  diinterpretasikan  sebagai  evaluasi  negatif  dengan  skor  <0.8.  Hal  tersebut menunjukkan bahwa pengguna tidak menganggap bahwa website Jurusan Informatika UII ini sebagai produk yang unik maupun inovatif.
Sebagai  pengukuran  pendukung  untuk  meningkatkan  akurasi  analisis  pengalaman  pengguna, dilakukan analisis data menggunakan perbandingan benchmark . Gambar 5 dan Tabel 4 menunjukkan hasil perbandingan dan analisis benchmark dari website Jurusan Informatika UII.
Gambar 5. Grafik Perbandingan Benchmark
http://sistemasi.ftik.unisi.ac.id
Tabel 4. Hasil Analisis Benchmark Dimensi UEQ Mean Keterangan Interpretasi Daya tarik 1.142 Below average 25% of results worse, 50% of results better Kejelasan 1.242 Above average 50% of results worse, 25% of results better Efisiensi 1.189 Above average 50% of results worse, 25% of results better Ketepatan 1.098 Below average 25% of results worse, 50% of results better Stimulasi 0.885 Below average 25% of results worse, 50% of results better Kebaruan 0.459 Below average 25% of results worse, 50% of results better
Pengukuran  analisis benchmark dilakukan  pada  enam  dimensi  UEQ.  Diagram  yang  tertampil pada  Gambar  5  menunjukkan  letak  pengukuran  pengalaman  pengguna  website  Jurusan  Informatika UII  dengan  produk  lain.  Dari  perbandingan benchmark yang  telah  dilakukan,  dimensi  daya  tarik, ketepatan, stimulasi, dan kebaruan berada pada kategori below average .  Sedangkan dimensi kejelasan dan efisiensi berada pada kategori above average .

## 5 Kesimpulan
Hasil evaluasi UX menggunakan metode UEQ menghasilkan nilai mean pada dimensi daya tarik sebesar  1.142,  dimensi  kejelasan  sebesar  1.242,  dimensi  efisiensi  dengan  nilai  1.189,  dimensi ketepatan dengan nilai 1.098, dan dimensi stimulasi dengan nilai 0.885. Angka tersebut menunjukkan bahwa  kelima  dimensi  UEQ  pada  website  Jurusan  Informatika  UII  memiliki  nilai  UX  yang  positif dengan  skala mean >0.8.  Namun,  dimensi  kebaruan  masih  mendapatkan  skor  0.459  yang mengindikasikan  evaluasi  negatif  dengan  skala mean <0.8.  Pada  analisis  data  menggunakan perhitungan benchmark menunjukkan  bahwa  dimensi  kejelasan  dan  dimensi  efisiensi  berada  pada kategori above  average .  Lalu  dimensi  daya  tarik,  ketepatan,  stimulasi,  dan  kebaruan  berada  pada kategori below  average .  Berdasarkan  hasil  pengujian  UX  tersebut,  dapat  ditarik  kesimpulan  bahwa dimensi kebaruan perlu mendapat perhatian khusus untuk segera dilakukan pengembangan. Dimensi tersebut  mendapatkan  evaluasi  negatif  dan  masih  berada  pada  kategori below  average dengan  nilai terendah  apabila  dibandingkan  dengan  dimensi  lain.  Padahal,  aspek  kebaruan  merupakan  dimensi yang berkaitan dengan inovasi baru, menarik, dan keunikan bagi suatu produk. Dengan nilai rendah, website  Informatika  masih  belum  cukup  untuk  menjadi branding atau  citra  khusus  bagi  Jurusan Informatika UII karena masih dianggap belum memiliki citra menarik dan positif. Secara garis besar, kelima  dimensi  lainnya  sudah  memenuhi  ekspektasi  pengguna  ketika  mengakses  website  Jurusan Informatika  UII.  Namun,  perlu  juga  untuk  menjadi  perhatian  bahwa  pada  dimensi  daya  tarik, ketepatan, dan stimulasi juga memerlukan pengembangan karena website masih belum mencapai nilai rata-rata pada perbandingan benchmark .  Sebagai  langkah  selanjutnya,  peneliti  menyarankan  untuk melakukan  penelitian  terkait  evaluasi  dan  pengujian  UX  menggunakan  metode  dengan  basis wawancara  dan/atau  observasi.  Saran  tersebut  didasari  pada  keterbatasan  penelitian  ini  yang  belum mampu  menunjukkan  bagian  website  yang  perlu  ditingkatkan  secara  detail.  Penelitian  ini  dapat menjadi acuan pada penelitian atau pengembangan selanjutnya pada website Jurusan Informatika UII ketika dibutuhkan.

## Referensi
[1] D. Amalia, D. Cahyono, V. Septiani, and M. Kristiawan, “UX test in the academic information system of vocational higher education,” JPGI (Jurnal Penelitian Guru Indonesia) , vol. 7, no. 1, Art. no. 1, Mar. 2022.
Volume 12, Nomor 2, Mei 2023: 527-536
http://sistemasi.ftik.unisi.ac.id
[2] R.  Afriansyah,  “Pembuatan  Portal  Website  Sekolah  Sma  Negeri  1  Sungailiat  Sebagai  Media Informasi,” Dinamisia : Jurnal Pengabdian Kepada Masyarakat , vol. 5, no. 1, Art. no. 1, 2021, doi: 10.31849/dinamisia.v5i1.4413.
[3] S.  Santika,  P.  Muljono,  and  I.  Hermadi,  “Efektivitas  Penerapan  Aplikasi  Web  2.0  Untuk Meningkatkan  Pembelajaran  Organisasi  Di  Perpustakaan  Universitas  Pendidikan  Indonesia,” Jurnal Pustakawan Indonesia , vol. 16, no. 1, Art. no. 1, 2017, doi: 10.29244/jpi.16.1.%p.
[4] H. Pujiastutik, “Efektivitas Penggunaan Media Pembelajaran E- Learning Berbasis Web Pada Mata Kuliah Belajar Pembelajaran I Terhadap Hasil Belajar Mahasiswa,” vol. 4, no. 1, 2019.
[5] P.  S.  Hasugian,  “Perancangan  Website  Sebagai  Media  Promosi  Dan  Informasi,” Journal  Of Informatic  Pelita  Nusantara ,  vol.  3,  no.  1,  Feb.  2018,  Accessed:  May  05,  2023.  [Online]. Available: https://e-jurnal.pelitanusantara.ac.id/index.php/JIPN/article/view/306
[6] W. Andriyan, S. S. Septiawan, and A. Aulya, “Perancangan Website sebagai Media Informasi dan Peningkatan Citra Pada SMK Dewi Sartika Tangerang,” Jurnal Teknologi Terpadu , vol. 6, no. 2, Art. no. 2, Dec. 2020, doi: 10.54914/jtt.v6i2.289.
[7] Y.  J.  Apriananta  and  L.  S.  Wijaya,  “Penggunaan  Website  Dan  Media  Sosial  Dalam Membangun Citra Positif Perguruan Tinggi,” KOMUNIKATIF : Jurnal Ilmiah Komunikasi , vol. 7, no. 2, Art. no. 2, Dec. 2018, doi: 10.33508/jk.v7i2.1750.
[8] I. A. Lestari, Y. Z. Abidin, and D. R. Astuti, “Pengelolaan Website dalam Meningkatkan Citra Positif Lembaga (Analisis Deskriptif pada Website Yayasan Pendidikan Al Ma’soem),” 1 , vol. 2, no. 4, Art. no. 4, 2019, doi: 10.15575/reputation.v2i4.725.
[9] R.  Kriyantono,  “Efektivitas  website  perguruan  tinggi  negeri  sebagai  penyedia  informasi  bagi mahasiswa,” Jurnal  Studi  Komunikasi ,  vol.  4,  no.  1,  pp.  117–142,  Mar.  2020,  doi: 10.25139/jsk.v4i1.1799.
[10]  “ISO  9241-11:2018(en),  Ergonomics  of  human-system  interaction  —  Part  11:  Usability: Definitions and concepts.” https://www.iso.org/obp/ui/#iso:std:iso:9241:-11:ed-2:v1:en (accessed Feb. 02, 2023).
[11]  J. Nielsen, Usability Engineering . Morgan Kaufmann, 1994.
[12]  Mochammad  Aldi  Kushendriawan,  Harry  Budi  Santoso,  Panca  O.  Hadi  Putra,  and  Martin Schrepp,  “Evaluating  User  Experience  of  a  Mobile  Health  Application  ‘Halodoc’  using  User Experience Questionnaire and Usability Testing,” J. Sistem Inf. (J. Inf. Sys.) , vol. 17, no. 1, pp. 58–71, Apr. 2021, doi: 10.21609/jsi.v17i1.1063.
[13]  M. Schrepp, A. Hinderks, and J. Thomaschewski, Applying the User Experience Questionnaire (UEQ) in Different Evaluation Scenarios . 2014, p. 392. doi: 10.1007/978-3-319-07668-3_37.
[14]  N.  E.  Jacobsen  and  B.  E.  John,  “Two  Case  Studies  in  Using  Cognitive  Walkthrough  for Interface Evaluation”.
[15]  R.  N.  Hakiki,  “Analisa  Perbandingan  Tingkat  Usability  Menggunakan  Metode  System Usability Scale (Sus) Dan People At The Centre Of Mobile Application Development (Pacmad) Pada Aplikasi Alfagift Dan Klikindomart.” Undergraduate  Thesis ,  2021.  [Online].  Available: https://eprints.umm.ac.id/78201/.
[16]  M. Schrepp, A. Hinderks, and J. Thomaschewski, “Construction of a Benchmark for the User Experience  Questionnaire  (UEQ),” International  Journal  of  Interactive  Multimedia  and Artificial Intelligence , vol. 4, pp. 40–44, Jun. 2017, doi: 10.9781/ijimai.2017.445.
[17]  S. R. Henim and R. P. Sari, “Evaluasi User Experience Sistem Informasi Akademik Mahasiswa pada Perguruan Tinggi Menggunakan User Experience Questionnaire,” p. 10.
[18]  R.  Darmawan,  N.  Heyana,  and  A.  Rizal,  “Analisis  User  Experience  (UX)  Pada  Website Universitas Singaperbangsa Karawang Menggunakan Metode Cognitive Walkthrough (CW),” Jurnal  Pendidikan  dan  Konseling  (JPDK) ,  vol.  4,  no.  4,  Art.  no.  4,  Aug.  2022,  doi: 10.31004/jpdk.v4i4.6271.
[19]  P.  W.  S.  Dewi,  G.  R.  Dantes,  and  G.  Indrawan,  “User  experience  evaluation  of  e-report application  using  cognitive  walkthrough  (cw),  heuristic  evaluation  (he)  and  user  experience questionnaire  (ueq),” J.  Phys.:  Conf.  Ser. ,  vol.  1516,  no.  1,  p.  012024,  Apr.  2020,  doi: 10.1088/1742-6596/1516/1/012024.
[20]  J.  Nielsen  and  R.  Molich,  “Heuristic  evaluation  of  user  interfaces,”  in Proceedings  of  the SIGCHI  Conference  on  Human  Factors  in  Computing  Systems ,  in  CHI  ’90.  New  York,  NY,
http://sistemasi.ftik.unisi.ac.id
USA: Association for Computing Machinery, Mar. 1990, pp. 249–256. doi: 10.1145/97243.97281.
[21]  C. Turner, J. Lewis, and J. Nielsen, “Determining Usability Test Sample Size,” in International Encyclopedia of Ergonomics and Human Factors , 2006.
[22]  D. M. Schrepp, “User Experience Questionnaire Handbook”.
[23]  J.  Lewis,  “Usability  Testing,”  in Handbook  of  Human  Factors  and  Ergonomics ,  2006,  pp. 1275–1316. doi: 10.1002/0470048204.ch49.
[24]  M. Schrepp, “On the Usage of Cronbach’s Alpha to Measure Reliability of UX Scales,” vol. 15, no. 4, 2020.