Abstrak—Kemajuan teknologi membawa banyak perubahan di dalam  sektor  kehidupan  masyarakat,  salah  satunya  adalah sektor  publik  dan  pemerintahan.  Contoh  perubahan  yang dilakukan  pada  sektor  publik  dan  pemerintahan  adalah  e- government. Penerapan
e-government mempermudah masyarakat dalam
melakukan hubungan dengan pemerintahnya.  Salah  satu  website  e-government  yang dikembangkan  di  Indonesia  adalah  SIPEMUDA  Kubu  Raya, yaitu  website  layanan  Dispendukcapil  online  di  Kabupaten Kubu  Raya.  Namun,  sering  terjadi  beberapa  keluhan  terkait website tersebut. Keluhan tersebut berkaitan erat dengan aspek user  experience.  Penelitian  ini  membahas  tentang  analisis  user experience  website  SIPEMUDA  dengan  mempertimbangkan aspek  pragmatis  dan  hedonisnya.  Penelitian  ini  menggunakan dua  perspektif,  yaitu  perspektif  ahli  dan  perspektif  pengguna untuk menekan subjektivitas dalam penelitian user experience. Metode  yang  digunakan  dalam  penelitian  ini  adalah  UEQ, Think  Aloud,  dan  Metode  Heuristik.  Untuk  memetakan  hasil Think  Aloud  dan  hasil  dari  metode  heuristik  ke  dalam  aspek pragmatis dan hedonis,  maka digunakan alat  berupa diagram afinitas  untuk  mempermudah  penggolongan  data.  Didapat  70 partisipan untuk perspektif pengguna dan 10 partisipan untuk perspektif  ahli.  Hasil  yang  diperoleh  menunjukkan  bahwa variabel  yang  memiliki  pengaruh  signifikan  terhadap  hasil evaluasi  adalah  variabel  pendidikan,  pengalaman,  serta kombinasi antara pendidikan dan pengalaman pengguna. Hasil dari kedua perspektif menunjukkan kesamaan antar keduanya, dimana webiste SIPEMUDA Kubu Raya dilihat sebagai website yang  positif  dan  lebih  baik  dari  sisi  pragmatis.  Hasil penggabungan data kualitatif diperoleh 19 evaluasi positif dan 20  evaluasi  negatif.  Hasil  evaluasi  negatif  tersebut  digunakan untuk menyusun rekomendasi perbaikan, sehingga didapatkan 25  rekomendasi  perbaikan  untuk  SIPEMUDA  Kubu  Raya dimana 13 diantaranya merupakan rekomendasi prioritas yang dipilih  dengan  mempertimbangkan  evaluasi  dari  perspektif ahli.  Salah  satu  contoh  rekomendasi  yang  diberikan  adalah “menambahkan tombol bantuan pada halaman utama”.
Kata  Kunci—E-Government,  Metode  Heuristik,  Think  Aloud, User Experience, User Experience Questionnaire.

## I. PENDAHULUAN
ERKEMBANGAN teknologi digital membawa perubahan pada berbagai aspek kehidupan manusia salah satunya  adalah  perubahan  di  bidang  pemerintahan  dengan adaptasi  website e-government. Website e-government diimplementasikan  oleh  Dinas  Kependudukan  dan  Catatan Sipil  Kabupate  Kubu  Raya  pada  Oktober  2020  yang berfungsi  untuk  membantu  masyarakat  dalam  mengakses berbagai layanan kependudukan di Dispendukcapil tersebut. Website e-government Dispendukcapil  Kubu  Raya  dinamai SIPEMUDA Kubu Raya.
Dalam  penggunaannya,  terdapat  beberapa  keluhan  dari pengguna  terhadap  SIPEMUDA Kubu  Raya.  Keluhan yang berhasil  dikumpulkan  berupa  keluhan  keluhan  mekanisme, registrasi, error saat login , website down, pengajuan ditolak, dan  pengajuan  gagal  dimana  sebanyak  80%  dari  keluhan tersebut  adalah  keluhan  terkait  mekanisme,  registrasi,  dan error saat login. Sebagian  besar  keluhan  pengguna merupakan keluhan yang berkaitan dengan user experience. Karena hal tersebut, maka penelitian ini akan berfokus pada analisis  kualitas user  experinece dari  SIPEMUDA  Kubu Raya.  Untuk  melakukan  analisis user  experience banyak tools yang  dapat  digunakan,  antara  lain  UEQ,  metode heuristik, metode think aloud, iScale, dan lain-lain. Berdasarkan famework CUE  Model, user  experience dipegaruhi  oleh  aspek  pragmatis  dan  hedonis  [1].  Aspek pragmatis  terfokus  pada  aspek usability dan  fungsi  utama produk sedangkan aspek hedonis terfokus pada rasa gembira saat menggunakan produk [2]. Penggunaan aspek pragmatis dan  hedonis  pada  evaluasi user  experience akan mempermudah  dalam  proses  analisis.  Namun  evaluasi user experience bersifat  subjektif  maka  diperlukan  kombinasi evaluasi  antara  pengguna  dan  ahli  untuk  memberikan  hasil yang lebih tepat dan detail [2]. Penyesuaian yang diharapkan dari penelitian ini adalah kombinasi evaluasi antara pengguna dan ahli untuk mengatasi kelemahan masing-masing metode yaitu  UEQ, think  aloud dan  evaluasi  heuristik  pada SIPEMUDA  untuk  mendapatkan  perbedaan  persepsi  antara pengguna  dan  ahli.  Berdasarkan  pemaparan  di  atas,  pada penelitian  ini  akan  dilakukan  evaluasi user  experience SIPEMUDA  Kubu  Raya  dari  perspektif  pegguna  dan perspektif  ahli  kemudian  dilakukan  perbandingan  antara kedua perspektif tersebut. Selain itu, akan dicari faktor-faktor yang  mempengaruhi  kualitas user  experience serta  akan dibuat rekomendasi perbaikan terhadap website SIPEMUDA Kubu Raya berdasarkan hasil evaluasi dari kedua perspektif.

## Analisis User Experience Website

## E-Government dengan Mempertimbangkan Aspek Pragmatis dan Hedoni (Studi Kasus: SIPEMUDA Kubu Raya)
Tri Zulfira Setia Rizki dan Dyah Santhi Dewi Departemen Teknik Sistem dan Industri, Institut Teknologi Sepuluh Nopember (ITS)
e-mail : dyahsd@gmail.com
P
Gambar 1. Grafik rata-rata aspek UEQ. 1,198 1,432 -,184 -2 -1 0 1 2 Daya tarik Kualitas Pragmatis Kualitas Hedonis

## II. TINJAUAN PUSTAKA

## A. User Experience
Berdasarkan  ISO  9241-210, User  Experience mencakup semua  emosi,  keyakinan,  preferensi,  persepsi,  reaksi  fisik, dan  psikologi  pengguna  yamg  dirasakan  baik  sebelum, selama,  dan  setelah user menggunakan  suatu  produk  atau layanan [3]. User Experience terbentuk dari kombinasi antara aspek  pragmatis  dan  hedonis.  Penelitian  ini  akan menggunakan keyword yang ditampilkan pada Tabel 1 untuk mengelompokkan komentar dari responden.
B. User Experience Questionnaire
UEQ  adalah  metode  pengukuran user  experience yang menggunakan kuesioner user experience terstandarisasi yang mampu mengukur semua jenis aspek kualitas dan pada saat yang  sama  mengumpulkan  umpan  balik  dari  sampel  yang lebih  besar  [4].  Terdapat  6  skala  dalam  kuesioner  ini  yaitu daya  tarik,  kejelasan,  efisiensi,  ketepatan,  stimulasi,  dan
kebaruan.  Kuesioner  ini terdiri  atas 26 pertanyaan dan  diisi dengan skala likert 1 hingga 7.

## C. Metode Heurisik
Metode  evaluasi  heuristik  adalah  metode  informal  untuk analisis usability di  mana  sejumlah  evaluator  disajikan dengan desain antarmuka dan diminta untuk mengomentarinya  [5].  Evaluasi  dilakukan  sesuai  dengan dokumen  pedoman  khusus  atau guideline. Digunakan guideline milik  Jacob  Nielsen  yang  terdiri  atas  10  prinsip usability untuk mengevaluasi sistem.

## D. Think Aloud
Metode think  aloud merupakan  pengujian  yang  berbasis pada  pengguna,  dimana  akan  memberikan  komentar  verbal secara kontinyu saat menggunakan suatu sistem. Verbalisasi yang dilakukan memungkin peneliti unuk menafsirkan pada bagian mana dalam sistem yang memiliki masalah [6]. Semua komentar yang diberikan oleh pengguna dicatat dan direkam agar poin pentng tidak terlewatkan.
Tabel 1. Daftar Kata Kunci. Pragmatis Positif Pragmatis Negatif Hedonis Positif Hedonis Negatif Aman Tidak aman Atraktif Tidak atraktif Berguna Tidak relevan Bersih Banyak informasi tak penting Cepat Lambat Inovatif Monoton Efektif Tidak efektif Kreatif Tidak kreatif Efisien Tidak efisien Mengundang interaksi Membosankan Komprehensif Tidak lengkap Menyenangkan Tidak menyenangkan Kualitas baik Kualitas Buruk Nyaman Memusingkan Langsung Memakan waktu Ramah pengguna Tidak ramah pengguna Membantu Tidak sesuai ekspektasi Menarik Tidak menarik Mudah digunakan Sulit digunakan Infentif Tidak nyaman Mudah dipelajari Sulit dipelajari Nyaman dipandang Mengintimidasi Mudah dimengerti Membingungkan Impresif Konservatif Praktis Tidak praktis Sederhana Kompleks Rapi Berantakan Konvensional Sesuai ekspektasi Tidak sesuai ekspektasi Ramai
Mudah diakses
Tidak mudah diakses
Dapat diprediksi Tidak dapat diprediksi
Tabel 2. Aktivitas Tugas. No. Tugas Aktivitas 1 Log in 2 Mengajukan layanan penggantian KK 3 Menggunakan fitur batalkan pengajuan 4 Mencari daftar pengajuan milik nama tertentu 5 Mengunduh formulir biodata penduduk 6 Mengunduh buku panduan SIPEMUDA 7 Melakukan penggantian password Tabel 3. Nilai Rata-Rata Aspek UEQ. Scale Mean Comparisson to benchmark Daya tarik 1,20 Above average Kejelasan 1,52 Above Average Efisiensi 1,03 Below Average Ketepatan 1,74 Excellent Stimulasi 0,65 Below Average Kebaruan -1,02 Bad Tabel 4. Hasil Kuantifikasi Total Think Aloud. Pragmatis Positif Pragmatis Negatif Hedonis Positif Hedonis Negatif 237 66 169 72

## E. Diagram Afinitas
Diagram  afinitas  adalah  alat  yang  digunakan  untuk menyortir sejumlah besar data/daftar ide yang dikumpulkan selama  penelitian,  hasil  survei,  proses  mengembangkan hubungan,  mengurangi  hubungan,  atau  setelah  sesi brainstorming yang  terkait  dengan  produk,  proses,  masalah kompleks, atau atau permasalahan pada umumnya.

## III. METODE PENELITIAN

## A. Persiapan
Penelitian  diawali  dengan  studi  literatur  dari  berbagai jurnal, tugas akhir, dan juga website yang berkaitan dengan
metode  evaluasi user  experience serta tools lain  yang  akan membantu  proses  pengolahan  data.  Kemudian  disusun perancangan  eksperimen  dengan  menentukan  menentukan variabel  independen  dan  dependen.  Variabel  independen terdiri  atas  jenis  kelamin  yang  dibagi  atas  pria  dan  wanita, latar belakang pendidikan yang dibagi atas pendidikan terkait UX  dan  pendidikan  tidak  terkait  UX,  serta  pengalaman menggunakan  website yang  dibagi  atas  pengguna  lama dan pengguna  baru.  Variabel  tersebut  hanya  berlaku  untuk responden dari golongan pengguna karena akan dicari faktor yang  mempengaruhi  variabel  dependen.  Variabel  dependen terdiri  atas  pragmatis  positif,  pragmatis  negatif,  hedonis positif,  dan  hedonis  negatif.  Selanjutnya  disusun  rangkaian tugas  yang  akan  diaplikasikan  pada  responden  golongan
Tabel 5.
ANOVA Untuk Pragmatis Positif.
Tests of Between-Subjects Effects
Source Type III Sum of Squares df Mean Square F Sig. Corrected Model 10,000 a 7 1,429 1,213 ,309 Intercept 814,202 1 814,202 691,646 ,000 Jenis Kelamin ,637 1 ,637 ,541 ,465 Pengalaman 2,233 1 2,233 1,896 ,173 Pendidikan 4,926 1 4,926 4,185 ,045 Jenis Kelamin * Pengalaman ,889 1 ,889 ,755 ,388 Jenis Kelamin * Pendidikan ,202 1 ,202 ,172 ,680 Pengalaman * Pendidikan ,465 1 ,465 ,395 ,532 Jenis Kelamin * Pengalaman * Pendidikan ,354 1 ,354 ,300 ,586 Error 72,986 62 1,177 Total 899,000 70 Corrected Total 82,986 69 Tabel 6. Uji Tukey Untuk Pragmatis Positif. Variabel Dependen Hasil Uji Tukey Level N Mean Grouping Latar Belakang Pendidikan Tidak terkait UX 35 3,686 A Terkait UX 35 3,143 B Tabel 7. ANOVA Untuk Pragmatis Positif. Uji Variabel Independen Signifikansi ANOVA (Pragmatis Positif) Jenis Kelamin Tidak Signifikan Pendidikan Signifikan Pengalaman Tidak Signifikan Jenis Kelamin * Pendidikan Tidak Signifikan
Jenis Kelamin * Pengalaman
Tidak Signifikan Pendidikan * Pengalaman Tidak Signifikan Jenis Kelamin * Pendidikan * Pengalaman Tidak Signifikan ANOVA (Pragmatis Negatif) Jenis Kelamin Tidak Signifikan Pendidikan Tidak Signifikan Pengalaman Signifikan Jenis Kelamin * Pendidikan Tidak Signifikan
Jenis Kelamin * Pengalaman
Tidak Signifikan Pendidikan * Pengalaman Signifikan Jenis Kelamin * Pendidikan * Pengalaman Tidak Signifikan ANOVA (Hedonis Positif) Jenis Kelamin Tidak Signifikan Pendidikan Tidak Signifikan Pengalaman Tidak Signifikan Jenis Kelamin * Pendidikan Tidak Signifikan Jenis Kelamin * Pengalaman Tidak Signifikan Pendidikan * Pengalaman Tidak Signifikan Jenis Kelamin * Pendidikan * Pengalaman Tidak Signifikan ANOVA (Hedonis Negatif) Jenis Kelamin Tidak Signifikan Pendidikan Signifikan Pengalaman Tidak Signifikan Jenis Kelamin * Pendidikan Tidak Signifikan Jenis Kelamin * Pengalaman Tidak Signifikan Pendidikan * Pengalaman Tidak Signifikan Jenis Kelamin * Pendidikan * Pengalaman Tidak Signifikan
pengguna.  Tugas  yang  ditampilkan  pada  Tabel  2  dibuat dengan merepresentasikan seluruh fungsi utama di website.
Selanjutnya  dilakukan  penentuan  responden  dengan menggunakan  dua  golongan  responden  yaitu  golongan pengguna  dan  golongan  ahli.  Ahli  merupakan  orang  yang memiliki  latar  belakang  pendidikan  atau  pernah  bekerja  di bidang UX selama minimal 1 tahun. Diperlukan sebanyak 70 orang responden pengguna dan 10 orang responden ahli.

## B. Pengumpulan Data
Mekanisme  pengumpulan  data  dibagi  menjadi  dua,  yaitu untuk  responden  pengguna  dan  responden  ahli.  Responden pengguna  mengerjakan  tugas  yang  telah  disusun  kemudian diwawancarai dan mengerjakan kuesioner UEQ. Sedangkan responden  ahli  melakukan  observasi  mandiri  terhadap website  kemudian  memberikan  evaluasi  berdasarkan guideline yang telah ditentukan.
Tabel 8.
MANOVA Untuk Pragmatis Positif. Uji Variabel Independen Signifikansi MANOVA (Variabel Pragmatis) Jenis Kelamin Tidak Signifikan Pendidikan Tidak Signifikan Pengalaman Signifikan Jenis Kelamin * Pendidikan Tidak Signifikan Jenis Kelamin * Pengalaman Tidak Signifikan Pendidikan * Pengalaman Signifikan Jenis Kelamin * Pendidikan * Pengalaman Tidak Signifikan MANOVA (Variabel Hedonis) Jenis Kelamin Tidak Signifikan Pendidikan Tidak Signifikan Pengalaman Tidak Signifikan Jenis Kelamin * Pendidikan Tidak Signifikan Jenis Kelamin * Pengalaman Tidak Signifikan Pendidikan * Pengalaman Tidak Signifikan Jenis Kelamin * Pendidikan * Pengalaman Tidak Signifikan MANOVA (Variabel Positif) Jenis Kelamin Tidak Signifikan Pendidikan Tidak Signifikan Pengalaman Tidak Signifikan Jenis Kelamin * Pendidikan Tidak Signifikan Jenis Kelamin * Pengalaman Tidak Signifikan Pendidikan * Pengalaman Tidak Signifikan Jenis Kelamin * Pendidikan * Pengalaman Tidak Signifikan MANOVA (Variabel Negatif) Jenis Kelamin Tidak Signifikan Pendidikan Tidak Signifikan Pengalaman Signifikan Jenis Kelamin * Pendidikan Tidak Signifikan Jenis Kelamin * Pengalaman Tidak Signifikan Pendidikan * Pengalaman Signifikan Jenis Kelamin Tidak Signifikan MANOVA (Variabel Keseluruhan) Jenis Kelamin Tidak Signifikan Pendidikan Tidak Signifikan Pengalaman Signifikan Jenis Kelamin * Pendidikan Tidak Signifikan Jenis Kelamin * Pengalaman Tidak Signifikan
Pendidikan * Pengalaman
Signifikan
Jenis Kelamin * Pendidikan * Pengalaman Tidak Signifikan Tabel 9. Uji Tukey Untuk Pragmatis Negatif. Variabel Dependen Hasil Uji Tukey Level N Mean Grouping Pengalaman Pengguna Baru 35 3,686 A Pengguna Lama 35 3,143 B Pengalaman * Pendidikan Pengguna Baru - UX related 17 1,882 A Pengguna Lama - Non UX related 16 1,125 B Pengguna Baru – Non UX related 18 1,055 B Pengguna Lama - UX related 19 0,736 B Tabel 10. Uji Tukey Untuk Hedonis Negatif. Variabel Dependen Hasil Uji Tukey Level N Mean Grouping Pendidikan Non UX related 35 1,77520 A UX related 35 1,28194 B Tabel 11. Hasil Kuantifikasi Total Metode Heuristik. Pragmatis Positif Pragmatis Negatif Hedonis Positif Hedonis Negatif 153 55 100 62

## C. Pengolahan Data
Pengolahan  data  dilakukan  pada  tiga  hasil  data  yang terkumpul,  yaitu  hasil  UEQ  dan  hasil think  aloud dari responden  pengguna  serta  hasil  evaluasi  heuristik  dari responden  ahli.  Pengolahan  data  UEQ  dilakukan  dengan menggunakan data analysis tool. Data hasil think aloud dan evaluasi heuristik kemudian dikelompokkan ke dalam salah satu  dari  empat  kelompok  variabel  dependen  dengan menggunakan  kata  kunci.  Kemudian  dilakukan  kuantifikasi untuk  tiap  variabel  dependen.  Dilakukan  uji  statistik menggunakan ANOVA dan MANOVA terhadap hasil think aloud untuk  mengetahui  faktor  yang  memengaruhi  variabel dependen.  Setelah  itu,  hasil  evaluasi  kedua  golongan responden  dikelompokkan  dengan  menggunakan  diagram afinitas.

## D. Analisa dan Rekomendasi
Seluruh data yang telah diolah selanjutnya akan dianalisis untuk  mendapatkan  informasi  yang  lebih  dalam  terkait penelitian yang dilakukan.
IV. HASIL DAN PEMBAHSAN

## A. Hasil Pengolahan Data UEQ
Data hasil kuesioner UEQ kemudian diolah menggunakan data  analysis  tool. Gambar  1  menunjukkan  hasil  rata-rata untuk ketiga aspek user experience.
Grafik  pada  Gambar  1  menunjukkan  tingkat user experience SIPEMUDA Kubu  Raya ditinjau dari perspektif pengguna.  Dapat  diketahui  bahwa  responden  pengguna menilai website ini baik dari sisi pragmatis namun buruk pada sisi hedonis.
Tabel  3  menunjukkan  nilai  rata-rata  untuk  elemen user experience apabila aspek pragmatis dan hedonis dipisahkan komponen  penyusunnya.  Dapat  dilihat  bahwa  elemen kebaruan yang merupakan penyusun aspek hedonis nilainnya buruk. Hal ini yang berpengaruh pada nilai akhir aspek hedois secara keseluruhan.

## B. Uji Statistik Inferensial Data Pengguna
Data yang akan digunakan untuk pengujian statistik adalah
Tabel 12. Kombinasi Diagram Afinitas Evaluasi Positif. Kategori Evaluasi Total Pragmatis Website SIPEMUDA mudah digunakan 63 Website SIPEMUDA efektif menyelesaikan masalah 17 Website SIPEMUDA sangat berguna 63 Adanya fitur daftar pengajuan 40 Terdapat daftar formulir yang dapat diunduh 34 Adanya fitur daftar pengajuan 13 Mekanisme pencegahan error 32 Mencegah pemalsuan data 34 Ada pop up konfirmasi sebelum membatalkan pengajuan 26 Terdapat pemberitahuan terkait waktu akses SIPEMUDA 25 Terdapat keterangan mengenai dokumen yang akan diunggah 9 Terdapat kode formulir dan keterangannya 14 Website ini nyaman digunakan 18 Hedonis Desain minimalis 87 Tampilan yang bersih dan sederhana 94 Warna yang atraktif 41 Mudah menemukan pelayanan yang diinginkan 23 Mekanisme pengisian formulir yang runtut 8 Semua menu dan proses utama ditampilkan secara langsung pada setiap halaman 11 Tabel 13. Kombinasi Diagram Afinitas Evaluasi Negatif. Kategori Evaluasi Total Pragmatis Tidak ada fitur bantuan 17 Tidak ada fitur saran 8 Tidak ada keterangan / instruksi pada setiap fitur 6 Tidak ada fitur penilaian kepuasan pengguna saat 6 Tidak ada dokumentasi untuk formulir yang sedang diisi 8 Buku panduan SIPEMUDA sulit ditemukan 8 Tidak ada link untuk mengakses helpdesk 5 Tidak ada fitur pencarian pada daftar formulir 4 Formulir yang harus diunduh berada pada halaman website berbeda 15 Instruksi terkait lampiran yang diunggah kurang jelas 9 Tidak ada navigasi untuk sistem yang sedang dibuka 2 Tidak ada feedback halaman yang gagal akses 2 Penambahan integrasi layanan 8 Hedonis Wording navigasi “daftar pengajuan” kurang tepat 43 Tampilan pada halaman utama sangat sederhana dan membosankan 24 Letak tab tidak sesuai urutan proses 28 Tampilan pada daftar formulir sangat kompleks 15 Formulir yang dibutuhkan untuk mengajukan layanan tidak terlampir pada interface pengajuan layanan tertentu 31 Instruksi pada dokumen yang harus diuggah kurang menarik perhatian 6 Label kolom yang harus diisi jaraknya terlalu jauh dari kolom 10
data hasil think aloud milik responden pengguna yang telah dilakukan  kuantifikasi  untuk  masing-masing  variabel dependen.  Tabel  4  menunjukkan hasil  kuantifikasi  keempat kelompok  variabel  dependen  berdasarkan  evaluasi  dan komentar yang diberikan oleh responden penngguna.
Data pada Tabel 4 akan digunakan untuk uji statistik. Pada uji  statistik  ini  dilakukan  uji two-way ANOVA  dan MANOVA. Uji statistik dilakukan untuk mengetahui faktor- faktor  yang  berpengaruh  terhadap  variabel  dependen. Pengujian pertama dilakukan pada variabel pragmatis positif dengan  menggunakan  uji two-way ANOVA.  Uji  ANOVA dan MANOVA berikut dilakukan setelah asumsi normalitas dan  homogenitas  terpenuhi.  Tabel  5  menunjukkan  hasil  uji two-way ANOVA menggunakan software SPSS.
Dari  hasil  Tabel  5  diketahui  bahwa  hanya  variabel pendidikan yang menghasilkan nilai signifikansi < α (0,05) sehingga  diketahui  bahwa  variabel  pendidikan  berpengaruh signifikan terhadap variabel pragmatis positif.
Kemudian  dilakukan  uji  Tukey  untuk  mendapatkan informasi  terkait  kelompok  pada  variabel  pendidikan  yang berpengaruh signifikan. Tabel 6 menunjukkan hasil Tukey.
Hasil  uji  Tukey  di  atas  menunjukkan  bahwa  responden dengan  latar  belakang  pendidikan  tidak  terkait  UX memberikan  lebih  banyak  komentar  positif  pragmatis dibandingkan dengan responden berlatar belakang pendidikan  terkait  UX.  Hal  ini  sesuai  dengan  penelitian sebelumnya  yang  menyatakan  bahwa  semakin  banyak pengetahuan terkait UX yang dimiliki oleh responden, maka akan  semakin  selektif  dan  kritis  komentar  yang  diberikan oleh responden. Selanjutnya akan dibuat rekapitulasi hasil 9
uji ANOVA dan MANOVA yang ditampilkan pada Tabel 7 dan Tabel 8.
Terlihat pada Tabel 7 variabel yang berpengaruh terhadap variabel  dependen  yaitu  pendidikan,  pengalaman  dan kombinasi  antara  pendidikan  dan  pengalaman.  Sedangkan pada  tabel  8  diketahui  bahwa  variabel  yang  berpengaruh terhadap  variabel  dependen  adalah  pengalaman  dan kombinasi antara pengalaman dan pendidikan.
Tabel  9  dan  Tabel  10  di  atas  menunjukkan  uji  Tukey sebagai  uji  lebih  lanjut  akibat  adanya  faktor  yang berpengaruh  signifikan  terhadap  variabel  independen. Diketahui  bahwa  responden  pengguna  baru  dan  memiliki latar  belakang  UX  memberikan  evaluasi  pragmatis  negatif lebih  banyak.  Sedangkan  responden  dengan  latar  belakang pendidikan  tidak  terkait  UX  memberikan  evaluasi  negatif hedonis lebih banyak.

## C. Hasil Evaluasi Responden Ahli
Data  hasil  evaluasi  heuristik  oleh  responden  ahli  yang berupa  komentar  dan  narasi  selanjutnya  dikelompokkan dengan  menggunakan  kata  kunci.  Tabel  11  menunjukkan hasil  kuantifikasi  keempat  kelompok  variabel  dependen berdasarkan  evaluasi  dan  komentar  yang  diberikan  oleh responden ahli.

## D. Diagram Afinitas dan Rekomendasi
Diagram afinitas dibuat untuk mengelompokkan evaluasi- evaluasi  yang  diberikan  oleh  kedua  golonngan  responden agar evaluasi yang diberikan lebih terorganisir dan tidak ada evaluasi  berulang.  Diagram  afinitas  dibuat  untuk  hasil
Tabel 14.
Rekomendasi. Hasil Evaluasi Pragmatis Hasil Evaluasi Pragmatis
Menambahkan tombol bantuan pada halaman utama Menyediakan kolom saran pada halaman utama
Pada setiap fitur diberikan tombol navigasi kecil yang akan memberikan penjelasan tentang fitur terkait jika diklik Menambahkan fitur rating kepuasan setiap setelah pengajuan layanan Membuat mekanisme auto-save untuk data yang sedang diisi oleh pengguna Buku panduan SIPEMUDA diletakkan pada halaman utama Menyediakan link atau tombol navigasi untuk mengakses helpdesk Membuat kolom pencarian formulir pada bagian paling atas daftar formulir Membuat tanda dengan menggelapkan box tab yang sedang dibuka Mengintegrasikan layanan lain yang berhubungan Mengganti nama tab “daftar pengajuan” menjadi “lacak ajuan” Memindahkan tab “daftar pengajuan” setelah tab pelayanan
Hedonis
Menghapus informasi jam layanan dan catatan pada tampilan daftar formulir Melampirkan formulir tertentu yang diperlukan pada suatu layanan pada interface saat mengajukan layanan Instruksi dituliskan pada box berbeda dengan warna yang kontras dengan latar belakang (kuning atau hijau) Mengurangi jarak antara label kolom yang letaknya berada di atas, dengan kolomnya
Hasil Uji Statistik Pragmatis Memberikan instruksi secara jelas Memberikan instruksi tidak lebih dari 15 kata Memberikan keterangan pada setiap fungsi yang dijalankan Hedonis Menambahkan 2 warna untuk gradasi Mengaplikasikan layout interface sederhana Menambahkan elemen warna pada halaman utama
Tabel 15.
Perbandingan Evaluasi Kedua Perspektif. Aspek Responden Ahli Responden Pengguna Pragmatis 56% 56% Hedonis 44% 44% Positif 68% 75% Negatif 32% 25% Pragmatis Positif 41% 44% Pragmatis Negatif 15% 12% Hedonis Posiitif 27% 31% Hedonis Negatif 17% 13%
evaluasi  masing-masing  golongan  responden.  Setelah terdapat  dua  diagram  afinitas,  selanjutnya  kedua  diagram afinitas digabungkan untuk mendapatkan evaluasi yang lebih komprehensif.  Gabungan  tabel  afinitas  ditampilkan  pada Tabel 12 dan Tabel 13. Tabel 12 berisikan kombinasi diagram afinitas  berbasiskan  evaluasi  positif  sedangkan  Tabel  13 berisikan  kombinasi  diagram  afinitas  berbasiskan  evaluasi negatif.
Setelah  diagram  afinitas  disusun,  tahap  terakhir  adalah menyusun rekomendasi perbaikan berdasarkan hasil evaluasi negatif  yang  didapatkan.  Selain  evaluasi  kualitatif, rekomendasi  perbaikan  SIPEMUDA  juga  dibuat  dengan mempertimbangkan  hasil  uji  statstik  yang  telah  dilakukan sebelumnya.  Rekomendasi  perbaikan  untuk  SIPEMUDA Kubu Raya ditampilkan pada Tabel 14.
Rekomendasi  yang  telah  disusun  pada  Tabel  14  di  atas dapat  digunakan  oleh  pengembang  website  SIPEMUDA Kubu  Raya  untuk  meningkatan  kualitas  SIPEMUDA  agar dapat meningkatkan kualitas user experience.
E. Perbandingan Kedua Golongan Responden
Berdasarkan hasil pengumpulan dan pengolahan data yang telah  dilakukan,  didapatkan  hasil  perbandingan  sebagai berikut yang ditampilkan pada Tabel 15.
Secara  keseluruhan,  kedua  responden  menganggap SIPEMUDA  Kubu  Raya  sebagai  website  yang  baik, dibuktikan  dari  pemberian  komentar  positif  untuk  aspek pragmatis dan negatif sebesar 68% dan 75% secara berturut- turut  unuk  kedua  golongan  repsonden.  Namun,  responden ahli  lebih  banyak  memberikan  komentar  negatif.  Hal  ini sesuai  dengan  penelitian  sebelumnya  yang  menyatakan bahwa  pendidikan  dan  pengalaman  terkait  UX  menjadikan seseorang lebih selektif, setail, dan berhati-hati dalam menilai suatu sistem.
Untuk hasil evaluasi kualitatif, diketahui bahwa responden ahli  memberikan  evaluasi  secara  lebih  spesifik  dan  lebih detail.

## V. KESIMPULAN
Setelah dilakukan analisis terkait kualitas user exeperience terhadap  website  SIPEMUDA  Kubu  Raya,  didapatkan
kesimpulan  sebagai  berikut  yaitu  berdasarkan  perspektif pengguna,  SIPEMUDA  Kubu  Raya  dinilai  baik  dan  lebih fokus  pada  aspek  pragmatis.  Hasil  tersebut  selaras  antara UEQ  dan  hasil think  aloud. Namun,  aspek  hedonis  website ini  dinilai  buruk.  Variabel  yang  berpengaruh  terhadap  hasil UX  dari  persepsi  pengguna  adalah  variabel  pendidikan, pengalaman,  dan  kombinasi  antara  pendidikan  dan pengalaman Berdasarkan perspektif ahli, SIPEMUDA Kubu Raya juga dinilai baik dan positif yang lebih fokus pada aspek pragmatis.  Pada  hasil  kuantifikasi  evaluasi,  tidak  ada perbedaan  diantara  kedua  perspektif  untuk  aspek  pragmatis dan  hedonis.  Namun  hasil  metode  kualitatif  menunjukkan bahwa  evaluasi  dari  ahli  lebih  banyak  varian  dan  spesifik. Perspektif  ahli  menghasilkan  lebih  banyak  evaluasi  negatif dari  pada  perspektif  pengguna.  Rekomendasi  dibuat berdasarkan  gabungan  diagram  afinitas  dan  pertimbangan hasil  uji  statistik.  Diberikan  25  rekomendasi  hasil  evaluasi dan 6 rekomendasi hasil uji statistik.

## DAFTAR PUSTAKA
[1]  M.  Hassenzahl  and  N.  Tractinsky,  “User  experience  -  a  research agenda,” Behaviour  and  Information  Technology ,  vol.  25,  no.  2,  pp. 91–97, Mar. 2006, doi: 10.1080/01449290500330331.
[2]  K.  Väänänen-Vainio-Mattila  and  M.  Wäljas,  “Developing  an  Expert Evaluation  Method  for  User  Experience  of  Cross-Platform  Web Services,”  in Proceedings  of  13th  International  Acacemic  MindTrek Conference: Everyday Life in the Ubiquitos Era , 2009, pp. 162–169. doi: 10.1145/1621841.1621871.
[3]  International  Organization  for  Standardization, ISO  9241-210:2019
Ergonomics of Human-System Interaction - Part210: Human-Centred Design  for  Interactive  Systems ,  2nd  ed.  Switzerland:  International Organization for Standardization, 2019.
[4]  M. Schrepp, A. Hinderks, and J. Thomaschewski, “Applying The User Experience Questionnaire (UEQ) in Different Evaluation Scenarios,” in International Conference of Design, User Experience, and Usability. Theories, Methods, and Tools for Designing the User Experience , Jun. 2014, vol. 8517, pp. 383–392. doi: https://doi.org/10.1007/978-3-319- 07668-3_37.
[5]  J. Nielsen and R. Molich, “Heuristic Evaluation of User Interfaces,” in Proceedings  of  the  SIGCHI  Conference  on  Human  Factors  in Computing Systems , Apr. 1990, pp. 249–256. doi:
10.1145/97243.97281.
[6]  P. T. Fajarini, N.  K. A. Wirdiani, and I. P. A.  Dharmaadi, “Evaluasi portal  berita  online  pada  aspek  usability  menggunakan  heurtistic evaluation  dan  think  aloud,” Jurnal  Teknologi  Informasi  dan  Ilmu Komputer  (JTIIK) ,  vol.  7,  no.  5,  pp.  905–910,  Oct.  2020,  doi: 10.25126/jtiik.202073587.