DOI: https://doi.org/10.29210/021583jpgi0005
Contents lists available at Journal IICET

## JPGI (Jurnal Penelitian Guru Indonesia)
ISSN: 2541-3163(Print) ISSN:  2541-3317 (Electronic)
Journal homepage : https://jurnal.iicet.org/index.php/jpgi

## UX test in the academic information system of vocational higher education
Direstu Amalia 1 , Dwi Cahyono 1 , Virma Septiani 1 , Muhammad Kristiawan 2 1 Politeknik Penerbangan Palembang, Indonesia 2 Universitas Bengkulu, Indonesia
Article Info ABSTRACT

## Article history:
Received Dec 28 th , 2021 Revised Jan 21, 2022 Accepted Feb 25 th , 2022 The  purpose  of  this  study  is  to  evaluate  the  user  experience  (UX)  of  academic information  system  (SIAKAD)  using  the  User  Experience  Questionnaire  (UEQ).
Although SIAKAD has been running for two years, user experience testing has not yet  been  carried  out  to  assess  whether  this  application  is  sufficient  to  meet  user needs or not. Questionnaires were distributed to all lecturers, administrative units, and cadets and 70 people filled out the survey. The results showed positive  values on  the  scale  of  attractiveness,  clarity,  efficiency,  accuracy,  and  stimulation  with means > 0,8. The negative values are finding on the novelty scale where the mean is < 0,8 or 0.564. The reliability test showed that five of the six aspects were good with Cronbach-alpha > 0.7, while the UEQ weakness was on the novelty scale with an Alpha score of 0.16. A benchmark study  conducts, and results shows a scale of accuracy,  attractiveness,  and  stimulation  to  get  an  “Excellent”  Product  rating.
Clarity  and  efficiency  scale  reach  a  “Good”  category.  Poor  rating  with  “Below Average” obtained by novelty scale. Suggestions for further improvement is to re- evaluate  the  novelty  aspect  of  SIAKAD  with  important  points  that  must  be considered related to innovation, invention, and creative design.
Keyword: User experience; Measurement Academic information system
© 2022 The Authors. Published by IICET. This is an open access article under the CC BY-NC-SA license (https://creativecommons.org/licenses/by-nc-sa/4.0
Corresponding Author:
Amalia, D., Politeknik Penerbangan Palembang, Indonesia Email: direstu@poltekbangplg.ac.id

## Pendahuluan
Karakter  heterogen  pada  platform,  perangkat,  bahasa  pemrograman  suatu  sistem  juga  dipengaruhi  oleh karakteristik  lingkungan  dan  karakteristik  pengguna,  misalnya  perbedaan  minat  atau  kebiasaan  dan perkembangan  zaman  (Galitz,  2007).  Perbedaan  tersebut  menjadi  tantangan  besar  untuk  menyediakan aplikasi perangkat lunak yang terdiri dari berbagai fitur yang kompleks. Keberagaman platform yang dituntut oleh  keramahan  pengguna,  telah  menjadikan  User  Interface  atau  yang  dikenal  dengan  User  Interface  (UI) menjadi elemen yang sangat diperhatikan dalam perencanaan pengembangan aplikasi karena menghubungkan end-to-end  antara  pengguna  dengan  fungsionalitas  dari  perangkat  lunak  yang  dibuat.  Kebutuhan, kemampuan,  dan  keterbatasan  pengguna  menjadi  perhatian  sebelum  merancang  UI  karena  karakteristik manusia merupakan faktor penting untuk dipertimbangkan. Studi terkait perilaku manusia terhadap komputer memberikan  gambaran  tentang  bagaimana  merancang  UI  yang  tepat.  Prinsip-prinsip  ini  digunakan  dalam desain UI dan disetujui oleh sebagian besar pengembang karena konsep ini telah memandu desain perangkat lunak (Mandel, 1997), dan memiliki efek positif (Folmer, software, & 2004, n.d.). Penerapan prinsip ini juga terbukti mampu meningkatkan performa sistem dan user experience.

## UX test in the academic information system ...
Tujuan dari penelitian ini adalah untuk melakukan pengujian User Experience (UX) dari aplikasi SIAKAD Poltekbang  Palembang  untuk  mengetahui  sejauh  mana  SIAKAD  telah  memenuhi  harapan  pengguna, membantu pengguna melaksanakan tugas-tugasnya, serta memberikan pengalaman yang menyenangkan pada saat  menjelajahi  SIAKAD  dengan  menggunakan  form  evaluasi  UEQ.  SIAKAD  atau  Sistem  Informasi Akademik  yang  dimiliki  oleh  Politeknik  Penerbangan  Palembang  merupakan  aplikasi  berbasis  web  yang fungsinya  mengelola  data  secara  formal  dan  diakui.  Tujuannya  agar  seluruh  proses  kegiatan  akademik terkelola,  terdokumentasi  menjadi  informasi  yang  berdaya  guna  bagi  user  dan  organisasi  Poltekbang Palembang. SIAKAD adalah sebuah aplikasi yang datanya terintegrasi dan terhubung dengan DIKTI Feeder sehingga output data pelaporannya sudah disesuaikan dengan standar DIKTI Feeder dan  informasinya bisa dimanfaatkan  seluruh  unit  akademik  terkait.  Selain  itu,  SIAKAD  Politeknik  Penerbangan  Palembang  telah terhubung  ke learning  management  system milik  Politeknik  Penerbangan  Palembang  https://e- learning.poltekbangplg.ac.id/.  Adapun  SIAKAD  memiliki  fitur  berikut:  Input  kurikulum,  Input  fasilitas pendidikan, Input Kelas Kuliah, Input Dosen Tambahan, Pembuatan Jadwal, Pembuatan KRS, Input RPS, Input Aktivitas Pembelajaran, Input Nilai, Penerbitan KHS, Penerbitan Transkrip Nilai, dll. Fasilitas siakad ini  terdiri atas  3  pengguna,  yaitu  User Admin Prodi,  User  Dosen,  dan  User  Taruna.  Tampilan  Akses  URL siakad.poltekbangplg.ac.i , maka akan tampil halaman login seperti berikut.

## Gambar  1. Halaman Muka SIAKAD
Setelah berhasil login, pada halaman dashboard terdapat 3 (tiga) menu utama yang berbeda bagi masing- masing  user  sebagaimana  yang  tampil  dibawah  ini.  Fitur  pada  ketiga  user  juga  berbeda-beda,  fitur  paling lengkap tentunya ada pada User Admin Prodi, dibawah ini adalah perbedaan ketiganya:

## Gambar  2. Tampilan Dashboard masing-masing user
Gambar dari kiri ke kanan adalah tampilan user Taruna, User Admin Prodi, dan User Dosen. Selanjutnya perbedaanya dideskripsikan dibawah ini. Visual siakad secara umum didominasi oleh warna biru dan putih tanpa  adanya  animasi,  video  petunjuk  penggunaan,  atau  fitur  online  chat/help.  Terdapat  logo  Politeknik Penerbangan  Palembang  di  sisi  kiri  atas  dan  identitas  user  yang  login  di  kanan  atas.  Tampilan  SIAKAD berkonsep clean dengan  pilihan  font  calibri.  Fitur  sederhana  namun  memenuhi  segala  kriteria  yang dipersyaratkan menggambarakan kejelasan (clarity), efisiensi, dan akurasi dari aplikasi ini.

## Gambar  3. Daftar Menu Dashboard masing-masing User
Kegiatan administrasi akademik kampus seperti pembuatan jadwal kuliah, pengisian Kartu Rencana Studi (KRS),  pengisian  nilai,  pengelolaan  data  dosen  dan  taruna  termasuk  absensi  kehadiran  dan  Rencana Pembelajaran  Semester  (RPS)  setiap  mata  kuliah.  Untuk  menu  pada  user  taruna  juga  dilengkapi  dengan integrasi  menu  keuangan  dimana  taruna  bisa  melakukan  aktivitas  setelah  pembayaran  perkuliahan diselesaikan, salah satunya fitur print KHS. Persyaratan umum dari sistem informasi akademik telah terpenuhi dalam aplikasi SIAKAD Politeknik Penerbangan Palembang, sehingga telah layak untuk kita nilai bagaimana pendapat  atau  persepsi  penggunanya  terhadap  aplikasi  ini  yang  berkaitan  erat  dengan  User  Interface  (UI) aplikasi ini.
User Interface (UI) adalah sebuah tampilan visual dari suatu sistem atau perangkat lunak dan berhubungan erat dengan pengguna, sistem, serta konteksnya. Sedangkan User experience (UX) berhubungan erat dengan konteks Human-Computer Interaction (HCI) (Lallemand, Gronier, Behavior, & 2015, 2015). User Experience (UX) umumnya digunakan oleh peneliti dan praktisi di banyak bidang dan aspek ini menjadi pertimbangan dalam  membuat  suatu  produk.  Pendekatan  pengukuran  UX  sendiri  bisa  berupa  pendekatan  kualitatif  atau kuantitatif  dan  keduanya  memiliki  kegunaan  berbeda  (Law,  Schaik,  Human,  &  2014,  n.d.).  Telah  banyak penelitian  terkait framework UX,  beberapa  diantaranya  adalah Questionnaire  for  User  Interaction  Satisfaction (QUIS), The Standardized User Experience Percentile Rank Questionnaire (SUPR-Q), System Usability Scale (SUS), and Software  Usability  Measurement  Inventory  (SUMI). Secara  akurasi  semua  framework  tersebut  sama  baiknya, namun  dari  segi  kepraktisan  dan  dukungan  alat  pengolahan  data  tersedia  gratis,  kemudian  sajian  data  nya terbilang  sangat  mudah  dipahami  oleh  penulis  maka  penulis  memilih User  Experience  Questionnaire (UEQ) https://www.ueq-online.org/ sebagai framework pada penelitian ini.
UEQ memiliki skala yang komprehensif terhadap UX yang diukur, yaitu terdiri atas Usability Aspects atau Aspek Kegunaan (efisiensi, kejelasan, ketepatan) dan User Experience Aspects atau Aspek Pengalaman Pengguna (Kebaruan, Stimulasi). UEQ terdiri dari 26 pertanyaan yang kuisioner aslinya dalam bahasa inggris, namun beberapa versi bahasa lain telah dibuat juga oleh beberapa peneliti diseluruh dunia. UEQ juga telah memiliki versi bahasa Indonesia yang dimuat dalam penelitian (Santoso, Schrepp, Isal, …, & 2016, 2016).   Beberapa penelitian  telah  membahas  konstruksi  dan  evaluasi  UEQ  diantaranya  adalah  (Schrepp,  Hinderks,  & Thomaschewski,  2017)  (“Laugwitz:Construction  and  evaluation  of  a  user  experience,”  n.d.).  Beberapa penelitian juga menggunakan UEQ sebagai alat ukur diantaranya pada penelitian bidang kesehatan  (Shapira Galitz,  Halperin,  Bavnik,  &  Warman,  2016)(Schölkopf,  Heyde,  …,  &  2022,  2022)(Stamm,  Dahms, Reithinger,  Ruß,  &  Müller-Werdan,  2022)(Francesca,  Francesca,  Elisa,  &  Federica,  2022)(Björn,  2022). Secara jelas 6 (enam) skala yang diukur dalam UEQ adalah sebagai berikut:

## Tabel 1. Skala Pengukuran UEQ
Measure Scale Definition Daya Tarik / Attractiveness Kesan produk secara menyeluruh, apakah pengguna suka/tidak suka? Kejelasan / Perspicuity Apakah  mudah  untuk  mengenal  dan  mempelajari  cara  menggunakan produk? Efisiensi / Efficiency Bisakah  pengguna  menyelesaikan  tugasnya  tanpa  effort  yang  besar?Apakah produk bekerja dengan cepat? Ketepatan / Dependability Apakah  pengguna  dapat  mengendalikan  interaksi  dengan  prosduk,  dan apakah produk aman dan dapat diprediksi? Stimulasi / Stimulation Apakah pengguna menjadi termotivasi menggunakan produk?apakah produk menyenangkan untuk digunakan? Kebaruan / Novelty Apakah desain produk kreatif dan menarik minat pengguna? User Admin Prodi •Master Data •Data Taruna •Akademika •Keuangan User Dosen •Akademika
User Taruna •Akademika •Keuangan •Akun Saya
UX test in the academic information system ...
Skala Kejelasan, Efisiensi, dan Ketepatan disebut aspek pragmatic-quality yang berhubungan dengan asas  manfaat  atau  kegunaan  dari  aplikasi. Pragmatic-quality memiliki  konsekuensi  kepuasan/ satisfation pengguna pada saat pemakaian produk, dan apakah pengguna mencapai tujuan/ goal . Sedangkan aspek hedonic quality berhubungan  dengan  kebutuhan  psikologis  atau  pengalaman  emosional  dari  pengguna  seperti: stimulasi, identifikasi diri, dan evokasi. Evokasi dapat dimisalkan bila visual website mengingatkan terhadap pengalaman  atau latar  belakang  pengguna.  Karena pentingnya  kedua aspek  ini,  maka  sebuah  produk  harus menggabungkan  kedua  aspek  untuk  sehingga  mampu  menciptakan  daya  tarik  serta  mengumpulkan ketertarikan pengguna sebanyak-banyaknya.
Gambar  4. Struktur Skala UEQ
Terkait  pernyataan  aspek pragmatic  quality dan hedonic  quality ,  dari  6  (enam)  skala  tersebut  dapat dilihat pada Gambar  4. Struktur Skala UEQ , mana yang mewakili pragmatic atau hedonic quality. Dari enam skala  pengukuran  tersebut,  Skala  daya  Tarik  merupakan  aspek  tersendiri  yang  diasumsikan  bahwa  kesan masing-masing pengguna terhadap faktor daya Tarik terbentuk dari kesannya terhadap skala lainnya.

## Tabel 2. Daftar Pertanyaan UEQ
Pertanyaan pada UEQ memilik format seven stage semantic yaitu pernyataan negative dan pernyataan positif tidak berurutan dengan tujuan untuk melihat konsistensi responden dalam menjawab. Range penilaian adalah -3,  -2,  -1,  0,  +1,  +2,  hingga  +3.  Respon  paling  negative  yaitu  nilai  -3,  nilai  0  menunjukkan  respons netral,  sedangkan  nilai  +3  merupakan  respons  paling  positif.  Respon  positif  apabila  pengguna  memberikan nilai di atas +1, dan negatif jika nilai di bawah -1.
Daya Tarik Pragmatic Quality Ketepatan Eficiency Kejelasan Hedonic Quality Stimulasi Kebaruan

## Metode
Penelitian  ini  dilaksanakan  di  Politeknik  Penerbangan  Palembang  selama  1  (satu)  bulan  dengan  objek penelitian adalah Sistem Informasi Akademik (SIAKAD) yang dimiliki Politeknik Penerbangan Palembang. Studi  awal  penelitian  ini  dimulai  dengan  observasi  SIAKAD  dan  Teknik  pengumpulan  data  kuantitatif menggunakan  26  pertanyaan  bentuk  kuisioner  User  Experience  Questionnaire  (UEQ)  dengan  sampel penelitian Dosen, Taruna, Satff Pendidikan dan Administrasi terkait dengan total jumlah sampe didapatkan 70 (tujuh puluh) orang. Pengolahan data dan pengujian menggunakan Cronbach Alpha, Guttmans Lambda2, Confidence Interval. Penelitian ini bertujuan untuk menguji dan menganalisis kualitas SIAKAD berdasarkan pengalaman  pengguna  selama  berinteraksi  dengan  aplikasi  apakah  telah  memenuhi  6  (enam)  kriteria  yang diharapkan dari sebuah aplikasi.

## Hasil Penelitian dan Pembahasan
UEQ merupakan kuisioner semantic differensial (Widhiarso, …, & 2017,  n.d.)  yang terdiri dari pernyataan di kiri dan kanan dimana setiap pertanyaan terdiri dari dua pernyataan yang berlawanan maknanya.  Penilaian minimal -3 dan maksimal +3 dibuat secara acak. Pada aplikasi pengolahan data UEQ pertanyaan yang acak ini kemudian dikelompokkan dan langsung diidentifikasi seperti dibawah ini.
Nilai paling mendekati pernyataan “tak dapat dipahami” bernilai  -3 dan yang paling mendekati pernyataan “dapat dipahami” bernilai +3. Nilai tengah adalah 0 (nol) yang artinya netral.
Dari 26 (dua puluh enam) item pertanyaan kesemuanya mewakili 6 (enam) skala pengukuran atau kriteria yang ingin dinilai, yaitu: daya tarik, kejelasan, kebaruan, ketepatan, efisiensi, dan stimulasi.  UEQ melengkapi kuisioner  ini  dengan  alat  Analisa  data  dan  buku  petunjuk  manual  penggunaan  UEQ  (Schrepp  & Thomaschewski, n.d.). Dari 70 responden terdapat 14  responden yang jawabannya terkategori “suspicious”, hal  ini  kemungkinan  terjadi  apalagi  jika  UEQ  diberikan  dengan Online-Questionnaire dimana  tidak  semua responden  menjawab  pertanyaan  dengan  serius,  sehingga  heuristic  sederhana  digunakan  untuk  mendeteksi jawaban  acak  atau  tidak  serius.  Semua  pertanyaan  di  dalam  skala  harus  bisa  mengukur  aspek  kualitas  UX yang  serupa  sehingga  mendeteksi  jawaban  acak  atau  tidak  serius  bertujuan  untuk  mengetahui  besarnya perbedaan  evaluasi  terbaik  dan  terburuk  dari  sebuah  pertanyaan  dalam  suatu  skala.  ditemukan  selisih  yang besar (>3) pernyataan per skala maka dianggap sebagai indikator pola data yang bermasalah yang bisa saja akibat  dari  menjawab  secara  asal-asalan  atau  responden  gagal  memahami  pertanyaan.  UEQ  menyarankan untuk  menghapus  hasil  respon  yang  masuk  apabila  menunjukkan  inkonsistensi  lebih  dari  3  jawaban sebagaimana ditunjukkan dengan label warna merah dibawah ini.

## Tabel 3. Tabel Jawaban Responden-Inkonsistensi
Dari  pengolahan  data  didapatkan  nilai  mean,  variance,  dan  standar  deviasi.  Mean  dan  variance adalah  ukuran  dispersi  pusat.  Mean  adalah  rata-rata  dari  kumpulan  angka  yang  diberikan.  Rata-rata perbedaan  kuadrat  dari  mean  adalah  variance.  Dispersi  pusat  memberitahu  kita  bagaimana  data  yang  kita ambil  untuk  observasi  tersebar  dan  didistribusikan.  Standar  deviasi  adalah  nilai  statistik  yang  dipakai  guna menentukan  seberapa  dekat  data  dari  suatu  sampel  statistik  dengan  data  mean  atau  rata-rata  data  tersebut sedangkan variance adalah hasilnya. UEQ memfasilitasi pengguna kuisionernya dengan fasilitas pengolahan data gratis berbasis excel. Fasilitas pengolahan data ini telah terdiri dari beberapa Teknik pengujian seperti uji validitas,  uji.  Validitas  dan  uji  reliabilitas  dengan  Croncbach  Alpha  dan  Guttman  Lambda,  Confidence
Daya tarik Kejelasan Efisiensi Ketepatan Stimulasi Kebaruan Critical? 1 1 1 1 4 1 1 1 1 4 1 1 1 1 2 1 1 1 1 2 1 1 0 1 1 1 1 1 1 0 1 1 1 1 1 3 1 1 1 1 2 1 1 2 1 1 1 1 2 0 1 1 0 1 1 1 3 1 1 1 1 4 1 1 1 1 1 1 1 3 1 1 1 1 2 1 1 1 1 1 1 6 0 0 1 1 1 1 0 Scales with inconsistent answers Daya tarik Kejelasan Efisiensi Ketepatan Stimulasi Kebaruan Critical? 1 1 1 1 1 1 6 1 1 2 1 1 1 1 1 1 2 1 1 1 1 1 1 6 1 1 1 1 1 5 1 1 1 1 1 1 1 1 1 1 2 1 1 1 1 1 1 6 1 1 2 1 1 1 1 1 1 6 1 1 1 1 1 5 0 1 1 2 0 1 1 1 1 1 1 0 1 1 1 1 1 1 6 1 1 2 1 1 1 1 1 5 1 1 1 1 2 0 1 1 1 1 2 1 1 1 1 1 1 Scales with inconsistent answers

## UX test in the academic information system ...
Interval  untuk  menentukan  keakuratan  mean  suatu  sampel.  Confidence  Interval  merupakan  tingkat kepercayaan  bahwa  sebagian  besar  sampel  ini  berisi  parameter  populasi  yang  sebenarnya.  Pengolahan  data pertama  akan  menghasilkan  nilai  rata-rata  (mean),  varian  (variance),  dan  simpangan  baku  (standard deviation)  dan  langkah  perbandingan  nilai  rata-rata  (mean)  dengan  nilai  impresi  (variance)  untuk  6  (enam) skala yang diukur tersebut.

## Pengujian User Experience SIAKAD
Pertanyaan terkait apakah user experience dari aplikasi nya sudah  bagus?sebetulnya dapat langsung dijawab dan terlihat jelas pada nilai rata-rata (mean) skala sebagaimana grafik dan table dibawah ini.

## Tabel 4. Skala UEQ-Mean dan Variance
Secara umum terlihat nilai mean yang lebih tinggi dibandingkan variance, skala 1-5 menunjukkan mean yang naik signifikan dan pada skala novelty kenaikan tidak siknifikan. Sandar interpretasi UEQ dengan nilai antara  -0,8  dan  0,8  dianggap  netral.  Nilai  >  0,8  menunjukkan  evaluasi  positif  dan  nilai  <  0,8  bermakna evaluasi negative sebagaimana dapat dilihat pada hasil skala kebaruan/novelty yaitu 0,564 atau < 0,8.

## Gambar  5. Hasil Skala UEQ
Pada Gambar  5. Hasil Skala UEQ kita dapat melihat bahwa range penilaian adalah  -3 (sangat buruk) dan +3  (sangat  baik),  namun  pada  pelaksanaannya  hanya  nilai  di  range  terbatas  yang  di  observasi,  dengan pertimbangan bahwa masing-masing responden memiliki opini yang berbeda serta tendensi yang berbeda juga, misalnya  diragukan  memberi  jawaban  sebenarnya  untuk  pertanyaan  yang  dianggap  ekstrim.  Dikarenakan pertimbangan  tersebut,  maka  kurang  disukai  untuk  melakukan  observasi  jawaban  bernilai  diatas  +2  atau dibawah -2.
Skala  dari  UEQ  bisa  dikelompokkan  berdasarkan  aspek pragmatic-quality dan hedonic-quality. Pragmatis mendeskripsikan  karakter-karakter  berhubungan  langsung  dengan  aspek  kualitas  sedangkan  hedonis berhubungan tak langsung dengan aspek kualitas sebagaimana diperlihatkan pada gambar dibawah ini.
Tabel 5. Aspek Kualitas Pragmatis dan Hedonis
Attractiveness 1,903 1,12 Perspicuity 1,805 1,17 Efficiency 1,695 1,48 Dependability 1,809 0,97 Stimulation 1,823 1,37 Novelty
0,564 0,51 UEQ Scales (Mean and Variance) -3 -2 -1 0 1 2 3 Da ya ta rik Ke je las an Ef isi en si Ke te pa ta n St im ul as i Ke ba ru an Daya tarik 1,73 Kualitas Pragmatis 1,59 Kualitas Hedonis 1,04 Pragmatic and Hedonic Quality • Terbentuk dari kesan terhadap aspek lainnya Daya Tarik (Attractiveness) • Kejelasan (perspicuity) • Efisiensi • Ketepatan (dependability Pragmatic Quality • Stimulasi • Kebaruan Hedonic Quality

## Gambar  6. Hasil Berdasarkan Aspek Pragmatis dan Hedonis
Dapat kita artikan bahwa nilai dari aspek daya Tarik, pragmatis dan hedonis dari ketiganya yang paling tinggi  adalah  aspek  Daya  Tarik  yang  diwakili  oleh  pertanyaan:  menyusahkan/menyenangkan,  baik/buruk, tidak disukai/menggembirakan, tidak nyaman/nyaman, atraktif/tidak atraktif, ramah pengguna/tidak ramah pengguna dengan mean 1,90. Yang kedua yaitu aspek pragmatic quality dengan mean 1,77 dan yang paling rendah nilai pada hedonic quality yang nilai mean nya sebesar 1,19. Dapat kita artikan dari tabel dan gambar diatas bahwa Aspek Hedonic-Quality dari aplikasi SIAKAD perlu ditinjau ulang kembali untuk memperhatikan aspek User Experience (UX). Berikut dibawah ini adalah tabel yang menunjukkan masing-masing pertanyaan mewakili ke-enam skala pada tabel keterangan paling kanan.
Tabel 6. Hasil Pengolahan Data

## Interpretasi Data
Error 5% pada skala menunjukkan 95% confidence interval pada mean (rata-rata) dan berfungsi menunjukkan akurasi  dari  skala  dan  item  pertanyaan  yang  diberikan.  Semakin  kecil  confidence  interval  maka  semakin presisi hasil kuisioner yang dimiliki. Kedalaman Confidence interval juga dipengaruhi oleh banyaknya jumlah sampel  serta  seberapa  konsisten  responden  dalam  mengisi  respon  UEQ.  Semakin  konsisten  jawaban responden maka semakin rendah pula confidence interval.
Keterangan: Mean  : rata-rata (x) Std Dev : Standar Deviasi (s) N : Jumlah sampel (n)
Jika kita lihat pada tabel diatas, nilai standar deviasi rata-rata lebih rendah dari mean, namun pada aspek kebaruan (novelty) yang mewakili pertanyaan kreatif/monoton, berdaya cipta/konvensional, lazim/terdepan, konservatif/inovatif  memiliki  nilai  standar  deviasi  sedikit  lebih  tinggi  dari  mean  yang  bisa  diartikan
-3 -2 -1 0 1 2 3 Da ya ta rik Ku al ita s … Ku al ita s H ed on is Item Mean Variance Std. Dev. No. Left Right
Scale 1 2,1 1,4 1,2 69
menyusahkan menyenangkan Daya tarik 2 2,4 0,7 0,8 69
tak dapat dipahami dapat dipahami Kejelasan 3 -1,9 1,6 1,3 69 kreatif
monoton Kebaruan 4 0,7 4,6 2,2 69
mudah dipelajari sulit dipelajari Kejelasan 5 0,9 5,5 2,3 69
bermanfaat kurang bermanfaat Stimulasi 6 1,9 1,3 1,1 69
membosankan mengasyikkan Stimulasi 7 2,0 1,2 1,1 69
tidak menarik menarik Stimulasi 8 1,3 2,0 1,4 69
tak dapat diprediksi dapat diprediksi Ketepatan 9 0,6 4,7 2,2 69
cepat lambat Efisiensi 10 0,3 4,4 2,1 69
berdaya cipta konvensional Kebaruan 11 2,4 0,7 0,9 69
menghalangi mendukung Ketepatan 12 1,3 4,4 2,1 69
baik buruk Daya tarik 13 1,8 1,7 1,3
69
rumit sederhana Kejelasan 14 2,2 0,8 0,9 69 tidak disukai menggembirakan Daya tarik 15 1,9 1,4 1,2 69
lazim terdepan Kebaruan 16 2,0 0,9 1,0
69
tidak nyaman nyaman Daya tarik 17 1,4 3,2 1,8
69
aman tidak aman Ketepatan 18 1,5 2,9 1,7
69
memotivasi tidak memotivasi Stimulasi 19 1,4 2,9 1,7 69
memenuhi ekspektasi tidak memenuhi ekspektasi Ketepatan 20 2,1 1,5 1,2
69
tidak efisien efisien Efisiensi 21 1,4 3,0 1,7 69 jelas membingungkan Kejelasan 22 2,1 1,0 1,0
69
tidak praktis praktis Efisiensi 23 1,5 2,8 1,7
69
terorganisasi berantakan Efisiensi 24 1,3 3,0 1,7
69
atraktif tidak atraktif Daya tarik 25 1,5 2,9 1,7
69
ramah pengguna tidak ramah pengguna Daya tarik 26 1,7 2,1 1,4
69 konservatif inovatif
Kebaruan
UX test in the academic information system ...
representasi yang buruk dari keseluruhan data yang paling dipengaruhi oleh respon jawaban pada pertanyaan monoton/kreatif dan  pertanyaan konvensional/berdaya  cipta. Untuk  lebih  jelasnya  hasil  mean  per  item pertanyaan dapat dilihat pada grafik dibawah ini.
Tabel 7. Tabel Confidence Interval
Gambar  7. Nilai Mean per Item Pertanyaan

## Uji Reliabilitas
Uji reliabilitas dilakukan untuk mengetahui korelasi setiap item pertanyaan per skala, item pertanyaan yang memiliki skala yang sama harus menunjukkan korelasi yang tinggi dengan arti kata lain bahwa pengujian ini untuk mengukur konsistensi skala. Koefisien yang digunakan adalah Cronbach-Alpha yang dipercaya mampu menguji level konsistensi suatu evaluasi   (Shapira Galitz et al., 2016)(Bonett, behavior, & 2015,  2014; Heo, Kim,  medical,  &  2015,  n.d.;  Newsletter  &  2002,  n.d.;  Tavakol,  education,  &  2011,  n.d.).  Disamping  itu koefisien Guttmans Lambda2 juga digunakan  sebagai alat uji reliabilitas (Callender, Measurement, & 1979, n.d.;  methods  &  2000,  2000).  Keduanya  digunakan  untuk  saling  melengkapi.  Banyak  penelitian  yang menyebutkan  bahwa  Lambda2  memiliki  perkiraan  keandalan  yang  lebih  baik  dari  Cronbach-Alpha  dan keduanya  adalah lower  bound untuk  uji  reliabilitas  skala  yang  sebenarnya.  Beberapa  aturan  menunjukkan bahwa  nilai  Cronbach-Alpha  seharusnya  berkisar  paling  tidak  di  level  angka  >  0,6  atau  >  0,7.  Adapun penghitungan koefisien Guttmans Lambda1 digunakan untuk menghitung Lambda2.
Pada  hasil  respons  yang  dimiliki  nilai  Cronbach-alpha  untuk  skala  kebaruan/novelty  sebesar  0,16  yang artinya dibawah nilai yang dianjurkan. Hal ini tentu dipengaruhi respon terhadap jawaban monoton/kreatif dan konvensional/berdaya  cipta seperti  digambarkan  pada  gambar  diatas.  Untuk  lebih  jelas  hasil  uji reliabilitas menggunakan Cronbach-alpha dan Guttman Lambda2 tersaji pada tabel dibawah ini.
Scale Mean Std. Dev. N Confidence Daya tarik 1,903 1,060 55 0,280 1,623 2,183 Kejelasan 1,805 1,080 55 0,285 1,519 2,090 Efisiensi 1,695 1,217 55 0,322 1,374 2,017 Ketepatan 1,809 0,985 55 0,260 1,549 2,069 Stimulasi 1,823 1,170 55 0,309 1,513 2,132 Kebaruan 0,564 0,716
55 0,189 0,375 0,753 Confidence intervals (p=0.05) per scale Confidence interval
Tabel 8. Hasil Pengujian Reliabilitas dengan Cronbach-Alpha
Tabel 9. Hasil Pengujian Reliabilitas dengan Guttmans Lambda2
Pada  skala  kebaruan/novelty  skor  terendah  didapat  dari  pertanyaan monoton/kreatif dan konvensional/berdaya  cipta yang  berkaitan  dengan  pertanyaan  “apakah  SIAKAD  adalah  aplikasi  yang inovatif  dan  kreatif?”  “Apakah  SIAKAD  mampu  menarik  perhatian  pengguna  dari  segi  tampilan  dan pengalaman  penggunaannya?”.  Hasil  uji  reliabilitas  dengan  menggunakan  koefisien  Cronbach-Alpha  dan Guttmans Lambda2 memiliki persepsi yang sama, yaitu hasil evaluasi negative di respon terhadap pertanyaan yang mewakili skala kebaruan/novelty.

## Benchmark SIAKAD Poltekbang Palembang
Untuk  mendapatkan  pandangan  yang  lebih  baik  terkait  kualitas  produk  yang  diuji,  yang  dalam  hal  ini SIAKAD. Hasil penilaian user experience (UX) yang didapatkan harus diperbandingkan dengan produk  lain yang  telah  lama  ada.  Contohnya,  dengan  melakukan benchmark dengan  produk  yang  berbeda  dengan menggunakan  data  yang  disiapkan  oleh  UEQ.  Data Benchmark ini  terdiri  dari  468  evaluasi  produk  yang menggunakan UEQ dengan total responden 21.175 orang responden (Schrepp & Thomaschewski, n.d.). Data benchmark ini diperbaharui setahun sekali, sehingga diharapkan mewakili kondisi saat ini. Berikut adalah tabel benchmark SIAKAD Poltekbang Palembang dengan produk lain.
Tabel 10. Benchmark SIAKAD terhadap produk lain
Keterangan:
Excellent : SIAKAD masuk dalam range 10% hasil terbaik. Good : 10% hasil penilaian produk lain lebih baik dari SIAKAD dan 75% lainnya lebih buruk.
Above average  : 25% hasil penilaian produk lain lebih baik dari SIAKAD, 50% lainnya lebih buruk.
Items Correlation
1, 12 0,56 1, 14 0,79 1, 16 0,73 1, 24 0,74 1, 25 0,78 12, 14 0,45 12, 16 0,45 12, 24 0,62 12, 25 0,62 14, 16 0,84 14, 24 0,72 14, 25 0,71 16, 24 0,80 16, 25 0,83 24, 25 0,87
Average 0,70
Alpha 0,93 0,90 0,96 Daya tarik Conf. Int. Alpha (5%)
Items Correlation 2, 4 0,47 2, 13 0,56 2, 21 0,66 4, 13 0,40 4 , 21 0,60 13, 21 0,60 Average 0,55 Alpha 0,83 0,74 0,89 Kejelasan Conf. Int. Alpha (5%) Items
Correlation 9, 20 0,69 9, 22 0,62 9, 23 0,59 20, 22 0,70 20, 23 0,57 22, 23 0,82
Average 0,66
Alpha 0,89 0,83 0,93 Efisiensi Conf. Int. Alpha (5%) Items
Correlation 8, 11 0,28 8, 17 0,33 8, 19 0,41 11, 17 0,62
11, 19 0,70
17, 19 0,78
Average 0,52
Alpha 0,81 0,71 0,88 Ketepatan Conf. Int. Alpha (5%) Items Correlation 5, 6 0,62 5, 7 0,53 5, 18 0,67 6, 7 0,73 6, 18 0,80 7, 18 0,64
Average 0,67 Alpha 0,89 0,83 0,93 Stimulasi Conf. Int. Alpha (5%) Items Correlation 3, 10 -0,31 3, 15 -0,64 3, 26 -0,53 10, 15 0,26 10, 26 0,32 15, 26 0,53
Average -0,06 Alpha -0,30 -1,02 0,16 Kebaruan Conf. Int. Alpha (5%)
Scale Mean Comparisson to benchmark Interpretation
Daya tarik 1,90 Excellent In the range of the 10% best results Kejelasan 1,80 Good 10% of results better, 75% of results worse Efisiensi 1,70 Good 10% of results better, 75% of results worse Ketepatan 1,81 Excellent In the range of the 10% best results Stimulasi 1,82 Excellent In the range of the 10% best results Kebaruan 0,56 Below Average 50% of results better, 25% of results worse
UX test in the academic information system ...
Below average  : 50% hasil penilaian produk lain lebih baik dari SIAKAD, 25% lainnya lebih buruk. Bad : SIAKAD masuk dalam range 25% hasil terburuk.
Dari hasil benchmark pada Tabel 10. Benchmark SIAKAD terhadap produk lain , bahwa skala daya tarik (attractiveness),  Ketepatan  (dependability),  dan  Stimulasi  memiliki  skor  tertinggi  sehingga  bisa  dikatakan bahwa menurut user experience, SIAKAD terlihat menarik, menyenangkan, dan ramah. Dari aspek ketepatan SIAKAD dinilai bahwa interaksi dengan SIAKAD mudah dilakukan, aman, dan sesuai harapan (expectation) pengguna. Dari  segi  aspek  stimulasi,  menggunakan  SIAKAD  itu  menarik,  mengasyikkan,  serta  memotivasi pengguna.

## Simpulan
Secara  garis  besar  User  Experience  (UX)  SIAKAD  Poltekbang  Palembang  sudah  memenuhi  kebutuhan pengguna  dan  kebutuhan  organisasi  Politeknik  Penerbangan  Palembang  dalam  penyediaan  software pendukung aktifitas pendidikan dan pelatihan (Septiani, n.d.) serta mendukung modernisasi akademis di era digital  (Amalia,  n.d.)(Septiani,  Amalia,  &  Cahyono,  2020),  hal  ini  dapat  dilihat  dari  hasil  evaluasi  yang diberikan kepada user yang terdiri dari: dosen, taruna, dan administrasi terkait. Hasil evaluasi menunjukkan bahwa  SIAKAD  memenuhi  lima  dari  enam  aspek  skala  UEQ  yaitu:  daya  tarik,  kejelasan,  ketepatan,  dan stimulasi.  Nilai  rata-rata  (mean)  menunjukkan  hasil  evaluasi  positif  dengan  nilai  mean  >  0,8  di  skala  daya Tarik, kejelasan, efisiensi, ketepatan yang ditunjukkan pada Tabel 4. Skala UEQ-Mean dan Variance , meskipun nilai rata-rata (mean) untuk skala kebaruan < 0,8 yang artinya menunjukkan evaluasi negative. Hasil evaluasi negative  terhadap  aspek  kebaruan  ini  diakibatkan  respon  terhadap  pertanyaan monoton/kreatif dan konvensional/berdaya  cipta  yang  berkaitan  dengan  pertanyaan  apakah  SIAKAD  adalah  aplikasi  yang inovatif  dan  kreatif  dan  apakah  SIAKAD  mampu  menarik  perhatian  pengguna  dari  segi  tampilan  dan pengalaman  penggunaannya.  Dari  aspek pragmatic  dan  hedonic  quality ,  SIAKAD  memperoleh  nilai  rata-rata (mean)  >  0,8  yang  ditunjukkan  pada Tabel  5.  Aspek  Kualitas  Pragmatis  dan  Hedonis .  Skala  kebaruan  yang mewakili aspek hedonic quality nampak tertutupi dengan skala stimulasi yang juga mewakili hedonic quality (not- goal directed aspect) . Konsistensi skala UEQ yang di uji reliabilitasnya dengan menggunakan Cronbach-Alpha menunjukkan  nilai  alpha  >  0,7  sebagaimana  ditunjukkan  pada Tabel  8.  Hasil  Pengujian  Reliabilitas  dengan Cronbach-Alpha dan Guttmans Lambda2 sebagaimana ditunjukkan pada Tabel  9.  Hasil  Pengujian  Reliabilitas dengan  Guttmans  Lambda2 .  Keduanya  berasumsi  yang  sama  bahwa  reliabilitas  lima  dari  enam  aspek  sudah baik,  dan  kelemahan  UEQ  siakad  pada  skala  kebaruan  (novelty).  Hasil  uji  kualitas  dengan  melakukan benchmark  dengan  produk  lain  yang  ditunjukkan  pada Tabel  10.  Benchmark  SIAKAD  terhadap  produk  lain menyimpulkan  bahwa  tiga  dari  enam  skala  UEQ  SIAKAD  yaitu  skala  ketepatan,  daya  tarik,  dan  stimulasi mendapatkan penilaian Excellent Product . Dua diantaranya mendapatkan kategori Good yang artinya termasuk diantara  25%  yang  terbaik  dari  semua  produk  yang  pernah  di  uji.  Penilaian  kurang  baik  dengan  hasil benchmark Below  Average ,  didapatkan  oleh  aspek  kebaruan  (novelty)  sehingga  saran  untuk  perbaikan  lebih lanjut adalah  evaluasi  ulang aspek  kebaruan  SIAKAD  dengan poin penting  yang  harus  diperhatikan  terkait inovasi, daya cipta dan desain yang kreatif (Santoso et al., 2016).

## Referensi
Amalia,  D.  (n.d.).  Lihat  artikel.  Retrieved  December  21,  2021,  from  JAET  website: https://scholar.google.com/citations?view_op=view_citation&hl=id&user=aoaPeX4AAAAJ&citation _for_view=aoaPeX4AAAAJ:UeHWp8X0CEIC
Björn,  M.  (2022). Development  of  an  effective  pedagogical  EEG  simulator:  design-based  research  project  among biomedical laboratory science students . Retrieved from
https://dspace.uef.fi/bitstream/handle/123456789/27018/urn_isbn_978-952-61-4454- 2.pdf?sequence=1&isAllowed=y
Bonett,  D.,  behavior,  T.  W.-J.  of  organizational,  &  2015,    undefined.  (2014).  Cronbach’s  alpha  reliability: Interval  estimation,  hypothesis  testing,  and  sample  size  planning. Wiley  Online  Library , 36 (1),  3–15. https://doi.org/10.1002/job.1960
Callender, J., Measurement, H. O.-J. of E., & 1979,  undefined. (n.d.). An empirical comparison of coefficient alpha, Guttman’s lambda-2, and MSPLIT maximized split-half reliability estimates. JSTOR . Retrieved from https://www.jstor.org/stable/1434452
Folmer, E., software, J. B.-J. of systems and, & 2004,  undefined. (n.d.). Architecting for usability: a survey. Elsevier . Retrieved from https://www.sciencedirect.com/science/article/pii/S0164121202001590 Francesca,  B.,  Francesca,  B.,  Elisa,  P.,  &  Federica,  R.  (2022). A  Psychometric  Tool  for  Evaluating  Executive Functions in Parkinson’s Disease . Retrieved from https://iris.unito.it/handle/2318/1842903
Galitz, W. (2007). The essential guide to user interface design: an introduction to GUI design principles and techniques .
Retrieved from
https://books.google.com/books?hl=id&lr=&id=Q3Xp_Awu49sC&oi=fnd&pg=PR5&dq=Galitz,+20 07&ots=I063DTae-_&sig=Ltg1gSF2OJ10dv7G7YoKiapD_2Q
Heo, M., Kim, N., medical, M. F.-B., & 2015,  undefined. (n.d.). Statistical power as a function of Cronbach alpha  of  instrument  questionnaire  items. Bmcmedresmethodol.Biomedcentral … .  Retrieved  from https://bmcmedresmethodol.biomedcentral.com/articles/10.1186/s12874-015-0070-6
Lallemand, C., Gronier, G., Behavior, V. K.-C. in H., & 2015,  undefined. (2015). User experience: A concept without  consensus?  Exploring  practitioners’  perspectives  through  an  international  survey. Elsevier . https://doi.org/10.1016/j.chb.2014.10.048
Laugwitz:Construction  and  evaluation  of  a  user  experience.  (n.d.).  Retrieved  March  1,  2022,  from https://scholar.google.de/scholar?start=0&hl=de&scisbd=1&as_sdt=0,5&sciodt=0,5&cites=16964264 291568318743&scipsc=
Law, E., Schaik, P. Van, Human, V. R.-I. J. of, & 2014,  undefined. (n.d.). Attitudes towards user experience (UX) measurement. Elsevier . Retrieved from https://www.sciencedirect.com/science/article/pii/S1071581913001304 Mandel, Т . (1997). The elements of user interface design . Retrieved from https://www.researchgate.net/profile/Theo- Mandel/publication/234796045_The_Elements_of_User_Interface_Design/links/56ba180908aed47e4 1f38c19/The-Elements-of-User-Interface-Design.pdf
methods, H. O.-P., & 2000,   undefined. (2000). Coefficient alpha and related internal consistency reliability coefficients. Psycnet.Apa.Org , 5 (3), 343–335. Retrieved from
https://psycnet.apa.org/journals/met/5/3/343/
Newsletter, J. B.-J. T. & E. S., & 2002,  undefined. (n.d.). The Cronbach alpha reliability estimate. Jalt.Org . Retrieved from http://www.jalt.org/test/bro_13.htm
Santoso, H., Schrepp, M., Isal, R., … A. U.-J. of E., & 2016,  undefined. (2016). Measuring user experience of the student-centered e-learning environment. ERIC , 13 , 59. Retrieved from https://eric.ed.gov/?id=EJ1087680
Schölkopf, L., Heyde, C. G. von der, … A. S.-M., &  2022,  undefined. (2022). Reducing the Gap between Mental  Models  of  Truck  Drivers  and  Adaptive  User  Interfaces  in  Commercial  Vehicles. Mdpi.Com . https://doi.org/10.3390/mti6020014
Schrepp, M., Hinderks, A., & Thomaschewski, J. (2017). Construction of a benchmark for the user experience questionnaire  (UEQ). International  Journal  of  Interactive  Multimedia  and  Artificial  Intelligence , 4 ,  4–40. https://doi.org/10.9781/ijimai.2017.445
Schrepp, M., & Thomaschewski, J. (n.d.). Handbook for the modular extension of the User Experience Questionnaire . Retrieved from www.ueq-online.org
Septiani,  V.  (n.d.).  Lihat  artikel.  Retrieved  December  21,  2021,  from  International  Journal  of  Recent
Technology and Engineering website:
https://scholar.google.com/citations?view_op=view_citation&hl=id&user=881Og84AAAAJ&citation _for_view=881Og84AAAAJ:u-x6o8ySG0sC
Septiani, V., Amalia, D., & Cahyono, D. (2020). Implementation of Inspector Training System Certification Learning  Based  On  E-Learning  in Palembang Aviation  Polytechnic. International  Journal  of  Progressive Sciences and Technologies , 23 (1), 342–346. https://doi.org/10.52155/ijpsat.v23.1.2271 Shapira  Galitz,  Y.,  Halperin,  D.,  Bavnik,  Y.,  &  Warman,  M.  (2016).  Sino-Nasal  Outcome  Test-22: Translation,  Cross-cultural  Adaptation,  and  Validation  in  Hebrew-Speaking  Patients. Otolaryngology  - Head and Neck Surgery (United States) , 154 (5), 951–956. https://doi.org/10.1177/0194599816629378 Stamm, O., Dahms, R., Reithinger, N., Ruß, A., & Müller-Werdan, U. (2022). Virtual reality exergame for supplementing  multimodal  pain  therapy  in  older  adults  with  chronic  back  pain:  a  randomized controlled pilot study. Virtual Reality . https://doi.org/10.1007/S10055-022-00629-3
Tavakol, M., education, R. D.-I. journal of medical, & 2011,  undefined. (n.d.). Making sense of Cronbach’s alpha. Ncbi.Nlm.Nih.Gov . Retrieved from https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4205511/ Widhiarso, W., … F. U.-P. U. Y. O. di: http, & 2017,  undefined. (n.d.). Semantik Diferensial. Academia.Edu . Retrieved from https://www.academia.edu/download/34275951/3_-_semantik_diferensial.pdf