ISSN 2407-4322
E-ISSN 2503-2933

## Penggunaan User Experience Questionnaire Pada Aplikasi ISX Di PT Indotirta Sriwijaya Perkasa
Risma Anggraini 1 , Desi Pibriana 2 , Anugerah Widi 3 1,2,3 Universitas Multi Data Palembang; Jl. Rajawali 14, 30113 Palembang-Sumatera Selatan, telp/fax : (0711) 376 400/(0711) 376 360
1,2,3 Program Studi Sistem Informasi, Fakultas Ilmu Komputer dan Rekayasa, Palembang e-mail: * 1 anggrnrismaa526@mhs.mdp.ac.id, 2 desi.pibriana@mdp.ac.id, 3 widi@mdp.ac.id

## Abstrak
PT  Indotirta  Sriwijaya  Perkasa  adalah  sebuah  perusahaan  yang  bergerak  dibidang produksi  dan  perdagangan  Air  Demineral  dalam  kemasan  yang  menggunakan  aplikasi  ISX untuk  membantu  mengelola  faktur  penjualan,  pajak,  surat  jalan,  nota,  dan  membuat  laporan. Berdasarkan hasil  wawancara  dengan  penggunanya, aplikasi  ISX  masih  memiliki  kekurangan serta  kendala,  yakni  terdapat  fitur  yang  tidak  memiliki  fungsi  tetapi  terdapat  pada  tampilan sehingga  terlihat  banyak  sekali  fitur  yang  harus  diisi  oleh  pengguna,  dan  pengguna menyebutkan  saat  menggunakan  aplikasi  mata  menjadi  jenuh  karena  aplikasi  tidak  penuh dengan ragam warna. Untuk mengatasi masalah tersebut, akan dilakukan analisis pengukuran pengalaman pengguna aplikasi ISX dengan metode User Experience Questionnaire (UEQ) yang dapat menghasilkan rekomendasi untuk meningkatkan kualitas pengalaman pengguna aplikasi ISX. Untuk menganalisis data digunakan Data Analysis Tools versi 11 sebagai alat pengukuran pengalaman  pengguna.  Penelitian  ini  menggunakan  teknik  sampling  jenuh  dengan  sampel sebanyak 35 responden pengguna aplikasi ISX. Adapun hasil yang didapatkan adalah 3 skala hasil  evaluasi  positif  dan  3  skala  hasil  evaluasi  normal  dari  mean  dan  variance,  serta  pada data Benchmark terdapat 4 skala Below Average, 1 skala Bad, dan 1 skala Above Average.
Kata kunci — User Experience Questionnaire (UEQ), Aplikasi ISX, Pengalaman Pengguna

## Abstract
PT Indotirta Sriwijaya Perkasa is a company engaged in the production and trading of bottled Demineralized Water that uses the ISX application to help manage sales invoices, taxes, travel letters, notes, and create reports. Based on the results of interviews with users, the ISX application  still  has  shortcomings  and  obstacles,  namely  there  are  features  that  have  no function but are on the display so that it looks like there are a lot of features that must be filled in  by  the  user,  and  users  mention  that  when  using  the  application  the  eyes  become  bored because the application is not full of various colors. To overcome these problems, an analysis will  be  carried  out  measuring  the  user  experience  of  the  ISX  application  using  the  User Experience Questionnaire (UEQ) method which can produce recommendations to improve the quality of the ISX application user experience. To analyze the data, Data Analysis Tools version 11  is  used  as  a  user  experience  measurement  tool.  This  study  uses  a  saturated  sampling technique  with  a  sample  of  35  ISX  application  user  respondents.  The  results  obtained  are  3 scales  of  positive  evaluation  results  and  3  scales  of  normal  evaluation  results  from  the  mean and variance, and in the Benchmark data there are 4 Below Average scales, 1 Bad scale, and 1 Above Average scale.
Keywords — User Experience Questionnaire (UEQ), ISX application, User Experience
Jatisi ISSN 2407-4322 Vol. 10, No. 3, September 2023, Hal. 86-99 E- ISSN 2503-2933 87
Title of manuscript is short and clear, implies research results (First Author)

## 1. PENDAHULUAN
Berkembangnya  zaman  diiringi  dengan  kemajuan  teknologi  mengalami  meningkatnya kemampuan  untuk  mempermudah  kegiatan.  Dilandasi  dengan  sistem  informasi  meliputi berbagai  bidang,  maka  kemajuan  manusia  dalam  menggunakan  teknologi  akan  semakin berkembang  menunjang  kinerja  baik  dari  segi  manapun  [1].  Perkembangan  teknologi  ini mendorong  sebuah  instansi  atau  perusahaan  untuk  meningkatkan  usaha  dalam  bidang  bisnis, salah  satu  contoh  perusahaan  bisnis  yang  menggunakan  teknologi  informasi  yaitu  perusahaan air  minum  dalam  kemasan  [2].  Perusahaan  yang  bergerak  dalam  bidang  bisnis  air  minum  dan telah  menerapkan  teknologi  informasi  dengan  tujuan  untuk  meningkatkan  usaha  bisnis  yang dijalankan  dalam  menghadapi  persaingan  bisnis  yakni  PT  Indotirta  Sriwijaya  Perkasa.  PT Indotirta  Sriwijaya  Perkasa  merupakan  sebuah  perusahaan  bisnis  dimana  bergerak  dibidang produksi dan perdagangan Air Demineral dalam kemasan yang menggunakan teknologi Reserve Osmosis.
Berdasarkan  wawancara  dengan  manager  PT  Indortita  Sriwijaya  Perkasa  didapatkan fakta  bahwa  perusahaan  ini  menggunakan  sistem  informasi  aplikasi  bisnis  yang  menunjang proses penjualan diperusahaannya, yaitu Aplikasi ISX. Aplikasi ISX atau Integrated System X merupakan  aplikasi  bisnis  yang  membantu  kinerja  perusahaan  dalam  mengelola  bisnis  seperti membuat  faktur  penjualan,  surat  pajak,  surat  jalan,  pembuatan  nota  penjualan,  dan  membuat laporan  dengan output berupa Word,  PDF,  HTML dan EXCEL .  Aplikasi  ini  hanya  bisa digunakan  satu  akun  untuk  satu  orang,  pengguna  dapat  mengontrol stock barang  yang  masuk dan  keluar  secara continue ,  membuat  surat  jalan,  menginput  data,  dan  mengelola  faktur penjualan  maupun  pajak.  Selain  melakukan  wawancara  dengan  manager  perusahaan,  juga dilakukan wawancara dengan karyawan yang  merupakan pengguna aplikasi ISX, dimana hasil dari wawancara ini mendapati keluhan dari pengguna yakni terdapat informasi data yang kurang update  sehingga  informasi  data  barang  pada  aplikasi  dengan  data  gudang  tidak  sesuai,  juga sering lambat karena ketika melakukan penginputan satu faktur membutuhkan waktu 52 detik, kemudian  terbentur  jadwal  pemakaian  aplikasi  ISX  dengan  admin  lain  nya,  dan  terdapat  fitur yang  tidak  memiliki  fungsi  tetapi  terdapat  pada  tampilan  sehingga  terlihat  banyak  sekali  fitur yang  harus  diisi  oleh  pengguna  yang  menjadi  salah  satu  keluhan  karyawan,  karyawan  juga menyebutkan pada saat menggunakan aplikasi, mata menjadi jenuh karena tidak penuh dengan ragam  warna  pada  aplikasi.  Untuk  mengetahui  lebih  lanjut  fakta  yang  terjadi,  dilakukan kuesioner  pra  penelitian  yang  disebar  kepada  pengguna  aplikasi  ISX,  pada  kuesioner  pra penelitian  ini  menyajikan  pertanyaan  terbuka  yang  mendapati  keluhan  dari  pengguna  aplikasi. Hasil pada kuesioner pra penelitian pengguna menyebutkan bahwa aplikasi ISX masih memiliki kekurangan  dan  kendala  yang  membuat  pengguna  mengeluh  dalam  kenyamanan  penggunaan aplikasi, yakni tampilan menu/fitur yang memiliki kurang ragam warna dan terdapat fitur yang tidak memiliki fungsi, pengguna menyebutkan aplikasi masih rumit digunakan karena terdapat fitur  yang  tidak  dimengerti  oleh  pengguna,  aplikasi  juga  masih  memiliki  aspek  yang  tidak lengkap seperti ketika butuh data detail yang mengharuskan pengguna mengexport data terlebih dahulu  kemudian  diurutkan  melalui  excel  dan  masih  cara  manual,  masih  terdapat  informasi yang  kurang  jelas  karena  ada  data  yang  tidak  relevan  dengan  persediaan,  serta  ketika  terjadi kesalahan input data maka data tersebut tidak bisa diubah/diedit dan pengguna harus menginput ulang  data  tersebut.  Pernyataan  tersebut  menunjukkan  bahwa  aplikasi  ISX  masih  memiliki kekurangan  dan  berpengaruh  dalam  pengalaman  pengguna.  U ser  Experience merupakan patokan  dari  suatu  kualitas  sebuah  produk,  layanan,  dan  sistem  informasi.  Pengukuran pengalaman  pengguna  dari  aplikasi  yang  digunakan,  kemudian  dapat  memberikan  saran  dari hasil  yang  bisa  meningkatkan  kualitas  perangkat  lunak  berdasarkan  hasil  evaluasi  yang dilakukan [3].
88 Jatisi ISSN 2407-4322 Vol. 10, No. 3, September 2023, Hal. 86-99 E-ISSN 2503-2933
Penggunaan metode dalam mengukur pengalaman pengguna terdapat beberapa metode yang  dapat  dilakukan  seperti System  Usability  Scale (SUS), Questionnaire  User  Interaction Satisfaction (QUIS), dan User Experience Questionnaire (UEQ). Salah satu penelitian terdahulu [3] yang berjudul “Evaluasi User Experience Pada Sistem Informasi Pasar Kerja Menggunakan User  Experience  Questionnaire (UEQ)”  menjelaskan  bahwa  UEQ  merupakan  alat  untuk mengelola  data  survei  mengenai user  experience yang  tidak  sulit  untuk  dilakukan,  serta  bisa untuk  dipercaya,  berdasar,  juga  dimanfaatkan  dalam  kegiatan  penelitian  dengan  kualitas subjektif. Penelitian terdahulu yang telah membahas dalam pengukuran pengalaman pengguna terhadap  penggunaan  sebuah  aplikasi  dilakukan  oleh  [4]  bertujuan  untuk  mengetahui pengalaman pengguna dari sebuah aplikasi yang mampu menjadikan pengguna interaktif dalam sebuah  aplikasi.  Dari  hasil  pengukuran user  experience atau  pengalaman  pengguna menggunakan metode UEQ, ditemukan nilai rata-rata <0,8 evaluasi positif terhadap pemakaian teknologi multimedia. Kemudian penelitian [5] mengevaluasi pengalaman pengguna dari sebuah aplikasi secara rata-rata mendapati hasil positif pada keenam skala dari 75 responden yang juga memberikan  saran  perbaikan  untuk  peningkatan  kualitas  aplikai  yang  digunakan.  Penelitian selanjutnya  [6]  yang  dilakukan  guna  menilai  dalam pengalaman  pengguna  sejauh  mana  dalam pengalaman  dalam  penggunakan  sebuah  aplikasi  atau  pemakai  akhir  oleh  sebuah  sistem.  Dari hasil  analisis  tersebut  mendapati  semua  item  yang  diukur  bernilai  evaluasi  positif  artinya aplikasi tersebut memiliki impresi posfitif dari seluruh skala.
Pengukuran  pengalaman  pengguna  dalam  penggunaan  sebuah  aplikasi  dengan memberikan  kuesioner  penelitian  mencakup  pertanyaan  sebanyak  26  item  berdasarkan  enam skala aspek penilaian atas penilaian dasar dari pengalaman pengguna. Kuesioner tersebut dapat bisa  memberikan  langsung  tanggap  atau  respon  mereka  secara  cepat  terkait  objek  penelitian yang  ditanyakan.  Dari  penjelasan  diatas,  maka  penelitian  untuk  mengukur  dan  menganalisis pengalaman  pengguna  aplikasi  ISX  di  PT  Indotirta  Sriwijaya  Perkasa  akan  menggunakan metode User  Experience  Questionnaire  (UEQ) .  Penelitian ini  dilakukan  guna  menganalisis ux atau  pengalaman  pengguna  untuk  mengetahui  hasil  dari  analisis  tersebut  serta  memberikan masukan/rekomendasi kepada PT Indotirta Sriwijaya Perkasa agar dapat meningkatkan kualitas pengalaman pengguna aplikasi ISX.

## 2. METODE PENELITIAN
Metode  yang  digunakan  dalam  penelitian  ini  melalui  studi  literatur,  wawancara,  dan kuesioner.  Studi  literatur  yang  dilakukan  untuk  mencari  dan  mendapatkan  referensi  penulisan yang berhubungan dengan metode yang digunakan dalam penelitian, juga mereview penelitian terdahulu  sebagai  pembanding  dan  acuan  untuk  penelitian.  Penelitian  mendapati  identifikasi masalah  melalui survei dan wawancara untuk mengumpulkan data apa saja yang terkait dalam permasalahan penelitian, tidak cukup sampai disitu saja dilakukan juga kuesioner pra penelitian hingga  melakukan  kuesioner  penelitian  yang  didasarkan  pada  6  skala  penilaian  serta  26  item pertanyaan yang diberikan guna mengukur pengalaman pengguna dengan menggunakan metode UEQ.
User  Experience  Questionnaire (UEQ)  merupakan  alat  yang  dapat  digunakan  dalam mengolah  data  survei  mengenai  pengalaman  pengguna  dengan  mudah  diimplementasi,  bisa dipercaya,  berdasar,  serta  dapat  digunakan  untuk  penelitian  dengan  kualitas  subjektif  [7]. Metode  UEQ  dapat  memberikan  hasil  yang  menjelaskan  secara  lengkap  terhadap  pengalaman pengguna  dilihat  dari  enam  aspek  penilaian  atas  penilaian  dasar  dari  pengalaman  pengguna dengan mencakup 26 item pertanyaan yang dimana akan dijawab oleh responden [8].
Jatisi ISSN 2407-4322 Vol. 10, No. 3, September 2023, Hal. 86-99 E- ISSN 2503-2933 89
Title of manuscript is short and clear, implies research results (First Author)
Gambar 1. Struktur Skala yang Diasumsikan dari UEQ
Kuesioner  berbentuk  semantic  differential  dengan  dua  item  yang  tersusun  dari  atribut bertolak belakang yang berpasangan secara makna dalam mempresentasikan produk. Gambar.1 menjelaskan  asumsi  struktur  skala  UEQ  dan  masing-masing  item  pertanyaan.  Skala  penilaian terdapat 6 skala yaitu:
1. Atraktif, skala yang menggambarkan ketertarikan pengguna terhadap aplikasi.
2. Efisiensi,  skala  yang  menggambarkan  penggunaan  aplikasi  seberapa  cepat  dan  efisien menggunakan aplikasi dan sejauh mana pemahaman terhadap aplikasi.
3. Kejelasan, skala yang menggambarkan kemudahan pengguna dalam kebiasaan menggunakan aplikasi.
4. Ketepatan,  skala  yang  menggambarkan  interaksi  antara  pengguna  dengan  aplikasi  secara aman dan bisa diprediksi.
5. Stimulasi,  skala  yang  menggambarkan  kebermanfaatan  aplikasi  bagi  pengguna dan  menilai motivasi untuk menggunakan aplikasi itu dengan secara terus menerus.
6. Kebaruan,  skala  yang  menggambarkan  kreatif  dan inovatif  dari  sebuah  aplikasi  yang  dapat menarik perhatian dari pengguna.
Setelah  melakukan  kuesioner  penelitian  kemudian  dilakukan  pengukuran  pengalaman pengguna  menggunakan  UEQ Data  Analysis  Tools berdasarkan  data  kuesioner  tersebut.  UEQ Data Analysis Tools yang merupakan alat bantu dalam olah data dikembangkan oleh Dr. Martin Schrepp  dengan  versi  11,  yang  mana  tersedia  dalam  bentuk  excel  dan  dapat  diunduh  pada website UEQ.
Selanjutnya dilakukan penentuan populasi dan sampel yang digunakan sebagai subyek penelitian.  Populasi  adalah  suatu  daerah  abstraksi  dimana  terdapat  objek  atau  subjek  dengan kuantitas juga karatersitik tertentu. Sementara sampel merupakan sebuah komponen dari suatu total juga karateristik yang dipunyai oleh populasi ketika menentukan jumlah sampel untuk di
90 Jatisi ISSN 2407-4322 Vol. 10, No. 3, September 2023, Hal. 86-99 E-ISSN 2503-2933
olah  dari  jumlah  populasi  tersebut  [9].  Total  jumlah  karyawan  pada  PT  Indotirta  Sriwijaya Perkasa yaitu 128 orang, yang dimana diantara nya merupakan pengguna aplikasi ISX sebanyak 35  orang.  Penggunaan  populasi  dan  sampel  dalam  penelitian  ini  merupakan  karyawan  PT Indortirta  Sriwijaya  Perkasa  yang  menggunakan  aplikasi  yaitu  sebanyak  35  orang.    Adapun untuk  pengambilan  sampel    pada  penelitian  ini  menggunakan  teknik  sampling  jenuh,  yakni sebuah  teknik  sampling  menentukan  sampel  jika  ditambah  jumlahnya  tidak  akan    menambah keterwakilan,  artinya  jika  ditambah  berapapun  jumlahnya  tidak  akan  mengubah  dan berpengaruh  pada  populasinya  [9].  Jumlah  sampel  yang  diambil  berdasarkan  teknik  sampling jenuh yaitu keseluruhan populasi sebanyak 35 orang sebagai pengguna aplikasi ISX.
Setelah  menentukan  sampel  dan  populasi,  dilakukan  kuesioner  penelitian  yang ditujukan  kepada  hasil  perhitungan  populasi  dan  sampel.  Kuesioner  penelitian  yang  disebar berdasarkan  26  item  pertanyaan  kepada  pengguna  aplikasi  ISX  yaitu  karyawan  PT  Indotirta Sriwijaya Perkasa. Hasil yang didapat dari kuesioner tersebut, kemudian di analisis terkait data yang ada di kuesioner dengan memenuhi 6 aspek metode UEQ.

## 3. HASIL DAN PEMBAHASAN

## 3.1   Demografi Responden
Kuesioer  penelitian  disebarkan  kepada  pengguna  aplikasi  ISX  yakni  karyawan  PT Indotirta  Sriwijaya  Perkasa  dengan  rentang  waktu  6  hari,  dari  tanggal  25  November  2022 sampai  30  November  2022.  Hasil  yang  diperoleh  sebanyak  35  responden,  artinya  sasaran sampling  jenuhnya  tercapai.  Dari  35  responden  tersebut  terdapat  dua  jenis  kelamin  yakni  21 orang berjenis kelamin perempuan dan 14 orang berjenis kelamin laki-laki. Dengan rentang usia rata-rata 15-31 Tahun sebanyak 19 orang, dan usia 32-48 Tahun sebanyak 16 orang.
Gambar 2. Posisi Kerja Berdasarkan Usia
Dari  Gambar  2  diatas,  berdasarkan  35  responden  yang  menjawab  kuesioner  sebagian besar usia (15-31 Tahun) dengan posisi bekerja terdapat Tagihan & Piutang berjumlah 2 orang, 1 orang bagian purchasing, 3 orang bagian gudang, 1 orang bagian depot/pabrik, 5 orang bagian produksi, 1 orang bagian umum, 3 orang bagian keuangan (AO), dan 5 orang bagian penjualan. Sedangkan, untuk rentang usia (32-48 Tahun) dengan posisi bekerja terdapat Manager, bagian
2 3 1 3 1 1 2 1 5 3 1 5 1 3 1 2 0% 20% 40% 60% 80% 100% Penjualan Keuangan (AO) Umum Produksi Depot / Pabrik Gudang Purchasing Tagihan & Piutang Pajak Manager 32 - 48 Tahun 15 - 31 Tahun
Jatisi ISSN 2407-4322 Vol. 10, No. 3, September 2023, Hal. 86-99 E- ISSN 2503-2933 91
Title of manuscript is short and clear, implies research results (First Author)
pajak sejumlah 2 orang, bagian tagihan & piutang sejumlah 1 orang, bagian purchasing 1 orang, bagian  gudang  sejumlah  3  orang,  bagian  depot/pabrik  sejumlah  1  orang,  bagian  produksi sejumlah 3 orang, dan bagian penjualan sejumlah 2 orang.
Gambar 3. Lama Penggunaan Dalam Seminggu
Setelah  mendapati  analisa  data  dari  35  responden,  35  pengguna  tersebut  memberikan data rentang waktu penggunaan aplikasi dalam kurun waktu seminggu. Hasilnya menunjukkan dengan  87,5%  (30  pengguna)  menggunakan  6  kali  dalam  seminggu,  11,4%  (4  pengguna) digunakan 4 kali dalam seminggu, dan 2,9% (1 pengguna) digunakan 5 kali dalam seminggu.
Gambar 4. Lama Penggunaan Dalam Sehari
Berdasarkan  data  penggunaan  dalam  seminggu,  maka  di  persempit  lagi  dalam  lama penggunaan  aplikasi  dalam  per  hari.  Hasil  yang  diperoleh  pengguna  sebanyak  37,1%  (13 pengguna)  menggunakan  aplikasi  selama  9  jam  dalam  sehari,  kemudian  sebanyak  31,4%  (11 pengguna) menggunakan aplikasi selama 3-4 jam dalam sehari, sebanyak 22,9% (8 pengguna) menggunakan  aplikasi  selama  7-8  jam  dalam  sehari,  dan  8,6%  (3  pengguna)  menggunakan aplikasi selama 5-6 jam dalam sehari.

## 3.2 Hasil Pengolahan dan Analisis Data
Hasil dari analisis data kuesioner menunjukkan total dari responden sebanyak 35 orang yakni  pengguna  aplikasi  ISX  yang  menjadi  data  penelitian  yakni  keseluruhan  populasi. Kemudian  dihitung  dengan  menggunakan  UEQ tools versi  11,  dengan  memasukkan  data kuesioner kedalam Data Analysis Tools yang menghitung pengalaman pengguna pada statistika UEQ. Data lengkap dari uji data inkonsisten dapat dilihat di Gambar 6.
0 50 4 Kali 5 Kali 6 Kali 4 1 30 Penggunaan dalam Seminggu Jumlah Jumlah 0 20 3-4 Jam 5-6 Jam 7-8 Jam
9 Jam
11 3 8 13 Penggunaan dalam Sehari Jumlah
92 Jatisi ISSN 2407-4322 Vol. 10, No. 3, September 2023, Hal. 86-99 E-ISSN 2503-2933

## A. Uji Data Inkonsistensi
Gambar 5. Data Inkonsisten Awal Responden
Data  kuesioner  berdasarkan  panduan Handbook  UEQ menunjukkan  inkonsistensi  data karena pengisian kuesioner online yang dilakukan dan jawaban responden teracak. Inkonsistensi data merupakan pemeriksaan ulang data secara acak dimana pengisian jawaban responden tidak serius atau kurang/tidaknya dari item pertanyaan yang diuji [10]. Menurut Handbook UEQ[10] uji  data  yang  dilakukan  pengukuran  data  inkonsisten,  terdapat  perbedaan  jumlah  data inkonsisten >3, maka data tersebut disarankan dihapus. Kemungkinan terjadinya jawaban yang berbeda  dan  terlihat  jawaban  yang  menonjol    >3  dalam  evaluasi  UX  yang  sama,  maka  hal tersebut terjadi dalam pengisian jawaban. Sehingga jawaban tersebut dihapus untuk mendapati hasil  yang  lebih  baik  [3]. Pada  penelitian  ini  mendapati  hasil  yang  dimana  tidak  terdapat  data inkonsistensi yang menunjukkan >3.
Pada  Gambar  5  inkonsistensi  data  awal  responden  berdasarkan Handbook  UEQ tidak ada  nilai  yang  menunjukkan  >3.  Tentu  saja  situasi  seperti  itu  juga  bisa  diakibatkan  oleh kesalahan respons acak atau kesalahpahaman terhadap suatu item. Oleh karena itu, tidak masuk akal  untuk  menganggap  suatu  tanggapan  bermasalah  jika  hal  ini  terjadi  hanya  untuk  skala tunggal. Tetapi jika ini benar untuk skala 2 atau 3, ini tentu saja merupakan petunjuk yang jelas bahwa  responsnya  agak  mencurigakan.  Maka  disarankan  untuk  menghapus  jawaban  dari kumpulan  data  yang  menunjukkan  nilai  3  atau  lebih  tinggi  di  kritis  menunjukkan  tanggapan yang  dikodekan  dari  -3  hingga  3  [11].  Pada Handbook UEQ  juga  menjelaskan  heuristic sederhana menganggap respon yang mencurigakan yaitu skala 2 atau 3, tetapi dibebaskan untuk menentukan  seberapa  ketat  dalam  penerapan  aturannya,  jarak  antara  respon  untuk  terbaik  dan terburuk untuk suatu item dalam skala melebihi 3 [10].
Bisa  saja  responden  salah  mengartikan  suatu  item  atau  menandai  kategori  yang  salah saat  mencentang  atau  memilih  item,  dengan  hal  ini  menghindari  langsung  membuang  seluruh jawaban.  Namun,  jika  hal  tersebut  menjadi  penyimpangan  untuk  beberapa  skala  merupakan indikasi  jelas  bahwa  responden  tidak  membaca  item  dengan  cermat.  Pada  dasarnya, mengecualikan jawaban yang mana menunjukkan terlalu banyak data yang tidak konsisten dari asumsi  struktur  skala  UEQ.  Dengan  demikian,  dipastikan  bahwa  data  tersebut
Jatisi ISSN 2407-4322 Vol. 10, No. 3, September 2023, Hal. 86-99 E- ISSN 2503-2933 93
Title of manuscript is short and clear, implies research results (First Author)
mengindentifikasikan  jawaban  yang  benar-benar  acak  dari  responden  dan  tidak  membuang terlalu  banyak  jawaban  yang  tidak  perlu  [11].  Maka,  berdasarkan  penjelasan  diatas  pada penelitian ini digunakan data yang sepenuhnya konsisten dengan nilai critical 0 dan 1.
Gambar 6. Hasil dari Data Inkonsisten yang Telah Dihapus yang Tersisa (0 & 1)
Setelah  data  tersebut  dihapus,  hasilnya  menunjukkan  perubahan  sebanyak  21  data responden  yang  tidak  konsisten,  sehingga  tersisa  24  responden  yang  menunjukkan  data konsisten seperti pada Gambar  6. Pada jurnal [3], mendapati hasil yang dimana tidak mencapai dari jumlah responden yang di siapkan yakni dari 300 responden hanya mendapati 20 responden yang  menanggapi  kuesioner,  tetapi  untuk  jumlah  jumlah  yang  didapat  telah  mencukupi  untuk mengukur usability. Jika  semakin  banyak  data  yang  dikumpulkan  maka  akan  stabil  dan  baik dalam  kesimpulan  dan  hasil  yang  didapat.  Namun,  tidak  memungkingkan  dalam  memaksa jumlah  minimum  untuk  mendapatkan  hasil  yang  reliabel.  penelitian  tetap  dapat  dilakukan dengan  20-30  responden  untuk  memberikan  hasil  yang  cukup  stabil [10]. Tidak  ada  kepastian untuk  total  responden  yang  digunakan  dalam  mendapatkan  hasil  evaluasi usability. Namun, aturan 16 ± 4 (mengartikan untuk jumlah pengguna antara 16-4 sampai 16+4) mendapati hasil uji  dengan  tingkat  validitas  yang  tinggi  [12].  Jika  sebelumnya  menyiapkan  35  responden kemudian diolah dari data inkonsintensi mendapati sisa 24 responden, dalam penelitian ini data 24  responden  yang  telah  didapat  bisa  tetap  digunakan  karena  termasuk  dalam  aturan  16+4. Sejauh  dalam  range  aturan  16 ±  4  (24  responden  masih termasuk  kedalam  range  16+4)  masih aman untuk tetap dilakukan yang dapat menghasilkan uji validitas tinggi.

## B. Uji Reliabilitas
Penjelasan  pada Handbook  UEQ [10],  menyatakan  bahwa  tidak  ada  sistematis  yang pasti  untuk  menguraikan  besar  koefisien Alpha yang  seharusnya  digunakan.  Uji  reabilitas Cronbachs  Alpha dijelaskan  pada  skala  untuk  dianggap  cukup  konsisten  harus  menunjukkan nilai  koefisien  sebesar  (>0,7),  akan  tetapi  saran  ini  menjadi  ketentutan  realistis  juga  tidak berdasarkan  hakikat  data  yang  kiat.  Apalagi,  untuk  sampel  kecil  (<50)  maka  untuk  nilai koefisien Alpha wajib  diinterprestasikan  dengan  sangat  hati-hati.  Pada  penggunaan  sampel kecil, mendapati hasil koefisien Alpha yang rendah didapati dari kesalahan dalam pengambilan sampel  juga  bisa  saja  bukan  merupakan  indeks  masalah  skala.  Data  evaluasi  dengan
94 Jatisi ISSN 2407-4322 Vol. 10, No. 3, September 2023, Hal. 86-99 E-ISSN 2503-2933
menggunakan Analysis Data Tools dapat dikatakan sebagai data dengan konsisten yang tinggi merupakan  nilai  daripada  koefisien Cronbach  Alpha nya  >0,7  [10].  Pengecekan Cronbach Alpha guna melihat koefisien dari pada data item dalam semua skala, dapat dilihat pada Tabel 1 sebagai berikut.
Tabel 1. Uji Realibilitas Data Konsisten Skala Cronbach Alpha ( Attractiveness ) 0,96 ( Perspicuity ) 0,88 ( Efficiency ) 0,93 ( Dependability ) 0,94 ( Stimulation ) 0,83 ( Novelty ) 0,73
Pada  hasil  uji  realibilitas  data  konsisten  yang  terlihat  pada  Tabel  1,  keenam  skala menunjukkan  hasil  dengan  nilai Cronbach  Alpha yang  dimana  telah  menunjukkan  nilai  >0,7. Pada data tersebut menunjukkan nilai koefisien Cronbach Alpha yakni skala Daya Tarik (0,96), Kejelasan (0,88),  Efisiensi (0,93),  Ketepatan (0,94),  Stimulasi (0,83),  dan Kebaruan (0,73). Menurut Handbook  UEQ [10] seperti  yang  dijelaskan  untuk  mendapatkan  hasil  yang  cukup konsisten  maka  skala  harus  menunjukkan  nilai Alpha 0,7.  Dari  keenam  skala  diatas  telah menujukkan  hasil  nilai Alpha >0,7  dan  menunjukkan  konsistensi  responden  dalam  menjawab pertanyaan dari setiap item kuesioner.
Kemudian, pengujian selanjutnya dalam perhitungan mean dan variance untuk melihat semua perhitungan dari semua jawaban responden dari setiap skala. Mean adalah hitungan rata- rata  hasil  dari  semua  tanggapan  yang  responden  berikan.  Sedangkan, Variance merupakan variasi  dari  sebaran  data  responden.  Dalam Handbook UEQ,  untuk  nilai mean dalam  impresi diantara -0,8 hingga +0,8 yakni menerangkan hasil evaluasi normal [10].
Gambar 7. Skala UEQ Dalam Bentuk Mean dan Variance
Gambar 8. Skala UEQ Mean dan Variance Dalam Bentuk Grafik
Jatisi ISSN 2407-4322 Vol. 10, No. 3, September 2023, Hal. 86-99 E- ISSN 2503-2933 95
Title of manuscript is short and clear, implies research results (First Author)
Hasil  yang  menunjukkan  evaluasi  negatif  ditandai  dengan  nilai  rata-rata  dibawah  -0,8 dan  untuk  hasil  dengan  evaluasi  positif  ditandai  nilai  diatas  +0,8  serta  nilai  kurang  dari  -0,8 merupakan hasil evaluasi negatif. Dari keenam skala yang ada dan dihitung, terdapat skala yang menghasilkan  evaluasi  positif  (ditandai  dengan  panah  yang  berwarna  hijau).  Pada  Gambar  7 merupakan hasil dari Mean dan Variance berdasarkan data konsisten, yang dimana terdapat tiga skala yang menghasilkan evaluasi normal (ditandai dengan panah berwanra kuning) yakni pada skala Perspicuity  ( 0,91), Efficiency (0,76),  dan Stimulation  (0,73) .  Sedangkan,  untuk  hasil evaluasi  positif  (ditandai  dengan  panah  berwarna  hijau)  terdapat  pada  skala Attractiveness (0,91), Dependability (1,04), dan Novelty (0,93).
Sedangkan  untuk  Gambar  8  merupakan  hasil  untuk  perhitungan Mean dan Variance yang berbentuk grafik guna mempermudah dalam membaca hasil. Untuk wilayah yang ditandai berwarna  merah  merupakan  hasil  evaluasi  negatif,  dimana  bagian  ini  tidak  ada  skala  yang berada pada area ini. Wilayah  yang ditandai berwarna krem  merupakan hasil evaluasi normal, bagian ini terdapat tiga skala yaitu Perspicuity ( 0,91), Efficiency (0,76), dan Stimulation (0,73) . Sedangkan, untuk wilayah yang ditandai berwarna hijau merupakan hasil evaluasi positif, pada bagian  ini  terdapat  tiga  skala  yaitu Attractiveness (0,91), Dependability (1,04),  dan Novelty (0,93). Dengan hasil pada varian sebagai penyebaran data, penelitian ini dapat diartikan bahwa dalam pengisian kuesioner terdapat banyak variasi data nilai yang ada atau adanya kesenjangan yang lebih lebar antara satu nilai data dengan data yang lain.
Gambar 9. Skala UEQ Dalam 3 Kelompok Aspek
Berdasarkan hasil M ean dan Variance, belum bisa dipastikan dalam menginterprestasikan  apakah  produk  yang  digunakan  baik  atau  tidak.  Pada  Gambar  9 perbandingan  dengan  produk  yang  telah  dilakukan  uji  menggunakan  UEQ  yang  dihitung berdasarkan  tiga  kelompok  aspek  meliputi Attractiveness , Pragmatic  Quality ,  dan Hedonic Quality .  Untuk  bagian  kualitas  pragmatis  menjelaskan  aspek  kualitas  tentang  tugas  yaitu Efficiency,  Perspicuity,  Dependability .  Sedangkan,  kualitas  hedonis  menggambarkan  aspek kualitas yang tentang hubungan dengan tugas Stimulation dan Novelty . Hasil evaluasi dari UEQ untuk  tiga  kelompok  aspek  mendapatkan  hasil  evaluasi  normal  dengan  nilai  (0,91)  untuk Attractiveness , ( 0,81) untuk Pragmatic Quality , dan (0,83) untuk Hedonic Quality .
96 Jatisi ISSN 2407-4322 Vol. 10, No. 3, September 2023, Hal. 86-99 E-ISSN 2503-2933
Pada Handbook UEQ  [10]  terdapat  perbandingan  produk  dengan  hasil  uji  UX  yang dilakukan  sebelumnya  dengan  metode  UEQ.  Pada Benchmark ini  digunakan  sebagai  acuan apakah produk yang dievaluasi baik atau tidak jika dibandingkan dengan data dari Benchmark Data Set. Berdasarkan hasil dari perbandingan Benchmark , terdapat empat skala menghasilkan kategori below  average (dibawah  rata-rata),  yaitu  pada  skala Atrractiveness , Efficiency , Dependability ,  dan Stimulation .  Kecuali,  pada  skala Perspicuity menghasilkan  kategori Bad (buruk). Dan pada skala ( Novelty ) yang menghasilkan kategori above average (diatas rata-rata).

## C. Pembahasan Hasil Penelitian dan Rekomendasi
Berdasarkan  hasil  dari  pengujian  menggunakan tools UEQ  Aplikasi  ISX  kategori tertinggi  yaitu above  average ada  pada  skala  Kebaruan  ( Novelty ),  sedangkan  yang  lain mendapatkan kategori below average pada skala Atrractiveness , Efficiency , Dependability , dan Stimulation ,  sedangkan bad ada  pada  skala Perspicuity .  Hal  ini  juga  didapati  pada  hasil perhitungan Mean dan Variance yang  mendapati  nilai  skala  terendah  pada Perspicuity. Hasil evaluasi  UEQ  untuk  tiap  kelompok  aspek  juga  menunjukkan  pada Pragmatic  Quality juga menjadi nilai terkecil dibanding kedua aspek lainnya, sedangkan Perspicuity terletak pada aspek tersebut. Pada hasil Mean dan Variance yang ditunjukkan pada Gambar 10 terdapat hasil Mean dan Variance dari  3  aspek  tersebut,  dimana  tedapat  nilai  paling  kecil  diantara  ketiga  aspek tersebut  yaitu  pada  skala Pragmatic  Quality dengan  nilai  (0,81),  dengan  skala Perspicuity , Efficiency , dan Dependability. Pada skala Perspicuity menjadi perhatian sebab dari perhitungan Mean dan Variance mendapati nilai Alpha paling kecil dengan nilai (0,64) dan pada Benchmark juga  mendapati  hasil  kategori Bad (buruk).  Dalam  skala Perspicuity terdapat empat jenis item pertanyaan, bisa dilihat pada Gambar 11.
Gambar 11. Nilai Mean per Item pada Skala Perspicuity
Kemudian  nilai Mean pada  skala Perspicuity ditinjau  secara  detail  melihat  nilai Mean paling  terkecil  pada  keempat  item  pertanyaannya.  Hal  tersebut  mendapati  pada  item “ Complicated /Rumit” dan “ Easy /Sederhana” dengan nilai terendah Mean senilai (0,2). Dengan hal  itu,  tingkat  kerumitan  dan  kesederhanaan  pada  aplikasi  yang  dimana  berpengaruh  pada pengalaman  pengguna  aplikasi  yang  harus  diperhatikan  boleh  jadi  pengguna  merasa  rumit dalam  menggunakan  aplikasi,  bisa  saja  tampilan  aplikasi  tidak  sederhana  sehingga  pengguna rumit  dalam  menggunakannya.  Pada  pra  penelitian  yang  disebarkan  kepada  penguna  aplikasi ISX  serta  data  pada  wawancara,  terdapat  keluhan  pengguna  selama  penggunaan  aplikasi tersebut,  salah  satunya  menyinggung  tentang  kerumitan  dan  kejenuhan  dalam  menggunakan aplikasi. Sesuai fakta yang sudah ditemukan melalui kuesioner pra penelitian berkesinambungan dengan    hasil Mean dan Variance yang  didapat  dengan  hasil  dilihat  per  item  pada  skalanya, dimana menjelaskan masalah yang diambil dari kuesioner pra penelitian, yakni:
1. Terdapat  fitur  yang  tidak  memiliki  fungsi  tetapi  tercantum  pada  tampilan  aplikasi,  seolah terdapat banyak fitur yang harus di isi oleh pengguna.
2. Pengguna  merasa  rumit  dalam  menggunakan  aplikasi  karena  ada  beberapa  fitur  yang  tidak dimengerti oleh pengguna.
Jatisi ISSN 2407-4322 Vol. 10, No. 3, September 2023, Hal. 86-99 E- ISSN 2503-2933 97
Title of manuscript is short and clear, implies research results (First Author)
3. Tampilan  menu/  fitur  aplikasi  kurang  memiliki  ragam  warna,  pengguna  merasa  jenuh  saat menggunakan aplikasi.
4. Aplikasi juga masih memiliki aspek yang tidak lengkap seperti ketika butuh data detail yang mengharuskan pengguna mengexport data terlebih dahulu kemudian diurutkan melalui excel dan masih cara manual.
Jika  tampilan  aplikasi  membuat  pengguna  jenuh  dalam  menggunakan  aplikasi sebaiknya  rekomendasikan  pemilihan  warna  yang  enak  di  pakai  dan  diihat,  dengan  pemilihan warna  yang  tidak  mencolok.  Terlebih  lagi  sebaiknya  penempatan bar  menu tidak  ditumpuk sejajar  diatas,  melainkan  dibedakan  dalam  posisi  setiap  fungsinya  sehingga  ketika  pengguna menggunakan satu fitur dapat mudah digunakan. Fitur yang tidak memiliki fungsi sama sekali atau  bahkan  tidak  dipakai  dalam  proses  kinerja  lebih  baik  dihilangkan  karena  dapat mengakibatkan  penumpukkan  menu  dalam  satu layout UI,  dengan  membuatnya  menjadi sederhana  akan  mempermudah  pengguna.  Perlu  diketahui  bahwa  untuk  pengguna  menyukai bentuk  tata  letak  yang  sederhana,  namun  terdapat  warna,  ikon,  dan  gambar  yang  menarik perhatian pengguna. Dapat juga menambahkan shortcut untuk fitur tertentu agar mempermudah pengguna  dalam  aksi  setiap  step  yang  dikerjakan,  juga  dapat  membuat  aplikasi  mudah dimengerti  saat  pengguna  tidak  mengerti  dalam  menggunakan  fitur.  Jika  pengguna  masih menggunakan  cara  manual  dalam  mengexport  data  maka  disarankan  untuk  membuat  suatu konten pada satu fitur yang kompleks, dimana pengguna dapat mensortir data dari report yang telah dibuat dan diseimbangkan dengan data yang harus di export tanpa harus memindahkan ke excel.  Hal  ini  membantu  meningkatkan  layanan  aplikasi  kepada  pengalaman  pengguna,  yang bisa mendapatkan dampak positif untuk pengguna. Sebelumnya, disaranakan mengenali terlebih dahulu kebutuhan pengguna dengan melihat sudut pandang penggunaan aplikasi dari pengguna di setiap bagian penggunaan, agar dapat mempertimbangkan fitur atau menu apakah yang harus di komposisikan khusus pengguna tersebut.

## 4. KESIMPULAN
Pengukuran  pengalaman  pengguna  terhadap  aplikasi  ISX  ini  telah  menunjukkan  hasil yang cukup bagus karena dari segi pengguna sudah cukup mendapati apa yang mereka butuhkan dalam  menggunakan  aplikasi.  Hasil  evaluasi  pengalaman  pengguna  menunjukkan  bahwa  pada skala  Perspicuity  menjadi  hal  yang  harus  diperhatikan  dan  ditingkatkan  untuk  meningkatkan kualitas  yang  ada  pada  bagian  Kejelasan  yang  mendapati  nilai  terendah.  Hasil  perhitungan Mean dan Variance menunjukkan  hasil  evaluasi  positif  pada  tiga  skala,  yakni Attractiveness dengan nilai (0,91), Dependability dengan nilai (1,04), Novelty dengan nilai (0,94).  Sedangkan, untuk  hasil  evaluasi  normal  ditunjukkan  pada  skala Perspicuity dengan  nilai (0,64), Efficiency dengan  nilai  (0,76),  dan Stimulation dengan  nilai  (0.73).  Hasil  evaluasi  pada Benchmark merupakan hasil kesamaan dari Mean dan Variance , dengan enam skala serta 26 item yang telah diuji menunjukkan hasil dengan kategori Below Average, Bad dan Above Average. Dengan hasil nilai  pada  kategori Below  Average terdapat  empat  skala  yaitu Attractiveness , Efficiency , Dependability , dan Stimulation . Untuk kategoti Bad pada skala Perspicuity. Sedangkan untuk kategori Above Average terdapat skala Novelty.
Direkomendasikan untuk pemilihan warna pada UI, perubahan tata letak pada bar menu agar  tidak  menumpuk,  pengurangan  atau  bahkan  penghapusan  fitur  tidak  digunakan  sama sekali, dengan membuatnya menjadi sederhana akan mempermudah pengguna dan tidak merasa rumit dalam menggunakan aplikasi. Dapat juga menambahkan shortcut untuk fitur tertentu agar mempermudah pengguna dalam aksi setiap step yang dikerjakan, juga dapat membuat aplikasi mudah  dimengerti  saat  pengguna  tidak  mengerti  dalam  menggunakan  fitur.  Disarankan  untuk
98 Jatisi ISSN 2407-4322 Vol. 10, No. 3, September 2023, Hal. 86-99 E-ISSN 2503-2933
membuat  suatu  konten  pada  satu  fitur  yang  kompleks,  dimana  pengguna  dapat  mensortir  data dari report yang telah dibuat dan diseimbangkan dengan data yang harus di export tanpa harus memindahkan ke excel.

## 5. SARAN
Berdasarkan kesimpulan diatas, beberapa saran yang dapat disampaikan:
- Penelitian ini belum begitu banyak kesempurnaan sehingga masih memiliki kekurangan dan keterbatasan, untuk itu diharapkan bagi penelitian selanjutnya bisa mendapatkan nilai skala good dan excellent agar mengalami perubahan maupun pembaharuan.
- Dikarenakan penelitian ini memiliki responden yang kurang dari jumlah populasi, disarankan untuk  penelitian  selanjutnya  memberikan  penjelasan  lebih  detail  agar  responden  mengerti dan  mudah  memahami  item  pertanyaan  sehingga  tidak  kebingungan  dalam  menjawab pertanyaan.
- Penelitian  selanjutnya  disarankan  dapat  menggunakan  metode  yang  berbeda  seperti System Usability  Scale (SUS)  atau Questionnaire  for  User  Interaction  Satisfaction (QUIS)  agar dapat menjadi pembanding dalam hasilnya.

## DAFTAR PUSTAKA
[1] M.  Danuri, “Development  and  Transformation  of  Digital  Technology,” Infokam ,  Vol. XV, No. II, Hal. 116–123, 2019.
[2] Khana  dan  A.  Erwansyah, “Analisis  Tingkat  Kepuasan  Pelanggan  Terhadap  Website Winro pada PT. Indotirta Sriwijaya Perkasa (Studi Kasus Kota Prabumulih),” Jik , Vol. 8, No. 2, Hal. 18–25, 2017.
[3] Kharis,  P.  I.  Santoso,  dan  W.  W.  Winarno, “Evaluasi  User  Experience  pada  Sistem Informasi Pasar Kerja Menggunakan User Experience Questionnare (UEQ),” Citee , Hal. 237–243, 2019.
[4] H.  J.  S.  Mohammad  Salehudin, “Penggunaan  Multimedia  Berbasis  Teknologi  Bagi Pendidikan  Profesi  Guru  (PPG):  Analisis  User  Experience  (UX),”  J.  Pendidik.  Islam ,
Vol. 11, No. 1, Hal. 1–17, 2020, [Daring]. Tersedia pada: https://doi.org/10.24042/atjpi.v11i1.5857.
[5] M.  A.  Maricar,  D.  Pramana,  dan  D.  R.  Putri, “Evaluasi  Penggunaan  SLiMS  pada  E- Library  Dengan  Menggunakan  User  Experience  Question  (EUQ),” J.  Teknol.  Inf.  dan Ilmu Komput. , Vol. 8, No. 2, Hal. 319, 2021, doi: 10.25126/jtiik.2021824443.
[6] R. Riche dan S. H. Marpaung, “Evaluasi Pengalaman Pengguna Dengan Menggunakan User  Experience  Questionnaire  Perpustakaan  Digital,”  J.  Media  Inform.  Budidarma , Vol. 5, No. 4, Hal. 1345, 2021, doi: 10.30865/mib.v5i4.3270.
[7] B.  Laugwitz,  T.  Held,  dan  M.  Schrepp, “Construction  and  Evaluation  of  A  User Experience Questionnaire,” Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif.
Jatisi ISSN 2407-4322 Vol. 10, No. 3, September 2023, Hal. 86-99 E- ISSN 2503-2933 99
Title of manuscript is short and clear, implies research results (First Author)
Intell. Lect. Notes Bioinformatics) , Vol. 5298 LNCS, Hal. 63–76, 2008, doi: 10.1007/978- 3-540-89350-9_6.
[8] A. Hinderks, M. Schrepp, dan J. Thomaschewski, “A Benchmark for The Short Version of The User Experience Questionnaire,” WEBIST 2018 - Proc. 14th Int. Conf. Web Inf. Syst. Technol. , No. September, hal. 373–377, 2018, doi: 10.5220/0007188303730377.
[9] Sugiyono, Metode Penelitian Kuantitatif . Bandung: Alfabeta, 2019.
[10]  M.  Schrepp, “User  Experience  Questionnaire  Handbook  Version  8,” URL  https//www. Res.
net/publication/303880829_User_Experience_Questionnaire_Handbook_Version_2.(Acc essed  02.02.  2017) ,  No.  September  2015,  Hal.  1–15,  2019,  [Daring].  Tersedia  pada: www.ueq-online.org.
[11]  M.  Schrepp, “Praktische  Techniken  Zum  Auffinden  Nicht  Ernsthaft  Ausgefüllter
Fragebögen,” No. September 2016, 2016, [Daring]. Tersedia pada:
http://dx.doi.org/10.18420/muc2016-up-0015.
[12]  R.  Alroobaea  dan  P.  J.  Mayhew, “How  Many  Participants  are  Really  Enough  for Usability Studies?,” Proc. 2014 Sci. Inf. Conf. SAI 2014 , No. August, Hal. 48–56, 2014, doi: 10.1109/SAI.2014.6918171.