Vol. 7 No. 1 (April 2023)

## PENGGUNAAN METODE USER EXPERIENCE QUESTIONNAIRE UNTUK MENGANALISIS KUALITAS PENGALAMAN PENGGUNA APLIKASI MYINDIHOME MOBILE
Karina * , Desi Pibriana
Program Studi Sistem Informasi, Universitas Multi Data Palembang, Indonesia Email: karinaarin374@mhs.mdp.ac.id
DOI: https://doi.org/10.46880/jmika.Vol7No1.pp10-19

## ABSTRACT
PT Telkom is a telecommunications service provider company in Indonesia that implements a customer-oriented business and operational strategy. One of the products offered by Telkom is IndiHome. IndiHome provides an application that can be used by customers to carry out all activities related to services to customers known as myIndiHome based on mobile. The facts were found through interviews with PT Telkom employees in the service department and pre-research questionnaires, some customers felt that the myIndiHome mobile application was difficult to use, boring, and not efficient. Then a user experience analysis was carried out to find out from the user's point of view the myIndiHome mobile application and it is hoped that it can provide benefits in the form of recommendations  for  improvements  to  improve  the  quality  of  the  application.  User  experience  analysis  was carried  out  using  the  User  Experience  Questionnaire  (UEQ)  method.  The  measuring  tool  at  UEQ  uses  Data Analysis  Tools  version  11  in  excel  format.  The  sample  used  in  this  study  was  334  respondents  using  the myIndiHome mobile application in the city of Palembang. The results show that the Mean and Variance values get positive evaluations for all scales, whereas when compared with the dataset, the benchmark results show that there are three scales (attractiveness, precision, and stimulation) that get Above Average results while the other three scales (clarity, efficiency, and novelty) get Below Average results.
Keyword: MyIndiHome Mobile, User Experience, User Experience Questionnaire.

## ABSTRAK
PT  Telkom  merupakan  salah  satu  perusahaan  penyedia  jasa  telekomunikasi  di  Indonesia  yang mengimplementasikan strategi bisnis dan operasional perusahaan yang berorientasi kepada pelanggan. Salah satu produk yang ditawarkan oleh Telkom yaitu IndiHome. IndiHome menyediakan aplikasi yang dapat digunakan oleh pelanggan untuk melakukan semua aktifitas yang berkaitan dengan layanan kepada pelanggan yang dikenal dengan sebutan myIndiHome berbasiskan mobile. Fakta yang ditemukan melalui wawancara dengan salah satu karyawan PT Telkom bagian pelayanan dan kuesioner pra penelitian, sebagian pelanggan merasa bahwa aplikasi myIndiHome mobile sulit digunakan, membosankan, dan belum efisien. Maka dilakukan analisis user experience untuk mengetahui dari sudut pandang pengguna terhadap aplikasi myIndiHome mobile dan diharapkan dapat memberikan manfaat berupa rekomendasi perbaikan untuk meningkatkan kualitas aplikasi. Analisis pengalaman pengguna dilakukan dengan metode User Experience Questionnaire (UEQ). Alat ukur pada UEQ menggunakan Data  Analysis  Tools  versi  11  dalam  format  excel.  Sampel  yang  digunakan  pada  penelitian  ini  sebanyak  334 responden  pengguna  aplikasi  myIndiHome  mobile  di  kota  Palembang.  Hasil  menunjukkan  nilai  Mean  dan Variance mendapatkan evaluasi positif untuk semua skala, sedangkan jika dibandingkan dengan dataset, hasil benchmark menunjukkan terdapat tiga skala (daya tarik, ketepatan, dan stimulasi) yang mendapatkan hasil Above Average sementara tiga skala lainnya (kejelasan, efisiensi, dan kebaruan) mendapatkan hasil Below Average. Kata Kunci: myIndiHome Mobile, Pengalaman Pengguna, User Experience Questionnaire.

## PENDAHULUAN
Perkembangan  telekomunikasi  yang  tumbuh pesat  tidak  dapat  dihindari  telah  memberikan perubahan  yang  sangat  besar  dalam  menjalankan bisnis,  serta  memiliki  peranan  penting  dalam kehidupan manusia. Teknologi komunikasi membantu
orang  untuk  berkomunikasi,  bertukar  informasi  dari jarak  jauh  dan  menerima  informasi  melalui  internet (Karinda  et  al.,  2018).  Fenomena  tersebut  ditunjukan dengan  tingginya  masyarakat  indonesia  yang menggunakan mobile data  dari  operator  seluler sebanyak  77,64%  dan  penggunaan  handphone/tablet
Vol. 7 No. 1 (April 2023)
sebanyak 89,03% dibandingkan penggunaan komputer/laptop  0,73%  (Asosiasi  Penyelenggara  Jasa Internet  Indonesia,  2022).  Hal  itu  dikarenakan handphone/tablet  merupakan  perangkat  yang  mudah digunakan untuk mengakses teknologi komunikasi dan internet,  serta  banyak  dimanfaatkan  oleh  perusahaan dalam  bentuk digital  marketing dengan  tujuan  agar produk  yang  dimiliki  dapat  dikenal  secara  luas  dan cepat oleh masyarakat (Fatria & Christantyawati, 2018; Rony & Panuju, 2018).
PT  Telkom  merupakan  salah  satu  perusahaan yang  memanfaatkan  teknologi  komunikasi  dalam bisnisnya,  serta  masuk  dalam  daftar  perusahaan telekomunikasi  terkuat  didunia  yang  menempati peringkat  ke-5  pada  tahun  2022.  Peringkat  tersebut berdasarkan  lembaga  riset  independen  internasional Brand  Finance,  dengan  penilaian  yang  dilakukan berdasarkan  faktor  total  investasi,  pemasaran,  pamor, loyalitas,  kepuasan  pelanggan  dan  pegawai,  serta reputasi perusahaan (Anjani, 2020). Salah satu produk yang  dimiliki  oleh  PT  Telkom  yaitu  IndiHome  yang merupakan layanan digital yang menyediakan internet, telepon  rumah,  TV  interaktif,  dan  layanan  lainnya. Aplikasi  yang  digunakan  bagi  pelanggan  IndiHome disebut  myIndiHome  yang  dapat  diakses  melalui smartphone ,  aplikasi  tersebut  bertujuan  untuk memenuhi  semua  kebutuhan  pelanggan  tanpa  harus datang ke kantor. Namun berdasarkan hasil wawancara yang  dilakukan  dengan  salah  satu  karyawan  plaza telkom  bagian  pelayanan  mengatakan  bahwa  mereka masih  sering  menerima  keluhan  pelanggan  terkait aplikasi  myIndiHome mobile yang  sering  error, kesulitan  saat  masuk  ke  aplikasi,  dan  sebagian pelanggan juga masih melakukan pembayaran dengan datang  langsung  ke  plaza  dibandingkan  membayar melalui platform digital yang disediakan. Hal tersebut diidentifikasi  lebih  lanjut  melalui  kuesioner  pra penelitian  yang  disebarkan  pada  tanggal  24  Oktober 2022 menggunakan short UEQ yang terdiri dari 8 item pertanyaan  untuk  mengukur  pengalaman  pengguna, terdapat 103 responden yang berpartisipasi dan didapat sebanyak  100  responden  yang  menggunakan  aplikasi myIndiHome mobile . Dari 100 data responden tersebut sebanyak  80%  responden  merasa  masih  kesulitan dalam  menggunakan  myIndiHome mobile ,  sebanyak 45% menyatakan aplikasi myIndiHome mobile belum efisien,  dan  sebanyak  67%  pengguna  menyatakan bahwa  aplikasi  myIndiHome mobile belum  nyaman digunakan. Adapun pertanyaan terbuka yang diberikan kepada pengguna aplikasi myIndiHome mobile terkait keluhan  yang  dialami  selama  menggunakan  aplikasi tersebut.  Pengguna  mengalami  kesulitan  dan  lambat
saat  masuk  kedalam  aplikasi,  sering  terjadi  error  saat melakukan  transaksi/pembayaran,  serta  informasi harga  yang  tidak  sesuai  sehingga  menyebabkan  data belum terintegrasi dengan baik.
Berdasarkan permasalahan yang sudah dijelaskan, maka perlu dilakukan analisis pengalaman pengguna  pada  aplikasi  myIndiHome mobile karena pengalaman pengguna merupakan faktor penting untuk memastikan bahwa pengguna menerima suatu produk atau  layanan  (Kharis,  Santoso,  &  Winarno,  2019). Suatu  produk  dapat  dikatakan  berhasil  jika  dapat memenuhi  kebutuhan  dan  membantu  menyelesaikan masalah pengguna yang akan menimbulkan kepuasan saat  menggunakan  produk  tersebut  (Adinegoro, Rokhmawati,  &  Az-Zahra,  2018).  Beberapa  metode yang dapat digunakan untuk mengukur user experience yaitu  seperti Software  Usability  Measurement Inventory (SUMI), System  Usability  Scale (SUS), Questionnaire  for  User  Interaction  Satisfaction (QUIS),  dan User  Experience  Questionnaire (UEQ) (Juniantari & Putra, 2021). UEQ memiliki keunggulan lebih  dibandingkan  yang  lainnya,  karena  UEQ memberikan hasil analisis yang komprehensif terhadap pengalaman  pengguna,  UEQ  memiliki  6  skala pengukuran  yang  dibagi  menjadi  3  kelompok  yaitu Daya Tarik, Kualitas Pragmatis, dan Kualitas Hedonis menjadi kelengkapan aspek yang diukur dalam UEQ, serta  telah  tersedianya Data  Analysis  Tool dalam bentuk  excel  yang  membuat  pengukuran  lebih  cepat dalam  UEQ  (Kharis  et  al.,  2019). User  Experience Questionnaire (UEQ)  menilai  pengalaman  pengguna berdasarkan  enam  skala  penilaian  yaitu  Daya  Tarik, Kejelasan,  Efisiensi,  Ketepatan,  Stimulasi,  dan Kebaruan.
Analisis  aplikasi  myIndiHome mobile dengan User Experience Questionnaire (UEQ) bertujuan untuk mengetahui  hasil  analisis user  experience terhadap aplikasi serta memberikan manfaat berupa rekomendasi  perbaikan  untuk  meningkatkan  kualitas aplikasi.

## TINJAUAN PUSTAKA Aplikasi
Aplikasi merupakan suatu program yang dapat menjalankan  perintah  dari  pengguna  dengan  tujuan untuk  membantu  menyelesaikan  masalah  atau kebutuhan pengguna (Habibi & Karnovi, 2020).

## User Experience
User  Experience atau  pengalaman  pengguna merupakan tanggapan seseorang atas penggunaan suatu sistem,  layanan,  atau  produk.  Untuk  mendapatkan
pengalaman  pengguna  yang  baik,  suatu  produk  harus mudah digunakan dan memiliki kesesuaian fungsi fitur terhadap  kebutuhan  pengguna  (Martono,  Eridani,  & Isabella, 2020).

## Populasi dan Sampel
Sekelompok  besar  individu  atau  subjek  yang dipilih  oleh  peneliti  untuk  diteliti  dan  dipelajari  serta ditarik  kesimpulan  dari  penelitian  tersebut  disebut populasi (Sugiyono, 2019).
Data  yang  diperoleh  dari  sebagian  anggota populasi  dengan  karakteristik  yang  sama  dan digunakan dalam penelitian melalui metode dan proses tertentu  untuk  merepresentasikan  populasi    disebut dengan  sampel  (Lubis,  Manaf,  Abdullah,  &  Junoh, 2019).
Penentuan  jumlah  sampel  pada  penelitian  ini menggunakan  rumus  populasi  yang  diketahui jumlahnya.  Berikut  rumus  perhitungan  sampel menggunakan rumus Yamane (Sugiyono, 2019).
𝑛 = 𝑁 1 + 𝑁(𝑒) !
Keterangan: n = Jumlah sampel yang diperlukan N = jumlah populasi e = Tingkat kesalahan sampel (sampling error)

## Simple Random Sampling
Simple  random  sampling adalah  proses pemilihan  anggota  sampel  secara  acak  dari  populasi yang memberikan setiap anggota populasi kesempatan yang  sama  untuk  dipilih  menjadi  sampel  (Sugiyono, 2019).

## Semantic Diferensial
Menurut (Sugiyono, 2018) Pengukuran dengan tanggapan "sangat positif" di sebelah kanan baris dan tanggapan  "sangat  negatif"  di  sebelah  kiri,  atau sebaliknya, digunakan untuk mengukur sikap pada satu baris. Data yang dikumpulkan adalah data interval, dan skala  ini  biasanya  digunakan  untuk  mengukur  sikap dan kepribadian seseorang.

## Penelitian Terdahulu
Penelitian ini menggunakan studi pustaka untuk menyusun  kerangka  berpikir  yang  jelas  tentang pemecahan  masalah.  Studi  kepustakaan  atau  literatur review  berisi  uraian  tentang  teori,  temuan  dan  bahan penelitian  lainnya  yang  berasal  dari  bahan  referensi
sebagai  landasan  kegiatan  penelitian  (Siregar  & Harahap, 2019).
Penelitian  terdahulu  yang  telah  melakukan analisis menggunakan User Experience Questionnaire (UEQ) pernah dilakukan oleh (Wijaya, Santika, Iswara, & Arsana, 2021) dengan studi kasus pada PaTik Bali, mendapatkan  hasil  evaluasi  yang  positif  pada  setiap skala  dan  menyimpulkan  bahwa  alasan  pengguna menghapus  PaTik  Bali  tidak  disebabkan  oleh pengalaman pengguna yang buruk saat menggunakan aplikasi tersebut.
Penelitian lainnya dilakukan oleh (Umar, Ifani, Ammatulloh,  &  Anggriani,  2021)  dengan  studi  kasus pada Sistem Informasi Web LSP UAD, hasil penelitian tersebut  menunjukan  bahwa  nilai  tertinggi  diperoleh oleh  skala  kejelasan  dan  nilai  terendah  oleh  skala kebaruan.  Hasil  perbandingan  dataset  benchmark dengan  kategori  diatas  rata-rata  ( above  average ) didapat untuk skala kejelasan, ketepatan, stimulasi, dan kebaruan.  Sedangkan  skala  daya  tarik  dan  efisiensi mendapatkan kategori baik ( good ).
Penelitian lainnya juga dilakukan oleh (Henim &  Sari,  2020)  dengan  studi  kasus  pada  Sistem Informasi Akademik Mahasiswa di Perguruan Tinggi, hasil  yang  diperoleh  dari  penelitian  berdasarkan  179 responden mahasiswa yang masih aktif menggunakan UEQ  mendapatkan  impresi  positif  pada  semua  skala dan hasil evaluasi pada benchmark menunjukan bahwa skala  stimulasi  mendapatkan  kategori  baik  ( good ), sementara hasil dengan kategori diatas rata-rata ( above average )  diperoleh  oleh  skala  daya  tarik,  kejelasan, efisiensi, ketepatan, dan kebaruan.

## METODE PENELITIAN
Penelitian  ini  menganalisis  pengalaman pengguna aplikasi myIndiHome mobile menggunakan User Experience Questionnaire (UEQ) melalui survei online kepada  pelanggan  IndiHome  yang  pernah menggunakan  aplikasi  myIndiHome mobile di  Kota Palembang.
Tahap  pengumpulan  data  pada  penelitian  ini terbagi menjadi 3 yaitu studi literatur, kuesioner, dan wawancara.  Studi  literatur  dengan  mencari  referensi berupa  teori  dan  penelitian  terdahulu  yang berhubungan  dengan  penelitian  dan  metode  yang digunakan baik dari buku, jurnal, dan literatur lainnya. Kemudian  kuesioner  yang  dilakukan  dengan  dua tahapan  yaitu  kuesioner  pra  penelitian  dan  kuesioner penelitian,  kuesioner  pra  penelitian  dan  wawancara digunakan  untuk  mengidentifikasi  masalah  serta mengumpulkan  data  terkait  penelitian.  Kuesioner penelitian  dilakukan  dengan  berdasarkan  pertanyaan
ISSN: 2620-4339 (media online)
dari  metode User  Experience  Questionnaire (UEQ) yang  terdiri  dari  26  item  pertanyaan  yang  diberikan kepada responden.
Populasi  pada  penelitian  ini  adalah  pelanggan IndiHome  yang  pernah  menggunakan  aplikasi myIndiHome mobile di  Kota  Palembang  yang berjumlah  73.679  pengguna  berdasarkan  hasil wawancara  ke  PT  Telkom  Palembang.  Teknik pengumpulan  data  yang  digunakan  yaitu simple random sampling . Jumlah sampel yang digunakan pada penelitian  ini  menggunakan  rumus  Yamane  dalam (Sugiyono, 2019) dengan sampling error atau tingkat kesalahan  sebesar  5%  atau  0,05.  Berikut  hasil perhitungan sampel menggunakan rumus Yamane:
𝑛 = 𝑁 1 + 𝑁(𝑒) ! 𝑛 = 73679 1 + 73679(0,05) ! 𝑛 =  397,84 dibulatkan menjadi 398
Berdasarkan  hasil  perhitungan  di  atas,  jumlah sampel yang digunakan adalah 398 responden. Dalam penentuan  sampel,  peneliti  memberikan  kriteria  yang akan  menjadi  responden  adalah  pelanggan  IndiHome yang  pernah  menggunakan  aplikasi  myIndiHome mobile . Metode User Experience Questionnaire (UEQ) merupakan  pengukuran  pengalaman  pengguna  yang mudah digunakan, andal, informatif, dan subjektif yang mengolah  data  survei  pengalaman  pengguna  berupa data  kuantitatif  (Laugwitz,  Held,  &  Schrepp,  2008). UEQ    mempunyai  alat  bantu  untuk  mengolah  data respon  kuesioner  yaitu Data  Analysis  Tools dengan format excel yang dapat di unduh pada website resmi UEQ.  UEQ  memiliki  6  skala  pengukuran  yang digunakan untuk mengukur user experience (Schrepp, 2019), yaitu:
1. Daya tarik ( Attractiveness ): Apakah pengguna suka atau tidak suka pada aplikasi?
2. Efisiensi ( Efficiency ):  Apakah  aplikasi  tersebut dapat digunakan secara cepat dan efisien ?
3. Kejelasan ( Perspicuity ):  Apakah  aplikasi  mudah digunakan dan dipelajari oleh pengguna?
4. Ketepatan ( Dependability ):  Apakah  aplikasi  aman dan bisa diprediksi oleh pengguna?
5. Stimulasi ( Stimulation ): Apakah aplikasi bermanfaat  dan  mempengaruhi  minat  pengguna dalam penggunaan aplikasi tersebut?
6. Kebaruan ( Novelty ): Apakah tampilan dari aplikasi memiliki sesuatu yang baru dan menarik perhatian bagi pengguna?
Keenam skala tersebut dikelompokkan menjadi tiga kelompok, yaitu attractiveness , pragmatic quality , dan hedonic  quality . Attractiveness merupakan komponen penting dalam UEQ yang berkaitan dengan ketertarikan  pengguna  terhadap  sistem. Efficiency , Perspicuity , dan Dependability merupakan bagian dari pragmatic  quality (berarah  pada  tujuan)  berkaitan dengan  tujuan  yang  dicapai  oleh  pengguna  melalui aplikasi,  sedangkan Stimulation dan Novelty adalah hedonic quality (tidak diarahkan pada tujuan) berkaitan dengan emosi pengguna terhadap penggunaan aplikasi tanpa  harus  mencapai  tujuan  (Schrepp,  2019).  Skala attractiveness terdiri  dari  6  item,  sedangkan  skala lainnya  memiliki  4  item.  Gambar  1  menunjukkan asumsi struktur skala UEQ dan item per skala.
Gambar 1. Asumsi Struktur Skala Dari UEQ
Kuesioner UEQ terdiri dari 26 pertanyaan yang diujikan  kepada  pengguna  menggunakan  pengukuran semantic diferensial dengan dua item yang terdiri dari pasangan  atribut  berlawanan  makna  yang  dapat digunakan  untuk  mendeskripsikan  produk.  Berikut daftar pertanyaan UEQ menurut versi bahasa indonesia yang dapat dilihat pada Gambar 2.
Gambar 2. Kuesioner UEQ
Hasil  jawaban  responden  yang  didapat  setelah menjawab pertanyaan pada Gambar 2 akan dikonversi ke skala penilaian UEQ seperti yang ditunjukan pada Tabel 1.
Tabel 1. Transformasi Nilai Skala Nilai Awal 1 2 3 4 5 6 7
Hasil Konversi -3 -2 -1 0 +1 +2 +3
Data yang telah di konversi akan dihitung nilai rata-rata  pada  setiap  item  untuk  seluruh  jawaban, kemudian dikelompokan dalam 6 skala ( attractiveness, perspicuity,  efficiency,  dependability,  stimulation, novelty)  sehingga  mendapatkan  hasil  perhitungan mean dan variance keseluruhan.
Mean dan Variance saja  belum  cukup  untuk mengetahui apakah produk yang dievaluasi merupakan produk  yang  baik  atau  buruk,  maka  dilakukan perbandingan dengan menggunakan benchmark dataset yang  berisikan  hasil  evaluasi  seluruh  produk  yang sudah  pernah  melakukan  evaluasi user  experience menggunakan UEQ (Schrepp, Hinderks, & Thomaschewski, 2017). Hasil Perbandingan benchmark  memiliki  5  kategori  dan  interpretasinya masing-masing, yaitu :
- Excellent : berada dalam kisaran 10% hasil terbaik.
- Good  :  10%  hasil  berada  dalam  kumpulan  data benchmark  lebih  baik,  75%  memiliki  hasil  yang lebih buruk.
- Above Average : hasil 25% lebih baik dibandingkan dengan produk yang dinilai, hasil 50% lebih buruk
- Below Average : hasil 50% lebih baik dibandingkan dengan hasil produk yang dinilai, hasil 25% lebih buruk
- Bad  :  berada  dalam  kisaran  hasil  25%  yang  lebih buruk.

## HASIL DAN PEMBAHASAN
Demografi Responden Analisis aplikasi myIndiHome mobile dilakukan  dengan  menyebarkan  kuesioner  secara online dari tanggal 13 – 28 Desember 2022, diperoleh total  responden  yang  berpartisipasi  sebanyak  404 pengguna  dari  aplikasi  myIndiHome mobile yang terdiri dari 172 laki-laki dan 232 perempuan.
Gambar 3. Demografi Umur dan Pekerjaan Responden
Pada Gambar 3 diketahui bahwa pengguna dari aplikasi myIndiHome mobile didominasi oleh kalangan pelajar/mahasiswa dengan rentang usia 17 – 32 tahun yaitu  sebanyak  47%  (190  pengguna),  kemudian digunakan  oleh  wiraswasta  yang  berusia  mulai  dari rentang 33 – 64 tahun sebanyak 25% (101 pengguna), karyawan  swasta  dan  aparatur  sipil  negara  yang memiliki  pengguna  mulai  dari  rentang  usia  17  –  48 tahun sebanyak 13,9% (56 pengguna) untuk karyawan swasta dan 13,6% (55 pengguna) untuk aparatur sipil negara,  dan  yang  paling  sedikit  yaitu  0,5%  (2 pengguna) oleh yang mengurus rumah tangga dengan rentang  usia  33  –  48  tahun.  Domisili/kota  dari pengguna  myIndiHome mobile yang  berpartisipasi dalam penelitian ini yaitu dari Kota Palembang.
Gambar 4. Demografi Frekuensi Penggunaan Aplikasi MyIndiHome Mobile
Frekuensi  penggunaan  aplikasi  myIndiHome mobile pada  Gambar  4  diketahui  bahwa  untuk  lama penggunaan  aplikasi  yang  digunakan  oleh  pengguna paling  banyak  yaitu  untuk  jangka  waktu  1  –  2  tahun sebanyak 40% (162 pengguna), dan untuk 3 – 4 tahun sebanyak  26%  (104  pengguna),  <  1  tahun  sebanyak 25% (99 pengguna), dan > 4 tahun sebanyak 10% (39 pengguna). Tingkat penggunaan aplikasi myIndiHome mobile dalam  satu  tahun  paling  banyak  pengguna menggunakan sebanyak 1 – 4 kali dengan jumlah  44% (176  pengguna),  5  –  8  kali  sebanyak  34%  (137 pengguna), 9 – 12 kali sebanyak 17% (67 pengguna),
0% 50% 100% Aparatur Sipil Negara Wiraswasta Karyawan swasta Pelajar / Mahasiswa Mengurus Rumah Tangga 13 23 190 42 61 33 2 40 17 - 32 tahun 33 - 48 tahun 49 - 64 tahun > 64 tahun 0 20 40 60 80 100 < 1 Tahun 1 - 2 Tahun 3 - 4 tahun > 4 tahun 95 66 15 4 89 32 12 7 53 7 4 20 1 - 4 kali 5 - 8 kali 9 - 12 kali
> 12 kali
dan  nilai  persentase  yang  paling  kecil  yaitu  6%  (24 pengguna) untuk penggunaan > 12 kali.

## Hasil Pengolahan dan Analisis Data
Hasil  kuesioner  yang  dikumpulkan  akan dimasukan  ke  dalam Data  Analysis  Tools UEQ  versi 11.  Kuesioner  yang  disebarkan  secara online tidak menjamin  bahwa  semua  responden  akan  menjawab secara  serius.  Oleh  karena  itu,  pengecekan inkonsistensi merupakan langkah awal yang dilakukan sebelum  melakukan  perhitungan  dan  analisis  hasil UEQ.
Langkah  awal  untuk  mengecek  inkonsistensi yaitu data responden harus dimasukan terlebih dahulu ke  dalam  tab  “ Data ”,  kemudian  untuk  melihat inkonsistensi data yang telah dimasukan yaitu pada tab “ Inconsistencies ” seperti yang ditampilkan pada Gambar 5 .
Gambar 5. Data Awal Inkonsistensi
Skala  Inkosistensi  pada  kolom  ‘ Critical? ’  jika terdapat perbedaan yang besar (>3) maka data tersebut dianggap  sebagai  data  bermasalah  yang  disebabkan oleh  responden  yang  menjawab  tidak  serius  atau ketidakpahaman  terhadap  suatu  item  yang  diuji.  Uji Heuristik sederhana digunakan untuk mendeteksi pola respon yang bermasalah untuk kemudian dihapus pada hasilnya.  Uji  heuristik  sederhana  menganggap  respon yang mencurigakan jika nilai inkonsistensi untuk 2 atau 3  skala  (Schrepp,  2016,  2019).  Oleh  karena  itu, berdasarkan penjelasan diatas penelitian ini menggunakan nilai inkonsistensi ≤ 1. Pada Gambar 5 didapat  bahwa  nilai  inkonsistensi  yang  paling  tinggi yaitu 5, hal ini menunjukan inkonsistensi yang didapat melebihi  dari  nilai  yang  dapat  ditolerir  (≤  1),  maka sesuai  dengan  Handbook  UEQ  data  tersebut  harus dihapus seperti yang ditunjukan oleh Gambar 6.
Gambar 6. Hasil Data Inkonsistensi
Jumlah  data  yang  digunakan  dengan  nilai inkonsistensi  ≤  1  yaitu  sebanyak  334  dari  404 responden,  terdapat  70  data  yang  memiliki  nilai inkonsistensi  >  1  sehingga  data  tersebut  dihapus. Jumlah  data  yang  digunakan  memang  tidak  sesuai dengan  target  sampel  yang  telah  ditetapkan  pada awalnya  yaitu  sebesar  398  responden,  namun  pada (Kharis  et  al.,  2019)  yang  memiliki  target  sampel sebanyak 300 responden tetapi hanya memperoleh 20 responden  yang  berpartisipasi  dan  penelitian  tersebut tetap  dilanjutkan  karena  sudah  mencukupi  untuk mengukur usability .  Hal  tersebut  juga  sesuai  dengan Handbook UEQ  yang  menyebutkan  bahwa  tidak  ada jumlah  minimum  data  yang  diperlukan  untuk mendapatkan  hasil  yang  terpercaya,  dan  juga diperkirakan 20-30 responden telah memberikan hasil yang cukup stabil (Schrepp, 2019). Selain itu, menurut (Alroobaea  &  Mayhew,  2014)  dalam  (Kharis  et  al., 2019) mengenai ukuran sampel yang digunakan untuk hasil  evaluasi usability .  Namun  ketentuan  16  ±  4 (artinya jumlah pengguna antara 16 - 4 sampai dengan 16+4) menghasilkan hasil uji dengan tingkat validitas yang  tinggi.  Maka  dari  itu  penelitian  ini  dapat dilanjutkan  walaupun  jumlah  data  yang  digunakan kurang dari target sampel yang telah ditentukan.
Setelah  memeriksa  nilai  inkonsistensi,  uji reliabilitas  juga  perlu  dilakukan.  Uji  reliabilitas  pada UEQ  dilakukan  dengan  melihat  koefisien Cronbach Alpha ,  koefisien Cronbach Alpha merupakan  nilai konsistensi  item  terhadap  semua  skala.  Menurut (Schrepp,  2019)  Tidak  ada  aturan  yang  menentukan nilai  minimum  koefisien  seharusnya,  namun berdasarkan  aturan  praktis  dapat  diasumsikan  bahwa nilai alpha >  0,6  atau  >  0,7  dapat  dianggap  cukup konsisten.
Nilai  reliabilitas  menginterpretasikan  tingkat kesalahan  dalam  hasil  pengukuran,  dimana  jika semakin  tinggi  nilai alpha maka  akan  semakin  kecil pula  tingkat  kesalahannya  (Retnawati,  2017).  Maka
ISSN: 2620-4339 (media online)
nilai Cronbach  Alpha pada  penelitian  ini  ditentukan dengan  nilai alpha >  0,7.  Pada  Tabel  2  menunjukan bahwa  semua  skala  memperoleh  nilai  koefisien Cronbach Alpha > 0,7 dengan rincian skala Daya Tarik (0,94),    Kejelasan  (0,90),  Efisiensi  (0,91),  Ketepatan (0,85), Stimulasi (0,92), dan Kebaruan (0,89). Hal ini menunjukan  bahwa  data  yang  digunakan  dalam penelitian ini reliabel.
Tabel 2. Hasil Uji Reliabilitas Skala Cronbach Alpha Daya Tarik ( Attractiveness ) 0,94 Kejelasan ( Perspicuity ) 0,90 Efisiensi ( Efficiency ) 0,91 Ketepatan ( Dependability ) 0,85 Stimulasi ( Stimulation ) 0,92 Kebaruan ( Novelty ) 0,89
Langkah  selanjutnya  setelah  melakukan pengecekan inkonsistensi dan uji reliabilitas koefisien Cronbach  Alpha ,  dilakukan  perhitungan Mean dan Variance . Mean merupakan  hasil  perhitungan  nilai rata-rata  berdasarkan  semua  jawaban  responden  yang dikelompokan untuk setiap skala. Sedangkan Variance merupakan  variasi  sebaran  data  atau  nilai  yang menjelaskan  ukuran  sebaran  data  dalam  sampel. Menurut (Schrepp, 2019) dalam Handbook UEQ, nilai yang  berada  diantara  -0,8  dan  0,8  mewakili  evaluasi yang normal, nilai > 0,8 mewakili evaluasi positif dan untuk nilai < -0,8 mewakili evaluasi yang negatif.
Gambar 7. Mean dan Variance Skala UEQ
Hasil  perhitungan Mean dan Variance yang dapat dilihat pada Gambar 7 menunjukan bahwa semua skala  yaitu  Daya  Tarik  ( Attractiveness ),  Kejelasan ( Perspicuity ),  Efisiensi  ( Efficiency ),  Ketepatan ( Dependability ), Stimulasi ( Stimulation ), dan Kebaruan  ( Novelty )  mendapatkan  hasil  evaluasi  yang positif  (Ditandai  dengan  panah  hijau  ke  atas)  dengan nilai > 0,8.
Berdasarkan  hasil  perhitungan  untuk  masing- masing  skala  pada  Gambar  7  dapat  juga  disajikan berdasarkan  3  kelompok  yaitu Attractiveness ,
Pragmatic Quality , dan Hedonic Quality . Attractiveness dengan  nilai  1,10  mendapatkan  hasil
evaluasi  positif  (>0,8)  yang  dapat  diartikan  bahwa pengguna  merasa  tertarik  menggunakan  aplikasi myIndiHome mobile . Pragmatic  Quality yang berhubungan dengan melakukan tugas untuk mencapai tujuan  melalui  aplikasi  yang  berkaitan  dengan Perspicuity , Efficiency , dan Dependability
mendapatkan  nilai  1,14  yaitu  hasil  evaluasi  positif (>0,8)  yang  dapat  diartikan  bahwa  pengguna  dapat menyelesaikan  tugas  dan  mencapai  tujuan  mereka melalui  aplikasi  myIndiHome mobile .  Kemudian Hedonic  Quality yang  merupakan  aspek  kesenangan pengguna  dalam  menggunakan  suatu  aplikasi  yang berkaitan dengan Stimulation dan Novelty mendapatkan  nilai  0,86  yaitu  hasil  evaluasi  positif (>0,8)  yang  dapat  diartikan  bahwa  pengguna  merasa aplikasi  myIndiHome mobile menyenangkan  dan inovatif. Lebih jelas ditunjukan pada Tabel 3.
Tabel 3. Mean dan Variance Pada 3 Kelompok UEQ
Pragmatic and Hedonic Quality Attractiveness 1,10 Pragmatic Quality 1,14 Hedonic Quality 0,86
Menurut (Schrepp et al., 2017) hasil perhitungan Mean dan Variance yang  dikelompokan  berdasarkan evaluasi  negatif,  normal,  dan  positif  belum  bisa mendeskripsikan  suatu  produk  secara  aktual  untuk menilai  apakah  produk  tersebut  memenuhi  tujuan kualitas dan mendapatkan hasil yang baik atau buruk. Selain itu, jika produk tersebut adalah produk baru dan belum  pernah  dievaluasi  pengalaman  penggunanya atau  bahkan  produk  lama  yang  baru  akan  dilakukan evaluasi, tentu saja tidak ada data perbandingan yang dapat  diukur  terhadap  nilai  yang  dihasilkan.  Oleh karena itu (Schrepp et al., 2017) mengumpulkan data suatu  produk  yang  pernah  melakukan  evaluasi  UEQ yang  kemudian  akan  digunakan  sebagai  tolak ukur/perbandingan  suatu  produk  dalam  menentukan apakah  produk  tersebut  baik  atau  buruk.  Hasil Perbandingan  untuk  aplikasi  myIndiHome mobile dengan benchmark dataset dapat dilihat pada Gambar 8 dan tersedia pula dalam bentuk grafik yang ditampilkan pada Gambar 9.
Gambar 8. Tabel Benchmark
Vol. 7 No. 1 (April 2023) ISSN: 2620-4339 (media online)
Gambar 9. Grafik Benchmark
Hasil benchmark pada Gambar 8 dan Gambar 9 diketahui bahwa terdapat tiga skala yang mendapatkan hasil dengan kategori diatas rata-rata ( Above Average ) yaitu  Kejelasan  ( Perspicuity ),  Efisiensi  ( Efficiency ), dan Kebaruan ( Novelty ). Artinya, aplikasi myIndiHome mobile berada dibawah 25% dari produk benchmark dataset yang memiliki hasil penilaian lebih baik  dan  berada  diatas  50%  dari  produk benchmark dataset yang memiliki hasil penilaian lebih buruk. Tiga Skala  lainnya  mendapatkan  hasil  dengan  kategori dibawah  rata-rata  ( Below  Average )  yaitu  Daya  Tarik ( Attractiveness ),  Ketepatan  ( Dependability ),  dan Stimulasi  ( Stimulation )  memiliki  interpretasi  bahwa aplikasi myIndiHome mobile berada dibawah 50% dari produk benchmark dataset  yang  memiliki  hasil penilaian lebih baik dan berada diatas 25% dari produk benchmark dataset yang memiliki hasil penilaian lebih buruk.

## Pembahasan
Hasil penelitian User Experience pada aplikasi myIndiHome mobile dengan  menggunakan data analysis tools UEQ versi 11, didapat hasil perhitungan mean dan variance terhadap enam skala pada Gambar 7 dan pada Tabel 3 merupakan perhitungan mean dan variance yang  dibagi  menjadi  3  kelompok  yaitu Attractiveness , Pragmatic  Quality ,  dan Hedonic Quality .  Pada  Tabel  3  menginterpretasikan  bahwa aplikasi  myIndiHome mobile mendapatkan    hasil evaluasi yang positif (> 0,8). Hasil mean dan variance pada  kuesioner  penelitian  menunjukan  untuk  semua skala  mendapatkan  hasil  evaluasi  yang  positif, sedangkan  pada  kuesioner  pra  penelitian  yang dilakukan  sebelumnya  dengan  menggunakan  item short UEQ  pada  kelompok Pragmatic  Quality dan Hedonic  Quality menunjukan  bahwa  untuk  skala Perspicuity (Tingkat kemudahan penggunaan aplikasi), efficiency (efisiensi  aplikasi),  dan Stimulasi (Tingkat kejenuhan  pengguna  aplikasi)  mendapatkan  penilaian yang  buruk.  Hal  ini  juga  bisa  diakibatkan  oleh penggunaan  sampel  yang  berbeda  terhadap  populasi yang  sama  dan  bahkan  bisa  mendapatkan  hasil  yang
berbeda  pula  jika  menggunakan  jumlah  sampel  dan objek sampel yang berbeda.
Hasil  evaluasi benchmark pada  Gambar  8  dan Gambar  9  merupakan  hasil  evaluasi  dengan membandingan produk yang diuji terhadap benchmark dataset,  terdapat  tiga  skala  yaitu Perspicuity (1,33), Efficiency (1,05),  dan Novelty (0,90)  yang mendapatkan hasil dengan kategori Above Average dan tiga  skala  lainnya  yaitu Attractiveness (1,10), Dependability (1,04),  dan Stimulation (0,82) mendapatkan hasil dengan kategori Below Average . Hasil  yang  telah  didapat  akan  dilakukan peninjauan  kembali  dimulai  dari  hasil Mean dan Variance berdasarkan  3  kelompok  perspektif  yaitu Attractiveness , Pragmatic  Quality ,  dan Hedonic Quality . Berdasarkan Tabel 3 Aspek Hedonic Quality mendapatkan  nilai  terendah  dengan  hasil  0,86. Kemudian  dari  aspek Hedonic  Quality dilihat  lagi untuk hasil perhitungan mean dan variance dari skala Stimulation dan Novelty yang  merupakan  bagian  dari aspek  tersebut.  Pada Gambar  7  diketahui  untuk  skala Stimulation mendapatkan  nilai  0,818  dan  untuk  skala Novelty mendapatkan  nilai  0,899.  Skala Stimulation dan skala Novelty memiliki 4 indikator penilaian seperti yang ditampilkan pada Gambar 10 dan Gambar 11.
Gambar 10. Indikator Penilaian Skala Stimulation
Gambar 11. Indikator Penilaian Skala Novelty
Skala Stimulation pada  Gambar  10  diperoleh hasil Mean yang paling kecil dengan nilai 0,6 pada item “Membosankan  /  Menarik”  dan  “Memotivasi  /  Tidak Memotivasi”, kemudian skala Novelty pada Gambar 11 diperoleh hasil Mean yang paling kecil dengan nilai 0,8 pada  item  “Kreatif  /  Monoton”.  Artinya,  pengguna merasa  bahwa  aplikasi  myIndiHome mobile membosankan,  tidak  memotivasi,  dan  monoton.  Jadi hal  yang  mungkin  dapat  dijadikan  perbaikan  pada aplikasi myIndiHome mobile yaitu:
- Tampilan  aplikasi  yang  baru.  Artinya  untuk menarik  perhatian  dan  minat  pengguna  dapat dilakukan  dari  perubahan  tampilan  aplikasi,  tidak perlu melakukan perubahan yang besar, perubahan kecil juga dapat dilakukan untuk menarik perhatian pengguna  seperti  warna  pada  tombol  dan penggunaan animasi.
ISSN: 2620-4339 (media online)
- Aplikasi  yang  mudah  diakses.  Sesuai  dengan keluhan yang didapat pada kuesioner pra penelitian, pengguna  merasa  bahwa  aplikasi  myIndiHome mobile sangat  lambat  dan  membutuhkan  waktu yang  lama  saat  membuka  aplikasi.  Hal  ini  dapat diperbaiki  dengan  cara  mengurangi  grafis  yang berat.
- Penambahan  fitur.  Pada  saat  ini  kredit  poin  yang diberikan  oleh  Telkom  hanya  saat  pengguna mengajak orang lain untuk berlangganan IndiHome baru  akan  mendapatkan  poin,  penambahan  fitur untuk mendapatkan poin juga dapat meningkatkan minat pengguna terhadap aplikasi.

## KESIMPULAN
Pengukuran  pengalaman  pengguna  pada aplikasi  myIndiHome mobile menggunakan  data sebanyak  334  responden  dari  404  responden  yang berpartisipasi, sampel yang digunakan yaitu pengguna aplikasi myIndiHome mobile kota Palembang. Perhitungan Mean dan Variance yang menunjukan  hasil  rata-rata  dan  sebaran  data berdasarkan  jawaban  responden  mendapatkan  hasil evaluasi yang positif (ditandai dengan panah hijau ke atas)  dengan  nilai  >  0,8  untuk  masing-masing  skala. Skala Attractiveness (1,098), Perspicuity (1,327), Efficiency (1,054), Dependability (1,045), Stimulation (0,818),  dan Novelty (0,899).  Kemudian  hasil perbandingan  dataset benchmark terdapat  tiga  skala ( Perspicuity , Efficiency , dan Novelty ) yang mendapatkan hasil dengan kategori Above Average dan tiga  skala  lainnya  ( Attractiveness , Dependability ,  dan Stimulation ) mendapatkan hasil dengan kategori Below Average .  Nilai  tertinggi  diperoleh  oleh  skala Perspicuity dan  nilai  terendah  diperoleh  oleh  skala Stimulation .
Rekomendasi  perbaikan  yang  dapat  dilakukan yaitu  pada  aspek Hedonic  Quality dikarenakan  aspek tersebut  mendapatkan  hasil mean dan variance yang terkecil  dalam  tiga  aspek  UEQ  yaitu  sebesar  0,86. Hedonic  Quality merupakan  aspek  kesenangan pengguna  dalam  menggunakan  suatu  aplikasi  yang meliputi skala Stimulation dan skala Novelty . Dua skala tersebut memiliki masing-masing 4 indikator penilaian dan  diambil  berdasarkan  nilai mean terkecil  dari  4 indikator  tersebut  untuk  dilakukan  perbaikan. Perbaikan dilakukan dengan tujuan untuk meningkatkan minat pengguna terhadap aplikasi, agar pengguna  termotivasi  untuk  terus  menggunakan aplikasi  myIndiHome mobile .  Perbaikan  yang dilakukan  berdasarkan  nilai mean terkecil  dari indikator  pada  skala Stimulation dan  skala Novelty
yaitu  selalu  menyediakan  tampilan  yang  segar/baru, mengatasi  aplikasi  yang  lambat  dengan  mengurangi penggunaan grafis yang berat, serta penambahan fitur untuk mendapatkan kredit poin yang fleksibel.

## DAFTAR PUSTAKA
Adinegoro, A. L. T., Rokhmawati, R. I., & Az-Zahra, H. M. (2018). Analisis Pengalaman Pengguna pada Website E-commerce Dengan Menggunakan Usability Testing dan User Experience Questionnaire (UEQ) (Studi pada Lazada.co.id, Blibli.com dan JD.id). Teknologi Informasi , 2 (11), 5862–5870.
Alroobaea, R., & Mayhew, P. J. (2014). How many participants are really enough for usability studies? Proceedings of 2014 Science and Information Conference, SAI 2014 , (August), 48–56.
https://doi.org/10.1109/SAI.2014.6918171 Anjani, N. (2020). Telkom Tempati Peringkat 5
Perusahaan Telko Terkuat di Dunia. Asosiasi Penyelenggara Jasa Internet Indonesia.
(2022). Profil Internet Indonesia 2022 .
Apji.or.Od . Fatria, A. E., & Christantyawati, N. (2018). Pergeseran Merek Smartphone di Indonesia dalam Perspektif Postmodernisme. Jurnal Studi Komunikasi (Indonesian Journal of Communications Studies) , 2 (2), 256–277. https://doi.org/10.25139/jsk.v2i2.379 Habibi, R., & Karnovi, R. (2020). Tutorial Membuat Aplikasi Sistem Monitoring Terhadap Job Desk Operational Human Capital . Bandung: Kreatif Industri Nusantara.
Henim, S. R., & Sari, R. P. (2020). User Experience Evaluation of Student Academic Information System of Higher Education Using User Experience Questionnaire. Jurnal Komputer Terapan , 6 (Vol. 6 No. 1 (2020)), 69–78. https://doi.org/10.35143/jkt.v6i1.3582 Juniantari, & Putra,  nyoman T. . (2021). Analisis Sistem Informasi DPMPTSP Menggunakan Metode User Dpmptsp Information System Analysis Using the User Experience. Jurnal Informatika Dan Komputer , 4 (1), 31–37. https://doi.org/10.33387/jiko
Karinda, M. V. A., Mananeke, L., Roring, F., Manajemen, J., Sam, U., & Manado, R. (2018). Pengaruh Strategi Pemasaran Dan Inovasi Produk Terhadap Kinerja Pemasaran Produk Indihome Pt.Telkom Area Tomohon. Jurnal EMBA: Jurnal Riset Ekonomi, Manajemen, Bisnis Dan Akuntansi , 6 (3), 1568–1577. Kharis, Santoso, P. I., & Winarno, W. W. (2019).
Evaluasi User Experience pada Sistem Informasi Pasar Kerja Menggunakan User Experience Questionnare (UEQ). Citee , 237– 243.
Laugwitz, B., Held, T., & Schrepp, M. (2008).
Vol. 7 No. 1 (April 2023)
Construction and evaluation of a user experience questionnaire. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics) , 5298 LNCS , 63–76. https://doi.org/10.1007/978-3-540-89350-9_6 Lubis, Z., Manaf, A. A. H., Abdullah, M. S., & Junoh, M. Z. M. (2019). Panduan Pelaksanaan Penelitian Sosial . Yogyakarta: Andi. Martono, K. T., Eridani, D., & Isabella, D. I. S.
(2020). User experience pada Implementasi
Virtual Reality sebagai Media Pembelajaran Anak Pengidap Autisme. Jurnal Politeknik
Caltex Riau , 6 (1), 1–11. Retnawati, H. (2017). Reliabilitas Instrumen Penelitian. Jurnal Pendidikan Teknik Mesin
Unnes , 12 (1), 129541.
Rony, N. F., & Panuju, R. (2018). Digital Media Hospital: Aplikasi Komunikasi Pemasaran Berbasiskan Daring. Jurnal Komunikasi Profesional , 2 (2), 120–128. https://doi.org/10.25139/jkp.v2i2.1375
Schrepp, M. (2016). Praktische Techniken zum
Auffinden nicht ernsthaft ausgefüllter Fragebögen, (September 2016). Schrepp, M. (2019). User Experience Questionnaire Handbook Version 8. URL: Https://Www.Researchgate.Net/Publication/303 880829_User_Experience_Questionnaire_Hand book_Version_2.(Accessed: 02.02. 2017) , (September 2015), 1–15. Schrepp, M., Hinderks, A., & Thomaschewski, J.
(2017). Construction of a Benchmark for the
User Experience Questionnaire (UEQ). International Journal of Interactive Multimedia and Artificial Intelligence , 4 (4), 40. https://doi.org/10.9781/ijimai.2017.445 Siregar, A. Z., & Harahap, N. (2019). Strategi Dan Teknik Penulisan Karya Tulis Ilmiah Dan Publikasi . Yogyakarta: Deepublish. Sugiyono. (2018). Metode Penelitian Evaluasi . Bandung: Alfabeta. Sugiyono. (2019). Metode Penelitian Kuantitatif . Bandung: Alfabeta. Umar, R., Ifani, A. Z., Ammatulloh, F. I., & Anggriani, M. (2021). Analisis Sistem Informasi Web Lsp Uad Menggunakan User Experience Questionnaire (Ueq). METHOMIKA Jurnal Manajemen Informatika Dan Komputerisasi Akuntansi , 4 (2), 173–178. https://doi.org/10.46880/jmika.vol4no2.pp173- 178 Wijaya, I. N. S. W., Santika, P. P., Iswara, I. B. A. I., & Arsana, I. N. A. (2021). Analisis dan Evaluasi Pengalaman Pengguna PaTik Bali dengan Metode User Experience Questionnaire (UEQ).
Jurnal Teknologi Informasi Dan Ilmu Komputer , 8 (2), 217. https://doi.org/10.25126/jtiik.2020762763