## Journal of Information System Research (JOSH)
Volume 3, No. 3, April 2022, pp 242 − 251 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v3i3.1527

## Evaluasi Pengalaman Pengguna Pada Aplikasi E-Wallet OVO dan GOPAY Dengan Metode User Experience Questionnaire
Fara Della Nur Annisa * , Joy Nashar Utama Jaya, Surmiati
Program Studi Sistem Informasi, STMIK Borneo Internasional, Balikpapan Jl. AW. Syahranie No. 04, Balikpapan Utara, Balikpapan, Indonesia Email: 1’* fara_della.18@stmik-borneo.ac.id, 2 joy.nashar@stmik-borneo.ac.id, 3 surmiati@stmik-borneo.ac.id Email Penulis Korespondensi: fara_della.18@stmik-borneo.ac.id Submitted: 20/04/2022 ; Accepted: 27/04/2022 ; Published: 30/04/2022
Abstrak- Pengguna  smartphone  di  Indonesia  kian  bertambah  setiap  tahunnya  sehingga  para  pengembang  aplikasi  terus berinovasi menciptakan layanan pembayaran non tunai guna memudahkan pengguna dalam melakukan pembayaran transaksi secara non tunai. Saat ini sudah terdapat banyak aplikasi dompet digital namun yang sudah umum dijumpai ialah aplikasi ovo dan  gopay.  Penelitian  ini  bertujuan  untuk  membandingkan  2  aplikasi  dompet  digital  yang  memiliki  proses  bisnis  dan karakteristik yang hampir sama dalam pengalaman pengguna kedua aplikasi dompet digital tersebut serta  ingin mengetahui user  experience  mana  yang  sesuai  dengan  pengguna  baik  dari  kenyamanan,  fungsi  dan  kemudahan  pelanggan  dalam menggunakan  salah  satu  aplikasi  pendukung  E-Wallet. Penelitian  ini  memberikan  perbandingan  melalui  kuisioner  user experience  questionnaire  (UEQ)  yang  memiliki  enam  aspek  penilaian  antara  lain  attractiveness,  perspicuity,  efficiency, dependability,  stimulation  serta  novelty.  Kuisioner  UEQ  dibagikan  kepada  85  responden,  hasil  dari  kuesioner  UEQ menunjukkan bahwa responden memiliki kesan positif terhadap kedua aplikasi dompet digital ovo dan gopay dimana aplikasi menunjukkan positive evaluation (memiliki nilai mean > 0,8).
Kata Kunci: Smartphone; Analisis; Dompet Digital; Pengalaman Pengguna; User Experience Questionnaire
Abstract- Indonesian smartphone users are growing every year, so application developers continue to innovate to create non- cash payment services to make it  easier for users to make non-cash transaction payments. There are currently many digital wallet applications, but ovo and gopay apps are common. The study is to compare the 2 digital wallet applications that have a business process and similar characteristics in both the user experience of the digital wallet application and want to know which user  corresponds  with  both  of  the  comfort,  function  and  convenience  of the  customer  in  using one  of the  e-wallet  support applications. The study gives a comparison through the user experience questionnaire (ueq) who has six assessments between attractiactiveness, spicdialing, seduction, dependent, stimulation, and stimulation. The UEQ questionnaire was divide to 85 respondents, as the result from the UEQ questionnaire indicates that the respondents had a positive impression on both ovo and gopay digital wallet applications Where the application shows positive (values mean > 0.8).
Keywords: Smartphone; Analysis; Electronic Wallet; User Experience; User Experience Questionnaire

## 1. PENDAHULUAN
Perkembangan teknologi informasi saat ini berperan penting dan sangat bermanfaat pada semua bidang terutama pada bidang transaksi pembayaran. Kemajuan teknologi dalam system pembayaran telah menggantikan peran uang tunai ke dalam transaksi pembayaran non tunai, hal ini didukung dengan semakin maraknya pusat perbelanjaan ataupun  perusahaan  yang  menerima  pembayaran  non  tunai.  Hal  ini  membuat  banyak  penyelenggara  uang elektronik  di  Indonesia  memanfaatkan  smartphone  untuk  meningkatkan  pelayanan  mereka  melalui  aplikasi dompet digital/E-Wallet. E-Wallet merupakan aplikasi yang memungkinkan pengguna dapat bertransaksi secara non tunai untuk membeli suatu barang maupun jasa misalnya transfer uang, pembayaran tagihan, pembelian pulsa maupun pembayaran merchant.[1] Salah dua dari aplikasi dompet digital yaitu ovo dan gopay. Menurut snapcart pada tahun 2020, lembaga riset berbasis aplikasi yang melakukan penelitian perilaku konsumen dalam bertransaksi dengan  aplikasi  pembayaran  digital.  Berdasarkan  riset  yang  telah  dilakukan  terhadap  1.000  responden menunjukkan bahwa aplikasi ovo dan gopay termasuk kedalam lima brand yang paling banyak digunakan oleh konsumen untuk pembayaran digital bersama dengan shopeepay, dana, dan linkaja. Bank Indonesia juga mencatat bahwa ovo menguasai pasar uang elektronik di Indonesia yakni 20% pada tahun 2019 mengungguli gopay. Data tersebut  selaras dengan survey terbaru APJIII yang menunjukkan bahwa ovo unggul  tipis dibandingkan gopay. Sebanyak  6,5%  dari  7.000 responden  menggunakan  ovo,  sementara  gopay  5,9%.  [2]  Representasi  dari  sebuah aplikasi dapat berpengaruh pada persepsi pengguna terhadap aplikasi itu sendiri. Sebab itu, elemen yang ada dalam aplikasi  harus  dipastikan  memuat  hal-hal  yang  positif  baik  hal  estetika  maupun  apa  yang  dirasakan  oleh penggunanya. Aplikasi mobile merupakan salah satu hal yang berpengaruh pada layanan dompet digital agar dapat mengetahui kebutuhan dari pengguna sehingga terciptanya kepuasan terhadap suatu produk. Salah satu cara untuk mengetahui kebutuhan pengguna yaitu dengan pendekatan pengalaman pengguna sehingga didapatkan hasil dari apa yang dipikirkan dan dirasakan pengguna saat menjalankan atau menggunakan sebuah produk, layanan ataupun system.
Dalam penelitian ini  penulis bermaksud untuk membandingkan  2 aplikasi  dompet digital yang memiliki proses  bisnis  dan  karakteristik  yang  hampir  sama  dalam  pengalaman  pengguna  kedua  aplikasi  dompet  digital tersebut serta ingin mengetahui user experience mana yang sesuai dengan pengguna baik dari kenyamanan, fungsi dan  kemudahan  pelanggan  dalam  menggunakan  salah  satu  aplikasi  pendukung  E-Wallet. Penelitian  ini

## Journal of Information System Research (JOSH)
Volume 3, No. 3, April 2022, pp 242 − 251 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v3i3.1527
memberikan  perbandingan  melalui  kuisioner  user  experience  questionnaire  (UEQ)  yang  memiliki  enam  aspek penilaian  antara  lain  attractiveness,  perspicuity,  efficiency,  dependability,  stimulation  serta  novelty.  Penelitian terkait user experience telah banyak dilakukan oleh mahasiwa maupun akademis diantaranya:
Ahmad Nur Hidayat, Buce Trias Hanggara, Bonda Sapta Prakoso pada tahun 2021 yang berjudul “Analisis Perbandingan Pengalaman Pengguna Pada Aplikasi Dompet Digital (Studi Kasus Pada OVO dan DANA)” dimana didapatkan hasil dari kuesioner UEQ menunjukan bahwa responden memiliki kesan yang cenderung positif kepada kedua  aplikasi  dompet  digital  yang  dimana  aplikasi  dana  memiliki  nilai  lebih  baik  dalam  empat  aspek  skala pengukuran yaitu attractiveness, perspicuity, dependability dan novelty. Sedangkan aplikasi  ovo memiliki nilai lebih baik pada aspek efficiency dan stimulation.[3] Penelitian selanjutnya adalah Fianti Krisna Dewi dan Maya Ariyanti pada tahun 2020 yang berjudul “Perbandingan User Experience Aplikasi Digital Wallet (Pengguna Go- Pay,  OVO,  DANA,  dan  LinkAja)  pada  Mahasiswa  Bandung”  dimana  hasil  dari  penelitian  ini  aplikasi  gopay memiliki  nilai  rata-rata  tertinggi,  diikuti  aplikasi  ovo  memiliki  nilai  rata-rata  diurutan  kedua,  aplikasi  dana memiliki nilai  rata-rata diurutan ketiga, dan aplikasi  LinkAja memiliki nilai  rata-rata diurutan terakhir.[1] Dari penelitian Fianti Krisna Dewi dan Maya Arianti diatas penulis tertarik untuk melakukan evaluasi user experience dari aplikasi e-wallet dengan menggunakan metode yang berbeda dan hanya menggunakan aplikasi ovo dan gopay sebagai objek penelitian.
Dalam  penelitian  ini  penulis  menggunakan  metode  User  Experience  questionnaire (UEQ),  metode User Experience questionnaire (UEQ) merupakan metode yang menggukur user experience dengan 6 skala penilaian, metode ini dikembangkan oleh Dr. Martin Schrepp.[4] [5]Tujuan penulisan penelitian ini yaitu mengetahui skala UEQ apa saja yang tertinggi dan terendah pada masing-masing aplikasi e-wallet dan aplikasi pendukung e-wallet mana yang memiliki skala UEQ yang baik untuk  digunakan oleh pengguna dengan menggunakan metode User Experience  questionnaire  (UEQ).  Penelitian  ini  diharapkan  dapat  memberikan  manfaat  bagi  pengguna  aplikasi untuk  mengetahui  dan  memilih  aplikasi  E-Wallet  yang  mudah  dan  nyaman  digunakan  untuk  bertransaksi, sedangkan bagi perusahaan penelitian ini diharapkan dapat memberikan suatu masukan untuk melakukan koreksi dan perbaikan aplikasi tersebut agar dapat menjadi aplikasi yang baik serta nyaman untuk digunakan pengguna.

## 2. METODOLOGI PENELITIAN

## 2.1 Studi Literatur
Tahap awal  penelitian ini ialah studi terhadap literatur yang berkaitan dengan user experience, user experience questionnaire serta penelitian terdahulu yang dapat dijadikan sebagai sumber rujukan dari penelitian ini.

## 2.2 Penentuan Populasi dan Sampel Penelitian
Responden penelitian ini adalah masyarakat umum di kota Balikpapan yang menggunakan e-wallet ovo dan gopay. Jumlah sampel ditentukan dengan menggunakan rumus Slovin[6], [7] pada persamaan berikut:
𝑛 = 𝑁 1 + (𝑁 × 𝑒 2 )
Dimana: n = jumlah sampel N = jumlah populasi e = margin error
Pada  penelitian  ini  jumlah  populasi  adalah  486  orang  dengan  margin  of  error  10%  atau  0,1.  Sehingga dengan menggunakan persamaan 1 diatas dihitung jumlah sampel minimal sebagai berikut:
𝑛 = 468
1 + (468 × 0,1 2 ) 𝑛 = 82,39
Berdasarkan  hasil  perhitungan  menggunakan  persamaan  diatas,  maka  jumlah  populasi  minimal  adalah 82,39 yang dibulatkan menjadi 83.

## 2.3 Pengumpulan Data Menggunakan UEQ
Kuesioner UEQ atau User Experience Questionnaire merupakan kuesioner yang hasilnya dapat digunakan dalam usability  testing  untuk  mengukur  tingkat  user  experience  suatu  produk  dengan  cepat.  UEQ  dapat  diunduh  di www.ueq-online.org.  Terdapat  6  skala  dengan  total  26  elemen  yang  dikategorikan  berdasarkan  skala-skala pengukuran yang terdapat pada UEQ.[8], [9] Skala User Experience dalam kuesioner, yaitu:
a. Attractiveness (Daya tarik): Daya tarik suatu produk dalam persepsi keseluruhannya . Misal: bagus atau jelek, atraktif atau tidak atraktif.
b. Efficiency (Efisiensi: Kecepatan pengguna menyelesaikan tugas. Misal: cepat atau lambat, praktis atau tidak praktis.
c. Perspicuity (Kejelasan): Kemudahan penggunaan suatu produk. Misal: mudah dipahami atau sulit dipahami.

## Journal of Information System Research (JOSH)
Volume 3, No. 3, April 2022, pp 242 − 251 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v3i3.1527
d. Dependability  (Ketepatan):  Dapatkah  interaksi  dikontrol  oleh  pengguna?  Misal:  dapat  diprediksi  atau  tidak dapat diprediksi, mendukung atau menghalangi.
e. Stimulation (Stimulasi):  Sejauh mana pengguna termotivasi  untuk menggunakan produk.  Misal: bermanfaat atau kurang bermanfaat, menarik atau tidak menarik.
f. Novelty  (Kebaruan):  Apakah  desain  produk  inovatif  dan  kreatif?  Apakah  produk  mampu  mendapatkan perhatian pengguna? Seberapa kreatif atau besar kebaruan dari produk.[10]
Setelah  menghitung  jumlah  sampel  minimal,  selanjutnya  dilakukan  pengumpulan  data  dengan menggunakan kuisioner UEQ. Proses pengumpulan data dapat dilihat pada gambar 1 berikut:

## Gambar 1. Proses Pengumpulan data menggunakan UEQ
Proses evaluasi menggunakan UEQ dimulai dari responden diminta untuk menggunakan aplikasi e-wallet dan mencoba semua fitur yang ada pada e-wallet ovo dan gopay, hal ini dilakukan agar pengguna mendapatkan umpan balik yang baik dari hasil UEQ yang akurat. Pengguna dapat mengisi UEQ sesuai dengan apa yang mereka rasakan ketika menggunakan website, baik dari dalam segi fungsi, warna, jenis tulisan, tata letak, dan yang lainnya. Setelah menggunakan aplikasi, pengguna diminta untuk mengisi kuesioner UEQ melalui form yang telah diberikan kepada  pengguna  dimana  pengisian  kuesioner  diarahkan  sesuai  dengan  ketentuan  UEQ  yakni  tidak  selamanya poin 7 merupakan nilai paling tinggi pada kuesioner ini.[11], [12] Pada penelitian ini pengukuran user experience dilakukan dengan menggunakan kuesioner UEQ yang terdiri dari 26 pertanyaan dan digolongkan menjadi 6 faktor yaitu daya tarik (attractiveness), kejelasan (perspicuity), efisiensi (efficiency), ketepatan (dependability), stimulasi (stimulation) dan kebaruan (novelty).[1], [13]

## Gambar 2. Pernyataan UEQ
Data yang telah dikumpulkan dari responden kemudian dimasukkan kedalam UEQ tool data analysis dan dijadikan sebagai nilai masukan untuk menghitung nilai pengalaman pengguna dari e-wallet ovo dan gopay.

## 2.4 Pengolahan Data dan Analisis
Pengolahan  data  yang  diperoleh  dari  responden  selanjutnya  diolah  menggunakan  UEQ  tools.  Hasil pengolahan dari data kemudian dianalisa untuk memperoleh informasi mengenai user experience dari e-wallet ovo dan gopay. Proses pengolahan data dapat dilihat pada gambar 3 berikut:
Mulai Pengguna Menggunakan Aplikasi Pengguna Mengisi Kuisioner yang Diberikan Selesai

## Journal of Information System Research (JOSH)
Volume 3, No. 3, April 2022, pp 242 − 251 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v3i3.1527
Gambar 3. Proses pengolahan data UEQ
Selanjutnya  dilakukan  analisis  dan  pembahasan  dari  hasil  pengumpulan  data  kuesioner  UEQ  yang telah dilakukan sebelumnya. Pada tahapan ini akan dijabarkan hasil dari kuesioner UEQ, selanjutnya akan dilakukan perbandingan dari hasil kuesioner UEQ pada kedua aplikasi. Pengambilan kesimpulan dilakukan setelah semua tahapan-tahapan dalam penelitian selesai dilakukan.

## 3. HASIL DAN PEMBAHASAN
Evaluasi user experience pada e-wallet ovo dan gopay dilakukan dengan menyebarkan kuesioner melalui google form  kepada  masyarakat  umum  di  kota  Balikpapan  yang  menggunakan  kedua  e-wallet  tersebut.  Secara keseluruhan, kuesioner diisi oleh 85 responden yang kemudian data dari kuesioner tersebut dimasukkan kedalam tabel UEQ data analysis. Setelah itu, selanjutnya dilakukan transformasi dengan menghitung nilai yang diperoleh dari kuesioner UEQ dikurangi dengan 4 dan diperoleh nilai positif atau negative dari setiap item UEQ. Nilai +3 merupakan  nilai  positif  tertinggi  dan  -3  merupakan  nilai  negative  terendah.  Hasil  transformasi  data  kemudian diolah untuk mendapatkan nilai rata-rata untuk setiap aspek UEQ. [14], [15]

## 3.1 Hasil Analisis Pengalaman Penggunaan Aplikasi E-Wallet OVO
Hasil  analisis  pengalaman  penggunaan  pada  aplikasi  e-wallet  ovo  menunjukkan  bahwa  responden  memiliki impresi yang positif terhadap aplikasi e-wallet ovo. Hal ini terlihat dari nilai mean dari 26 item yang menunjukkan positive evaluation (memiliki nilai mean > 0,8). Berdasarkan mayoritas item pada UEQ yang mendapatkan positive evaluation  juga tentu saja akan menghasilkan positive evaluation  pada 6 skala UEQ. Hal ini dapat dilihat pada tabel 1 berikut di bawah ini.

## Tabel 1. Hasil UEQ OVO
Berdasarkan  hasil  pengolahan  pada  tabel  1  diatas,  nilai  tertinggi  diperoleh  di  aspek  kebaruan  (novelty) dengan nilai 1,921. Hal ini menunjukkan bahwa aplikasi e-wallet ovo memiliki desain produk yang inovatif dan kreatif  serta  mampu  mendapatkan  perhatian  pengguna.   Interaksi  dengan  aplikasi  e-wallet  ovo  cukup  baik  dan dapat dikendalikan oleh pengguna, hal ini berdasarkan aspek dependability yang memperoleh nilai 1,506. Aspek efisiensi memperoleh impresi positif, hal ini menunjukkan pengguna dapat menyelesaikan transaksi dengan cepat ketika menggunakan aplikasi e-wallet ovo. Aspek kejelasan menunjukkan nilai 1,397 yang berarti aplikasi e-wallet ovo dapat mudah dipahami dan dipelajari karena faktor kejelasan dan kemudahan mendapatkan nilai positif. Hasil perhitungan  nilai  UEQ  untuk  aspek  stimulasi  adalah  1,629  hal  ini  menunjukkan  bahwa  aplikasi  e-wallet  ovo bermanfaat bagi pengguna dan memotivasi pengguna untuk menggunakannya.
Berdasarkan  hasil  penelitian  didapatkan  bahwa  hasil  evaluasi  untuk  seluruh  aspek  memiliki  nilai  yang positif, dimana seluruh aspek UX mendapatkan nilai skor diatas 0,8. Hal ini menunjukkan bahwa nilai rata-rata impresi  >0,8  merupakan  evaluasi  positif.  [16],  [17]Dari  seluruh  aspek,  nilai  rata-rata  untuk  aspek  daya  tarik (attractiveness) adalah 1,124 yang berarti aplikasi e-wallet ovo belum memberikan kenyamanan pada pengguna, serta  belum  cukup  atraktif.  Hal  ini  sesuai  dengan  hasil  uji  untuk  faktor  tidak  atraktif  dan  tidak  nyaman  yang memiliki  nilai  impresi  normal  dan  dibawah  rata-rata,  sehingga  membutuhkan  upaya  untuk  meningkatkan  nilai tersebut dengan memperbarui aplikasi e-wallet ovo yang menarik dan nyaman bagi pengguna. Nilai rata-rata hasil pengukuran untuk setiap variable dari aspek daya tarik (attractiveness) UEQ dapat dilihat pada tabel 2 berikut.
Memasukkan
Data Hasil Kuesioner ke dalam UEQ tool Transformasi Data Pengguna Mengisi Kuisioner yang Diberikan Melakukan Perhitungan Rata-rata Setiap Aspek UEQ Mendapatkan
Hasil UEQ
Aspek UX Nilai Skala UEQ Daya Tarik (Attractiveness) 1,124 Kejelasan (Perspicuity) 1,397 Efisiensi (Efficiency) 1,162 Ketepatan (Dependability) 1,506 Stimulasi (Stimulation) 1,629 Kebaruan (Novelty) 1,921 Mean Variance Std. Dev No. Left Right Scale ⇧ 1,8 1,3 1,1 85 Menyusahkan Menyenangkan Daya Tarik ⇧ 2,1 0,9 0.9 85 Baik Buruk Daya Tarik

## Journal of Information System Research (JOSH)
Volume 3, No. 3, April 2022, pp 242 − 251 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v3i3.1527
Gambar 4 berikut merupakan grafik untuk hasil pengujian UEQ terhadap aplikasi e-wallet ovo.

## Gambar 4. Grafik Hasil Pengujian UEQ OVO
Setiap bar pada gambar 4 diatas menunjukkan bahwa setiap skala memiliki nilai mean yang berada pada zona hijau yang berarti bahwa responden memiliki impresi positif  terkait pengalaman penggunaan e-wallet ovo meski skala daya tarik berada pada batas zona hijau. Selain itu, pada bar yang mewakili setiap skala, terdapat garis yang berada pada tengah bar yang mewakili nilai confidence interval pada setiap skala (error bar). Adapun nilai error bar dapat dilihat pada kolom confidence dalam tabel 3 di bawah ini.
Tabel 3. Nilai Confidence Intervals OVO
Adapun hasil perbandingan penilaian UEQ untuk aplikasi e-wallet ovo dengan dataset UEQ untuk kegiatan benchmarking dapat dilihat pada tabel 4 di bawah ini.
Tabel 4. Hasil Perbandingan dataset UEQ OVO
Untuk kejelasan dan efisiensi, aplikasi e-wallet ovo dikategorikan sebagai “above average”. Hal ini berarti dibandingkan dengan dataset yang ada, aplikasi e-wallet ovo memiliki nilai mean yang lebih rendah dari 25% hasil evaluasi aplikasi pada dataset. Akan tetapi aplikasi e-wallet ovo memiliki nilai mean yang lebih tinggi dari 50% hasil evaluasi  aplikasi  yang ada pada dataset. Untuk daya tarik  dikategorikan sebagai  “below average”. Hal  ini berarti dibandingkan dengan dataset yang ada, aplikasi e-wallet ovo memiliki nilai mean yang lebih rendah dari 50% hasil evaluasi aplikasi pada dataset. Akan tetapi aplikasi e-wallet ovo memiliki nilai mean yang lebih tinggi dari hanya 25% hasil evaluasi aplikasi yang ada pada dataset. Untuk ketepatan dan stimulasi aplikasi e-wallet ovo
Mean Variance Std. Dev No. Left Right Scale ⇧ 1,7 1,5 1,2 85 Tidak disukai Menggembirakan Daya Tarik ⇩ -2,1 0,7 0,9 85 Tidak nyaman Nyaman Daya Tarik ⇧ 1,5 1,7 1,3 85 Atraktif Tidak Atraktif Daya Tarik ⇧ 1,7 1,8 1,3 85 Ramah pengguna Tidak Ramah Pengguna Daya Tarik Confidence intervals (P=0,05) per scale Scale Mean Std. Dev. N Confidence Confidence Interval Daya Tarik 1,124 0,461 85 0,098 1,026 1,222 Kejelasan 1,397 0,816 85 0,173 1,224 1,570 Efisiensi 1,162 0,836 85 0,178 0,984 1,339 Ketepatan 1,506 0,743 85 0,158 1,348 1,664 Stimulasi 1,629 0,590 85 0,125 1,504 1,755 Kebaruan 1,921 0,576 85 0,123 1,798 2,043
Scale Mean Comparisson to Benchmark Interpretation Daya Tarik 1,12 Below average 50% of results better, 25% of results worse Kejelasan 1,40 Above Average 25% of results better, 50% of results worse Efisiensi 1,16 Above Average 25% of results better, 50% of results worse Ketepatan 1,51 Good 10% of results better, 75% of results worse Stimulasi 1,63 Good 10% of results better, 75% of results worse Kebaruan 1,92 Excellent In the range of the 10% best results

## Journal of Information System Research (JOSH)
Volume 3, No. 3, April 2022, pp 242 − 251 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v3i3.1527
dikategorikan sebagai “good” hal ini berarti dibandingkan dengan dataset yang ada, aplikasi e-wallet ovo memiliki nilai  mean  yang  lebih  rendah  dari  10%  hasil  evaluasi  aplikasi  pada  dataset.  Akan  tetapi  aplikasi  e-wallet  ovo memiliki nilai mean yang lebih tinggi dari 75% hasil evaluasi aplikasi yang ada pada dataset. Sedangkan untuk kebaruan dikategorikan sebagai “excellent” hal ini berarti dibandingkan dengan dataset yang ada, aplikasi e-wallet ovo memiliki nilai mean yang lebih rendah dari 10% hasil evaluasi aplikasi pada dataset. Hasil ini menunjukkan bahwa  aplikasi  e-wallet  ovo  sudah  baik,  namun  masih  perlu  dilakukan  upaya  untuk  meningkatkan  daya  tarik dengan menyediakan fungsi atau fitur yang membantu menyelesaikan transaksi secara nyaman dan menyenangkan untuk digunakan. Lebih jelasnya setiap nilai perbandingan ini jika dimodelkan dalam bentuk grafis dapat dilihat pada gambar 5 di bawah ini.
Gambar 5. Hasil Perbandingan dengan Skala Benchmark Aplikasi E-Wallet OVO

## 3.2 Hasil Analisis Pengalaman Penggunaan Aplikasi E-Wallet Gopay
Hasil  analisis  pengalaman  penggunaan  pada  aplikasi  e-wallet  gopay  menunjukkan  bahwa  responden  memiliki impresi  yang  positif  terhadap  aplikasi  e-wallet  gopay.  Hal  ini  terlihat  dari  nilai  mean  dari  26  item  yang menunjukkan  positive  evaluation  (memiliki  nilai  mean  >  0,8).  Berdasarkan  mayoritas  item  pada  UEQ  yang mendapatkan positive evaluation  juga tentu saja akan menghasilkan positive evaluation  pada 6 skala UEQ.[16] Hal ini dapat dilihat pada tabel 5 di bawah ini.
Tabel 5. Hasil UEQ Go-Pay
Berdasarkan  hasil  pengolahan  pada  tabel  5  diatas,  dapat  disimpulkan  bahwa  nilai  yang  tertinggi  adalah aspek daya tarik (attractiveness) dengan nilai 1,894. Ini menunjukkan bahwa e-wallet gopay merupakan aplikasi yang  memiliki  impresi  positef  dengan  tampilan  yang  menarik  dan  nyaman  bagi  pengguna.  Aspek  stimulasi (stimulation)  mendapatkan  nilai  tertinggi  kedua  yakni  sebesar  1,812  yang  berarti  aplikasi  ini  bermanfaat  bagi pengguna dan memotivasi pengguna untuk menggunakannya. Selanjutnya pada aspek ketepatan (dependability) memperoleh nilai 1,579 yang berarti interaksi dengan aplikasi e-wallet gopay dapat dikendalikan oleh pengguna. Aspek  kejelasan  (perspicuity)  mendapatkan  nilai positif  sebesar  1,476.  Hal  ini  menunjukkan  bahwa  aplikasi  e- wallet gopay mudah untuk dipahami dan dipelajari oleh pengguna. Hasil dari perhitungan nilai UEQ untuk aspek efisiensi (efficiency) memperoleh impresi positif dimana hal ini berarti pengguna dalam menyelesaikan transaksi dengan cepat ketika menggunakan e-wallet gopay. Nilai UEQ untuk aspek kebaruan (novelty) adalah 0,909 yang menunjukkan rancangan aplikasi e-wallet gopay memiliki kebaruan.
Berdasarkan hasil penelitian didapatkan hasil evaluasi untuk seluruh aspek memiliki nilai yang positif. Hal ini  ditunjukkan  dengan  nilai  seluruh  aspek  UX  memperoleh  nilai  diatas  0,8.  Dari  seluruh  aspek,  nilai  rata-rata untuk aspek kebaruan lebih rendah dibandingkan dengan aspek lainnya (<1). Hal ini karena menurut pengguna, aplikasi  e-wallet  gopay masih  monoton dan tidak berdaya cipta (konvensional). Hal  ini sesuai  dengan hasil uji untuk  faktor  monoton  dan  konvensional  memiliki  nilai  impresi  normal  dan  dibawah  rata-rata,  sehingga membutuhkan upaya untuk meningkatkan nilai tersebut dengan membuat desain aplikasi yang lebih kreatif dan
Aspek UX Nilai Skala UEQ Daya Tarik (Attractiveness) 1,894 Kejelasan (Perspicuity) 1,476 Efisiensi (Efficiency) 1,365 Ketepatan (Dependability) 1,579 Stimulasi (Stimulation) 1,812 Kebaruan (Novelty) 0,909

## Journal of Information System Research (JOSH)
Volume 3, No. 3, April 2022, pp 242 − 251 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v3i3.1527
inovatif. Nilai rata-rata hasil pengukuran untuk setiap variable dari aspek kebaruan (novelty) UEQ dapat dilihat pada tabel 6 dibawah.
Tabel 6. Rata-rata Hasil Pengukuran Aspek Kebaruan
Berikut merupakan grafik untuk hasil pengujian UEQ terhadap aplikasi e-wallet gopay.
Gambar 6. Grafik Hasil Pengujian UEQ GOPAY
Setiap bar pada gambar 6 diatas menunjukkan bahwa setiap skala memiliki nilai mean yang berada pada zona hijau yang berarti bahwa responden memiliki impresi positif terkait pengalaman penggunaan e-wallet ovo meski skala daya tarik berada pada batas zona hijau. Selain itu, pada bar yang mewakili setiap skala, terdapat garis yang berada pada tengah bar yang mewakili nilai confidence interval pada setiap skala (error bar). Adapun nilai error bar dapat dilihat pada kolom confidence dalam tabel 7 di bawah ini.

## Tabel 7. Nilai Confidence Intervals GOPAY
Setiap  nilai  rata-rata  hasil  perhitungan  UEQ  dibandingkan  dengan  nilai  benchmark  untuk  mengetahui maksud dari nilai tersebut. Hasil pengukuran skala UEQ yang dibandingkan dengan nilai benchmark dapat dilihat pada tabel 8 berikut ini.
Tabel 8. Hasil Perbandingan dataset UEQ GOPAY
Untuk kejelasan, efisiensi, dan kebaruan aplikasi e-wallet gopay dikategorikan sebagai “above average”. Hal  ini  berarti  dibandingkan  dengan  dataset  yang  ada,  aplikasi  e-wallet  gopay  memiliki  nilai  mean  yang  lebih
Mean Variance Std. Dev No. Left Right Scale ⇨ -0,5 1,1 1,0 85 Kreatif Monoton Kebaruan ⇨ 0,7 3,0 1,7 85 Berdaya Cipta Konvensional Kebaruan ⇧ 1,7 1,2 1,1 85 Lazim Terdepan Kebaruan ⇧ 1,7 1,4 1,2 85
Konservatif Inovatif Kebaruan Confidence intervals (P=0,05) per scale Scale Mean Std. Dev. N Confidence Confidence Interval Daya Tarik 1,894 0,554 85 0,118 1,776 2,012 Kejelasan 1,476 0,760 85 0,162 1,315 1,638 Efisiensi 1,365 0,736 85 0,156 1,208 1,521 Ketepatan 1,579 0,827 85 0,176 1,404 1,755 Stimulasi 1,812 0,710 85 0,151 1,661 1,963 Kebaruan 0,909 0,698 85 0,148 0,760 1,057
Scale Mean Comparisson to Benchmark Interpretation Daya Tarik 1,89 Excellent In the range of the 10% best results Kejelasan 1,48 Above Average 25% of results better, 50% of results worse Efisiensi 1,36 Above Average 25% of results better, 50% of results worse Ketepatan 1,58 Good 10% of results better, 75% of results worse Stimulasi 1,81 Excellent In the range of the 10% best results Kebaruan 0,91 Above Average 25% of results better, 50% of results worse

## Journal of Information System Research (JOSH)
Volume 3, No. 3, April 2022, pp 242 − 251 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v3i3.1527
rendah dari 25% hasil evaluasi aplikasi pada dataset. Akan tetapi aplikasi e-wallet gopay memiliki nilai mean yang lebih tinggi dari 50% hasil evaluasi aplikasi yang ada pada dataset. Untuk daya tarik dan stimulasi dikategorikan sebagai “excellent” hal ini berarti dibandingkan dengan dataset yang ada, aplikasi e-wallet gopay memiliki nilai mean yang lebih rendah  dari  10% hasil evaluasi  aplikasi  pada dataset. Untuk ketepatan aplikasi  e-wallet  gopay dikategorikan  sebagai  “good”  hal  ini  berarti  dibandingkan  dengan  dataset  yang  ada,  aplikasi  e-wallet  gopay memiliki nilai mean yang lebih rendah dari 10% hasil evaluasi aplikasi pada dataset. Akan tetapi aplikasi e-wallet gopay memiliki nilai mean yang lebih tinggi dari 75% hasil evaluasi aplikasi yang ada pada dataset.
Hasil ini menunjukkan bahwa aplikasi e-wallet gopay ini sudah baik, namun masih perlu dilakukan upaya untuk meningkatkan desain produk agar lebih inovatif dan kreatif serta kekinian. Diharapkan aplikasi gopay dapat diperbarui  agar dapat menarik perhatian pengguna.  Sehingga hasil penelitian ini dapat  digunakan sebagai  dasar untuk  mengembangkan  aplikasi  e-wallet  gopay  maupun  ovo.  Lebih  jelasnya  setiap  nilai  perbandingan  ini  jika dimodelkan dalam bentuk grafis dapat dilihat pada gambar 7 berikut ini.
Gambar 7. Hasil Perbandingan dengan Skala Benchmark Aplikasi E-Wallet Go-Pay

## 3.3 Hasil Analisis Perbandingan E-Wallet Ovo dan Gopay
Perbandingan  pengalaman  penggunaan  antara  kedua  aplikasi  yakni  aplikasi  e-wallet  ovo  dan  aplikasi  e-wallet gopay dilakukan dengan menggunakan UEQ Compare Products versi 4. Menggunakan alat bantu pengolahan data ini didapatkan hasil seperti pada tabel 9 berikut.
Tabel 9. Perbandingan UEQ OVO dan GOPAY
Secara grafis, hasil perbandingan UEQ scale means aplikasi e-wallet ovo dan aplikasi e-wallet gopay dapat dilihat pada gambar 8 di bawah ini.
Data Set Ovo Data Set Gopay Scale Mean Std. Dev. N Confidence Confidence Interval Scale Mean Std. Dev. N Confidence Confidence Interval Daya Tarik 1,124 0,461 85 0,098 1,026 1,222 1,894 0,554 85 0,118 1,776 2,012 Kejelasan   1,397 0,816 85 0,173 1,224 1,570 1,476 0,760 85 0,162 1,315 1,638 Efisiensi 1,162 0,836 85 0,178 0,984 1,339 1,365 0,736 85 0,156 1,208 1,521 Ketepatan   1,506 0,743 85 0,158 1,348 1,664 1,579 0,827 85 0,176 1,404 1,755 Stimulasi 1,629 0,590 85 0,125 1,504 1,755 1,812 0,710 85 0,151 1,661 1,963 Kebaruan 1,921 0,576 85 0,123 1,798 2,043 0,909 0,698 85 0,148 0,760 1,057

## Journal of Information System Research (JOSH)
Volume 3, No. 3, April 2022, pp 242 − 251 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v3i3.1527
Hasil perbandingan menunjukkan bahwa secara keseluruhan 5 skala UEQ menunjukkan nilai mean yang lebih tinggi untuk aplikasi e-wallet gopay dibandingkan dengan aplikasi e-wallet ovo. Lebih rinci, perbandingan setiap nilai means dari kedua aplikasi dapat dilihat pada tabel 10 berikut.
Tabel 10. Perbandingan Nilai Means OVO dan GOPAY

## 4. KESIMPULAN
Berdasarkan pembahasan terkait hasil pengujian terhadap pengalaman pengguna atas aplikasi  e-wallet ovo dan gopay dengan populasi yang berasal dari masyarakat umum pengguna aplikasi ovo dan gopay di kota Balikpapan, maka  dapat  disimpulkan  bahwa  dari  keseluruhan  6  skala  yang  diukur  pada  e-wallet  ovo,  menunjukkan  bahwa aplikasi  ini  memiliki  hasil  benchmarking  pada  skala  kebaruan  (novelty)  yang  lebih  unggul  dibandingkan  skala lainnya. Sementara pada aplikasi e-wallet gopay, menunjukkan bahwa aplikasi ini memiliki hasil benchmarking pada skala kebaruan (novelty) yang lebih rendah dibandingkan skala lainnya. Jika kedua aplikasi dibandingkan, maka hasilnya menunjukkan bahwa aplikasi e-wallet gopay lebih unggul untuk digunakan sebagai alat transaksi pembayaran non tunai dibandingkan aplikasi ovo. Hal ini ditunjukkan oleh nilai ke 5 skala dari aplikasi e-wallet gopay yang lebih tinggi dibandingkan dengan aplikasi ovo. Pada aplikasi e-wallet ovo diperlukan perbaikan pada skala daya tarik. Hal ini sesuai dengan hasil uji untuk faktor tidak atraktif dan tidak nyaman yang memiliki nilai impresi normal dan dibawah rata-rata, sehingga membutuhkan upaya untuk meningkatkan nilai tersebut dengan memperbarui aplikasi e-wallet ovo yang menarik dan nyaman bagi pengguna. Sedangkan pada aplikasi e-wallet gopay perlu peningkatan pada aspek kebaruan (novelty). Hal ini sesuai dengan hasil uji untuk faktor monoton dan konvensional  memiliki  nilai  impresi  normal  dan  dibawah  rata-rata,  sehingga  membutuhkan  upaya  untuk meningkatkan nilai tersebut dengan membuat desain aplikasi yang lebih kreatif dan inovatif.

## REFERENCES
[1] J. Manajemen, * Fianti, K. Dewi, and M. Ariyanti, “Perbandingan User Experience Aplikasi Digital Wallet (Pengguna Go-Pay,  OVO,  DANA,  dan  LinkAja)  pada  Mahasiswa  Bandung  Jurnal  Manajemen  Teknologi,” Jurnal  Manajemen Teknologi , vol. 19, no. 2, pp. 111–129, 2020, doi: 10.12695/jmt.2020.19.2.1.
[2] D.  Surya  Fitriansyah,  “Analisis  User  Experience  Webhalal  Batam  Di  Pusat  Kajian  Halal  Politeknik  Negeri  Batam Menggunakan User Experience Questionaire (UEQ).” [Online]. Available:
http://jurnal.polibatam.ac.id/index.php/JAMN
[3] A. N. Hidayat, B. T. Hanggara, and B. S. Prakoso, “Analisis Perbandingan Pengalaman Pengguna Pada Aplikasi Dompet Digital (Studi Kasus Pada OVO dan DANA),” 2021. [Online]. Available: http://j-
[4] C. Sylvia and F. Halim, “JURNAL MEDIA INFORMATIKA BUDIDARMA Evaluasi User Experience Platform Video Communication dengan User Experience Questionaire (UEQ),” vol. 5, pp. 1412–1421, doi: 10.30865/mib.v5i4.3263.
[5] S. Viski Izabal, I. Aknuranda, and H. Muslimah Az-Zahra, “Evaluasi dan Perbaikan User  Experience Menggunakan User Experience Questionnaire (UEQ) dan Focus Group Discussion (FGD) pada Situs Web FILKOM Apps Mahasiswa Fakultas Ilmu Komputer Universitas Brawijaya,” 2018. [Online]. Available: http://j-ptiik.ub.ac.id
[6] S.  Rasio  Henim  and  R.  Perdana  Sari,  “Jurnal  Politeknik  Caltex  Riau  Evaluasi  User  Experience  Sistem  Informasi Akademik  Mahasiswa  pada  Perguruan  Tinggi  Menggunakan  User  Experience  Questionnaire,”  2020.  [Online]. Available: https://jurnal.pcr.ac.id/index.php/jkt/
[7] I.  Nyoman  Tri  Anindia  Putra,  K.  Sepdyana  Kartini,  P.  Wirayudi  Aditama,  and  S.  Prian  Tahalea,  “Analisis  Sistem Informasi Eksekutif Menggunakan User Experience Questionnaire (UEQ),” International Journal of Natural Science and Engineering , vol. 5, pp. 25–29, 2021, doi: 10.23887/ijnse.v5i.
[8] S. Putro, M. P. Kurniawan, and K. Kunci -Lapor Bantul, “Penerapan Metode UEQ dan Cooperative Evaluation untuk Mengevaluasi User Experience Lapor Bantul Implementation Methods of UEQ and Cooperative Evaluation to Evaluate User Experience Lapor Bantul,” Citec Journal , vol. 6, no. 1, 2019.
[9] A.  Maharani,  B.  Intan,  and  A.  T.  Susilo,  “JUSIM  (Jurnal  Sistem  Informasi  Musirawas)  ANALISIS  USER EXPERIENCE  PADA  WEBSITE  SMK  NEGERI  TUGUMULYO  BERBASIS  USER  EXPERIENCE QUESTIONAIRE (UEQ),” 2021.
[10]  S.  Kasus,  A.  Interaktif,  B.  Purba,  A.  S.  Prihatmanto,  and  E.  Nugroho,  “Evaluasi  User  Experiences  Produk  iDigital Museum dengan Menggunakan UEQ,” 2015.
UEQ Quality UEQ Scales Ovo UEQ Scales Gopay Scale UEQ Scales Ovo Mean Ovo UEQ Scales Gopay Mean Gopay Attractiveness 1,26 1,69 Attractiveness 1,124 1,260 1,894 1,685 Perspicuity 1,397 1,476 Pragmatic Quality 1,33 1,48 Efficiency 1,162 1,334 1,365 1,472 Dependability 1,506 1,579 Hedonic Quality 1,775 2,721 Stimulation 1,629 1,775 1,812 2,721 Novelty 1,921 0,909

## Journal of Information System Research (JOSH)
Volume 3, No. 3, April 2022, pp 242 − 251 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v3i3.1527
[11]  A.  Hinderks,  M.  Schrepp,  and  J.  Thomaschewski,  “A  benchmark  for  the  short  version  of  the  user  experience questionnaire,” in WEBIST 2018 - Proceedings of the 14th International Conference on Web Information Systems and Technologies , 2018, pp. 373–377. doi: 10.5220/0007188303730377.
[12]  F.  Halim,  dan  Sophya  Hadini  Marpaung,  P.  Studi  Sistem  Informasi,  and  S.  Mikroskil,  “PENILAIAN  USER EXPERIENCE  FIORI  BUSSIM  MENGGUNAKAN  USER  EXPERIENCE  QUESTIONAIRE  (UEQ)  DAN PENGARUHNYA TERHADAP PEMAHAMAN PEMBELAJARAN MATAKULIAH SERTIFIKASI SAP.”
[13]  N. Saputra et al. , “ANALISIS DAN EVALUASI PENGALAMAN PENGGUNA PaTik BALI DENGAN METODE USER EXPERIENCE QUESTIONNAIRE (UEQ),” vol. 8, no. 2, pp. 217–226, 2021, doi: 10.25126/jtiik.202182763.
[14]  N. Luh et al. , “Evaluasi Sistem Informasi Skripsi dan Tugas Akhir STMIK Primakara (PRISKA) Menggunakan Metode User Experience Questionnaire,” Kumpulan Artikel Mahasiswa Pendidikan Teknik Informatika (KARMAPATI) , vol. 10, no. 1, 2021, [Online]. Available: http://www.ueq-online.org/
[15]  “User Experience Questionnaire Handbook”, doi: 10.13140/RG.2.1.2815.0245.
[16]  V. Intanny et al. , “Pengukuran Kebergunaan dan Pengalaman Pengguna Marketplace Jogjaplaza.id dengan Metode UEQ dan USE Questionnaire Measuring Usability and User Experience of The Marketplace of Jogjaplaza.id Using UEQ and USE Questionnaire,” 2018.
[17]  S.  Prasetyaningsih  and  W.  P.  Ramadhani,  “Analisa  User  Experience  pada  TFME  Interactive  Learning  Media Menggunakan User Experience Questionnaire,” Jurnal Integrasi | , vol. 13, no. 2, p. 147, 2021.