## Idealis: Indonesia Journal Information System
Volume 7, Nomor 1, Januari 2024 ISSN 2684-7280 ( online ) Halaman 85-97 available online at http://jom.fti.budiluhur.ac.id/index.php/IDEALIS/index

## ANALISIS USER EXPERIENCE UNTUK MENGOPTIMASI APLIKASI PRODESKEL DI KOTA PALEMBANG
Nursella Sari 1* , Rendra Gustriansyah 2 , Zaid Romegar Mair 3
1,2,3 Teknik Informatika, Fakultas Ilmu Komputer dan Sains, Universitas Indo Global Mandiri, Palembang, Indonesia Email: 1* nursellasari17@gmail.com, 2 rendra@uigm.ac.id, 3 zaidromegar@uigm.ac.id (* : corresponding author)
Abstrak- Prodeskel merupakan aplikasi yang berbasis situs dan digunakan sebagai pusat informasi data terkait Desa maupun Kelurahan. Seluruh Desa dan Kelurahan di Indonesia menggunakan aplikasi Prodeskel, sehingga banyaknya pengguna aplikasi Prodeskel menyebabkan sering terjadinya error pada aplikasi yang menimbulkan keluhan dari pengguna begitu pula di Kota Palembang, untuk mengatasi kendala ini dibutuhkan peningkatan pada kualitas Prodeskel dengan melalui user experience . Oleh karena itu, penelitian ini menganalisis pengalaman pengguna pada Prodeskel dengan menggunakan tiga metode yaitu, metode SUS , UEQ dan Heart Metrics . Metode SUS dapat digunakan dengan mudah dan membantu dalam mengevaluasi suatu sistem, metode UEQ menyediakan tool analisis yang akurat dan mudah diinterpretasikan, dan metode Heart Metrics dapat mengindetifikasi dengan mudah tujuan dan keberhasilan aplikasi. Wilayah Dapil 4-6 Kota Palembang menjadi lokasi penelitian dikarenakan wilayah ini mudah dicakup oleh peneliti, dengan menyebarkan form kuesioner melalui aplikasi WhatsApp kepada  pengguna,  dengan  total  responden  sebanyak  45  orang.  Pada  metode  SUS   didapatkan  hasil perhitungan dari total skor sebesar 65. Sementara metode UEQ pada enam variabel memperoleh nilai rata-rata > 0,8 yang berarti keenam variabel memiliki nilai positif. Sedangkan, untuk metode Heart Metrics diperoleh terdapat dua variabel yang memiliki tingkat kegunaan tinggi yaitu engagement dan retention, sedangkan tiga variabel lainnya memiliki tingkat kegunaan yang sangat tinggi. Berdasarkan hasil analisis, kendala yang diterima oleh pengguna dalam menggunakan aplikasi ini ialah tingkat keaktifan penggunaan dan kemudahan aplikasi. Dengan adanya penelitian ini diharapkan aplikasi dapat ditingkatkan kualitasnya sehingga tidak ada keluhan dari pengguna.
Kata Kunci: prodeskel, pengalaman pengguna, SUS, UEQ, heart metrics
Abstract- Prodeskel  is  a  site-based  application  and  used  as  an  information  center  for  data  related  to  Villages  and Subdistricts. All villages and sub-districts in Indonesia use Prodeskel, so the large number of users of Prodeskel causes frequent errors in application which give rise to complaints from users, likewise the city of Palembang, to overcome this problem it’s necessary to improve the quality of Prodeskel through user experience. Therefore, this study analyzes user experience on Prodeskel using three methods, namely, SUS, UEQ and Heart Metrics. SUS method can be used easily and helps in evaluating a system,UEQ provides analysis tools that are accurate and easy to interpret, and Heart Metrics can easily identify goals and success of the application. Dapil 4-6 of Palembang City became the research location because this area was easy to cover, by distributing questionnaire forms via WhatsApp to users, with a total of 45 respondents. SUS, the calculation results obtained a total score of 65. UEQ obtained an average value of >0.8, which means variables had positive values. Meanwhile, Heart Metrics, it was found that there were two variables that had a high level of usefulness, namely engagement and retention, while the other three variables had a very high level of usefulness. Based on the analysis results, obstacles received by users in using this application are the level of active use and ease of application.  With this research, it’is hoped that in quality of the application will be improved so that there will be no complaints from users.
Keywords : prodeskel, user experience, SUS, UEQ, heart metrics

## 1. PENDAHULUAN
Pemanfaatan teknologi di dunia ini semakin berkembang, baik dari bidang pendidikan, kesehatan, bisnis, dan lainnya. Perkembangan teknologi dapat dimanfaatkan untuk mempermudah dalam menyelesaikan masalah ataupun pekerjaan sehari-hari. Perusahaan maupun Pemerintah juga memanfaatkan kemajuan teknologi ini, seperti   pelayanan,   berita,   informasi,   dan   lainnya   sudah   dilakukan   secara   digitalisasi.   Begitu   pula   untuk Kelurahan   dan   Desa,   terdapat   aplikasi   berbasis   situs   dan   digunakan   sebagai   pusat   informasi data   terkait Kelurahan maupun Desa, yakni aplikasi Prodeskel yang dibuat oleh Kemendagri Bina Pemdes. Prodeskel merupakan sistem informasi yang akan dijadikan media korespondensi antar Pusat dan Daerah, instrumen untuk memeriksa tingkat potensi dan tingkat perkembangan, media untuk mengkaji  permasalahan ekonomi dan sosial, serta menjadi sumber  data untuk lembaga  dan kementerian yang akan  merencanakan program pembangunan jangka pendek, menengah ataupun jangka panjang untuk Desa dan Kelurahan [1].
Seluruh   Desa   dan   Kelurahan   di   Indonesia   menggunakan   aplikasi   Prodeskel,   sehingga   banyaknya penggunaan aplikasi Prodeskel menyebabkan sering terjadinya gangguan atau error seperti pada saat ingin membuka Prodeskel tidak bisa login dan data tidak bisa tersimpan, selain itu kemudahan penggunaan aplikasi ini
Nursella Sari | http://jom.fti.budiluhur.ac.id/index.php/IDEALIS/index | Page 85

## Idealis: Indonesia Journal Information System
Volume 7, Nomor 1, Januari 2024 ISSN 2684-7280 ( online ) Halaman 85-97 available online at http://jom.fti.budiluhur.ac.id/index.php/IDEALIS/index
cukup rumit hal ini juga mempengaruhi tingkat keaktifan pengguna aplikasi. Jika aplikasi sulit untuk digunakan, maka   tingkat   partisipasi   dalam   menggunakan   aplikasi   pun   menjadi   rendah.   Tingkat   partisipasi   di   Kota Palembang   cukup   rendah,   karena   pengguna   jarang   mengupdate   data   Profil   Kelurahan   di   aplikasi   hal   ini disebabkan karena adanya kendala pada aplikasi Prodeskel, untuk mengatasi kendala ini dibutuhkan peningkatan pada kualitas aplikasi Prodeskel dengan melalui user experience . User Experience (UX) adalah bagaimana pengguna berkolaborasi dengan aplikasi, misalnya keterlibatan pengguna dalam memanfaatkan aplikasi, apakah tidak sulit untuk menggunakannya dan mudahnya cara kerja aplikasi atau layanan hingga pengalaman untuk menemukan, menyerap dan memahami data yang dapat diakses [2]. User experience sangat penting dalam pengembangan atau peningkatan suatu aplikasi dan juga variabel penting   yang   dapat   mempengaruhi   hasl   eksekusi   dari   sebuah   sistem   informasi.   Dengan   demikian,   untuk mengetahui bagaimana pengguna memiliki harapan terhadap aplikasi atau keluhan apa saja yang dirasakan oleh pengguna   terhadap   aplikasi   Prodeskel,   khususnya   untuk  pengguna   diwilayah   Kota  Palembang,   dibutuhkan analisis user   experience untuk   mengetahui   permasalahan   yang   dialami   oleh   pengguna,   sehingga   aplikasi prodeskel bisa ditingkatkan kualitasnya.
Merujuk pada penelitian terdahulu ada banyak metode yang dikembangkan para peneliti untuk mengukur user experience , seperti Evaluasi User Experience pada Dompet Digitall OVO Menggunakan User Experience Questionnaire (UEQ)  [3], Evaluasi Value Proporsition dan Perceived Value Aplikasi E-Wallet Menggunakan UX Honeycomb, UX Questionnaire, dan System Usability Scale (Studi Kasus: OVO, Dana dan Shopeepay) [4], Analisis Pengalaman Pengguna Aplikasi Pinjaman Online Menggunakan Metode Usability Testing dan User Experience Questionnaire (Studi Kasus: pada Akulaku dan Kredivo Indonesia)  [5], Analisis User Experience Aplikasi Academic   Information   System (AIS) Mobile untuk User-Centered   Metrics Menggunakan Heart Framework [6], dan Analisis User Experience Aplikasi Mobile Peduli Lindungi Menggunakan Heart Metrics [7]. Metode pada penelitian ini berbeda, dengan  tujuan untuk mengetahui  apakah kendala yang ada pada aplikasi ini sama untuk tiga metode yang berbeda. Metode yang digunakan adalah metode System Usability Scale (SUS), User Experience Questionnaire (UEQ) dan Heart Metrics (HM). System Usabaility Scale (SUS) menggunakan skala likert dengan poin 1-5 mulai dari sangat tidak setuju sampai sangat setuju, yang terdiri dari 10 pernyataan. Metode SUS dapat digunakan dengan mudah, karena hasilnya berupa angka skor 0-100 dan sudah tersedia pernyataan yang tinggal digunakan untuk melakukan proses perhitungannya  [8],  Metode yang dipakai   selanjutnya   yaitu,   metode User   Experience   Questionnaire (UEQ)   yang   memiliki   26   komponen pertanyaan yang bernilai positif dan negatif dengan bobot nilai 1-7  [9],  Metode yang terakhir yaitu Heart Metrics yang   merupakan   kerangka   kerja   paling   mudah   untuk   mengidentifikasi   tujuan   dan   mengukur keberhasilan  yang  berfokus  kepada user-centered [10].  Objek yang  diteliti  juga  menjadi  pembeda  dengan penelitian-penelitian sebelumnya. Selain itu, pada peneliti sebelumnya hanya mengunakan satu atau dua metode yang berbeda, sedangkan pada penelitian ini menggunakan tiga metode yaitu, SUS, UEQ, dan HM yang dapat dilakukan perbandingan antar metode. Oleh sebab itu, penelitian ini akan menganalisis pengalaman pengguna pada aplikasi Prodeskel dengan menggunakan metode SUS, UEQ, dan HM.

## 2. METODE PENELITIAN
Penelitian ini menggunakan tiga metode, yaitu metode SUS, UEQ, dan HM. Penggunaan tiga metode ini bertujuan untuk mendapatkan perbandingan hasil kuesioner, sehingga hasil yang didapatkan lebih maksimal. kuesioner akan disebarkan secara online kepada pengguna atau operator aplikasi Prodeskel di wilayah Dapil 4-6 Kota Palembang. Untuk mempermudah dalam penelitian, kuesioner yang dibuat menggunakan Google Form , sehingga akan didapatkan link kuesioner dan akan di- share melalui aplikasi WhatsApp . Responden merupakan pegawai   Kelurahan   yang  ditunjuk langsung  oleh  Lurah  masing-masing, dengan   total   responden  45  orang. Tahapan penelitian ini ditunjukkan Gambar 1.

## Idealis: Indonesia Journal Information System
Volume 7, Nomor 1, Januari 2024 ISSN 2684-7280 ( online ) Halaman 85-97 available online at http://jom.fti.budiluhur.ac.id/index.php/IDEALIS/index

## 2.1. Prodeskel
Prodeskel merupakan sistem informasi yang akan dijadikan media korespondensi antar Pusat dan Daerah, instrumen untuk memeriksa tingkat potensi dan tingkat perkembangan,  media untuk mengkaji  permasalahan ekonomi dan sosial, serta menjadi sumber data untuk lembaga dan kementrian yang akan merencanakan program pembangunan jangka pendek, menengah ataupun jangka panjang untuk Desa dan Kelurahan  [1].  Aplikasi ini mempermudah Pusat dan Daerah dalam mendapatkan data Desa dan Kelurahan, Prodeskel juga dijadikan syarat utama dalam Penilaian Lomba Desa/Kelurahan. Sejak Tahun 2013–2023 progres entri data prodeskel telah mencapai 73.77% atau sebanyak 61.765 Desa/Kelurahan (Kemenndagri). Permasalah umum yang sering dialami pengguna yaitu situs Prodeskel sering gangguan pada saat mengakses, serta fitur yang tidak bekerja sesuai dengan perintah..Tampilan antar muka Prodeskel bisa dilihat di Gambar 2.

## 2.2. Metode System Usability Scale
System usability scale (SUS) digunakan untuk mengukur usability pada suatu aplikasi yang memiliki 10 pernyataan dan terdiri dari itempositif dan negatif [11](Tabel 1) yang dinilai menggunakan skala likert , yaitu dari skala 1-5, yang dimulai dari sangat setuju hingga sangat tidak setuju.
Nursella Sari | http://jom.fti.budiluhur.ac.id/index.php/IDEALIS/index | Page 87
Gambar 1. Tahapan Penelitian
Gambar 2. Tampilan Beranda Prodeskel
Kajian Pustaka Persiapan Metode &   Instrumen Penelitian Penentuan Sampel Penelitian Pengumpulan Data
Ujii Validitas dan Reliabilitas
Analisis Data
Interpretasi Hasil

## Idealis: Indonesia Journal Information System
Volume 7, Nomor 1, Januari 2024 ISSN 2684-7280 ( online ) Halaman 85-97 available online at http://jom.fti.budiluhur.ac.id/index.php/IDEALIS/index
Tabel 1. Kuesioner Metode SUS [11]
No. Item Pernyataan 1. Terpikir untuk menggunkaan aplikasi ini lagi.
2. Aplikasi ini cukup sukar untuk digunakan.
3. Aplikasi ini cukup mudah untuk digunakan.
4. Bantuan teknisi atau orang lain diperlukan untuk menggunakan aplikasi ini.
5. Fitur-fitur dari aplikasi ini bekerja dengan seharusnya.
6. Terdapat banyak hal yang tidak sesuai pada aplikasi ini.
7. Orang lain dapat dengan cepat memahami bagaimana penggunaan aplikasi ini.
8. Sistem ini cukup membingungkan.
9. Tidak ada hambatan dalam menggunakan aplikasi ini.
10. Diperlukan membiasakan diri dulu sebelum menggunakan aplikasi ini.
Tiga kriteria untuk mengukur hasil penilaian SUS yaitu acceptability, grade scale, dan adjective rating . Range SUS Score ditunjukkan pada Gambar 3.
Adapun, tahapan perhitungan skor SUS pada data kuesioner, yaitu [13] :
1. Pernyataan  yang   bernomor  ganjil,  akan   dikurangi  1  pada   setiap  pernyataan   yang  diperoleh  dari   skor pengguna.
2. Pernyataan yang bernomori genap, skor terakhir didapat dari nilai 5 dikurang skor pernyataan.
3. Total skor yang diperoleh kemudian dikalikan dengan 2,5. Persamaan skor SUS bisa dilihat pada persamaan (1).
SUS = ( ( P 1 − 1 ) + ( 5 − P 2 ) + ( P 3 − 1 ) + ( 5 − P 4 ) + ( P 5 − 1 ) + ( 5 − P 6 ) + ( P 7 − 1 ) + ( 5 − P 8 ) + ( P 9 − 1 ) + ( 5 − P 10 ) ) x 2.5 (1)
Skor SUS yang sudah didapat dari setiap responden dihitung nilai meannya dengan menjumlahkan seluruh skor kemudian dibagi jumlah responden seperti pada persamaan (2) [13]. Dimana x adalah skor rerata, ∑ x adalah jumlah skor SUS, dan n merupakan jumlah responden.
x = ∑ x n (2)
2.3. Metode User Experience Questionnaire (UEQ)
UEQ memiliki 6 (enam) skala pengukuran, yaitu [3]:
a. Attractiveness, yaitu kesan pengguna terhadap produk secara keseluruhan, terlepas dari apakah mereka menyukainya.
b. Perspicuity, yaitu kemudahan dalam memahami cara menggunakan dan merasa nyaman dengan produk tersebut.
c. Efficiency, yaitu pekerjaan yang dilakukan oleh pengguna bisa diselesaikan dengan efisien dan cepat.
d. Dependability, yaitu tingkat kendali yang dirasakan oleh pengguna dalam interaksi.
e. Stimulation, yaitu tingkat inspirasi dan kepuasan pengguna dalam penggunaan aplikasi tersebut.
Gambar 3. Range SUS Score [12]

## Idealis: Indonesia Journal Information System
Volume 7, Nomor 1, Januari 2024 ISSN 2684-7280 ( online ) Halaman 85-97 available online at http://jom.fti.budiluhur.ac.id/index.php/IDEALIS/index
f. Novelty, yaitu tingkat pengembangan produk dan keunikan yang bisa mencuri perhatian pengguna suatu produk.
Metode UEQ memiliki 26 indikator yang bernilai positif dan negatif, dengan menggunakan skala 1-7 seperti ditunjukkan pada Gambar 4. Pada metode ini, perhitungan UEQ menggunakan UEQ Data Analysis Tool [14].
Metode UEQ memiliki aplikasi perhitungan sendiri dengan menggunakan UEQ Data Analysis Tool . Data yang dianalisis diambil dari nilai rata-rata ( mean ) pada setiap indikator instrumen. Skala penilaian mean tertera di Tabel 2.
Tabel 2. Skala Penilaian Mean Metode UEQ [16] Interval Nilai Mean Keterangan > 0,8 Positif -0,8 – 0,8 Netral < -0,8 Negatif 2.4. Metode Heart Metrics
Para peneliti Google berpendapat bahwa Heart Metrics mempunyai lima variabel yang sering dipakai untuk pengukuran UX seperti yang ditunjukkan pada Tabel 4 [17]. Heart Metrics juga memiliki tabel framework yang terdiri dari Goals-Signals-Metrics yang bisa dilihat pada Tabel 3.
Tabel 3. Metrics Heart Framework [18] Goals Signals Metrics Tahap pertama  yaitu dimulai  dari mengidentifikasi tujuan dari produk atau   fitur,   terutama   dalam   hal pengalaman pengguna. Kemudian,  memikirkan   tentang bagaimana   menilai   kesuksesan dan kegagalan dalam goals , ini dapat   diperumpamakan   pada perilaku   pengguna   terhadap produk. Terakhir   yaitu   dengan memikirkan   bagaimana signals ini   bisa   diartika   ke   dalam metric, sehingga   dapat   dibaca oleh   para stakeholders dan divisualisasikan.
Nursella Sari | http://jom.fti.budiluhur.ac.id/index.php/IDEALIS/index | Page 89
Gambar 4. UEQ Versi Indonesia [15]

## Idealis: Indonesia Journal Information System
Volume 7, Nomor 1, Januari 2024 ISSN 2684-7280 ( online ) Halaman 85-97 available online at http://jom.fti.budiluhur.ac.id/index.php/IDEALIS/index
Pada tahap goals harus jelas dan dapat mempresentasikan tujuan dari produk atau fitur pada aplikasi, selanjutnya signals yaitu dapat menggambarkan apa yang dibuat oleh pengguna, sedangkan metrics menjadi acuan untuk menilai hasil penyebaran kuesioner kepada responden [18].
Tabel 4. Instrumen Heart Metrics [10] Variabel Indikator Kode Kebahagiaan ( Happiness ) Kepuasan H1 Kemudahan H2 Rekomendasi Produk H3 Daya Tarik Visual H4 Keterlibatan ( Engagement ) Intensitas E1 Frekuensi E2 Akuisisi ( Adoption ) Kelayakan Sistem A1, A2 & A3 Retensi ( Retention ) Keaktifan Pengguna R1, R2, & R3 Keberhasilan Tugas( Task Success ) Efektivitas T1 Efisiensi T2 Tingkat Kesalahan T3 Pada heart metrics , aspek diukur melalui sisi level of usability . Adapun perhitungan usability level yaitu [19]: 1. Langkah   awal   yaitu   menghitung   nilai  maksimum  di   tiap   kriteria.   Perhitungan N max , dimana   nilai maksimal yang ditentukan dari pernyataan ( NPmax ) dikali dengan jumlah pernyataan pada tiap kriteria ( ∑ P ) dan banyak responden yang dilibatkan untuk sebuah kriteria (Res), seperti persamaan 3.
N max = NP max x ∑ P x Res (3)
2. Langkah kedua yaitu menghitung total nilai masing-masing kriteria. Perhitungan ini dilakukan untuk menampilkan hasil nilai yang didapat dari jumlah keseluruhan nilai pernyataan pada kuesioner.
3. Langkah selanjutnya yaitu menghitung peluang nilai tertinggi ( Ns ) dengan membagi nilai tiap kriteria yang didapat ( Ntotal ) dengan nilai maksimum ( Nmax ) dan dikalikan 100% seperti pada persamaan (4).
N s = N total N max x 100% (4)
4. Langkah terakhir yaitu mengukur usability level yang didapat dari hasil pencocokan nilai kriteria yang bisa dilihat pada Tabel 5.
Tabel 5. Usability Level [19] Koefisien Korelasi Level 0,81 < r < 1,00 Sangat Tinggi 0,61 < r < 0,80 Tinggi 0,41 < r < 0,60 Sedang 0,21 < r < 0,40 Rendah 0,00 < r < 0,20 Sangat Rendah

## 2.5. Penentuan Sampel
Sampel merupakan responden dari pegawai Kelurahan yang sudah ditunjuk langsung oleh Lurah sebagai operator Prodeskel, pada penelitian ini sampel yang diambil yaitu wilayah Dapil 4-6 Kota Palembang dengan total 43 Kelurahan dari 8 Kecamatan. Penentuan jumlah minimal sampel ( n ) menggunakan rumus slovin sebagai perhitungan dengan error ( e ) 5%, dan jumlah populasi (N) 43 orang  [20].  Berdasarkan perhitungan pada persamaan 5, didapatkan bahwa jumlah minimal sampel pada penelitian ini adalah 39 sampel.
n = N 1 + Ne 2 (5)
n = 43 1 + ( 43 ( 0,05 ) ) 2

## Idealis: Indonesia Journal Information System
Volume 7, Nomor 1, Januari 2024 ISSN 2684-7280 ( online ) Halaman 85-97 available online at http://jom.fti.budiluhur.ac.id/index.php/IDEALIS/index
n = 43 1,1075 n = 38,8 n = 39

## 2.6. Uji Validitas dan Reliabilitas
Uji validitas adalah teknik pengujian yang digunakan untuk mengetahui seberapa akurat dan tepat suatu instrumen. Jika r hitung ≥ r tabel, maka instrumen pada pernyataan dapat dinyatakan berkorelasi signifikan terhadap skor total instrumen tersebut, maka instrumen dinyatakan sahih [21].
Uji   reliabilitas   merupakan   teknik   pengujian   untuk   menentukan   konsistensi   suatu   instrumen,   apakah cenderung dapat diandalkan dan dapat diprediksi jika pengujian dilakukan lebih dari satu kali atau tidak [14]. Uji reliabilitas tetap harus dilihat dari nilai cronbach alpha (CA), jika nilai  CA  > 0,7 maka instrumen tersebut memiliki konsistensi yang dapat diterima atau instrumen tersebut dapat dipercaya ( reliable ) [22].

## 3. HASIL DAN PEMBAHASAN

## 3.1. Hasil Uji Validitas
Uji validitas pada studi ini diuji menggunakan aplikasi Statistical Package for Social Science (SPSS) dimana jika nilai r hitung > r tabel maka indikator tersebut sahih. Uji validitas metode SUS tertera pada Tabel 6.
Tabel 6. Hasil Uji Validitas Metode SUS Item r hitung r tabel Keterangan P1 0,611 0,294 sahih P2 0,782 0,294 sahih P3 0,777 0,294 sahih P4 0,698 0,294 sahih P5 0,713 0,294 sahih P6 0,716 0,294 sahih P7 0,740 0,294 sahih P8 0,802 0,294 sahih P9 0,804 0,294 sahih P10 0,739 0,294 sahih
Berdasarkan Tabel 6 dapat disimpulkan bahwa semua indikator pada metode SUS adalah sahih. Hal ini membuktikan bahwa instrumen sudah layak menjadi tolak ukur keberhasilan suatu aplikasi. Adapun, hasil uji validitas metode UEQ tertera di Tabel 7.
Tabel 7. Hasil Uji Validitas Metode UEQ Variabel r hitung r tabel Keterangan Attractiveness 0,811 0,294 sahih Perspicuity 0,818 0,294 sahih Efficiency 0,813 0,294 sahih Dependability 0,753 0,294 sahih Stimulation 0,798 0,294 sahih Novelty 0,730 0,294 sahih Berdasarkan pada Tabel  7 dapat diketahui bahwa semua variabel  pada metode UEQ bernilai sahih,
sedangkan untuk hasil uji validitas pada metode Heart Metrics tertera pada Tabel 8.  Berdasarkan Tabel 8 diketahui bahwa terdapat indikator pada metode Heart Metrics yang tidak sahih, yaitu A3 dan T3,  hal ini dikarenakan responden tidak konsisten pada saat menjawab pertanyaan kuesioner atau pertanyaan yang diajukan tidak dimengerti oleh responden. Pada kedua variabel tersebut akan dilakukan penghapusan data, dan tidak dilanjutkan pada uji reliabilitas. Sedangkan pada indikator lainnya pada tiap variabel bernilai sahih.

## Idealis: Indonesia Journal Information System
Volume 7, Nomor 1, Januari 2024 ISSN 2684-7280 ( online ) Halaman 85-97 available online at http://jom.fti.budiluhur.ac.id/index.php/IDEALIS/index
Tabel 8. Hasil Uji Validitas Metode Heart Metrics Variabel r hitung r tabel Keterangan Happiness 0,827 0,294 sahih Engagement 0,767 0,294 sahih Adoption 0,851 0,294 sahih Retention 0,751 0,294 sahih Task Success 0,891 0,294 sahih Novelty 0,730 0,294 sahih Indikator r hitung r tabel Keterangan A3 -0,098 0,294 tidak sahih T3 -0,217 0,294 tidak sahih

## 3.2. Hasil Uji Reliabilitas
Uji reliabilitas juga menggunakan aplikasi SPSS. Indikator atau variabel dapat dipercaya atau reliabel jika nilai CA > 0,7.
Tabel 9. Hasil Uji Reliabilitas Metode Statistik Reliabilitas CA Jumlah Items SUS 0,906 10 UEQ 0,973 26 Heart Metrics 0,959 13
Berdasarkan pada Tabel 9 dapat diketahui bahwa semua metode yang digunakan adalah reliabel. Hal ini membuktikan bahwa kuesioner yang dibuat dapat dipercaya sebagai alat ukur penggunaan aplikasi.

## 3.3. Hasil Perhitungan Skor SUS
Perhitungan Skor SUS dihitung menggunakan Microsoft Excel , dari perhitungan tersebut didapat nilai rata- rata skor SUS yaitu 65 poin. Hasil dari Range Score SUS tertera pada Tabel 10.
Tabel 10. Hasil Uji Validitas Metode SUS Range Score SUS Keterangan Acceptability Ranges Marginal High Grade Scale D Adjective Ratings Good Berdasarkan pada Tabel 10 didapatkan bahwa acceptability ranges bernilai marginal high yang berarti aplikasi Prodeskel dapat diterima oleh pengguna pada tingkat yang tinggi. Pada grade scale aplikasi masuk dalam kategori D, dengan kata lain aplikasi Prodeskel sedikit sulit dan cukup memuaskan untuk digunakan oleh pengguna dalam melakukan aktivitasnya melalui aplikasi tersebut. Sedangkan adjective ratings masuk dalam kategori Good yang berarti rating aplikasi ini sudah bagus bagi para pengguna akan tetapi harus ditingkatkan usability- nya agar dapat lebih diterima oleh pengguna.

## 3.4. Hasil Perhitungan Metode UEQ
Perhitungan metode UEQ  berbeda  dengan metode  SUS  dan Heart  Metrics , dimana  pada  metode ini memiliki aplikasi sendiri untuk perhitungan yaitu menggunakan Data Analysis Tool dengan melihat nilai mean . Hasil perhitungan mean UEQ tertera pada Tabel 11.
Tabel 11. Hasil Perhitungan Mean Variabel UEQ Scales Mean Variance Daya tarik 1,870 0,89 Kejelasan 1,844 1,25 Efisiensi 1,989 1,02 Ketepatan 1,839 0,89 Stimulasi 1,828 1,12 Kebaruan 1,617 1,40 Nursella Sari | http://jom.fti.budiluhur.ac.id/index.php/IDEALIS/index | Page 92

## Idealis: Indonesia Journal Information System
Volume 7, Nomor 1, Januari 2024 ISSN 2684-7280 ( online ) Halaman 85-97 available online at http://jom.fti.budiluhur.ac.id/index.php/IDEALIS/index
Tabel 11 menunjukkan bahwa semua variabel pada metode UEQ bernilai positif karena nilainya > 0,8. Hal ini  membuktikan bahwa  pengalaman  pengguna  aplikasi  Prodeskel  untuk keselurahan  variabel  memberikan feedback yang bagus  dan baik. Selanjutnya dilakukan  perbandingan indikator dengan melihat  grafik skala benchmark , guna memperkuat asumsi tingkat pengalaman pengguna apakah bagus atau tidak, berikut tampilan hasil perbandingan dengan skala bencmark.
Berdasarkan Gambar 5, diketahui bahwa aplikasi Prodeskel mendapatkan hasil dari perbandingan antar variabel  yaitu bernilai Excellent pada  keempat  variabel  kecuali  variabel perspicuity, yang berarti  keempat variabel tersebut sudah sangat bagus indikatornya, sedangkan untuk aspek kejelasan ( perspicuity ) mendapatkan nilai Good yang berarti variabel tersebut berdasarkan pengalaman pengguna sudah bagus.

## 3.5. Hasil Perhitungan Metode Heart Metrics
Metode heart metrics menggunakan Set Goal-Signal-Metrics sebagai alat ukur framework heart metrics . Alat ukur ini akan merepresentasikan sejauh mana aplikasi Prodeskel dapat memberikan dampak positif bagi pengguna. Identifikasi Set Goals-Signals-Metrics yang tertera pada Tabel 12 dilakukan agar tujuan yang ingin dicapai jelas, dapat diukur, dan tepat sasaran.
Tabel 12. Set Goals-Signals-Metrics Goals Signals Metrics H Menargetkan 80% pengguna aplikasi Prodesekel   memberikan feedback yang   baik   dan   bagus   terhadap pengalaman dalam penggunaan fitur.
Melakukan   penyebaran   kuesioner secara online melalui WhatsApp dengan memberikan 15 pernyataan. Bentuk jawaban kuesioner akan menggunakan   skala likert 1-5   dan   peneliti akan menghitung persentase   masyarakat yang   menjawab   pada poin   4   dan   5   (setuju dan sangat setuju). E Menargetkan 80% pengguna aplikasi Prodeskel   setidaknya   menggunakan aplikasi satu kali dalam seminggu. Melakukan   pengukuran   melalui hasil   kuesioner,   dengan memberikan   pernyataan   yang berorientasi   pada   aspek Engagement . A Menargetkan   80%   pengguna menginput   data   dengan   lengkap sesuai dengan fitur yang disediakan. Melakukan   pengukuran   melalui hasil   kuesioner,   dengan memberikan   pernyataan   yang berdasarkan pada aspek Adoption .
R Menargetkan 80% pengguna aplikasi
aktif   atau   sering   mengecek   dan mengupdate   data   pada   aplikasi Prodeskel   dalam   kurun   waktu tertentu. Melakukan   pengukuran   dengan mengukur   jumlah   pengguna   yang sering mengecek  dan mengupdate data   pada   aplikasi   dalam   kurun waktu   tertentu,   berdasarkan   pada aspek Retention . T Menargetkan 80% pengguna aplikasi berhasil   menggunakan   fitur   yang tersedia pada aplikasi Prodeskel. Melakukan   penyebaran   kuesioner dengan   memberikan   pernyataan yang berdasarkan pada aspek Task
Success .
Nursella Sari | http://jom.fti.budiluhur.ac.id/index.php/IDEALIS/index | Page 93
Gambar 5. Hasil Skala Benchmark

## Idealis: Indonesia Journal Information System
Volume 7, Nomor 1, Januari 2024 ISSN 2684-7280 ( online ) Halaman 85-97 available online at http://jom.fti.budiluhur.ac.id/index.php/IDEALIS/index
Perhitungan metode Heart Metrics dilakukan mengunakan Microsoft Excel , dengan melihat nilai kriteria pada variabel Heart . Hasil perhitungan tersebut tertera di Tabel 13.
Tabel 13. Hasil Perhitungan Metode Heart Metrics Aspek Penilaian Jumlah Pernyataan Nilai Max Total Nilai Nilai Kriteria Usability Level Happiness 4 900 754 0,83 Sangat Tinggi Engagement 2 450 357 0,79 Tinggi Adoption 2 675 547 0,85 Sangat Tinggi Retention 3 675 519 0,76 Tinggi Task Success 2 675 510 0,82 Sangat Tinggi
Berdasarkan Tabel 13, diketahui bahwa variabel dengan usability level sangat tinggi yaitu happiness, adoption, dan task success yang menunjukkan bahwa aplikasi Prodeskel layak digunakan dan pengguna merasa puas, sedangkan variabel lainnya yaitu retention dan engagement memiliki level of usability tinggi. Sedangkan untuk set goals-signal-metrics untuk happiness sudah mencapai target yaitu melebihi nilai 80%, dimana nilai persentase happiness mencapai 82,3%, hal ini menunjukkan bahwa variabel happiness sudah signifikan terhadap nilai kriteria dengan set goals-signals-metrics. Variabel adoption dan task success hampir mencapai target dengan nilai pesentase sebesar 77,8% dan 71,1%. Sedangkan untuk variabel engagement dan retention memiliki nilai persentase target paling rendah yaitu 46,6% dan 26,6%. Hasil persentase pada variabel set goals-signals- metrics tertera pada Tabel 14.
Tabel 14. Hasil Perhitungan Set Goals_Signals-Metrics No. Variabel Sangat Setuju Setuju Persentase Skor 1. Happiness 46,7% 35,6% 82,3% 2. Engagement 33,3% 13,3% 46,6% 3. Adoption 35,6% 42,2% 77,8% 4. Retention 22,2% 4,4% 26,6% 5. Task Success 40% 31,1% 71,1%

## 3.6. Hasil Analisis Antar Metode
Berdasarkan hasil analisis antar metode didapatkan pada metode SUS dan UEQ memiliki permasalahan yang sama yaitu dalam kemudahan penggunaan aplikasi, sedangkan Heart Metrics memiliki permasalahan pada keaktifan pengguna. Hasil analisis antar metode tersebut bisa dilihat pada Tabel 15.
Tabel 15. Hasil Perbandingan Antar Metode No. Perbandingan Metode SUS Metode UEQ Metode Heart Metrics 1. Validitas Semua variabel valid Semua variabel valid Terdapat indikator valid dari variabel engagement dan task success 2. Reliabilitas 0,906 (reliabel) N item (10) 0,973 (reliabel) N item (26) 0,959 (reliabel) N item (13) 3. Item Terendah Q4:   Ketergantungan pengguna   pada   orang lain Variabel   Kejelasan ( Perspicuity ) Variabel Happiness , mencapai target 82,3% 4. Item Tertinggi Q1   :   Pengguna   ingin selalu   menggunakan aplikasi Prodeskel Variabel Efisien (Eficiency ) Variabel R etention , mencapai target 84,4% 5. Hasil Perhitungan 65 1,62 – 1,99 0,6 - 0,8
Berdasarkan   perhitungan   metode   SUS   dan   UEQ   didapatkan   bahwa   aplikasi   Prodeskel   cukup   sulit digunakan oleh pengguna, hal ini disebabkan oleh banyaknya data yang harus di input oleh pengguna, sehingga pengguna kurang memahami data yang harus di input . Beberapa data yang harus di input oleh pengguna seperti kotak hitam yang ditampilkan pada Gambar 6, selain itu perintah yang dilakukan oleh aplikasi tidak berjalan dengan baik.

## Idealis: Indonesia Journal Information System
Volume 7, Nomor 1, Januari 2024 ISSN 2684-7280 ( online ) Halaman 85-97 available online at http://jom.fti.budiluhur.ac.id/index.php/IDEALIS/index
Sedangkan untuk metode Heart Metrics dikarenakan sulitnya penggunaan aplikasi membuat user menjadi kurang aktif dalam meng- update data di aplikasi, hal ini bisa dilihat pada kotak hitam di Gambar 7, dimana pengguna terakhir meng- update data pada tahun 2022, dan hanya melakukan update 1x dalam setahun. Selain itu hasil kuesioner pada Gambar 8 juga membuktikan bahwa pengguna kurang aktif dalam penggunaan aplikasi Prodeskel, dimana hanya terdapat 2 orang atau 4.4% dari 45 sampel yang sangat aktif menggunakan aplikasi Prodsekel.
Gambar 6. Data yang harus di input oleh Pengguna
Gambar 7. Sampel Data yang di input oleh Pengguna
Gambar 8. Hasil Kuesioner terkait Keaktifan Pengguna

## Idealis: Indonesia Journal Information System
Volume 7, Nomor 1, Januari 2024 ISSN 2684-7280 ( online ) Halaman 85-97 available online at http://jom.fti.budiluhur.ac.id/index.php/IDEALIS/index

## 4. KESIMPULAN
Berdasarkan hasil analisis user experience pada Aplikasi Prodeskel dengan menyebarkan kuesioner kepada pada pengguna Prodeskel melalui aplikasi WhatsApp didapatkan pernasalahan yang hampir sama dari ketiga metode  yaitu, permasalahan  yang  dihadapi  oleh  pengguna  pada  metode System  Usability  Scale dan User Experience Questionnaire sama yaitu kemudahan aplikasi, dimana berdasarkan perhitungan metode SUS didapat nilai terendah yaitu 85 pada indikator ketergantungan pada orang lain dan metode UEQ dari hasil interpretasi skala benchmark didapatkan bahwa 10% hasilnya lebih baik dan 75% hasilnya lebih buruk, sedangkan untuk metode Heart  Metrics memiliki  permasalahan  pada keaktifan  pengguna dengan  persentase  sebesar  26,6%. Pengguna tidak akan tertarik dengan aplikasi yang sulit digunakan, sehingga keaktifan penggunaan aplikasi akan berkurang.  Hal   ini   dapat   menyebabkan   turunnya   kualitas   pada   aplikasi,   maka   dari   itu   harus   dilakukan peningkatan   kualitas   pada   aplikasi   Prodeskel,  seperti,   menyediakan   modul   yang   lebih   mudah   dipahami, dilakukan sosialisasi kepada pengguna operator, peningkatan fitur aplikasi, dan lainnya sehingga operator tidak selalu berkegantungan kepada orang lain dan selalu aktif menggunakan aplikasi Prodeskel.
Penelitian selanjutnya dapat menambahkan responden di wilayah Daerah Pemilihan 1-3 Kota Palembang. Selain itu, penggunaan metode yang berbeda dapat diterapkan sebagai pembanding hasil penelitian, agar aplikasi Prodeskel menjadi lebih baik lagi.

## DAFTAR PUSTAKA
[1] Direktorat Jenderal Bina Pemdes Kemendagri, “Panduan Teknis Penggunaan Prodeskel Bina Pemdes,” http://prodeskel.binapemdes.kemendagri.go.id/panduanteknis/.
[2] V.   Handayani,   “Analisis   dan   perancangan   UI/UX   aplikasi   e-learning   berbasis   gamifikasi   dengan   design   science research methodology (studi kasus : MIN 4 Jakarta),” Universitas Islam Negeri Syarif Hidayatullah, Jakarta, 2021.
[3] A. G. Hartzani, “Evaluasi User Experience pada Dompet Digital OVO Menggunakan User Experence Questionnaire (UEQ),” Universitas Islam Negeri Syarif Hidayatullah, Jakarta, 2021.
[4] B. H. Harjono and N. Setiyawati, “Evaluasi Value Proposition dan Perceived Value Aplikasi E-Wallet Menggunakan UX Honeycomb, UX Questionnaire, dan System Usability Scale (Studi Kasus: OVO, DANA, dan SHOPPEPAY). ,” Jurnal Ilmiah Penelitian dan Pembelajaran Informatika , vol. 07, no. 03, pp. 969–980, Sep. 2022.
[5] S. Rohmah and M. Ary, “Analisis Pengalaman Pengguna Aplikasi Pinjaman Online Menggunakan Metode Usability Testing Dan User Experience Questionnaire (Studi kasus: pada Akulaku dan Kredivo Indonesia),” JSI : Jurnal Sistem Informasi (E-Journal) , vol. 13, no. 1, 2021, [Online]. Available: http://ejournal.unsri.ac.id/index.php/jsi/index [6] A.   V.   Pratama,   A.   D.   Lestari,   and   Q.   Aini,   “ANALISIS   USER   EXPERIENCE   APLIKASI   ACADEMIC INFORMATION SYSTEM (AIS) MOBILE UNTUK USER-CENTERED METRICS MENGGUNAKAN HEART FRAMEWORK,” SISTEMASI , vol. 8, no. 3, pp. 405–412, Sep. 2019, doi: 10.32520/stmsi.v8i3.527.
[7] A.   Latifah   Hanum,   T.   Karunia   Miranti,   D.   Fatmawati,   M.   Frendi   Diyon,   and   C.   Joyo   Prawiro,   “Analisis   User Experience Aplikasi Mobile Peduli Lindungi Menggunakan Heart Metrics,” Jurnal Syntax Admiration , vol. 3, no. 2, pp. 362–372, Feb. 2022, doi: 10.46799/jsa.v3i2.390.
[8] D.   P.   Kesuma,   “Penggunaan   Metode   System   Usability   Scale   untuk   Mengukur   Aspek   Usability   pada   Media Pembelajaran Daring di Universitas XYZ,” Jurnal Teknik Informatika dan Sistem Informasi , vol. 8, no. 3, pp. 1615– 1626, 2021.
[9] R. T. R. Bau and A. Setyanto, “Adaptasi Skal User Experience Questionnair dalam Pengujian User Experience Sistem Repositori,” Jurnal Teknologi Informasi , pp. 37–42, 2020.
[10] A. L. Hanum, T. K. Miranti, D. Fatmawati, M. F. Diyon, and C. J. Prawiro, “ANALISIS USER EXPERIENCE APLIKASI MOBILE PEDULI LINDUNGI MENGGUNAKAN HEART METRICS,” Jurnal Syntax Admiration , vol. 3, no. 2, pp. 362–372, 2022.
[11] R. Hiariej and N. Seteyawati, “EVALUASI USER EXPERIENCE DAN USABILITY SISTEM INFORMASI TUGAS AKHIR FTI UKSW MENGGUNAKAN USER EXPERIENCE  QUESTIONNAIRE DAN SYSTEM USABILITY SCALE,” Journal Of Information System And Informatics Engineering , vol. 6, no. 2, pp. 58–63, 2022.
[12] Hosizah, F. Tamzil, and M. Wiharto, “Evaluasi Usability Electronic Integrated Antenatal Care (e-iANC),” Indonesian of Health Information Management Journal , vol. 8, no. 2, pp. 120–126, 2020.
[13] K. Setemen, L. J. Erawati Dewi, and I. K. Purnamawan, “PAON usability testing using system usability scale,” in Journal   of   Physics:   Conference   Series ,   Institute   of   Physics   Publishing,   Mar.   2019.   doi:   10.1088/1742- 6596/1165/1/012009.
[14] R. Gustriansyah, N. Suhandi, J. Alie, F. Antony, and A. Heryati, “Optimization of laboratory application by utilizing the ISO/IEC   25010   model,” IOP   Conf   Ser   Mater   Sci   Eng ,   vol.   1088,   no.   1,   p.   012067,   Feb.   2021,   doi: 10.1088/1757-899x/1088/1/012067.
[15] E. Haerani and A. Rahmatulloh, “Analisis User Experience Aplikasi Peduli Lindungi untuk Menunjang Proses Bisnis Berkelanjutan,” Sains dan Teknologi Informasi , vol. 7, no. 2, 2021.
[16] M.   Schrepp,   “User   Experience   Questionnaire   Handbook,”   https://www.ueq-online.org/Material/Handbook.pdf. [Online]. Available: www.ueq-online.org

## Idealis: Indonesia Journal Information System
Volume 7, Nomor 1, Januari 2024 ISSN 2684-7280 ( online ) Halaman 85-97 available online at http://jom.fti.budiluhur.ac.id/index.php/IDEALIS/index
[17] B.   W.   Trenggono,   A.   Faroqi,   and   A.   Wulansari,   “Penerapan   Metode   Heart   Metrics   dalam   Menganalisis   User Experience Aplikasi E-Learning,” Jurnal Ilmiah Teknik Informatika dan Sistem Informasi , vol. 11, no. 2, pp. 471–482, 2022.
[18] A. C. Zarkasi, A. S. Wardani, and S. Sucipto, “ANALISA USER EXPERIENCE TERHADAP FITUR DI APLIKASI ZENIUS   MENGGUNAKAN   HEART   FRAMEWORK,” METHOMIKA   Jurnal   Manajemen   Informatika   dan Komputerisasi Akuntansi , vol. 6, no. 6, pp. 174–179, Oct. 2022, doi: 10.46880/jmika.Vol6No2.pp174-179.
[19] O. V. T. Utami, C. Wiguna, and D. M. Kusumawardani, “SISTEMASI: Jurnal Sistem Informas Implementasi dan Pengukuran Pengalaman Pengguna  Sistem Informasi  Rehabilitasi Korban Penyalahgunaan  NAPZA Menggunakan HEART   Framework,” Jurnal   Sistem   Informasi ,   vol.   10,   no.   2,   pp.   460–469,   2021,   [Online].   Available: http://sistemasi.ftik.unisi.ac.id
[20] Sugiyono, Metode Penelitian Kuantitatif . Bandung: Alfabeta, 2022.
[21] F. Z. Husaen and S. Widodo, “Analisis Usability Aplikasi PeduliLindungi versi 4 Menggunakan Metode System Usability Scale,” Jurnal Telematika , vol. 17, no. 1, 2021.
[22] M. L. L. Usman and M. A. Gustalika, “Pengujian Validitas dan Reliabilitas System Usability Scale (SUS) Untuk Perangkat   Smartphone,” Jurnal   Ecotipe   (Electronic,   Control,   telecommunication,   Information,   and   Power Engineering) , vol. 9, no. 1, pp. 19–24, 2022.