## Journal of Information System Research (JOSH)
Volume 5, No. 1, Oktober 2023, pp 151−158 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v5i1.4346

## Evaluasi User Engagement dan User Experience pada Aplikasi Satu Sehat
Fandi Halim, Riche *
Fakultas Informatika, Sistem Informasi, Universitas Mikroskil, Medan Jl. M.H Thamrin No.140, Pusat Ps., Kec. Medan Kota, Kota Medan, Sumatera Utara, Indonesia Email: 1 fandi@mikroskil.ac.id, 2,* riche@mikroskil.ac.id Email Penulis Korespondensi: riche@mikroskil.ac.id Submitted: 01/10/2023; Accepted: 25/10/2023; Published: 26/10/2023
Abstrak −Berbagai  upaya  pencegahan  dan  penelusuran  penyebaran  virus  Covid-19  yang  lebih  luas  telah  dilakukan  oleh pemerintah. Salah satunya dilakukan dengan bantuan teknologi yaitu dengan disediakannya aplikasi SatuSehat yang memiliki berbagai ragam fitur yang bertujuan membantu masyarakat luas. Namun seiring dengan akan segera berevolusinya aplikasi ini menjadi  aplikasi  SatuSehat,  beragam  fitur  yang  ada,  masih  jarang  diketahui  oleh  masyarakat.  Selain  itu,  dari  penelitian sebelumnya telah dilakukan evaluasi pengalaman pengguna dimana menunjukkan hasil evaluasi yang masih rendah. Padahal aplikasi ini sudah banyak diunduh oleh masyarakat. Penelitian ini ditujukan untuk mengukur kembali pengalaman penggunaan aplikasi SatuSehat dan disertai dengan evaluasi tingkat engagement pengguna terhadap aplikasi SatuSehat dan keterkaitannya dengan  pengalaman  pengguna.  Evaluasi  pengalaman  pengguna  akan  memanfaatkan  metode  UEQ-S.  Sementara  Evaluasi tingkat engagement pengguna akan memanfaatkan metode UEQ-SF. Hasil penelitian menunjukkan bahwa aplikasi SatuSehat memiliki hasil evaluasi keseluruhan pengalaman pengguna yang positif yang didukung dengan hasil evaluasi user engagement yang  cukup baik. Hasil penelitian bahkan  menunjukkan bahwa terdapat korelasi  yang  kuat antara user  engagement  dengan pengalaman pengguna dari aplikasi SatuSehat.
Kata Kunci: Pengalaman Pengguna; Keterlibatan Pengguna; UEQ; UES; SatuSehat;
Abstract −Various efforts to prevent and trace the wider spread of the Covid-19 Virus have been carried out by the government. One of them is done with through technology by providing the application namely SatuSehat application which has variety of features  aimed  on  helping  the  society.  However,  along  with  the  imminent  evolution  of  this  application  into  SatuSehat application, these various features that exist, are still rarely known by the public. In addition, from previous studies, there are user experience evaluation has been carried out which shows that low evaluation results. Even though this application has been widely downloaded by the public.  This study is aimed at re-measuring the user experience of SatuSehat application and is accompanied  by  user  engagement  evaluation  to  SatuSehat  application  and  its  relationship  with  the  user  experience.  User experience evaluation will utilize the UEQ-S method while the user engagement evaluation will utilize the UEQ-SF method. The results showed that SatuSehat application has a positive overall user experience evaluation result which is supported by quite good user engagement evaluation results. The results of the study even show that there is a strong correlation between user engagement and user experience from the SatuSehat application..
Keywords : User Experience; User Engagement; UEQ; UES; SatuSehat

## 1. PENDAHULUAN
Berlangsungnya  pandemi  Covid-19  selama  dua  tahun  lebih  di  Indonesia  membuat  cara  hidup  dari  masyarakat mengalami  transformasi  yang  cukup  signifikan.  Pencegahan  dan  penelusuran  menjadi  hal  yang  sangat  penting untuk mendukung transisi dari pandemik menjadi endemi oleh pemerintah. Untuk melakukan kegiatan pencegahan dan penelusuran, salah satu terobosan pemerintah dengan dukungan teknologi diwujudkan dalam bentuk aplikasi SatuSehat. Melalui aplikasi  ini,  masyarakat dapat  menikmati  berbagai  layanan  seperti paspor digital, QR Code untuk  check  in,  notifikasi  zona  resiko,  E-HAC  yang  terintegrasi  untuk  kebutuhan  perjalanan, pengawasan/pelacakan, informasi statistik kasus Covid-19, pendaftaran vaksin dan unduh sertifikat vaksin, diary perjalanan  hingga  fitur  teledokter  [1],  [2].  Berbagai  fitur  ini  ditujukan  agar  masyarakat  dan  pemerintah  dapat bekerjasama  dengan  lebih  efektif  untuk  kegiatan  pencegahan  dan  penelusuran  agar  semakin  sigap  dalam menghadapi Covid-19 dengan lebih terkendali. Hal ini menjadi lebih penting mengingat Indonesia sedang bersiap untuk  menuju  endemi  karena  parameter  penilaian  Covid-19  yang  terus  melandai  [3].  Namun  demikian,  bukan berarti  bahwa  Aplikasi  PeduliLindungi  tidak  digunakan  lagi.  Malahan  secara  berkelanjutan  aplikasi  ini  terusu diperbaharui versinya dengan improvisasi dan penambahan fitur agar semakin mendukung usaha pemerintah dan masyarakat dalam menghadapi dan mencegah perluasan pandemi Covid-19. Informasi terkini malah menyebutkan bahwa Aplikasi PeduliLindungi akan berganti jadi aplikasi SatuSehat dan akan segera dikembangkan di seluruh Indonesia  dengan  harapan  dapat  memberikan  perubahan  yang  signifikan  untuk  menghemat  waktu  dan  juga paperless  demi  pelayanan  yang  lebih  baik  [4].  Penelitian  ini  menjadi  sangat  penting  dan  diharapkan  dapat memberikan tambahan informasi agar aplikasi SatuSehat yang merupakan kelanjutan dari Aplikasi PeduliLindungi akan menjadi lebih baik lagi.
Sebelumnya  berbagai  penelitian  telah  dilakukan  untuk  mengevaluasi  aplikasi  PeduliLindungi  dengan harapan dapat memberikan masukan kepada pemerintah lewat publikasi. Penelitian yang dimaksud dimulai dari evaluasi penerimaan, usability dan pengalaman pengguna (user experience) dari aplikasi PeduliLindungi. Evaluasi penerimaan untuk aplikasi PeduliLindungi dengan menggunakan metode TAM (Technology Acceptance Model) [5],  [6]. Evaluasi  usability  dari  aplikasi  PeduliLindungi  dilakukan  dengan  metode  Heuristic  [7]. Evaluasi  User

## Journal of Information System Research (JOSH)
Volume 5, No. 1, Oktober 2023, pp 151−158 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v5i1.4346
Experience  untuk  aplikasi  PeduliLindungi  dilakukan  dengan  Heart  Metric  dan  UEQ  (User  Experience Questionaire)  [8],  [9].  Akan  tetapi,  pengukuran  pengalaman  pengguna  pada  tahun  2021  dengan  memanfaatkan UEQ  menunjukkan  hasil  evaluasi  masih  rendah  [9].  Hal  ini  sejalan  dengan  informasi  terkait  ragam  fitur  yang disediakan  oleh  aplikasi  PeduliLindungi  yang  masih  belum  banyak  diketahui  oleh  masyarakat  [2].  Hal  ini menunjukkan adanya potensi bahwa hasil evaluasi pengalaman pengguna yang rendah berkaitan dengan tingkat engagement  dari  pengguna  dalam  hal  ini  adalah  masyarakat.  Oleh  karena  itu,  penelitian  ini  dilakukan  untuk mencoba  mengeksplorasi  lebih  lanjut  tentang  keterkaitan  antara  hasil  evaluasi  pengalaman  pengguna  aplikasi SatuSehat dengan hasil evaluasi tingkat engagement dari aplikasi SatuSehat oleh masyarakat. pada penggunaan UEQ-short form. Selain  itu penelitian  ini  juga  menambahkan user engagement scale versi short  form  sekaligus mengukur korelasi antara user experience dengan user engagement.
Hal penting  yang  membedakan penelitian  ini dari penelitian  lainnya adalah  bahwa evaluasi pengalaman pengguna  akan  memanfaatkan  metode  User  Experience  Questionaire  versi  short (UEQ-S),  sedangkan  evaluasi tingkat engagement dari aplikasi akan memanfaatkan metode User Engagement Scale versi short form (UES-SF). Setelah  itu,  korelasi  antara  user  experience  dengan  user  engagement  juga  akan  turut  diukur.  Berdasarkan pemaparan di atas, maka penelitian ini ditujukan untuk mengukur dan mengevaluasi pengalaman pengguna serta tingkat  engagement  kemudian  melihat  keterkaitan  antara  kedua  aspek  tersebut  dari  aplikasi  SatuSehat  dengan target responden adalah pengguna aplikasi SatuSehat..

## 2. METODOLOGI PENELITIAN

## 2.1 Tahapan Penelitian
Metode penelitian  yang digunakan adalah  metode penelitian kuantitatif dengan pendekatan Behavioral Science Research dengan tahapan yang dapat dilihat pada gambar 1 berikut.

## Gambar 1. Tahapan Penelitian
A. Penentuan Populasi dan Sampel
Jumlah populasi ditentukan berdasarkan jumlah unduhan aplikasi dimana informasi tersebut didapatkan dari Playstore. Pada Playstore diketahui jumlah unduhan aplikasi yaitu  sebanyak lebih dari 50.000.000 unduhan. Untuk penentuan sampel, dihitung dengan rumus Lemeshow dengan  jumlah sampel penelitian  minimal 384 responden.  Teknik  pengambilan  data  atau  sampel  yang  digunakan  yaitu  non  probability  sampling  dengan metode  snowball  sampling  dimana  responden  pada  penelitian  cukup  sulit  dijangkau  sehingga  peneliti  akan mencoba mencari responden kemudian meminta bantuan responden untuk menyebarkan kepada responden lain yang pernah dan memiliki pengalaman menggunakan aplikasi SatuSehat.
B. Merancang dan mendistribusikan kuesioner
Fokus  pada  tahapan  kegiatan  ini  adalah  untuk  merancang  dan  menyebarkan  kuesioner  berdasarkan  framework yang telah disediakan oleh UES-SF dan UEQ-S. UES-SF terdiri dari 4 subskala yaitu Focused Attention (FA), Perceived Usability (PU), Aesthetic Appeal (AE), dan Reward (RW). Masing-masing subskala memiliki 3 item pernyataan. Respon terhadap tiap item pernyataan menggunakan skala likert 5. Sementara UEQ-S terdiri dari 8  item  yaitu  item  obstructive/supportive,  complicated/easy,  inefficient/efficient,  dan  clear/confusing  yang mewakili  aspek  pragmatis  dan  item  boring/exciting,  not  interesting/interesting,  inventive/conventional,  dan usual/leading edge yang mewakili aspek hedonis. UEQ-S menggunakan skala rating 1 sampai 7 sesuai dengan pilihan yang diberikan.
Kuesioner  direncanakan  akan  disebarkan  dengan  menggunakan  Google  Form.  Link  Google  Form  yaitu bit.ly/UESSF-UEQS.  Link  pengisian  kuesioner  dari  Google  Form  ini  akan  disebarkan  ke  beberapa  grup Whatsapp dan melalui sosial media untuk menjangkau responden yang lebih luas.
C. Pengukuran dengan UEQ-S dan UES-SF

## Journal of Information System Research (JOSH)
Volume 5, No. 1, Oktober 2023, pp 151−158 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v5i1.4346
Melalui tahapan ini, kuesioner yang telah disebar akan dikumpulkan kembali dan hasil olah data untuk UEQ- S menggunakan Short UEQ Data Analysis Tools dan hasil data untuk  UES-SF akan dihitung menggunakan ketentuan dari UES-S. Ketentuan UES-SF dalam mengolah data yaitu:
a. Membalik kode pada item dengan skala PU
b. Jika peserta pernah mengisi pernyataan UES-SF lebih dari sekali sebagai bagian dari penelitian yang sama, maka  hitung  skor  terpisah  untuk  setiap  iterasi.  Hal  ini  memungkinkan  peneliti  untuk  membandingkan keterlibatan antara peserta dan antara tugas/iterasi.
c. Skor  untuk  masing-masing  empat  subskala  dapat  dihitung  dengan  menambahkan  nilai  tanggapan  untuk tigas item yang terdapat di setiap subskala kemudian dibagi tiga. Misalnya Subskala Aesthetic Appeal akan dihitung dengan menambahkan AE-S1, AE-S2, dan AE-S3 kemudian dibagi tiga.
d. Skor  keterlibatan  keseluruhan  dapat  dihitung  dengan  menambahkan  semua  item  bersama-sama  dan membaginya dengan dua belas.
Setelah  hasil  dari  UEQ-S  dan  UES-SF telah  didapatkan,  hasil  pengukuran  setiap  skala  dari  UEQ-S  dan UES-SF kemudian digunakan kembali untuk uji korelasi guna mendapatkan hasil pengukuran korelasi antara user engagement dan user experience.

## 3. HASIL DAN PEMBAHASAN

## 3.1 Demografi Responden
Jumlah  responden  yang  didapatkan  dari  hasil  penyebaran  kuesioner  adalah  sebanyak  414  orang.  Setelah  data diolah dengan Short UEQ untuk mencari  jawaban  yang tidak konsisten, terdapat 7 orang  yang  hasil  responnya memiliki tingkat inconsistencies sebesar 2 dan data ini kemudian tidak diikutkan ke dalam pengolahan data lebih lanjut. Oleh karena itu, jumlah responden yang akan diikutkan ke dalam pengolahan data lanjutan adalah sebanyak 407 orang. Gambaran responden ditunjukkan pada gambar 2 dibawah ini.

## Gambar 2. Gambaran Responden Keseluruhan

## 3.2 Hasil Pengukuran UEQ-S
Adapun hasil pengolahan data menggunakan Short UEQ Data Analysis Tools adalah sebagai berikut. 1. Confidence interval for items and scale
Tabel 1. Mean and Confidence Interval per Skala Confidence intervals (p=0.05) per scale Scale Mean Std. Dev. N Confidence Confidence Interval Pragmatic Quality 1.255 1.291 407 0.125 1.129 1.380 Hedonic Quality 0.773 1.356 407 0.132 0.641 0.904 Overall 1.014 1.245 407 0.121 0.893 1.135
Secara  keseluruhan  hasil  pengukuran  menunjukkan  bahwa  secara  keseluruhan,  responden  memiliki  impresi yang positif terhadap aplikasi SatuSehat. Hal ini ditunjukkan pada nilai mean overall scale sebesar 1.014 (nilai mean  >  0.8).  Namun  jika  mengacu  pada  penjelasan  tentang  aspek  kualitas  pragmatis  dan  hedonis,  dapat diisyaratkan  bahwa  responden  merasakan  kegunaan  dari  aplikasi  SatuSehat  dan  tercapai  tujuannya  setelah penggunaan.  Akan  tetapi,  aplikasi  SatuSehat  dirasakan  netral  terkait  dengan  kebutuhan  psikologis  atau pengalaman emosional dari pengguna
2. Scale Consistency
Adapun hasil pengukuran terhadap skala hedonis dan pragmatis sebagaimana ditunjukkan pada tabel di bawah adalah reliabel. Hal ini direpresentasikan dengan nilai koefisien Cronbach alpha > 0.7 dimana untuk kualitas pragmatis memiliki nilai 0.88 dan untuk kualitas hedonis, memiliki nilai alpha 0.91.

## Journal of Information System Research (JOSH)
Volume 5, No. 1, Oktober 2023, pp 151−158 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v5i1.4346
Tabel 2. Scale Consistency
Pragmatic Quality Hedonic Quality Items Correlation Items Correlation 1.2 0.57 5.6 0.81 1.3 0.70 5.7 0.63 1.4 0.56 5.8 0.71 2.3 0.66 6.7 0.68 2.4 0.70 6.8 0.76 3.4 0.66 7.8 0.73 Average 0.64 Average 0.72 Alpha 0.88 Alpha 0.91
3. Results
Sebagaimana  telah  diuraikan  sebelumnya  pada  bagian  confidence  interval,  hal  yang  sama  juga  ditunjukkan pada  gambar  result  per  item  berikut  di  bawah  ini.  Dimana  untuk  2  skala  bernilai  netral.  Hal  ini  ditujukkan dengan arah panah berwarna kuning untuk 2 skala hedonis. Sedangkan untuk 6 skala lainnya dengan rincian 4 skala pragmatis dan 2 skala hedonis bernilai evaluasi positif yang ditunjukkan dengan garis panah ke atas yang berwarna hijau.

## Gambar 3. Result Per Item
Untuk  hasil  pengukuran  berdasarkan  skala,  dapat  dilihat  pada  gambar  berikut  di  bawah  ini.  Dimana  untuk kualitas pragmatis bernilai evaluasi positif yang ditunjukkan dengan tanda panah arah atas yang berwarna hijau. Selanjutnya untuk kualitas hedonis yang bernilai evaluasi netral yang ditunjukkan dengan tanda panah arah ke kanan dan berwarna kuning. Namun demikian, secara keseluruhan, evaluasi bernilai positif

## Gambar 4. Tampilan Short UEQ Scales
Sebagaimana  telah  diuraikan  di  atas  sebelumnya,  bahwa  kualitas  pragmatis  mendapatkan  evaluasi  positif, sedangkan untuk kualitas hedonis, mendapatkan evaluasi netral. Hal ini juga dapat dilihat pada grafik di bawah. Untuk kualitas pragmatis yang berada pada area berwarna hijau dan kualitas hedonis yang berada pada area netral yang berwarna kuning. Untuk hasil pengukuran keseluruhan, sebagaimana telah disebutkan sebelumnya adalah  berada pada evaluasi positif dan ditunjukkan pada grafik overall  bar  yang  berada pada wilayah area berwarna hijau.
Hasil pengukuran untuk aplikasi SatuSehat menunjukkan bahwa skala pragmatis setelah dibandingkan dengan dataset, memiliki evaluasi above average. Hal ini berarti untuk skala pragmatis, aplikasi SatuSehat memiliki
Item Mean Variance Std. Dev. No. Negative Positive Scale 1 1.3 2.2 1.5 407 obstructive supportive Pragmatic Quality 2 1.3 2.2 1.5 407 complicated easy Pragmatic Quality 3 1.2 2.4 1.5 407 inefficient efficient Pragmatic Quality 4 1.2 2.3 1.5 407 confusing clear Pragmatic Quality 5 0.4 2.5 1.6 407 boring exciting Hedonic Quality 6 0.8 2.5 1.6 407 not interesting interesting Hedonic Quality 7 0.9 2.2 1.5 407 conventional inventive Hedonic Quality 8 1.0 2.1 1.4 407
usual
leading edge
Hedonic Quality

## Journal of Information System Research (JOSH)
Volume 5, No. 1, Oktober 2023, pp 151−158 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v5i1.4346
nilai mean yang lebih rendah dari 25% hasil evaluasi pada dataset yang tersedia. Akan tetapi aplikasi SatuSehat memiliki nilai mean yang lebih tinggi dari 50% hasil evaluasi aplikasi yang ada pada dataset.

## Gambar 6. Tampilan Benchmark
Lebih jelasnya lagi, hal ini dapat dilihat pada gambar berikut di bawah ini. Sebagaimana dapat dilihat, kualitas pragmatis berada pada area berwarna hijau atau yang identik dengan  above average. Untuk kualitas hedonis berada pada area berwarna kuning atau yang identik dengan below average. Untuk hasil keseluruhan, aplikasi SatuSehat  berada  pada  kategori  above  average  yang  ditunjukkan  pada  bar  grafik  overall  dengan  bagian berwarna hijau atau identik dengan above average.

## Gambar 7. Tampilan Grafik Benchmark

## 3.3 Hasil Pengukuran UES-SF
Adapun hasil pengukuran UES Short Form dapat dilihat pada tabel berikut.
Tabel 3. Hasil Pengukuran UES-SF
Factor  Cronbach’s Alpha  Mean  Standard Deviation FA 0.82 2.58 1.05 PU 0.81 3.75 1.00 AE 0.82 3.16 0.90 RW 0.86 3.75 0.87 Overall Score 3.31
Dari tabel di atas dapat dilihat bahwa terdapat 3 skala yakni  perceived usability (PU), aesthetical appeal (AE), dan reward factor (RW) yang baik. Hal ini diindikasikan dengan nilai mean > 3 dari total skala likert 5. Akan tetapi hasil pengukuran menunjukkan jika focused attention (FA) lebih rendah dari 3 skala lainnya.
Untuk nilai perceived usability yang bernilai mean sebesar 3.75 yang dapat diindikasikan sebagai bernilai cukup  baik,  bermakna  bahwa  untuk  responden  tidak  merasa  bahwa  aplikasi  SatuSehat  membingungkan  untuk digunakan dan tidak membebani. Responden juga tidak merasa frustasi ketika menggunakan aplikasi SatuSehat.
Untuk nilai  aesthetical appeal  yang bernilai  mean  sebesar 3.16 juga dapat  diindikasikan sebagai  bernilai baik. Hal ini dapat bermakna bahwa aplikasi SatuSehat dirasakan menarik dan memukau secara estetika.
Reward  factor  yang  merupakan  kombinasi  dari  endurabilty,  novelty,  dan  felt  involvement.  Hasil pengukuran untuk reward factor dengan nilai  mean sebesar 3.75 menunjukkan bahwa responden merasa bahwa aplikasi SatuSehat bermanfaat. Responden  merasa bahwa pengalaman selama  menggunakan aplikasi SatuSehat juga bermanfaat dan responden merasa cukup tertarik terhadap pengalaman menggunakan aplikasi SatuSehat.
Untuk focused attention, hasil pengukuran dari aplikasi SatuSehat dengan menggunakan user engagement scale short form menunjukkan bahwa tidak membuat responden atau pengguna aplikasi menjadi lupa akan waktu dan tidak  merasa penggunaan aplikasi  membuat mereka  merasa asyik dalam penggunaannya. Hal  ini dirasakan wajar karena aplikasi SatuSehat biasanya tidak digunakan dengan durasi waktu interaksi yang lama dan digunakan untuk  tujuan  pelacakan  dan  adminsitrasi  lain  terkait  dengan  kesehatan  terutama  untuk  pendukung  penanganan pandemik Covid-19.
Secara  keseluruhan  aplikasi  SatuSehat  memiliki  hasil  pengukuran  yang  cukup  baik  dengan  nilai  mean sebesar  3.31.  Kemudian,  jika  dilihat  kembali,  hasil  pengukuran  user  engagement  untuk  aplikasi  SatuSehat menggunakan  user  engagement  scale  short  form  menunjukkan  bahwa  responden  tidak  merasa  bahwa  aplikasi SatuSehat  membingungkan  dan  membebani  atau  membuat  frustasi.  Mereka  malah  merasa  bahwa  penggunaan aplikasi SatuSehat itu memiliki manfaat dan tertarik untuk menggunakan aplikasi SatuSehat karena manfaat yang disediakan. Namun demikian untuk tampilan aplikasi SatuSehat secara umum dianggap cukup secara estetika.
Scale Mean Comparisson to benchmark Interpretation Pragmatic Quality 1.254914005 Above average 25% of results better, 50% of results worse Hedonic Quality 0.772727273 Below Average 50% of results better, 25% of results worse Overall 1.01 Above Average 25% of results better, 50% of results worse

## Journal of Information System Research (JOSH)
Volume 5, No. 1, Oktober 2023, pp 151−158 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v5i1.4346

## 3.4 Uji Korelasi UES-SF dan UEQ-S
Adapun hasil uji korelasi untuk UES-SF dan UEQ-S dapat dilihat pada gambar berikut.
Gambar 8. Tampilan Hasil Uji Korelasi
Gambar di atas menunjukkan hasil uji korelasi dari skala yang ada pada UEQ dan skala yang ada pada UES. Untuk pengukuran arah dan kekuatan dari korelasi antara variabel dapat menggunakan pedoman koefisien korelasi berikut ini [25]:
Tabel 4. Tabel Pedoman Koefisien Korelasi Nilai Koefisien Korelasi Tingkat Hubungan Variabel 0,00-0,199 Sangat Rendah 0,20-0,399 Rendah 0,40-0,599 Sedang 0,60-0,799 Kuat 0,80-1,000 Sangat Kuat
Adapun penjelasan dari tabel di atas adalah sebagai berikut:
1. Untuk skala yang ada pada UES Short Form khususnya focused attention, menunjukkan adanya korelasi antara Focused Attention dengan perceived usability. Walaupun begitu, korelasi antara keduanya, jika mengacu dari tabel  pedoman  kekuatan  hubungan  memiliki  hubungan  yang  sangat  rendah,  dimana  nilai  koefisien  korelasi tersebut  adalah  0,020  yang  berada  di  antara  0.00-0,199.  Akan  tetapi,  focused  attention  memiliki  korelasi dengan aesthetic appeal dan reward factor yang cukup signifikan. Hal ini ditunjukkan dengan nilai signifikansi 0,000  yang  lebih  rendah  dari  0,05.  Selain  itu  jika  ditinjau  kembali  dari  tabel  pedoman  kekuatan  hubungan, focused attention  memiliki korelasi  yang sedang, dimana koefisien korelasi antara  focused attention dengan aesthetic  appeal  adalah  sebesar  0,572  dan  koefisien  korelasi  antara  focused  attention  dengan  reward  factor adalah sebesar 0,500.
2. Selanjutnya untuk skala yang ada pada UES Short Form yakni perceived usability menunjukkan korelasi yang juga  signifikan  yakni  0,000  yang  lebih  rendah  dari  0,05.  Lalu  jika  ditinjau  dari  tabel  pedoman  kekuatan hubungan, perceived usability memiliki koefisien korelasi yang sedang dengan reward factor dimana dengan nilai koefisien korelasi sebesar 0,436 yang berada di rentang 0,40-0,599. Akan tetapi, lain hal untuk koefisien korelasi  antara  perceived  usability  dengan  aesthetic  appeal.  Jika  ditinjau  dari  tabel  pedoman  kekuatan hubungan, maka perceived usability memiliki koefisien korelasi yang rendah dengan aesthetic appeal dengan koefisien korelasi sebesar 0,221 yang berada pada rentang 0,20 – 0,399.
3. Selanjutnya untuk korelasi antara skala yang ada pada  UES Short Form yakni skala aesthetic appeal dengan reward factor juga  menunjukkan korelasi  yang signifikan  yakni 0,000  yang  lebih rendah dari 0,05. Apabila ditinjau dari tabel pedoman kekuatan hubungan, maka korelasi ini memiliki koefisien korelasi yang kuat yakni 0,693 yang berada pada rentang 0,60-0,799.
4. Untuk  korelasi  antara  skala  yang  ada  pada  UEQ  Short  yakni  pragmatic  quality  dan  hedonic  quality menunjukkan korelasi yang juga signifikan dengan koefisien korelasi yang jika dilihat kepada tabel pedoman kekuatan hubungan adalah masuk pada kategori kuat dengan nilai koefisien korelasi sebesar 0,755 yang berada pada rentang 0,60-0,799.

## Journal of Information System Research (JOSH)
5. Jika ditinjau kembali korelasi antara skala yang ada pada  UES Short Form dengan UEQ Short yang dimulai dengan  korelasi  antara  focused  attention  dengan  pragmatic  quality  dan  hedonic  quality  juga  menunjukkan korelasi yang siginikan. Adapun kekuatan korelasi antara  focused attention dengan pragmatic quality adalah berada  pada  kategori  rendah  dengan  koefisien  korelasi  0,383  dan  koefisien  korelasi  sebesar  0,517  yakni kategori sedang untuk skala focused attention dengan hedonic quality.
6. Selanjutnya  untuk  korelasi  antara  perceived  usability  dengan  pragmatic  quality  dan  hedonic  quality  juga menunjukkan korelasi yang signifikan. Adapun koefisien korelasi antara perceived usability dengan pragmatic quality adalah sebesar 0,506 yang masuk pada kategori sedang dan koefisien korelasi sebesar 0,391 yang masuk pada kategori rendah untuk skala perceived usability dengan hedonic quality.
7. Untuk aesthetic appeal dengan pragmatic quality dan  hedonic quality  juga memiliki korelasi yang signifkan dimana koefisien korelasi untuk aesthetic appeal dengan pragmatic quality dapat dikategorikan sebagai sedang dengan koefisien korelasi sebesar 0,541. Sedangkan untuk koefisien korelasi antara  aesthetic appeal dengan hedonic quality dapat dikategorikan sebagai kuat dengan nilai koefisien korelasi sebesar 0,684.
8. Untuk  reward  factor  dengan  pragmatic  quality  dan  hedonic  quality  juga  memiliki  korelasi  yang  siginfikan dimana untuk kedua korelasi baik reward factor dengan pragmatic quality dan reward factor dengan hedonic quality  berada  pada  kategori  kuat.  Hal  ini  ditunjukkan  dengan  koefisien  korelasi  antara  reward  factor  dan pragmatic quality  sebesar 0,643 dan koefisien korelasi  antara  reward factor dengan  hedonic quality  sebesar 0,681.

## 4. KESIMPULAN
Penelitian  ini  menggunakan  short  UEQ  menunjukkan  bahwa  pengalaman  Penggunaan  Aplikasi  SatuSehat memiliki evaluasi yang positif Pragmatic Quality dan evaluasi netral untuk Hedonic Quality. Secara keseluruhan aplikasi SatuSehat memiliki evaluasi yang positif. Jika dibandingkan dengan dataset yang disediakan oleh  Short UEQ,  pengalaman  pengguna  aplikasi  SatuSehat memiliki  evaluasi  above  average  yakni  masih  di  atas  rata-rata dibandingkan  dengan  hasil  evaluasi  aplikasi  lain  dalam  dataset.  Hasil  pengukuran  UES  short  form  juga menunjukkan hasil yang cukup baik. Responden merasa bahwa aplikasi SatuSehat tidak membingungkan dan tidak membebani serta tidak membuat frustasi. Mereka malah merasa bahwa aplikasi SatuSehat itu memiliki manfaat dan tertarik untuk menggunakan aplikasi  ini karena  manfaat yang disediakan. Ditambah  lagi, tampilan aplikasi SatuSehat  secara  umum  dianggap  cukup  secara  estetika.  Secara  korelasi,  hasil  uji  menunjukkan  bahwa  setiap sekala  memiliki  korelasi  yang  signifikan.  Umumnya  korelasi  antara  skala  Short  UEQ  dengan  Skala  UES  short form  memiliki  kekuatan  hubungan  yang  sedang.  Akan  tetapi,  terdapat  korelasi  yang  kuat  khusus  untuk  skala aesthetic  appeal  dengan  Hedonic  Quality,  serta  untuk  korelasi  antara  skala  Reward  Factor  dengan  Pragmatic Quality dan Hedonic Quality. Apabila aplikasi SatuSehat sudah diluncurkan secara nasional, maka penelitian dapat dilakukan kembali untuk menguji pengalaman pengguna dan tingkat engagement daripada aplikasi SatuSehat yang merupakan kelanjutan dari Aplikasi PeduliLindungi. .

## REFERENCES
[1]  V.  Ratriani,  “Tak  Hanya  Unduh  Sertifikat  Vaksin,  Ini  9  Fitur  dan  Manfaat  Aplikasi  PeduliLindungi,” https://kesehatan.kontan.co.id/news/tak-hanya-unduh-sertifikat-vaksin-ini-9-fitur-dan-manfaat-aplikasi- pedulilindungi?page=all.  Accessed:  Apr.  22,  2022.  [Online].  Available:  https://kesehatan.kontan.co.id/news/tak-hanya- unduh-sertifikat-vaksin-ini-9-fitur-dan-manfaat-aplikasi-pedulilindungi?page=all
[2]  Eka Santhika, “Ragam Fitur Pedulilindungi yang Belum Banyak Diketahui,” CNN Indonesia. Accessed: Apr. 20, 2022. [Online]. Available: https://www.cnnindonesia.com/teknologi/20211011202406-185-706347/ragam-fitur- pedulilindungi-yang-belum-banyak-diketahui
[3]  Rokom,  “Indonesia  Bersiap  Menuju  Endemi,”  Kementerian  Kesehatan,”  Sehat  Negeriku.  Accessed:  Feb.  10,  2023. [Online]. Available: https://sehatnegeriku.kemkes.go.id/baca/umum/20220930/4641193/indonesia-bersiap-menuju- endemi/
[4]  A.  A.  N.  Hidayat, “PeduliLindungi Berganti Jadi  Aplikasi SatuSehat,  Ini Tujuannya dan Manfaatnya bagi Pengguna,” Tempo  Bisnis.  Accessed:  Feb.  10,  2023.  [Online].  Available:  https://bisnis.tempo.co/read/1687392/pedulilindungi- berganti-jadi-aplikasi-satusehat-ini-tujuannya-dan-manfaatnya-bagi-pengguna
[5]  Sefrika, “Implementasi Metode TAM Untuk Menganlisa Penerimaan Teknologi Aplikasi Peduli Lindungi,” Jurnal Sains Komputer & Informatika (J-SAKTI), , vol. 5, no. 2, pp. 1060–1065, 2021.
[6]  J. Andriani and W. Wahyu Winarno, “Faktor-Faktor yang Mempengaruhi Penggunaan Aplikasi ‘PeduliLindungi’ dengan Technology Acceptance Model (TAM),” ZONAsi : Jurnal Sistem Informasi, vol. 4, pp. 89–100, 2022.
[7]  I. W. Sudiarsa and I. G. B. Wiraditya, “Analisis Usability Pada Aplikasi Peduli Lindungi Sebagai Aplikasi Informasi Dan Tracking  COVID-19  Dengan  Heuristic  Evaluation,”  Journal  of  Information  Technology  and  Computer  Science (INTECOMS), vol. 3, pp. 354–364, 2020.
[8]  A. Latifah Hanum, T. Karunia Miranti, D. Fatmawati, M. Frendi Diyon, and C. Joyo Prawiro, “Analisis User Experience Aplikasi Mobile Peduli Lindungi Menggunakan  Heart  Metrics,”  Jurnal Syntax Admiration,  vol. 3, pp. 362–372, Feb. 2022.
[9]  E.  Haerani and  A. Rahmatulloh, “Analisis  User  Experience  Aplikasi Peduli  Lindungi untuk Menunjang Proses Bisnis Berkelanjutan,” SATIN - Sains dan Teknologi Informasi, vol. 7, no. 2, pp. 01–10, Dec. 2021, doi: 10.33372/stn.v7i1.762.

## Journal of Information System Research (JOSH)
Volume 5, No. 1, Oktober 2023, pp 151−158 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v5i1.4346
[10] M.  Schrepp,  “All  you  need  to  know  to  apply  the  UEQ  successfully  in  your  projects,”  User  Experience  Questionnaire Handbook Version 8. Accessed: Apr. 20, 2022. [Online]. Available: https://www.ueq-online.org/Material/Handbook.pdf [11] M. Schrepp, A. Hinderks, and J. Thomaschewski, “Construction of a Benchmark for the User Experience Questionnaire (UEQ),”  International  Journal  of  Interactive  Multimedia  and  Artificial  Intelligence,  vol.  4,  no.  4,  p.  40,  2017,  doi: 10.9781/ijimai.2017.445.
[12] H.  B.  Santoso,  L.  M.  Hasani,  R.  Fitriansyah,  A.  Setyanto,  and  M.  Schrepp,  “Indonesian  Adapted  Version  of  UEQ+,” UEQ+. Accessed: Apr. 20, 2022. [Online]. Available: http://ueqplus.ueq-research.org/
[13] H. B. Santoso, M. Schrepp, R. Yugo Kartono Isal, A. Y. Utomo, and B. Priyogi, “Measuring user experience of the student- centered E-learning environment,” Journal of Educators Online, vol. 13, pp. 58–79, 2016.
[14] M. S. Abubakari, Nurkhamid, and G. Hungilo, “Evaluating an e-Learning Platform at Graduate School Based on User Experience  Evaluation  Technique,”  J  Phys  Conf  Ser,  vol.  1737,  no.  1,  p.  012019,  Jan.  2021,  doi:  10.1088/1742- 6596/1737/1/012019.
[15] E. Sutadji, W. N. Hidayat, S. Patmanthara, S. Sulton,  N. A. M. Jabari, and M.  Irsyad, “Measuring  user  experience  on SIPEJAR as e-learning of Universitas Negeri Malang,” IOP Conf Ser Mater Sci Eng, vol. 732, no. 1, p. 012116, Jan. 2020, doi: 10.1088/1757-899X/732/1/012116.
[16] M.  Q.  Laksono,  S.  S.  Kusumawardani,  and  R.  Ferdiana,  “Evaluating  User  Experience  on  E-learning  using  the  User Experience Questionnaire (UEQ) with Additional Functional Scale,” in Proceedings of the International Conferences on Information  System  and  Technology,  SCITEPRESS  -  Science  and  Technology  Publications,  2019,  pp.  18–24.  doi: 10.5220/0009339900180024.
[17] S. P. Kristanto, L. Hakim, and F. Hariyati C, “Usability Evaluation In Ruang Guru Applications Using User Experience Questionnaire (UEQ),” Jurnal Mantik, vol. 4, no. 1, pp. 181–186, 2020, Accessed: Apr. 20, 2022. [Online]. Available: https://iocscience.org/ejournal/index.php/mantik/index
[18] F. Halim, H. Handoko, and S. H. Marpaung, “PENILAIAN USER EXPERIENCE FIORI BUSSIM MENGGUNAKAN USER  EXPERIENCE  QUESTIONAIRE  (UEQ)  DAN  PENGARUHNYA  TERHADAP  PEMAHAMAN PEMBELAJARAN  MATAKULIAH  SERTIFIKASI  SAP,”  Sebatik,  vol.  24,  no.  1,  pp.  102–112,  Jun.  2020,  doi: 10.46984/sebatik.v24i1.921.
[19] S. Putro, K. Kusrini, and M. P. Kurniawan, “Penerapan Metode UEQ dan Cooperative Evaluation untuk Mengevaluasi User  Experience  Lapor  Bantul,”  Creative  Information  Technology  Journal,  vol.  6,  no.  1,  p.  27,  Apr.  2020,  doi: 10.24076/citec.2019v6i1.242.
[20] A.  M.  Klein,  A.  Hinderks,  M.  Schrepp,  and  J.  Thomaschewski,  “Construction  of  UEQ+  scales  for  voice  quality,”  in Proceedings  of  Mensch  und  Computer  2020,  New  York,  NY,  USA:  ACM,  Sep.  2020,  pp.  1–5.  doi: 10.1145/3404983.3410003.
[21] H.  L.  O’Brien,  P.  Cairns,  and  M.  Hall,  “A  practical  approach  to  measuring  user  engagement  with  the  refined  user engagement  scale  (UES)  and  new  UES  short  form,”  Int  J  Hum  Comput  Stud,  vol.  112,  pp.  28–39,  Apr.  2018,  doi: 10.1016/j.ijhcs.2018.01.004.
[22] E.  N.  Wiebe,  A.  Lamb,  M.  Hardy,  and  D.  Sharek,  “Measuring  engagement  in  video  game-based  environments: Investigation  of  the  User  Engagement  Scale,”  Comput  Human  Behav,  vol.  32,  pp.  123–132,  Mar.  2014,  doi: 10.1016/j.chb.2013.12.001.
[23] H. O’Brien and P. Cairns, “An empirical evaluation of the User Engagement Scale (UES) in online news environments,” Inf Process Manag, vol. 51, no. 4, pp. 413–427, Jul. 2015, doi: 10.1016/j.ipm.2015.03.003.
[24] M. Holdener, A. Gut, and A. Angerer, “Applicability of the User Engagement Scale to Mobile Health: A Survey-Based Quantitative Study,” JMIR Mhealth Uhealth, vol. 8, no. 1, p. e13244, Jan. 2020, doi: 10.2196/13244.
[25] Sugiyono, Metode Penelitian Kuantitatif, 1st ed, 1st ed. Bandung: Alfabeta, 2018.