p-ISSN : 2460-3562 / e-ISSN : 2620-8989

## Evaluasi Kepuasan Pengguna Flexible Learning Menggunakan Framework User Experience Questionnaire
Sukma Irawati a1 , Endang Haryani a2
a Departemen Sistem Informasi, Universitas Kristen Satya Wacana Jl. Diponegoro 52-60 Salatiga 50711, Indonesia
1 682020032@student.uksw.edu
2 endang_hry@uksw.edu

## Abstrak
Penelitian  ini  bertujuan  untuk  mengevaluasi  kepuasan  pengguna,  yaitu  mahasiswa  Universitas  Kristen  Satya Wacana, terhadap Flexible Learning (F-learn) berdasarkan analisis pengalaman. Evaluasi ini diperlukan karena pengalaman  mahasiswa  yang  berbeda-beda  dalam  menggunakan  F-learn  mempengaruhi  kepuasan  mereka terhadap F-learn. Pengalaman yang tidak sesuai dengan harapan dapat menyebabkan ketidakpuasan mahasiswa. Penelitian ini menerapkan metode deskriptif kuantitatif dan menggunakan User Experience Questionnaire (UEQ). Setelah melakukan pengumpulan data melalui survei dan analisis  menggunakan UEQ data analysis tools , maka diperoleh  hasil  rata-rata  pengalaman  mahasiswa  dari  enam  variabel  ( attractiveness,  Perspicuity,  Efficiency, Dependability,  Stimulation,  Novelty ),  adalah  1,256.  Dengan  demikian,  penelitian  ini  menyimpulkan  bahwa mahasiswa  UKSW  sudah  puas  terhadap  F-learn.  Aspek  pengalaman  yang  menyumbang  kepuasan  mahasiswa adalah dari semua variabel, karena semua berada pada kategori above average atau diatas rata-rata. Mahasiswa menilai  kepuasan  paling  tinggi  pada  perilaku  F-learn  dalam  memprediksi  kebutuhan  dan  berinteraksi  dengan mahasiswa ( Dependability ). Sedangkan kepuasan paling rendah pada kurangnya inovasi F-learn ( Novelty ). Dari sisi  kualitas,  kepuasan  mahasiswa  paling  tinggi  terhadap  kemampuan  praktis  dan  kemudahan  dari  F-learn ( Pragmatic  Quality ).  Sedangkan  kepuasan  terendah  pada  kemampuan  dalam  inovasi  ( Hedonic  Quality ).  Oleh karena itu, untuk meningkatkan kepuasan pengguna, secara khusus pihak UKSW perlu mempertimbangkan aspek- aspek pada faktor terendah, yaitu Novelty dan Hedonic Quality .
Kata kunci: Kepuasan pengguna, Flexible learning, UEQ

## Evaluation of User Satisfaction on Flexible Learning Using the Framework of User Experience Questionnaire

## Abstract
This study aims to evaluate user satisfaction, which are students of Satya Wacana Christian University students, towards Flexible Learning (F-learn) based on experience analysis. This evaluation is necessary because students' different  experiences  in  using  F-learn  affect  their  satisfaction  on  F-learn.  Experiences  which  do  not  meet expectations can cause student dissatisfaction. This research applies a quantitative descriptive method and uses the User Experience Questionnaire (UEQ). After collecting data through surveys and analyzing it using UEQ data analysis  tools,  the  average  of  student  experience  from  six  variables  (attractiveness,  Perspicuity,  Efficiency, Dependability, Stimulation, Novelty), is 1.256. Thus, this study concludes that students of SWCU are satisfied on F- learn. The aspects of experience that contribute to student satisfaction are from all variables, because all are in the category of above average. Students rated the highest satisfaction is on F-learn's behavior in predicting needs and interacting with students (Dependability). While the lowest satisfaction is on the lack of innovation (Novelty). In terms of quality, students' satisfaction is highest  on the practical ability and convenience of F-learn (Pragmatic Quality).  While  the  lowest  satisfaction  is  on  ability  to  innovate  (Hedonic  Quality).  Therefore,  to  increase  user satisfaction, SWCU specifically needs to consider aspects of the two lowest factors, Novelty and Hedonic Quality.
Keywords: User satisfaction, Flexible learning, UEQ

## I. P ENDAHULUAN
Sejak  pandemi  COVID-19  mulai  menyebar  di  awal tahun  2020  dan  kemudian  pembelajaran  mulai  dilakukan secara  daring,  banyak  sekolah  yang  mulai  memanfaatkan
Learning  Management  System (LMS)  sebagai  media pendukung  proses  belajar  mengajar.  LMS  merupakan perangkat  lunak  yang  dikembangkan  untuk  membuat administrasi,  mendokumentasikan,  membuat  pelaporan, otomatisasi, dan media penyampaian proses pembelajaran
[1][2][3]. Keuntungan menggunakan LMS yang lain adalah bisa  diakses  kapanpun  dan  dimanapun,  sehingga  belajar menjadi  lebih  fleksibel,  lebih  menarik,  hemat  biaya  dan juga hemat waktu [4][5].
Universitas  Kristen  Satya  Wacana  (UKSW)  sudah memiliki aplikasi LMS berbasis web yang disebut dengan Flexible Learning (F-Learn). Pembelajaran berbasis online menggunakan F-Learn membutuhkan kemandirian belajar mahasiswa  supaya  tujuan  pembelajaran  dapat  tercapai [6][7]. Dengan mengambil studi kasus pada mahasiswa FTI UKSW,  penelitian  Meisilia  dkk  menyebutkan  bahwa  ada pengaruh  persepsi  manfaat  dan  kemudahan  dalam menggunakan F-Learn terhadap motivasi belajar mahasiswa  [8][9].  Untuk  mencapai  manfaat  F-learn  ini, sosialisasi  penggunaan  F-learn  dibutuhkan.  Selain  untuk meningkatkan  minat  mahasiswa  dalam  memanfaatkan  F- Learn,  juga  untuk  pemahaman  cara  kerja  dan  fitur  yang terdapat  dalam  aplikasi  tersebut.  Namun,  ada  mahasiswa yang tidak menggunakan F-Learn karena dosen pengampu mata  kuliah  tidak  menggunakan  F-Learn.  Fitur  layanan pada  F-Learn  juga  tidak  semua  dapat  dipakai.  Dengan demikian  terdapat  perbedaan  pengalaman  mahasiswa dalam menggunakan F-Learn sebagai media pembelajaran. Dengan  kata  lain,  kinerja  F-learn  juga  dapat  ditentukan oleh  pengalaman  mahasiswa  tersebut.  Indarti,  dkk  dalam penelitiannya  mengatakan  bahwa  media  pembelajaran elektronik  seperti  LMS  dapat  mempengaruhi  tingkat kepuasan mahasiswa  [10]. Menurut  Satyawati mahasiswa menilai puas untuk 5 aspek layanan F-learn yaitu content, accuracy, ease of use, format dan timeliness [11] . Kelima faktor tersebut belum mempertimbangkan aspek pengalaman  mahasiswa. Tingkat  kepuasan  mahasiswa terhadap  LMS  secara  umum  dipengaruhi  oleh  ekspektasi mahasiswa pada LMS tersebut. Pengalaman menggunakan LMS  yang  tidak  sesuai  dengan  harapannya  dapat menyebabkan  ketidakpuasan  mahasiswa  terhadap  LMS, demikian  pula  sebaliknya.  Oleh  karena  itu,  kepuasan mahasiswa  terhadap  F-learn  perlu  juga  dilihat  dari  faktor pengalaman mahasiswa menggunakan F-learn tersebut.
Penelitian  yang  terkait  dengan  pengalaman  pengguna LMS  dilakukan  oleh  Amaran  Sidhiq  dkk,  menyimpulkan bahwa  mayoritas  pengguna menyebutkan  aplikasi e- learning cenderung  menarik,  familiar,  efisien,  dan  aman digunakan,  tetapi  disisi  lain  pengguna  juga  merasakan bahwa e-learning tersebut  kurang  menyenangkan  dan kurang  inovatif  [12].  Sedangkan  penelitian  Sandi  dan Widya  pada Interactive  Learning  Media dengan  metode User  Experience  Questionnaire  (UEQ) menyimpulkan aplikasi  tersebut  dapat  menjadi  media pembelajaran  yang interaktif dan pengalaman pengguna pada  6 aspek berada pada  tingkat  lebih  dari  rata-rata,  sedangkan  aspek perspicuity pada  tingkat di  bawah  rata-rata  [13].  UEQ merupakan  salah  satu  metode  yang  dianggap  dapat memberikan hasil cepat dan lengkap terhadap pengalaman pengguna [14]. Manda Rohandi dalam penelitian pengalaman pengguna e-learning di Universitas Gorontalo dengan  metode  UEQ  mendapatkan  kesimpulan  bahwa aspek attractiveness , efficiency , perspicuity , dependability , stimulation , and novelty dinilai buruk (bad level) , sehingga e-learning tersebut  perlu  ditingkatkan  kualitasnya  pada
semua  aspek  pengalaman  penggunanya  [15].  Penelitian lainnya adalah evaluasi LMS menggunakan metode UEQ pada universitas di Yordania oleh Saleh dkk [16]. Hasilnya adalah  mayoritas  pengguna  senang  dengan  adanya  LMS tersebut, dimana 5 aspek yaitu attractiveness , perspicuity , efficiency , stimulation ,  dan novelty , dinilai baik  ( good ) , sedangkan  aspek dependability dinilai  dibawah  tingkat rata-rata ( above average ).
Mempertimbangkan  pemetaan  penelitian  terdahulu terkait  penerapan  UEQ  pada  LMS  dan  perguruan  tinggi yang  berbeda,  maka  UEQ  masih  menjadi  metode  yang relevan dan efektif untuk analisis kepuasan pengguna dari segi  pengalaman.  Di  sisi  lain,  kajian  kepuasan  F-learn berdasarkan pengalaman pengguna belum pernah dilakukan.  Berdasarkan  latar belakang dan  gap  penelitian diatas,  maka  penelitian  ini  bertujuan  untuk  mengevaluasi kepuasan mahasiswa terhadap F-learn berdasarkan analisis pengalaman  mahasiswa.  Metode  UEQ  akan  diterapkan pada  penelitian  ini.  Hasil  penelitian  ini  diharapkan  dapat bermanfaat  secara  umum  untuk  UKSW,  mahasiswa, maupun  dosen  sebagai  bahan  evaluasi  untuk  F-Learn sehingga dapat diperbaiki atau ditingkatkan.

## II. M ETODOLOGI

## A. Metode Penelitian
Metode  yang  digunakan  pada  penelitian  ini  adalah deskriptif kuantitatif dengan menerapkan framework UEQ. Adapun  alat  analisis  yang  digunakan  adalah UEQ data analysis  tools dalam  bentuk  template file  spreadsheets sesuai  panduan handbook UEQ  [17].  Dalam  metode  ini, hasil  survei  atau  output UEQ  tools disajikan  apa  adanya dan dijelaskan secara objektif sesuai dari maknanya.
B. Tahapan Penelitian

## Gambar 1. Tahapan Penelitian
Gambar  1  menjelaskan  tahap-tahapan  penelitian  ini. Setelah identifikasi masalah,  penelitian mengkaji literatur yang  relevan  yang  bersumber  dari  penelitian  terdahulu. Kemudian,  pengumpulan  data  dengan  menyebarkan kuesioner.
Gambar 2. Daftar Pertanyaan
Kuesioner  disebarkan  mulai  bulan  Agustus  sampai Desember 2023 ke mahasiswa 3 fakultas terbesar di UKSW yaitu FTI, FEB, dan FKIP melalui google-form . Kuesioner dibangun  berbasis  UEQ  yang  telah  disesuaikan  dengan konteks  pengguna  mahasiswa  melalui  pilihan  kata  yang sesuai.  Terdapat  6  skala  penilaian  yakni  daya  tarik ( attractiveness ), kejelasan ( perspicuity ), efisiensi ( efficiency ), ketepatan ( dependability ), stimulasi ( stimulation ),  dan  kebaruan  ( novelty )  [17].  Gambar  2 menjelaskan pertanyaan tertutup yang terdiri dari 26 item dan  7  pilihan  jawaban.  Sedangkan  pertanyaan  terbuka terdiri dari pendapat responden terhadap F-learn dan saran perbaikan.  Adapun  penghitungan  sampel  minimum menggunakan  kriteria  dari  Hair  dkk  yaitu  5  kali  jumlah pernyataan  yang  digunakan  [18].  Sehingga  sampel minimum adalah 130 responden (5 kali 26 pernyataan).
Setelah  survei  dilakukan,  maka  penelitian  masuk  pada tahap analisis dan pembahasan dengan UEQ data analysis tools . Langkah-langkah analisis dilakukan sebagai berikut:
1) Langkah  pertama :  Data  kuesioner  pada G-forms dipindahkan ke file UEQ tools pada sheet Data . 2) Langkah kedua : Reliabilitas variabel dicek pada sheet Scale Consistency. Kriteria reliabel jika Cronbach's Alpha dari semua skala memiliki nilai > 0,7. 3) Langkah ketiga: Data kuesioner yang awalnya berskala 1–7  ( sheet  Data )  kemudian  dikonversi  oleh UEQ  tools menjadi skala antara -3 sampai +3 pada sheet DT . Jadi, -3 berarti  jawaban  paling  negatif,  0  berarti  netral,  dan  +3 berarti jawaban paling positif.
4) Langkah  keempat: Hasil  analisis  untuk  ke-26  item pertanyaan pada skala -3 sampai +3 dilihat perilakunya di sheet Results melalui anak panah yaitu naik dan berwarna hijau  atau  tidak.  Kriteria  berwarna  hijau  menunjukkan aspek  tersebut  mendapatkan  evaluasi  positif  [17].  Pada sheet yang sama, analisis dilanjutkan dengan UEQ Scales ( Mean and Variance ) terhadap 6 variabel dan 3 kelompok pembagiannya,  yakni attractiveness,  pragmatic  quality ( perspicuity,  efficiency,  dan  dependability ),  serta hedonic quality meliputi stimulation dan novelty . Analisis dan pembahasan akan mengarahkan penelitian untuk mengetahui apakah mahasiswa puas atau tidak, serta dapat  mengetahui  faktor  penyebabnya  dari  pengalaman aspek  yang  mana.  Demikian  pula  jika  mahasiswa  tidak puas, apakah faktor penyebabnya. Sehingga penelitian ini dapat  masuk  pada  tahapan  terakhir  untuk  menarik
kesimpulan apakah tujuan penelitian ini tercapai atau tidak. Selain  itu  merumuskan  saran  yang  membangun  agar kualitas aplikasi menjadi lebih baik.

## III. HASIL DAN PEMBAHASAN
Setelah  melakukan  pengumpulan  data  melalui  survei, penelitian  ini  memperoleh  respon  sebanyak  163 mahasiswa.  Jumlah  ini  melampaui  ukuran  sampel minimum  yaitu  130  orang.  Data  diolah  dan  dianalisis menggunakan UEQ data analysis tool .
A. Data Kuesioner
Jawaban  responden  melalui G-form diinput  pada sheet Data (Gambar  3).  Skala  yang  digunakan  sesuai  skala kuesioner  yaitu  1-7.  Baris  item  menunjukkan  26 pertanyaan dan kolom berisi jawaban responden.
Gambar 3. Hasil Penginputan Data

## B. Reliabilitas variabel
Gambar  4  menunjukkan  bahwa  enam  variabel  adalah reliabel untuk digunakan, karena nilai Cronbach's Alpha > 0,7.
Gambar 4. Hasil Uji Reliabilitas Variabel
C. Transformasi Data Oleh UEQ tools ,  data  dikonversi  secara  otomatis  pada skala  -3  sampai  +3.  Jawaban  responden  dengan  skor  7 dikonversi menjadi skor 3, demikian seterusnya.
D. Hasil Pengukuran dan Analisis
Analisis dilanjutkan dengan pengukuran untuk 26 item pertanyaan.  Skala  -3  sampai  +3  memiliki  makna  bahwa pertanyaan  dengan  hasil  evaluasi  positif  pada  skala tertinggi  3  dan  pertanyaan  dengan  hasil  evaluasi  negatif pada skala terendah -3.
Pengukuran attractiveness F-learn ditentukan dari 6 item pertanyaan,  yaitu  1,  12,  14,  16,  24,  dan  25.  Dengan  kata lain,  F-learn  diukur  apakah  aplikasi  ini  menyenangkan, tampilan baik, dapat disukai, nyaman, atraktif/menarik, dan mudah  digunakan/ user  friendly .  Variabel perspicuity diukur dengan pertanyaan 2, 4, 13 dan 21, yaitu apakah F- learn  mudah  dipahami,  mudah  dipelajari,  sederhana/tidak rumit,  jelas/tidak  membingungkan.  Selanjutnya  variabel efficiency diwakili oleh pertanyaan 9, 20, 22, 23, dimana F- learn  dilihat  dari  akses  fitur  yang  cepat,  fitur  yang efisien/memadai, praktis dan rapi/terorganisasi. Pertanyaan 8,  11,  17  dan  19  mengukur  variabel dependability ,  yaitu apakah  F-learn  memiliki  tampilan  lanjutan  yang  dapat diprediksi/diketahui sebelumnya, mendukung pembelajaran, memberikan keamanan dan fitur yang sesuai harapan/ekspektasi  mahasiswa.  Variabel stimulation dipertimbangkan  dari  pertanyaan  5,  6,  7,  dan  18,  yaitu apakah  F-learn  bermanfaat,  mengasyikkan  dan  menarik saat  digunakan,  serta  meningkatkan  motivasi/keinginan untuk  terus  menggunakannya.  Terakhir  adalah  variabel novelty yang dinilai dari item 3, 10, 15 dan 26, yang melihat F-learn  apakah  aplikasi  yang  kreatif/monoton,  berdaya cipta/tidak  konvensional,  terdepan/lebih  baik  dari  yang lain, dan inovatif/konservatif.
Gambar 6.  Hasil Pengukuran dari Item Pertanyaan
Gambar  6  menunjukkan  bahwa  rata-rata  hasil pengukuran dari 25 item pertanyaan mendapatkan evaluasi positif karena memiliki nilai positif dan tanda panah keatas berwarna  hijau.  Hanya  1  item  pertanyaan  terkait novelty mendapatkan  evaluasi  negatif  karena  meskipun  nilainya positif,  tanda  panah  pada  item  adalah  ke  kanan  berwarna kuning. Dari 25 evaluasi positif, rerata pada pertanyaan ke- 11, memperoleh nilai tertinggi yaitu skor 2 dari skala 3 atau skor 6 dari skala 7. Mahasiswa mendapatkan pengalaman yang  sangat  positif  terkait  dukungan  F-learn  dalam pembelajaran  selama  mahasiswa  berkuliah.  Sedangkan pertanyaan ke-10 dievaluasi positif oleh mahasiswa, namun skor  yang  diperoleh  terendah  diantara  25  item  yang  lain
yaitu  0.9  dari  skala  3  atau  4.9  dari  skala  7.  Mahasiswa menilai positif bahwa fitur-fitur F-learn telah dikembangkan  secara berdaya  cipta,  namun  belum signifikan.  Sedangkan  1  item  yang  dinilai  negatif  adalah dari pertanyaan ke-15. Skor pertanyaan ini diatas rata-rata yaitu  0.7  dari  skala  3  atau  4.7  dari  skala  7.  Mahasiswa menilai bahwa pengalaman mereka menggunakan F-learn belum menunjukkan posisi F-learn terdepan/lebih baik daripada e-Learning yang lain, misal G-classroom.
Gambar  7  menunjukkan  hasil  nilai  perhitungan  dari masing-masing  variabel  berdasarkan  rata-rata dari  26 pertanyaan  pada  Gambar  6.  Keenam  aspek  tersebut mendapatkan  evaluasi  positif  karena  tanda  panah  ke  atas berwarna  hijau.  Dari  perhitungan  tersebut  mendapatkan hasil attractiveness (1,330), perspicuity (1,365), efficiency (1,288), dependability (1,506), stimulation (1,123),  dan novelty (0,925).
Gambar 7. UEQ Scale (Mean and Variance)
Gambar 8. Grafik Benchmark Pengukuran Skala UEQ
Berdasarkan benchmark diatas,  diketahui  bahwa pengalaman  positif  terbaik  yang  diberikan  oleh  F-learn kepada  mahasiswa  adalah  kemampuannya  memprediksi atau  aspek dependability (skor  1,506).  Sedangkan pengalaman positif namun masih kurang diantara yang lain adalah  kemampuan  F-learn  dalam  kebaruan  dan  inovasi atau aspek novelty (skor 0,925). F-learn telah memberi daya tarik ( attractiveness) diatas rata-rata (1,330) kepada mahasiswa UKSW. Semua enam item  pertanyaan  yang  mengukur  aspek  ini  mendapatkan penilaian  dari  mahasiswa  lebih  dari  1.  Dengan  demikian, mahasiswa  telah  memperoleh  pengalaman  positif  selama menggunakan  F-learn.  Menurut  mahasiswa,  F-learn memiliki tampilan yang baik, menarik/atraktif dan mudah digunakan/ user  friendly .  Sehingga  pengalaman  selama menggunakan  F-learn,  menurut  mahasiswa,  adalah menyenangkan, nyaman dan bahkan menyukai F-learn.
Selain  itu,  F-learn  membuktikan  sebagai  aplikasi  yang memiliki  kejelasan  dan  kemudahan  ( perspicuity) untuk digunakan oleh mahasiswa UKSW diatas rata-rata (skor 1,365).  Keempat  item  pertanyaan  yang  mengkontribusi pengukuran  aspek  ini  memiliki  skor  lebih  dari  1.  Hal  ini menunjukkan bahwa F-learn telah memberikan pengalaman  yang  positif  juga  kepada  mahasiswa.
Mahasiswa  mendapati  bahwa  F-learn  merupakan  aplikasi yang mudah dipahami, dipelajari dan tidak membingungkan. Hal ini disebabakan karena tampilan F- learn  dinilai  simpel,  sederhana  dan  tidak  rumit mempengaruhi jelas dan tidak membingungkan.
Sedangkan  dari  sisi  efisiensi  ( efficiency )  penggunaan aplikasi,  F-learn  juga  memberi  pengalaman  kepada mahasiswa diatas  rata-rata (skor  1,288).    Dari  4  item pertanyaan  penyumbang  skor  ini,  terdapat  1  aspek  yang mengganggu  pengalaman  mahasiswa,  yaitu  kecepatan akses pada fitur-fitur F-learn. Sedangkan ketiga item yang lain  mendapatkan  skor  lebih  dari  1.  Dengan  demikian, meskipun  fitur-fitur  yang  ada  sudah  efisien/memadai, praktis  dan  rapi/terorganisasi,  namun  masih  bermasalah dalam  kecepatan  akses.  Pengalaman  interaksi  antara mahasiswa dengan F-learn tidak hanya pada fitur, namun waktu  yang  digunakan  mahasiswa  mengakses  fitur tersebut. Waktu login dan loading saat penggunaan F-learn adalah penting supaya mahasiswa dalam menggunakannya tidak memakan waktu yang lama. Mahasiswa akan merasa puas apabila aplikasi yang digunakan mempercepat mereka dalam pembelajaran.
Adapun perilaku aplikasi F-learn yang dapat diprediksi ( dependability )  dinilai  dengan baik (skor  1,506)  oleh mahasiswa  UKSW  atau  memiliki  penilaian  paling  tinggi dibandingkan  dengan  variabel  lain.  Seluruh  item pertanyaan  penyumbang  skor  ini  memperoleh  nilai  lebih dari 1. Hal ini sejalan dengan temuan pada item pertanyaan nomor  11,  dimana  pertanyaan  ini  mendapatkan  evaluasi positif  tertinggi,  yaitu  skor  2.  Mahasiswa  mendapatkan pengalaman paling positif dalam hal dukungan pembelajaran  oleh  F-learn.  Menurut  mahasiswa,  F-learn juga  mampu  memberi  tampilan  lanjutan  yang  dapat diprediksi, artinya ekspektasi mahasiswa ketika menggunakan  fitur  tertentu  sesuai  dengan  yang  muncul. Mahasiswa  juga  menilai  bahwa  F-learn  memiliki keamanan  yang  baik.  Dengan demikian,  F-learn  dinilai baik  dalam  berinteraksi  dengan  mahasiswa,  dimana mahasiswa lah yang mengendalikan interaksinya dengan F- learn.  Pengalaman  yang  baik  ini  perlu  dipertahankan  dan bahkan  ditingkatkan,  agar  tingkat  kepuasan  mahasiswa tidak  menurun.  Tetapi  lebih  baik  juga  apabila  dapat mengembangkan  F-learn  tanpa  mengurangi  kualitas  yang mempengaruhi nilai aspek dependability .
Sejalan  dengan  daya  tarik  F-learn,  mahasiswa  UKSW juga menilai diatas rata-rata (skor 1,123) bahwa aplikasi ini memotivasi dan menarik untuk digunakan ( stimulation ) . Untuk 2 pertanyaan pengukuran, mahasiswa menilai bahwa F-learn  bermanfaat  dan  menarik  untuk  pembelajaran. Namun, pada 2 item pengukuran yang lain, F-learn dinilai kurang  mengasyikkan  saat  digunakan,  sehingga  kurang memotivasi mahasiswa untuk menggunakannya. Penilaian membosankan ini berhubungan dengan penilaian mahasiswa pada variabel novelty . Oleh karena itu, faktor- faktor yang menyebabkan F-learn ini kurang mengasyikkan perlu diinvestigasi lebih lanjut.
Meskipun  mahasiswa  mendapatkan  pengalaman  yang diatas rata-rata untuk kelima variabel diatas, namun begitu mahasiswa  UKSW  memandang  aspek  kreatifitas  dan inovasi F-learn ( novelty ) adalah yang paling rendah (skor
0,925). Untuk 2 item pertanyaan yang memberi kontribusi, bahkan  mendapatkan  skor  dibawah  1.  Hal  ini  konsisten dengan  temuan  pada  item  pertanyaan  nomor  10,  dimana pertanyaan ini memperoleh evaluasi positif terendah, yaitu skor 0.9. Mahasiswa menilai bahwa fitur-fitur F-learn telah dikembangkan  telah  berdaya  cipta,  namun  belum signifikan.  Bahkan  item  pertanyaan  ke-15  dinilai  negatif. Mahasiswa  mendapatkan  pengalaman  bahwa  F-learn belum  menjadi  aplikasi e-learning yang  terdepan. Mahasiswa juga menilai bahwa fitur dan tampilan F-learn kurang  kreatif,  monoton  dan  kurang  inovatif.  Meskipun novelty masih dalam kategori diatas rata-rata, tampilan F- learn  dinilai  kurang  memiliki  kebaruan.  Inovasi  untuk  F- learn  dibutuhkan  supaya  aplikasi  tidak  membosankan. Tampilan  dari  sebuah  aplikasi  memang  sangat  penting sebagai  daya  tarik  pengguna.  Pengguna  akan  merasa tertarik  menggunakan  sebuah  aplikasi  apabila  aplikasi selalu  memberikan  inovasi  terbaru  dan  lebih  baik.  Selain tampilan,  inovasi  dalam  fitur-fitur  yang  digunakan  juga akan  menjadi  daya  tarik,  khususnya  dalam  proses pembelajaran yang efektif.

## Gambar 9. Rerata Tiga Kelompok Kualitas

## Gambar 10. Grafik Tiga Kelompok Kualitas
Keenam  variabel  pengalaman  tersebut  kemudian dikelompokkan  dalam  3  kelompok  kualitas,  yaitu attractiveness,  pragmatic  quality ,  dan hedonic  quality . Gambar  9  dan  10  mendeskripsikan  kualitas  F-learn berdasarkan  3  aspek  tersebut.  Pada  Gambar  10  nampak bahwa  ketiga  kualitas  F-learn  berada  pada  posisi  yang relatif  sejajar  atau  sama,  artinya  tidak  ada  kualitas  yang terlalu  menonjol  disbanding  yang  lain.  F-learn  dinilai paling tinggi dari kualitas pragmatis (skor 1,39) dan dinilai paling rendah kualitasnya dari aspek hedonis (skor 1,02).
Kualitas  aspek attractiveness F-learn  adalah  1,33.  Hal tersebut  menunjukkan bahwa F-learn  memiliki daya  tarik dikarenakan tampilannya yang mudah dipahami. Persepsi penggunaan  F-learn  untuk  mencapai  tujuan  pembelajaran ditunjukkan  oleh  aspek  prakmatis  yang  didalamnya meliputi perspicuity, efficiency, dan dependability , artinya F-learn  memiliki  nilai  kejelasan,  efisiensi,  dan  ketepatan dengan  rata-rata  1,39.  Kualitas  pragmatis  yang  paling tinggi ini disumbangkan terutama oleh faktor dependability .  Aspek  kualitas  hedonis dengan  rata-rata 1,02  yang  mencakup  dua  aspek  yakni stimulation dan
novelty. Aspek  kualitas  hedonis  ini  menyangkut  hal  non- teknis  yang  mempengaruhi  daya  tarik  yang  memotivasi ( stimulation )  dan  inovasi  aplikasi  ( novelty ).  Khususnya novelty adalah penyumbang rendahnya kualitas hedonis ini dari sudut pandang mahasiswa. Hal ini berarti bahwa perlu adanya pengembangan untuk kedua aspek tersebut agar F- learn lebih
memotivasi
mahasiswa
untuk menggunakannya.  F-learn  juga  perlu  diperbarui  dari  segi tampilan  yang  lebih  kreatif,  fitur-fitur  yang  inovatif,  dan akses  yang  cepat.  Pembaharuan  F-learn  yang  sempat dilakukan beberapa waktu terakhir, mendapatkan keluhan dari  mahasiswa,  dimana  dibutuhkan  waktu  yang  lama, khususnya saat login dan loading F-learn. Mahasiswa akan merasa  lebih  puas  apabila  aplikasi  yang  digunakan  tidak terlalu lama waktu aksesnya.
Mempertimbangkan  fakta  diatas  bahwa  pengalaman mahasiswa  sudah  di  atas  rata-rata,  artinya  mahasiswa menilai positif atau puas terhadap F-learn. Meskipun diatas rata-rata,  namun  belum  sepenuhnya  mencapai  nilai  baik. Selain  itu,  masukan  mahasiswa  pada  pertanyaan  terbuka, maka  secara  umum  F-learn  membutuhkan  perbaikan  dari semua  aspek,  secara  khusus  pada  kualitas  hedonis  dan aspek novelty .  Perbaikan  secara  hedonis  dan  prakmatis perlu dilakukan secara simultan, sehingga ada peningkatan F-learn  tanpa  mengurangi  kualitasnya.  Peningkatan kualitas  hedonis  dipengaruhi  juga  dari  faktor-faktor prakmatis aplikasi. Pengembangan F-learn yang maksimal diharapkan agar sejalan dengan pencapaian tujuan F-learn yaitu  mendukung  proses  pembelajaran,  meningkatkan motivasi  belajar,  serta  meningkatkan  kemandirian  belajar mahasiswa.

## IV. KESIMPULAN DAN SARAN

## A. Kesimpulan
Penelitian  ini  bertujuan  untuk  mengevaluasi  kepuasan mahasiswa  terhadap  F-learn  berdasarkan  pengalaman mahasiswa  menggunakan framework UEQ.  Setelah melakukan  pengumpulan  dan  analisis  data,  penelitian  ini menemukan bahwa dari 6 variabel pengalaman mahasiswa terhadap  F-learn  menunjukkan  rata-rata  1,256  atau  pada tingkat  diatas  rata-rata  ( above  average ).  Temuan menunjukkan bahwa F-learn telah memberikan pengalaman diatas rata-rata dan mengarah ke baik kepada mahasiswa UKSW. Pengalaman mahasiswa diatas rata-rata menunjukkan  bahwa  kualitas  F-learn  telah  melampaui ekspektasi  atau  harapan  mahasiswa.  Dengan  demikian, penelitian  ini  menarik  kesimpulan  bahwa  mahasiswa UKSW  sudah puas terhadap  F-learn.  Aspek  pengalaman yang menyumbang kepuasan mahasiswa terhadap F-learn adalah  pada  semua  variabel,  karena  semua  berada  pada kategori above average atau diatas rata-rata.
Diantara  6  variabel  yang  ada,  kontribusi  kepuasan  F- learn  paling  baik  adalah  dari  pengalaman dependability (1,51) dan pengalaman paling rendah pada variabel novelty (0,92) . Dengan  demikian,  mahasiswa  menilai  kepuasan paling  tinggi  pada  perilaku  F-learn  dalam  memprediksi kebutuhan dan berinteraksi dengan mahasiswa. Sedangkan kepuasan  paling  rendah  pada  kebaruan  inovasi  F-learn. Sedangkan dari sisi kualitas, menurut mahasiswa UKSW, kualitas  hedonis  dari  F-learn  adalah  yang  paling  rendah
(1,02)  dan  kualitas  pragmatis  dinilai  paling  tinggi  (1,39). Dengan demikian, mahasiswa UKSW paling puas pada F- learn  karena  kemampuan  praktis  dan  kemudahannya. Sedangkan pada faktor non-teknis yang menyumbang pada kesenangan  dan  inovasi,  mahasiswa  memiliki  kepuasan paling rendah.

## B. Saran
Mengacu pada kesimpulan diatas, maka UKSW sebagai penyedia  dan  pengembang  layanan  F-learn  perlu mengupayakan  peningkatan  ketiga  kelompok  kualitas layanan  dan  keenam  variabel  pengalaman  mahasiswa terhadap  F-learn.  Terkait  dengan  penyumbang  kepuasan terendah  mahasiswa  yaitu  kualitas  hedonis  dan  variabel novelty, berikut  adalah  beberapa  rekomendasi  yang  dapat diterapkan oleh UKSW:
1) Perbaikan  tampilan  F-learn  yang  lebih  inovatif, kekinian dan tidak konvensional, termasuk perbaikan fitur, menu, dan tampilan output.
2) Peningkatan  kecepatan  akses  yang  memungkinkan tanpa  waktu  tunggu  yang  lama,  termasuk login,  loading untuk  menampilkan  output  dari  fitur  atau  menu  yang dipilih.  Kecepatan  akses  merupakan  salah  satu  faktor stimulan  atau  motivasi  bagi  mahasiswa  untuk  sering menggunakan F-learn.
3) Pengembangan  F-learn mobile yang  memungkinkan akses  aplikasi  dengan  banyak device dimanapun  dan kapanpun,  seperti mobile  apps berbasis  Android  maupun IOS.
Sebagai  tambahan  untuk  rekomendasi  diatas,  secara simultan  UKSW  juga  perlu  meningkatkan  kualitas pragmatis. Rekomendasi praktis yang diberikan adalah: 1) Pembaruan  panduan  F-learn  secara  berkala  disertai dengan  sosialisasi atau penyegaran secara berkala kepada pengguna, baik mahasiswa dan dosen.
2) Pemberlakuan wajib bagi dosen untuk menggunakan F- learn pada semua matakuliah.
Panduan  dan  keaktifan  memanfaatkan  F-learn  akan memberi  pemahaman  yang  makin  baik  terhadap  F-learn. Pemahaman ini secara tidak langsung akan menumbuhkan pengalaman  positif dan  akhirnya  kepuasan pengguna  pun akan bertambah.
Pada akhirnya, penelitian ini pun memiliki keterbatasan yaitu  pada rendahnya response rate . Untuk menghasilkan potret  kepuasan  pengguna  F-learn  yang  lebih  baik,  maka penelitian selanjutnya disarankan untuk menambah waktu pengumpulan data, menambah mahasiswa fakultas lain dan menambahkan dosen sebagai reponden.

## D AFTAR P USTAKA
[1] D. Kurniawan, A. Ambiyar, T. Ta’ali, and H. Effendi, “Pengembangan learning management system (LMS) terintegrasi wondershare quiz creator Pada bimbingan teknologi informasi dan komunikasi,” JRTI (Jurnal Riset Tindakan Indonesia) , vol. 7, no. 3, pp. 432–437, Jun. 2022, doi: 10.29210/30032041000.
[2]
I. W. P. Pratomo and R. Wahanisa, “Pemanfaatan Teknologi Learning Management System (LMS) di Unnes Masa Pandemi Covid-19,” Seminar Nasional Hukum Universitas Negeri Semarang , vol. 7, no. 2, pp. 547–560, 2021, doi: 10.15294/snhunnes.v7i2.730.
[3] I. Santosa and R. A. Nugraha, “Implementasi Learning
Management System untuk Mendukung Pembelajaran Jarak Jauh Sekolah Menengah Kejuruan,” DINAMISIA: Jurnal Pengabdian Kepada Masyarakat , vol. 6, no. 4, pp. 905–914, 2022, doi: 10.31849/dinamisia.v6i4.100960.
[4] I. G. N. Wiragunawan, “Pemanfaatan Learning Management
System (LMS) dalam Pengelolaan Pembelajaran Daring pada
Satuan Pendidikan,” EDUTECH (Jurnal Inovasi Pendidikan Berbantuan Teknologi) , vol. 2, no. 1, pp. 82–89, Feb. 2022.
[5] Nina et al. , “Penerapan Learning Management System
BelajarBareng.id di SMK Negeri 1 Leuwiliang pada Masa
Pandemi Covid-19,” Jurnal Educatio FKIP UNMA , vol. 8, no. 1, pp. 116–126, Feb. 2022, doi: 10.31949/educatio.v8i1.1686. [6] M. C. Paseleng et al. , “Analisis Kemandirian Belajar Mahasiswa Dalam Pembelajaran Berbasis Moodle Pada Flearn
UKSW,” Scholaria: Jurnal Pendidikan dan Kebudayaan , vol. 12, no. 3, pp. 267–273, Sep. 2022.
[7] R. Gumilar and Y. Hermawan, “Peningkatan Kemandirian Belajar Melalui Metode E-Learning,” Jurnal Edukasi (Ekonomi, Pendidikan dan Akuntansi) , vol. 9, no. 1, pp. 2580– 8818, 2021, [Online]. Available: https://jurnal.unigal.ac.id/index.php/edukasi
[8] M. E. A. Fina, P. H. Chernovita, and D. H. Bangkalang, “The Impact of Flearn Usefulness and Ease of Use Perception on FTI UKSW Students Learning Motivation Using Technology Acceptance Model,” Journal of Information Systems and Informatics , vol. 3, no. 4, 2021, [Online]. Available: http://journal-isi.org/index.php/isi [9] M. M. Fakhri, D. Fadhilatunisa, Rosidah, M. F. B, M. A. Satnur, and F. Fajrin, “Pengaruh Media E-Learning Berbasis LMS Moodle dan Motivasi Belajar terhadap Hasil Belajar Mahasiswa di Masa Pandemi Covid-19,” Chemistry Education Review , vol. 5, no. 2, p. 2597, 2022, doi: 10.26858/cer.v5i2.13315.
[10] Indarti, U. Wahyuningsih, Yulistiana, R. Suhartini, and Y. I. Prihatina, “Faktor-Faktor yang Mempengaruhi Kepuasan Belajar Jarak Jauh Mahasiswa Vokasi di Masa Pandemi
COVID-19,” Jurnal Pendidikan Teknologi dan Kejuruan18 , vol. 18, no. 2, pp. 226–236, Jul. 2021.
[11] S. T. Satyawati, “Student Satisfaction Towards the Use of F- Learn Services in Online Learning,” Jurnal Pendidikan dan Pengajaran , vol. 53, no. 3, pp. 295–306, Oct. 2020, doi: 10.23887/jpp.v53i1.27849.
[12] A. Sidhiq, Q. K. Rini, and U. Majorsy, “EVALUASI PENGALAMAN PENGGUNA PADA APLIKASI E- LEARNING DI PERGURUAN TINGGI,” Jurnal Ilmiah Informatika Komputer , vol. 27, no. 3, pp. 206–215, 2022, doi: 10.35760/ik.2022.v27i3.7640.
[13] S. Prasetyaningsih and W. P. Ramadhani, “Analisa User Experience pada TFME Interactive Learning Media Menggunakan User Experience Questionnaire,” Jurnal
Integrasi , vol. 13, no. 2, pp. 147–157, Oct. 2021.
[14] S. R. Henim and R. P. Sari, “Evaluasi User Experience Sistem
Informasi Akademik Mahasiswa pada Perguruan Tinggi Menggunakan User Experience Questionnaire,” 2020. [Online]. Available: https://jurnal.pcr.ac.id/index.php/jkt/
[15] M. Rohandi, “An User Experience Analysis of UNG E- Learning Using User Experience Questionnaire Tool,” Social
Science, Education and Humanities Research , vol. 654, pp. 174–179, 2022.
[16] A. M. Saleh, A. H. Abu, I. S. Alansari, and O. Enaizan, “The
Evaluation of User Experience of Learning Management
Systems Using UEQ,” International Journal of Emerging
Technologies in Learning , vol. 17, no. 7, pp. 145–162, 2022, doi: 10.3991/ijet.v17i07.29525.
[17] M. Schrepp, User Experience Questionnaire Handbook . 2023. [Online]. Available: www.ueq-online.org
[18] J. F. Hair Jr, W. C. Black, B. J. Babin, and R. E. Anderson,
Multivariate Data Analysis , Eighth Edition. Hampshire, United Kingdom: Cengage Learning, EMEA, 2019.