## EVALUASI PENGALAMAN PENGGUNA FLEXIBLE LEARNING UKSW MENGGUNAKAN METODE USER EXPERIENCE QUESTIONNAIRE PADA PROSES PEMBELAJARAN
Frengki Irawan  , Johan Jimmy Carter Tambotoh Program Studi Sistem Informasi, Universitas Kristen Satya Wacana, Salatiga, Indonesia Email: frengkiirawan02@gmail.com
DOI: https://doi.org/10.46880/jmika.Vol8No1.pp79-

## ABSTRACT
Advances in the world of technology today are very rapid, especially in the world of education. Universities and schools  definitely  need  a  platform  or  moodle  in  the  academic  learning  process,  especially  at  Satya  Wacana Christian University. Satya Wacana Christian University is one of the well-known universities and is much sought after  by  students  in  Central  Java  Province  and  outside  Java  Island.  This  campus  uses  Moodle  in  its  learning process,  namely  Flexible  Learning.  Flexible  Learning  is  used  to  simplify  the  teaching  and  learning  process. However,  Moodle  learning,  namely  Flexible  Learning,  has  not  been  proven  to  satisfy  users.  This  journal  was formed  to  test  the  experiences  of  using  Flexible  Learning  among  SWCU  students.  This  research  uses  user experience with a questionnaire to determine satisfaction with using Flexible Learning among UKSW students. The research will be carried out using the method of determining the scope of research, literature review, problem analysis, research instruments, determining respondents, measuring UEQ, analyzing test results, and conclusions. The test results in this research involved a total of 50 students as respondents. The evaluation obtained from the research, namely the 6 aspects of the UEQ, can convey the results of measuring user experience and conclude the results of the UEQ.
Keyword: Flexible Learning, User Experience Questionnaire, Moodle.

## ABSTRAK
Kemajuan  dunia  teknologi  dijaman  ini  sangatlah  pesat  apalagi  di  dunia  pendidikan.  Di  universitas  maupun sekolah-sekolah  pasti  membutuhkan  suatu  platform  atau  moodle  dalam  proses  pembelanjaran  akademik, terkhususnya di Universitas Kristen Satya Wacana. Universitas Kristen Satya Wacana salah satu perguruan tinggi yang terkenal dan banyak diminati oleh mahasiswa di Provinsi Jawa Tengah ataupun diluar Pulau Jawa. Kampus ini menggunakan moodle dalam proses pembelanjarannya yaitu Flexible Learning. Flexible Learning digunakan untuk mempermudah dalam proses belajar mengajar. Namun, untuk pembelajaran yang bersifat moodle ini yaitu Flexible Learning belum teruji kepuasan penggunaanya. Jurnal ini dibentuk untuk melakukan pengujian terhadap pengalaman  penggunan  Flexible  Learning  pada  mahasiswa  UKSW.  Penelitian  ini  menggunakan  pengalaman pengguna dengan kuisioner untuk menentukan kepuasan penggunaan Flexible Learning pada mahasiswa UKSW. Penelitian  akan  dilaksanakan  dengan  metode  penetuan  lingkup  cakupan  penelitian,  tinjauan  pustaka,  analisis masalah,  instrument  penelitian,  penentuan  responden,  pengukuran  UEQ,  analisis  hasil  pengujian,  dan kesimpulan. Hasil pengujian pada penelitian ini melibatkan jumlah responden sebanyak 50 mahasiswa.. Evaluasi yang  didapatkan  dari  penelitian  yaitu  ke  6  aspek  pada  UEQ  ini  dapat  menyampaikan  hasil  dari  pengukuran pengalaman pengguna dan menyimpulkan hasil dari UEQ tersebut.
Kata Kunci: Flexible Learning, User Experience Questionnaire, Moodle.

## PENDAHULUAN
Peran globalisasi dan teknologi dalam pertumbuhan  sebuah  institusi  dan  dunia  pendidikan telah  mendorong  perkembangan  masyarakat  dalam dunia  teknologi.  Kemajuan  pesat  dalam  teknologi informasi  dan  komunikasi  (TIK)  sudah  memberikan dampak  yang  signifikan  pada  berbagai  aspek kehidupan  masyarakat,  termasuk  pendidikan.  Untuk
penggunaan  Flexible  Learning  (F-Learn)  ini  harsu memiliki  pengalaman  penggunaan  yang  baik  jika pengguna  dapat  menggunakan  dan  menerimanya. Pengalaman  pengguna  adalah  pemikiran  dan  reaksi seseorang  ketika menggunakan suatu produk, sistem, atau  layanan.  Persepsi  dan  reaksi  tersebut  meliputi perasaan,  keyakinan,  preferensi,  pikiran,  reaksi,  dan mental, serta perilaku dan perubahan sebelum, selama,
ISSN: 2620-4339 (media online)
dan  setelah  penggunaan  (Viski  Izabal  et  al.,  2018). Evaluasi  aplikasi  harus  dilakukan  untuk  menentukan pengalaman  pengguna.  Evaluasi  mengidentifikasi kelebihan  dan  kekurangan  aplikasi.  Hasil  evaluasi dapat  digunakan  untuk  melakukan  perbaikan  demi penerapan  yang  lebih  baik.  (Azman  Maricar  et  al., 2021).
Universitas  dan  lembaga  pendidikan  semakin beralih  ke  sistem  manajemen  pembelajaran  berbasis teknologi  untuk  meningkatkan  pembelajaran  dan menyediakan  akses  yang  fleksibel  ke  sumber  daya pendidikan.  Sejalan  dengan  tren  tersebut,  mahasiswa Universitas  Kristen  Satya  Wacana  (UKSW)  yang menggunakan  F-Learn  juga  memiliki  keberagaman dalam hal tingkat pengalaman teknologi dan kecakapan dalam  menggunakan  platform  e-learning.  Tujuan  dari sistem  ini  adalah  untuk  menyediakan  media pembelajaran  yang  efisien,  efektif  dan  menarik  bagi siswa. Penggunaan F-Learn pada lingkungan Kampus UKSW  menimbulkan  keingintahuan  peneliti  untuk mengetahui kepuasan mahasiswa terhadap penggunaan F-Learn.  Oleh  karena  itu,  peneliti  melakukan  kajian terhadap  F-Learn  untuk  mengetahui  secara  ilmiah respon  terhadap  kepuasan  pengguna  dan  kenyamanan pengguna selama menggunakan Learning Management System (LMS) tersebut.
Terdapat berbagai macam cara untuk mengukur pengalaman  pengguna,  salah  satunya  menggunakan User Experience Questionnaire (UEQ) yang merupakan  alat  atau  metode  pengukuran  User Experience  (UX)  dengan  menetapkan  6  buah  skala pengukuran, yakni Attractiveness, Perspicuity, Perspicuity,  Dependability,  Stimulation,  dan  Novelty, di mana setiap skala mewakili aspek kualitas UX yang berbeda.  UEQ  memungkinkan  pengambilan  penilaian secara cepat terhadap pengalaman pengguna dari suatu produk yang akan dievaluasi (Schrepp, 2023).
Berdasarkan  penelitian-penelitian  sebelumnya, Maharani, menunjukkan bahwa metode yang digunakan untuk mengevaluasi pengalaman pengguna pada  aplikasi  pemesanan  tiket  berbasis  pada  jurnal penelitian pada tahun 2017 sampai 2021 lebih dominan menggunakan  metode  UEQ  (Maharani,  2021). Penelitian  selanjutnya  dari  Abdillah,  menunjukkan bahwa  aplikasi  Gojek  menghadirkan  aplikasi  yang berkualitas dibandingkan aplikasi trasnportasi lainnya. Secara  keseluruhan,  UEQ  mampu  menganalisis pengalaman  pengguna  generasi  milineal  dan  Gen-Z dalam menggunakan Gojek, layanan transportasi online pertama  di  Indonesia.  (Abdillah,  2019).  Penelitian ketiga  dari  Aditya,  menunjukkan  bahwa  untuk mengetahui pengalaman penggunaan aplikasi
OneDrive  menggunkan  metode  UEQ  dan  hasilkan mampu  memberikan  kejelasan,  ketepatan,  dan stimulasi pada penggunaan aplikasi OneDrive (Aditya Pebrialdy Arswanda et al., 2022).
Penelitian  ini    menggunakan  UEQ  dalam mengevaluasi      pengalaman  mahasiswa  UKSW  yang menggunakan
F-Learn. Untuk memahami permasalahan  penelitian  ini  akan  mengumpulkan pendapat-pendapat pengguna dengan metode kuantitatif  melalui  penyebaran  kuesioner  kepada kalangan mahasiswa UKSW. Data yang diterima nanti akan diolah dengan alat analisis dari UEQ yang secara akurat menafsirkan hasil dengan mudah.

## KAJIAN LITERATUR Literatur Terdahulu
Penelitian terdahulu yang menjadi acuan, yang pertama  adalah  dari  Maharani,  yang  menunjukkan bahwa  metode  yang  digunakan  untuk  mengevaluasi pengalaman  pengguna  pada  aplikasi  pemesanan  tiket berbasis pada jurnal penelitian pada tahun 2017 sampai 2021 lebih dominan menggunakan metode UEQ. UEQ memiliki  kelebihan  dalam  mengukur  aspek-aspek pengalaman  pengguna  dari  sebuah  produk  dengan sangat  cepat.  UEQ  juga  dipilih  karena  hasil  yang diperoleh lebih komprehensif yang sehubungan dengan pengalaman pengguna (Maharani, 2021).
Penelitian  kedua,  milik  Abdillah,  dimana peneliti  menganalisis  aplikasi  mobile  transportasi online  menggunakan  user  experience  questionnaire pada  era  milenial  dan  Z.  Kuesioner  user  experience questionnaire  didistribusikan  melalui  grup  di  media sosial  Facebook  atau  WhatsApp.  Analisis  data dilakukan  secara  otomatis  melalui  alat  yang  sudah disediakan  oleh  User  Experience  Questionnaire, dimana  data  yang  dimasukkan  digunakan  untuk menghitung mean, variance, dan memberikan benchmark.  Semua  pengalaman  pengguna  untuk aplikasi  Gojek  menunjukkan  bahwa  aplikasi  Gojek berada pada area evaluasi positif. Hal ini menandakan bahwa  aplikasi  Gojek  memberikan  pengalaman  yang baik  bagi  para  penggunanya.  Benchmark  aplikasi Gojek  berada  pada  skala  “Good”  dan  “Above Average”. Hal ini membuktikan bahwa aplikasi Gojek merupakan  aplikasi  dengan  kualitas  yang  setara dibandingkan  aplikasi  lain  di  Indonesia.  Secara keseluruhan, pengalaman pengguna dapat menganalisis pengalaman  pengguna  milineal  dan  Gen-Z  dalam menggunkan  Gojek  layanan  transportasi  online pertama di Indonesia (Abdillah, 2019).
Penelitian Ketiga, milik Aditya, dimana peneliti ingin  mengetahui  pengalaman  mahasiswa  dalam
menggunakan aplikasi OneDrive menggunakan metode UEQ.  Dengan  hasil  dari  perhitungan  UEQ  tersebut mendapatkan aplikasi tersebut yaitu aplikasi OneDrive terlihat  bagus  karena  keindahan  UI/UX,  kejelasan, efisiensi, keakuratan, dan manfaat dalam menggunakan aplikasi ini. Namun peneliti juga kurang mendapatkan hasil  yang  maksimal  menggunakan  metode  UEQ karena disisi pengguna, pengalaman saat menggunakan aplikasi  tersebut  kurang  mengesankan.  Dengan  kata lain,  fungsionalitas  layanan  yang  diberikan  dan antarmuka  pengguna  baru  sama  dengan  aplikasi penyimpanan  Cloud  lainnya  (Aditya  Pebrialdy Arswanda et al., 2022).
Setelah melakukan review dari beberapa jurnal, pada penelitian ini, tidak ditemukan judul dan dengan metode yang serupa dalam hal penilaian kepuasan dan kenyamanan  pengguna.  Sehingga  belum  diketahui secara  ilmiah  bagaimana  tingkat  kepuasan  dan kenyamanan  mahasiswa  dari  Flearn,  maka  dari  itu penulis  menggunakan  judul  yang  membahas  Evaluasi Pengalaman  Pengguna  Flexible  Learning  UKSW Menggunakan Metode User Experience Questionnaire Pada Proses Pembelajaran. UEQ memberikan pandangan komprehensif tentang pengalaman pengguna, mulai dari manfaat kegunaan klasik hingga hasil pengalaman pengguna. Ini juga menyediakan alat analisis  untuk  memfasilitasi  interpretasi  hasil  yang benar (Santoso et al., 2016).

## Flexible Learning
F-Learn  adalah  platform  e-learning  yang digunakan  oleh  mahasiswa  di  UKSW.  Platform  ini dirancang  untuk  memberikan  akses  online  ke  materi pembelajaran, tugas, ujian, dan berbagai sumber daya pendukung  lainnya.  F-Learn  dapat  diakses  melalui perangkat  komputer,  laptop,  atau  perangkat  mobile dengan koneksi internet.

## User Experience
Pengalaman  pengguna  atau  UX  merupakan hasil perasaan dan pikiran pengguna saat menggunakan suatu produk atau layanan digital. (Luthfi et al., 2018).

## User Experience Questionnaire
User  Experience  Questionnaire  adalah  metode penilaian  yang  digunakan  untuk  mengukur  kepuasan pengguna  terhadap  pengalaman  mereka  dalam menggunakan suatu produk atau system (Rasio Henim &  Perdana  Sari,  2020).  Enam  aspek  penilaian  pada metode  UEQ  yang  dikelompokkan  dari  26  atribut pertanyaan.  Berikut  penjelasannya  sebagai  berikut (Schrepp, 2023):
1. Attractiveness  (daya  tarik)  yaitu  kesan  secara menyeluruh  terhadap  produk.  Apakah  pengguna menyukai produk?
2. Perspicuity (kejelasan) yaitu pengguna tidak merasa bingung  dalam  mencapai  tujuannya.  Apakah pengguna  mudah  untuk  merasa  familiar  saat menggunakan  produk?  Apakah  pengguna  mudah untuk belajar menggunakan produk?
3. Efisiensi (efisiensi) yaitu pengguna tidak memerlukan    usaha  besar/efisien  dalam  mencapai tujuannya.  Apakah  pengguna  mampu  untuk menyelesaikan  tugas  mereka  dengan  usaha  yang sesedikit mungkin?
4. Dependability (ketepatan) yaitu bagaimana perasaan  pengguna  dalam  berinteraksi  dengan produk.  Dapatkah  perilaku  sistem  diprediksi  oleh pengguna?
5. Stimulation  (stimulasi)  yaitu  motivasi  pengguna dalam  menggunakan  produk.  Apakah  pengguna termotivasi  dan  tertarik  untuk  menggunakan produk?
6. Novelty (kebaruan) yaitu seberapa besar kebaruan, kreativitas,  dan  inovasi  produk  tersebut.  Apakah produk  tersebut  inovatif  dan  kreatif?  Apakah produk tersebut mampu memikat minat pengguna?
Enam skala UEQ dapat dikelompokkan menjadi 3,  yaitu  aspek  daya  tarik  (attractiveness),  aspek pragmatic  quality,  dan  aspek  hedonic  quality.  Aspek daya  tarik  merupakan  dimensi  valensi  murni.  Aspek kualitas pragmatis ini adalah manfaat yang dirasakan, efisiensi  dan  kemudahan  penggunaan  (berorientasi pada  tujuan).  Kejelasan  (perspicuity),  efisiensi (efficiency) dan ketepatan (dependability) termasuk ke dalam aspek kualitas pragmatis. Stimulasi (stimulation) dan  Kebaruan  (novelty)  termasuk  ke  dalam  aspek kualitas hedonis (tidak mengarah pada tujuan).
Gambar 1. Struktur Skala dari Kuisioner UEQ

## METODE PENELITIAN
Pada  penelitian  ini,  kami  menggunakan pendekatan  BSR  (Behaviour  Science  Research).  BSR sendiri  merupakan  pendekatan  yang  digunakan  untuk memahami  sebuah  masalah  dengan  mengembangkan dan menjelaskan sebuah teori yang menyangkut dengan permasalahan  tersebut.  Dengan  tahapan  penelitian seperti berikut.
Gambar 2. Tahapan Penelitian

## Menentukan Area Penelitian
Tahap  pertama  dari  penelitian  ini  dimulai dengan  penetapan  lapangan  penelitian  sebagai  pusat penelitian  untuk  memahami  permasalahan  yang  ada, dimana  fokus  penelitian  ini  adalah  pengalaman pengguna  atau  user  experience.  Pendefinisian  bidang penelitian  bertujuan  untuk  memastikan  bahwa penelitian  yang  dilakukan  memiliki  batasan  atau penekanan  tertentu  yang  mempengaruhi  bagaimana peneliti mendefinisikan masalah dalam fenomena yang muncul dalam penelitiannya.

## Studi Literatur
Langkah selanjutnya adalah melakukan literature review untuk mencari penelitian terkait topik sejenis, khususnya  evaluasi  user  experience  learning management  system,  dengan  menggunakan  user experience  questionnaire,  guna  mendapatkan  tautan informasi  terkait  topik  dan  masalah.  Penelitian  dan landasan  teori  penelitian  sebagai  pedoman  untuk memahami  masalah  dan  mengembangkan  hipotesis penelitian.

## Analisis Permasalahan
Topik  penelitian  peneliti  ini  adalah  tingkat kepuasaan  mahasiswa  UKSW  dalam  pengguna  F- Learn. F-Learn yang sering digunakan dalam aktivitas pembelajaran di kampus khususnya UKSW, namun ada beberapa  kendala  yang  dialami  seperti  dosen  atau mahasiswa  yang  kesulitan  dalam  menggunakannya contohnya seperti :
1. Dibagian  aksesibilitas  beberapa  mahasiswa  cerita bahwa  mengalami  kesulitan  dalam  mengakses  F- Learn  tersebut  karena  proses loading yang  lama ataupun koneksi internet. 2. Terkadang  F-Learn  mengalami  masalah  teknis seperti downtime ataupun slow loading .
3. Antarmuka F-Learn terkadang kurang menarik jadi mahasiswa  malas  untuk  menggunakannya  masih terlihat tampilan lama UI/UX nya.
4. Susah  dalam  pengoperasiannya  dan  menggunakan F-Learn.
5. Dll.
Oleh  karena  itu  peneliti  sangat  tertarik  dalam penelitian ini apakah dugaan-dugaan yang ada apakah benar  dan  valid  terjadi.  Penelitian  ini  menggunakan metode  kuantitatif  untuk  mengukur  pengalaman pengguna menggunakan F-Learn.

## Instrumen Penelitian
Instrumen  penelitian  yang  digunakan adalah  UEQ.  UEQ  adalah  standar  kuesioner  yang terdiri  dari  26  jenis  pertanyaan  penilaian seperti  yang dapat dilihat pada gambar 3 (Schrepp, 2023).
Gambar 3. Kuesioner UEQ dalam Bahasa Indonesia

## Penentuan Responden
Analisis  evaluasi  UEQ  dilakukan  terhadap pengguna  F-Learn  di  kalangan  mahasiswa.  Sampel adalah wakil dari suatu populasi yang mempunyai sifat dan ciri karakteristik yang sama dan dianggap mewakili populasi  serta  mampu  mewakili  keseluruhan  populasi yang diteliti. Model  yang digunakan dalam penelitian ini  dihitung  menggunakan  rumus  slovin,  dapat  lihat pada rumus 1 dibawah ini.
n = 𝑁 1 + 𝑁 (𝑒) 2
n = Jumlah Sampel
N   = Jumlah Populasi
E = Tingkat kesalahan dalam memilih anggota
sampe yang ditolelir sebesar 5%

## Pengukuran UEQ
Peneliti melakukan
pengukuran user experience  untuk  memahami  pengguna  mahasiswa UKSW terhadap F-Learn

## Analisis Hasil Pengujian
Hasil  analisis  data  UEQ  menggunakan  data tools UEQ dalam format .xlsx (Microsoft Excel). Data yang  dihasilkan  dari  hasil  kuesioner  dapat  langsung dimasukan pada data tools UEQ pada menu Data. Data tools UEQ memiliki beberapa tahapan, yaitu (Umar et al., 2020):
1. Konversi Data (Data Transformed) Data  responden  dimasukkan  ke  dalam  Excel  dan melalui  proses  transfer  data.  Artinya,  urutan  nilai (positif  kanan  dan  negatif  kiri)  diacak  dalam kuisioner untuk mengurangi bias respon.
Tabel 1. Konversi Data
Konversi Data 1 → -3 2 → -2 3 → -1 4 → 0 5 → 1 6 → 2 7 → 3
Tabel di atas menunjukkan metode pengurutan nilai untuk  meminimalkan  kemungkinan  respon  pada setiap survei. Data yang disesuaikan menghasilkan rata-rata untuk setiap individu dan setiap kelompok berdasarkan kategori. Model rumus datanya adalah sebagai berikut:
x = ∑ 𝑥 [ 𝑝𝑒𝑟𝑠𝑜𝑛]
∑ 𝑖𝑡𝑒𝑚
x = rataan skala perorang
∑ 𝑥 [ 𝑝𝑒𝑟𝑠𝑜𝑛] = total item perskala
∑ 𝑖𝑡𝑒𝑚 = jumlah item perskala
2. Hasil utama
Setelah  konversi,  data  dihitung  ulang  untuk mendapatkan hasil utama, yaitu hasil. Hasil tersebut merupakan  hasil  utama  dari  UEQ  yaitu  indikator- indikator,  indikator-indikator  untuk  perhitungan selanjutnya. Item dan skala dihitung menggunakan mean dan varians dari mean hasil transformasi data. Penentuan  hasil  skala  rata-rata  merupakan  nilai standar yaitu -0,8, 0,8 merupakan hasil normal, nilai >0,8  merupakan  nilai  positif,  dan  nilai  negatif. Rumus:
x = ∑ 𝑥 [ 𝑠𝑘𝑎𝑙𝑎]
∑ 𝑖𝑡𝑒𝑚 x = rataan skala perorang
∑ 𝑥 [ 𝑠𝑘𝑎𝑙𝑎] = total item per skala
∑ 𝑖𝑡𝑒𝑚 = total responden
3. Set Data Benchmark UEQ menggunakan
standar benchmark. Perhitungan ini digunakan untuk membandingan F- Learn dengan data dari benchmark. Hasil rata-rata dan  analisis  hasil  digunakan  untuk  memperoleh nilai  perbandingan.  Nilai  standar  indikator  UEQ dapat dilihat pada tabel berikut (Gede Ngurah Kerta Sanjaya Arya Jelantik et al., 2019).
Berdasarkan tabel benchmark, sebuah produk dapat diklasifikasikan ke dalam 5 kategori (per skala):
• Excellent: Di kisaran 10% hasil terbaik.
• Good:  10%  hasil  dalam  benchmark  lebih  baik dan 75% hasilnya lebih buruk.
• Above average: 25% hasil benchmark lebih baik dari  hasil  produk  yang  dievaluasi,  50%  hasil lebih buruk.
• Below average: 50% hasil benchmark lebih baik dari  hasil  produk  yang  dievaluasi,  25%  hasil lebih buruk.
• Bad: Di kisaran 25% hasil terburuk.
Tabel 2. Kategori Pada UEQ Data Analysis Tool
Kategori Daya Tarik Kejelasan Efisiensi Ketepatan Stimulasi Kebaruan Excellent ≥1,75 ≥1.9 ≥1.78 ≥1.65 ≥1.55 ≥1.4 Good ≥1.52
<1.75 ≥1.56 <1,9 ≥1,47 <1.78 ≥1.48 <1.65
≥1.31 <1.55 ≥1.05 <1.4 Above Average ≥1.17 <1.52 ≥1.08 <1.56 ≥0.98 <1.47 ≥1.14 <1.48 ≥0.99 <1.31 ≥0.71 <1.05 Bellow Average ≥0.7 <1.17 ≥0.64 <0.98 ≥0.54 <0.98 ≥0.78 <1.14 ≥0.5
<0.99
≥0.3
<0.71 Bad <0.7 <0.64 <0.54 <0.78 <0.5 <0.3

## HASIL DAN PEMBAHASAN
Jumlah  responden  yang  mengisi  kuisioner sebanyak  50  responden  mahasiswa.  Data  responden tersebut  dikelompokan  berdasarkan  fakultas  yaitu Fakultas  Teknologi  Informasi  25  responden,  Fakultas Teknik  Elektronika  dan  Komputer  2  responden,  3 responden  dari  Fakultas  Hukum,  2  responden  dari Fakultas Ilmu Sosial dan Komunikasi, 7 responden dari Fakultas  Ekonomi  dan  Manajemen,  6  responden  dari Fakultas  Psikologi,  1  responden  dari  Fakultas Interdisiplin,  2  responden  dari  Fakultas  Sains  dan Matematika,  dan  2  responden  dari  Fakultas  Seni  dan Bahasa.

## Hasil Uji Validalitas
Hasil  pemilahan  dan  penyebaran  kuisioner kepada 50 responden diperoleh tingkat signifikansi 5% dan  nilai r sebesar  0,279.  Hasil  dari  uji  validitas menggunakan  aplikasi  SPSS  versi  27.  Tabel  3 menyimpulkan  bahwa  seluruh  item  tes  validitas  yang
dilakukan pada pertanyaan dianggap valid. Hasilnya r hitung  >  r  tabel  pada  setiap  pertanyaan  ini.  Hasil tersebut  diperoleh  dengan  mengolah  data  kuisioner menggunakan aplikasi SPSS versi 27 (Aditya Pebrialdy Arswanda et al., 2022).
Tabel 3. Hasil Uji Validitas
Total Pertanyaan Rata-rata r hitung r tabel Kriteria 50 1 0,279 Valid

## Hasil Uji Realibilitas
Tabel 4. Statistik Realiability Cronbach’s Alpha N of Items ,943 26
Setiap  item  yang  dibandingkan,  nilai  Alpha Cronbach  untuk  setiap  item  tetap  reliabel.  Nilai-nilai tersebut dapat dilihat pada tabel 5.
Tabel 5. Item Total Uji Realibilitas Scale Mean if Item Deleated Scale Variance if Item Deleted Corrected Item-Total Correlation Cronbach’s Alpha if Item Deleted P1 130,16 700,341 ,607 ,941 P2 129,82 712,967 ,569 ,942 P3 130,76 678,349 ,737 ,940 P4 130,76 694,981 ,620 ,931 P5 130,56 678,211 ,681 ,940 P6 130,60 687,551 ,682 ,940 P7 130,38 697,179 ,609 ,941 P8 130,48 687,847 ,682 ,940 P9 130,48 694,663 ,626 ,941 P10 130,88 675,700 ,768 ,939 P11 129,98 707,326 ,541 ,942 P12 130,24 704,778 ,412 ,944 P13 130,16 704,994 ,583 ,942 P14 130,12 694,230 ,745 ,940 P15 130,78 695,604 ,538 ,942 P16 130,40 679,918 ,777 ,939 P17 130,88 741,618 ,030 ,950
P18 130,52 680,500 ,745 ,940 P19 130,84 695,076 ,548 ,942 P20 130,36 688,766 ,684 ,940 P21 130,62 678,812 ,744 ,940 P22 130,32 691,120 ,632 ,941 P23 130,12 701,822 ,588 ,942 P24 130,20 684,725 ,705 ,940 P25 130,20 699,918 ,567 ,942 P26 130,42 693,636 ,613 ,941 Tabel 6. Hasil Uji Realibilitas Total Pertanyaan Rata-rata r hitung r tabel Kriteria 50 0,943 0,60 Realiabel
Salah satu cara untuk mencari realibilitas dalam suatu  uji  realibilitas  adalah  dengan  menggunakan metode  Alpha  Cronbach  untuk  variable  yang  lebih besar  dari  0,60  yang  dapat  digunakan  untuk menentukan apakah variabel tersebut benar atau sama dengan yang diukur (Aditya Pebrialdy Arswanda et al., 2022).
Hasil  uji  yang  dilakukan  terhadap  kuisioner  di dapatkan nilai berdasarkan jumlah responden yaitu 50 yaitu 50 data dianggap valid. Artinya semua kuisioner sudah selesai diproses.
Tabel 7. Case Processing Summary N % Cases Valid 50 100,0 𝐄𝐱𝐜𝐥𝐮𝐝𝐞𝐝 𝐚 0 ,0 Total 50 100,0

## Pembahasan
Evaluasi  pada  penggunaan  F-Learn  yang dilakukan  kepada  50  mahasiswa  di  UKSW.  Dengan jumlah pertanyaan 26 yang meliputi 6 aspek yaitu daya tarik,  kejelasan,  efisiensi,  ketepatan,  stimulasi,  dan kebaruan.
Setiap  jawaban  kemudian  dikonversi  untuk mendapatkan skala penilaian secara berurutan sehingga menghasilkan output seperti pada tabel 8.
Tabel 8. Output Hasil Pengukuran Bobot Nilai Variabel UEQ Item  Mean Variance  Std. Dev. No  Left Right Scale 1 ↑ 1,5 2,1 1,5 50 Annoying Enjoyable Attractiveness 2 ↑ 1,8 1,3 1,2 50 Not understandable Understandable Perpicuity 3 ↑ 0,9 3,1 1,8 50 Creative Dull Novelty 4 ↑ 1,4 2,5 1,6 50 Easy to learn Difficult to learn Perpicuity 5 ↑ 1,1 3,6 1,9 50 Valuable Inferior Stimulation 6 ↑ 1,0 2,7 1,7 50 Boring Exciting Stimulation 7 ↑ 1,3 2,4 1,5 50 Not interesting interesting Stimulation 8 ↑ 1,2 2,7 1,6 50 Unpredictable Predictable Dependability 9 ↑ 1,2 2,5 1,6 50 Fast Slow Efficiency 10 → 0,8 3,1 1,8 50 Inventive Conventional Novelty 11 ↑ 1,7 1,9 1,4 50 Obstructive Supportive Dependability 12 ↑ 1,4 2,8 1,7 50 Good Bad Attractiveness 13 ↑ 1,5 1,9 1,4 50 Complicated Easy Perpicuity 14 ↑ 1,5 1,8 1,4 50 Unlikable Pleasing Attractiveness 15 ↑ 0,9 3,2 1,8 50 Usual Leading edge Novelty 16 ↑ 1,2 2,7 1,6 50 Unpleasant Pleasant Attractiveness 17 → 0,8 4,4 2,1 50 Secure Not secure Dependability 18 ↑ 1,1 2,9 1,7 50 Motivating Demotivating Stimulation 19 ↑ 0,8 3,1 1,8 50 Meets expectations Does not meets expectations Dependability 20 ↑ 1,3 2,6 1,6 50 Inefficient Efficient Efficiency 21 ↑ 1,0 3,0 1,7 50 Clear Confusing Perpicuity 22 ↑1,3 2,8 1,7 50 Impractical Pratical Efficiency 23 ↑ 1,5 2,1 1,5 50 Organized Cluttered Efficiency
Vol. 8 No. 1 (April 2024)
24 ↑ 1,0 2,8 1,7 50 Attractive Unattractive Attractiveness 25 ↑ 1,4 2,5 1,6 50 Friendly Unfriendly Attractiveness 26 ↑ 1,2 2,7 1,6 50 Conservative innovative Novelty
Hasil  dari  pengukuran  bobot  nilai  variabel UEQ dari 50 jawaban responden dilakukan perhitungan berikut,  dengan  masing-masing  pertanyaan  diberikan kode  yang  berbeda  sesuai  dengan  6  aspek  tersebut. Hasilnya seperti pada Gambar 4.
Gambar 4. Rata-rata Value Per Item
Gambar 4 menunjukan bahwa dari penggunaan F-Learn  di  UKSW  menyatakan  baik.  Hasil  berikut  di dapatkan  dari  perhitungan  mean,  varians,  deviasi standar. Nilai rata-rata 6 aspek UEQ tampak pada tabel 9.
Tabel 9. Rata-rata Impresi dan Varian Skala UEQ Scales (Mean and Variance) Attractiveness ↑ 1,347 1,16 Perspicuity ↑ 1,420 1,20 Efficiency ↑ 1,320 1,36 Dependability ↑ 1,095 1,05 Stimulation ↑ 1,125 1,87 Novelty ↑ 0,930 1,83
Tabel 9 menunjukan nilai rata-rata kesuluruhan pertanyaan dari hasilnya. Hasil  nilai rataan skala daya tarik,  kejelasan,  efisiensi,  ketepatan,  stimulasi,  dan kebaruan  tergolong  impresif  positif.  Hasil  rata-rata skala UEQ untuk  penggunaan  F-Learn  di  kalangan mahasiswa  UKSW  dapat  dipaparkan  dalam  grafik berikut.
Gambar 5. Grafik Rata-ratta Impresi Skala
Tabel 10. Nilai Confidence Interval pada Setiap Skala
Confidence interval (p=0.05) per scale Scale Mean  Std. Dev. N Confidence  Confidence interval Attractiveness 1,347 1,076  50  0,298 1,048  1,645 Perspicuity 1,420 1,094  50  0,303 1,117  1,723 Efficiency 1,320 1,168  50  0,324 0,996  1,644 Dependability 1,095 1,025  50  0,284 0,811  1,379 Stimulation 1,125 1,367  50  0,379 0,746  1,504 Novelty 0,930 1,352  50  0,375 0,555  1,305
-3 -2 -1 0 1 2 3 annoying/enjoyable not…
dull/creative difficult to learn/easy to…
inferior/valuable boring/exciting not interesting/interesting unpredictable/predictable slow/fast conventional/inventive obstructive/supportive bad/good complicated/easy unlikable/pleasing usual/leading edge unpleasant/pleasant not secure/secure demotivating/motivating
does not meet… inefficient/efficient
confusing/clear impractical/practical
cluttered/organized
unattractive/attractive unfriendly/friendly conservative/innovative Mean value per Item 1.347 1.420 1.320 1.095 1.125 0.930 -3 -2 -1 0 1 2 3
ISSN: 2620-4339 (media online)
Dari  gambar  5  dan  tabel  10  nilai  rata-rata tertinggi  merupakan  pengukuran  di  aspek  kejelasan dengan  nilai  1,420.  Hal  ini  menunjukan  bahwa kejelasan F-Learn  dalam  pembelajaran  sudah sangat jelas. Hasil statistik berdasarkan tiga kelompok yaitu : daya tarik, kualitas praktis, dan kualitas hedonis, seperti ditunjukkan pada tabel dan gambar berikut.
Tabel 11. Pragmatic and Hedonic Quality Pragmatic and Hedonic Quality Attractiveness 1,35 Pragmatic Quality 1,28 Hedonic Quality 1,03
Gambar 6. Grafik Rata-rata Berdasarkan Aspek UEQ
Aspek dari UEQ untuk mendapatakan rata-rata cukup  baik  adalah  aspek  daya  tarik  yang  berkaitan dengan  daya  tarik  pengguna  terhadap  kinerja  dari sistem.  Aspek  kualitas  pragmatic  sangat  diperhatikan dengan  tujuan  untuk  mencapai  kesuksesan  dalam sistem  atau  pola  kerja  dan  layanan  tersebut  dapat dijelaskan secara singkat. Kinerja sistem atau kualitas hedonic  terhadap  pengalaman  yang  menyenangkan, dimana pengguna memiliki kesenangan serta motivasi
yang  cukup  baik  dalam  menggunakan  aplikasi (Halim et al., 2020).
Untuk  mendapatkan  gambaran  dan  hasil  yang maksimal  tentang  penilaian  penggunaan  F-Learn  di kalangan mahasiswa UKSW dengan cara membandingkan  penelitian  ini  dengan  penelitian sebelumnya  yang  menggunakan  UEQ data  analysis tool dengan melakukan uji benchmark. Uji benchmark dapat menggambarkan tentang kualitas dari penggunaan  F-Learn  dengan  penelitian  lainnya. Berikut hasil uji benchmark dari penggunaan F-Learn.
Gambar 7. Standar Set Benchmark
Hasil  pengujian  benchmark  dapat  dilihat  pada tabel  10  yang  berada  di  atas  rata-rata  dalam  hal  daya tarik,  kejelasan,  efektivitas,  stimulasi  dan  kebaruan. Artinya  pengalaman  penggunaan  F-Learn  dikalangan mahasiswa  UKSW  memiliki  nilai  rata-rata  25%  dari hasil  evaluasi  dataset,  namun  nilai  mean  lebih  besar dari  50%  hasil  dari  evaluasi  dataset.  Akurasi  nilai  di bawah  rata-rata,  artinya  pengguanaan  F-Learn  di UKSW kurang dari 50% hasil dari dataset, namun lebih besar dari 25% hasil penilaian dataset.
Tabel 12. Hasil Perbandingan Antara Evaluasi Pengalaman Pengguna Flexible Learning UKSW Pada
Proses Pembelajaran dengan Uji Benchmark Scale Mean Comparisson to benchmark Interpretation Attractiveness 1,35 Above average 25% of result better, 50% of result worse Perspicuity 1,42 Above average 25% of result better, 50% of result worse Efficiency 1,32 Above average 25% of result better, 50% of result worse Dependability 1,10 Below average 50% of result better, 25% of result worse Stimulation 1,13 Above average 25% of result better, 50% of result worse Novelty 0,93 Above average 25% of result better, 50% of result worse 1.35 1.28 1.03
-3 -2 -1 0 1 2 3 -1.00 -0.50 0.00 0.50 1.00 1.50 2.00 2.50 A tt ra ct ivene ss P er spi cui ty
Ef fi ci enc y D epe nda bi lit y
St imul at ion N ove lt y Excellen t Good Above Average Below Average Bad Lower Border

## KESIMPULAN
Hasil  analisis  menggunakan  UEQ  terhadap penggunaan F-Learn menunjukan bahwa dengan UEQ mempengaruhi kepuasan pengguna dalam menggunakan  sistem.  Didapatkan  dari  50  responden bahwa  rata-rata  pada  skala  daya  tarik  mendapatkan point  1.347,  kejelasan  mendapatkan  point  1.420, efisiensi mendapatkan point 1.320, ketepatan mendapatkan  point  1.095.  stimulasi  mendapatkan 1.125,  dan  kebaruan  mendapatkan  0.980  yang tergolong impresif positif.
Untuk pengujian set data benchmark menunjukan  bahwa  secara  grafik  dari  skala  rata-rata daya tarik  F-Learn 1.35, selanjutnya untuk skala rata- rata  kejelasan  F-Learn  1.42,  selanjutnya  untuk  skala rata-rata efisiensi F-Learn 1.32, selanjutnya untuk skala rata-rata  ketepatan  F-Learn  1.10,  selanjutnya  untuk skala rata-rata stimulasi F-Learn 1.13, dan selanjutnya untuk skala rata-rata kebaruan F-Learn 0.93. Kemudian pada UEQ benchmark didapatkan level user experience yang above average (di atas rata-rata) pada skala daya tarik,  kejelasan,  efisensi,  stimulasi,  kebaruan  dan ketepatan mendapatkan hasil below average (di bawah rata-rata).

## DAFTAR PUSTAKA
Abdillah, L. A. (2019). Analisis Aplikasi Mobile Transportasi Online Menggunakan User Experience Questionnaire pada Era Milenial dan Z. JURNAL SISTEM INFORMASI BISNIS , 9 (2),
204. https://doi.org/10.21456/vol9iss2pp204- 211 Aditya Pebrialdy Arswanda, M., Caesar, C.,
Sihombing, J., Prima Laia, A., & SIFO Mikroskil, J. (2022). EVALUASI PENGALAMAN MAHASISWA MIKROSKIL PADA APLIKASI ONEDRIVE MENGGUNAKAN UEQ. Julyxxxx , 23 , 1–5.
Azman Maricar, M., Pramana, D., Putri, D. R., & Korespondensi, P. (2021). EVALUASI PENGGUNAAN SLiMS PADA E-LIBRARY
DENGAN MENGGUNAKAN USER EXPERIENCE QUESTIONNAIRE (UEQ) . 8 (2),
319–328. https://doi.org/10.25126/jtiik.202184443
Gede Ngurah Kerta Sanjaya Arya Jelantik, S., Putu
Satwika, I., Nyoman Yudi Anggara, I., Sistem Informasi, J., Primakara, S., Teknik Informatika, J., & Tukad Badung No, J. (2019). Analisis Sistem Informasi Akademik STMIK Primakara Menggunakan User Experience Questionnaire (Arya Jelantik) Analisis Sistem Informasi Akademik STMIK Primakara Menggunakan User Experience Questionnaire (UEQ). Jutisi , 95–106. www.siska.primakara.
Halim, F., Sophya Hadini Marpaung, dan, Studi Sistem Informasi, P., & Mikroskil, S. (2020). Penilaian User Experience Fiori Bussim Menggunakan User Experience Questionaire (UEQ) Dan Pengaruhnya Terhadap Pemahaman Pembelajaran Matakuliah Sertifikasi SAP .
Luthfi, A., Adinegoro, T., Rokhmawati, R. I., & Muslimah Az-Zahra, H. (2018). Analisis Pengalaman Pengguna pada Website E- commerce Dengan Menggunakan Usability Testing dan User Experience Questionnaire (UEQ) (Studi pada Lazada.co.id, Blibli.com dan JD.id) (Vol. 2, Issue 11). http://j-ptiik.ub.ac.id Maharani, L. (2021). EasyChair Preprint Systematic Literature Review: Evaluate User Experience On the Ticket Booking Application Systematic Literature Review: Evaluate User Experience On the Ticket Booking Application . https://scholar.google.com.
Rasio Henim, S., & Perdana Sari, R. (2020). Jurnal
Politeknik Caltex Riau Evaluasi User Experience Sistem Informasi Akademik Mahasiswa pada Perguruan Tinggi Menggunakan User Experience Questionnaire. In Jurnal Komputer Terapan (Vol. 6, Issue 1). https://jurnal.pcr.ac.id/index.php/jkt/
Santoso, H. B., Schrepp, M., & Kartono, R. Y. (2016).
Measuring User Experience of the Student- Centered e-Learning Environment (Vol. 13). http://sumi.ucc.ie/ Schrepp, M. (2023). User Experience Questionnaire Handbook . www.ueq-online.org Umar, R., Zakilah Ifani, A., Irbati Ammatulloh, F., & Anggriani, M. (2020). METHOMIKA: Jurnal Manajemen Informatika & Komputerisasi Akuntansi ANALISIS SISTEM INFORMASI WEB LSP UAD MENGGUNAKAN USER EXPERIENCE QUESTIONNAIRE (UEQ) . 4 (2). https://doi.org/10.46880/jmika.Vol4No2.pp173- 178
Viski Izabal, S., Aknuranda, I., & Muslimah Az- Zahra, H. (2018). Evaluasi dan Perbaikan User Experience Menggunakan User Experience Questionnaire (UEQ) dan Focus Group Discussion (FGD) pada Situs Web FILKOM Apps Mahasiswa Fakultas Ilmu Komputer Universitas Brawijaya (Vol. 2, Issue 9). http://j- ptiik.ub.ac.id