## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i4.3263

## Evaluasi User Experience Platform Video Communication dengan User Experience Questionaire (UEQ)
Chatrine Sylvia * , Angela, Fandi Halim
Program Studi Sistem Informasi, STMIK Mikroskil, Medan, Indonesia Email: 1,* chatrine.sylvia@mikroskil.ac.id, 2 angela.woen@mikroskil.ac.id , 3 fandi@mikroskil.ac.id Email Penulis Korespondensi: chatrine.sylvia@mikroskil.ac.id
Abstrak− Kebijakan  belajar  dari  rumah  ( home-based  learning )  dan  bekerja  dari  rumah  ( work  from  home )  yang  telah berlangsung lebih dari 1 tahun sejak  bulan Maret tahun 2020 setelah ditetapkan oleh Menteri Pendidikan dan Kebudayaan (Kemendikbud) membawa banyak perubahan dalam cara bekerja dan belajar baik untuk sivitas akademik terutama mahasiswa dan dosen. Hal ini juga dirasakan oleh sivitas akademik pada STMIK Mikroskil terutama pada program studi Sistem Informasi yang mengubah pembelajaran dari luring menjadi daring dengan memanfaatkan dukungan berbagai platform aplikasi yang tersedia  seperti  Microsoft  Teams  dan  aplikasi  Zoom  khususnya  untuk  fitur video  conference sebagai  media  audio  visual. Dengan  digunakannya  kedua  platform  komunikasi  dalam  kegiatan  pembelajaran  daring,  maka  perlu  dilakukan  evaluasi pengalaman  penggunaannya  untuk  dijadikan  sebagai  informasi  pendukung  pengambilan  keputusan  guna  peningkatan pengelolaan pembelajaran dan kegiatan akademis di lingkungan perguruan tinggi. Namun, kegiatan evaluasi ini belum pernah dilakukan untuk kedua aplikasi yang digunakan. Penelitian ini ditujukan untuk mengukur pengalaman penggunaan Microsoft Teams dan aplikasi Zoom khususnya untuk dukungan video conference oleh para dosen dan mahasiswa pada Program Studi Sistem Informasi di STMIK Mikroskil. Pengukuran ini ditujukan untuk memprediksi dan membandingkan kemampuan elemen teknologi berupa pengalaman penggunaaan dari dua aplikasi tersebut melalui kajian analitis dengan penerapan metode User Experience Questionaire (UEQ). Target responden adalah para dosen dan mahasiswa khususnya pada program studi Sistem Informasi di lingkungan STMIK Mikroskil. Hasil penelitian menunjukkan bahwa perbandingan nilai means Microsoft Teams lebih unggul daripada aplikasi Zoom. Oleh karena itu, Microsoft Teams merupakan platform video conference dan komunikasi yang lebih dipilih mahasiswa dan sivitas akademik program studi Sistem Informasi STMIK Mikroskil dibandingkan dengan aplikasi Zoom.
Kata Kunci : UEQ; Pengalaman Pengguna; Komunikasi Video
Abstract −The learning from home (home-based learning) and working from home (work from home) policy which has been going on for more than 1 year since March 2020 after being set by the Minister of Education and Culture (Kemendikbud) has brought many changes in the way to work and study for the academic community, especially students and lecturers. This is also felt by the academic community at STMIK Mikroskil, especially in Information Systems study program who changes their learning  from  offline  to  online  by  utilize  various  available  application  platforms  such  as  Microsoft  Teams  and  the  Zoom application, especially for its video conferencing features as audio-visual media. With the use of both communication platforms in online learning activities, it is necessary to evaluate its user experience as information to support decision making in order to improve learning management and academic activities in university environment. However, this evaluation activity has never been carried out for the two applications that being used. This study aims to measure the user experience of Microsoft Teams and the Zoom application, especially for  its video conference to support the lecturers and students in Information Systems Study Program at STMIK Mikroskil. This measurement is intended to predict and compare the ability of technology elements in  the  form  of  user  experience  of  those  two  applications  through  an  analytical  study  by  applying  the  User  Experience Questionnaire (UEQ) method. The target respondents are lecturers and students, especially in the Information Systems study program in the STMIK Mikroskil environment. The results showed that the comparison of the Microsoft Teams means value was superior to the Zoom application. Therefore, Microsoft Teams is a video conferencing and communication platform that is preferred by students and academics of the STMIK Mikroskil Information Systems study program compared to the Zoom application.
Keywords : UEQ; User Experience ; Video Communications

## 1. PENDAHULUAN
Hingga saat ini, kebijakan belajar dari rumah ( Home-based learning ) telah berlangsung lebih dari 1 tahun sejak ditetapkan oleh Menteri Pendidikan dan Kebudayaan (Kemendikbud) bahwa dari tanggal 16 Maret 2020, untuk mencegah penyebaran virus Covid-19 pada satuan pendidikan. Dengan belajar dari rumah, berbagai metode telah diterapkan  untuk  tetap  mendukung  proses  pembelajaran  dimulai  dari  penggunaan messenger , video  call dan plaform pembelajaran online . STMIK Mikroskil sebagai institusi pendidikan di Medan, Sumatera Utara juga turut mengoptimalkan penggunaan teknologi mendukung kegiatan tri dharma khususnya pembelajaran, pembimbingan tugas akhir hingga kegiatan penelitian oleh mahasiswa dan dosen [1]. Dukungan teknologi juga diterapkan pada berbagai  kegiatan  seperti  kegiatan  kemahasiswaan  hingga  kegiatan  pengelolaan  operasional  untuk dapat  saling berkolaborasi dengan baik antara sesama karyawan atau dengan pihak mitra eksternal.
Teknologi  yang  dimanfaatkan  juga  beragam  baik  dengan  menggunakan  Microsoft  Teams  dan  Aplikasi Zoom khususnya untuk fitur video conference agar tetap dapat berkolaborasi walaupun sedang bekerja dan belajar dari rumah. Penggunaan kedua aplikasi ini telah berlangsung secara rutin dengan durasi selama lebih dari 1 tahun sejak kegiatan home-based learning dan work from home diterapkan. Namun penggunaan kedua aplikasi ini belum pernah dilakukan evaluasi pengalaman pengguna. Padahal dengan penggunaan yang rutin terutama untuk kegiatan

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i4.3263
akademik  sebagaimana  disebutkan  sebelumnya,  perlu  dibaren gi  dengan  evaluasi  terhadap  pengalaman penggunaan kedua aplikasi  ini. Dengan adanya pengukuran dan evaluasi, maka gambaran tentang sejauh mana interaksi antara pengguna dengan aplikasi bisa didapatkan, mengingat kedua aplikasi tersebut merupakan media utama  untuk  kolaborasi  dan  pembelajaran  hingga  saat  ini  khususnya  pada  Program  Studi  Sistem  Informasi. Informasi hasil pengukuran akan dapat dijadikan sebagai salah satu dasar bagi pihak pimpinan untuk mengambil kebijakan guna peningkatan pengelolaan pembelajaran dan kegiatan di lingkungan STMIK Mikroskil khususnya pada Program Studi Sistem Informasi.
Dalam  menilai  pengalaman  pengguna,  terdapat  berbagai  metode,  sebagai  contoh User  Experience Questionaire (UEQ)  dengan  perkembangan  menjadi  UEQ+, Modular  Evaluation  of  Key  Components  of  User Experience (meCUE) 2.0, Questionaire for Interaction Satisfaction (QUIS), Usability Metric for User Experience (UMUX)  dan Standarized  User  Experience  Percentile  Rank  Questionaire (SUPR-Q).  Namun  demikian,  pada penelitian  ini,  pengukuran  pengalaman  pengguna  akan  menggunakan  UEQ.  Hal  ini  dikarenakan  UEQ  telah menyediakan alat bantu analisis data yakni Data Analysis Tools versi 9 untuk pengukuran pengalaman pengguna yang  dilengkapi  dengan  data  set  yang  dari  21175  orang  dari  468  studi  terhadap  berbagai  produk  yang  pernah dilakukan.  Hal  ini mengingat  UEQ telah dilengkapi  dengan alat bantu untuk  melakukan evaluasi  perbandingan dua produk melalui uji statistik. UEQ juga menyediakan UEQ Compare Product Analysis versi 4 yang telah dapat membantu  membandingkan pengalaman pengguna dari dua produk yang berbeda dengan tetap menggunakan 6 skala [2, 3, 4].
Hingga  saat  ini,  UEQ  telah  digunakan  untuk  mengukur  pengalaman  pengguna  aplikasi  yang  diterapkan dalam berbagai lingkungan termasuk lingkungan pembelajaran secara elektronik [5, 6, 7, 8, 9].  Penelitian yang dilakukan  oleh  Santoso  tidak  hanya  melakukan  pengukuran  pengalaman  pengguna  pada student-centered  e- learning (SCELE)  sekaligus  menerjemahkan  UEQ  ke  dalam  bahasa  Indonesia  [5].  UEQ  juga  dapat  digunakan untuk mengukur pengalaman pengguna dengan ditambahkan skala fungsional tambahan seperti Shareable Content Reference  Model (SCORM)  [10].  UEQ  juga  bahkan  telah  digunakan  untuk  mengukur  platform  pembelajaran berbasis kurikulum seperti Ruang Guru [11] atau aplikasi untuk pembelajaran lainnya untuk kebutuhan sertifikasi pembelajaran  [12].  Selain  untuk  aplikasi  pembelajaran,  UEQ  juga  turut  digunakan  untuk  menilai  sistem pengelolaan administrasi akademik [13, 14]. Selain untuk pengukuran pengalaman pengguna dalam lingkungan pembelajaran secara elektronik, UEQ juga dapat digunakan untuk mengukur pengalaman pengguna pada bidang lain  seperti e-commerce [15,16,17,18].  UEQ  juga  digunakan  sebagai  instrumen  untuk  mengukur  pengalaman pengguna pada sistem yang diterapkan dalam dunia kesehatan [19, 20]. Selain pada dunia kesehatan, UEQ juga digunakan untuk mengukur pengalaman pengguna pada e-government [21].
Berdasarkan  pemaparan  di  atas,  maka  penelitian  ini  ditujukan  untuk  mengukur,  mengevaluasi  dan membandingkan  pengalaman  pengguna  dari  aplikasi  Microsoft  Teams  dan  aplikasi  Zoom  sebagai  media video conference dengan  menggunakan  metode  UEQ.  Penelitian  ini  sedikit  berbeda  dengan  penelitian-penelitian sebelumnya  dimana  penelitian  ini  akan  membandingkan  pengalaman  pengguna  dalam  penggunaan  Microsoft Teams dengan aplikasi Zoom. Sivitas akademik pada program studi Sistem Informasi STMIK Mikroskil Medan baik  dosen  dan  mahasiswa  yang  pernah  menggunakan  kedua  aplikasi  ini  akan  menjadi  target  responden  untuk kegiatan penelitian ini.

## 2. METODOLOGI PENELITIAN

## 2.1 User Experience Questionaire (UEQ)
User  Experience  Questionaire (UEQ)  menawarkan  peluang  untuk  mengevaluasi  pengalaman  pengguna  dari sebuah produk dengan cepat dan efisien. Tidak hanya untuk mengukur satu versi dari sebuah produk, UEQ dapat digunakan untuk melakukan pengukuran secara berkelanjutan untuk versi yang berbeda dari sebuah produk dan berperan  sebagai  kendali  kualitas  atas  produk  tersebut.  UEQ  dapat  membantu  evaluasi  pengalaman  pengguna dengan mempertimbangkan aspek pragmatis dan hedonis. Kedua aspek tersebut kemudian terbagi menjadi dari 6 skala dengan 26 item pertanyaan yang meliputi: attractiveness, perspicuity, efficiency, dependability, stimulation dan novelty . Attractiveness berkaitan  dengan  keseluruhan  kesan  terhadap  sebuah  produk. Perspicuity berkaitan dengan kemudahan untuk menjadi akrab atau terbiasa dengan aplikasi. Efficiency berkaitan dengan kemampuan pengguna untuk  menyelesaikan tugasnya tanpa usaha yang tidak perlu. Dependability berkaitan dengan adanya perasaan dari pengguna terhadap kendali atas penggunaan produk. Stimulation berkaitan dengan perasaan asyik dan termotivasi untuk menggunakan produk. Terakhir novely yang berkaitan dengan tingkat inovatif dan kreatif dari produk dan apakah dapat menarik minat dari pengguna [2, 3, 4].
Penjabaran lebih lengkap untuk 6 (enam) skala pada UEQ dan 26 item di dalamnya adalah sebagai berikut [3, 4]:
1. Attractiveness : skala ini berkaitan dengan keseluruhan kesan terhadap sebuah produk. skala ini meliputi item : attractive/unattractive, unlikeable/pleasing, unpleasant/pleasant, friendly/unfriendly, good/bad, annoying/enjoyable .

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i4.3263
2. Dependability berkaitan dengan adanya perasaan dari  pengguna terhadap kendali atas penggunaan produk. Skala  ini  meliputi item : secure/not  secure,  unpredictable/predictable,  meet  expectations/does  not  meet expectations, ostructive/supportive.
3. Efficiency berkaitan  dengan  kemampuan  pengguna  untuk  menyelesaikan  tugasnya  tanpa  usaha  yang  tidak perlu. Skala ini meliputi item : inefficient/ efficient, fast/slow, organized/ cluttered, impractical/practical.
4. Perspicuity berkaitan  dengan  kemudahan  untuk  menjadi  akrab  atau  terbiasa  dengan  aplikasi.  Skala  ini meliputi item : clear/confusing, not understandable/understandable, complicated/easy, easy to learn/difficult to learn.
5. Novely yang berkaitan dengan tingkat inovatif dan kreatif dari produk dan apakah dapat menarik minat dari pengguna.  Skala  ini  meliputi item : conservative/innovative,  creative/dull,  usual/leading  edge, inventive/conventional
6. Stimulation berkaitan dengan perasaan asyik dan termotivasi untuk menggunakan produk. skala ini meliputi item : motivating/demotivating, valuable/inferior, boring/exciting, not interesting/interesting.

## 2.2 Tahapan Penelitian
Penelitian ini akan dilaksanakan dengan tahapan kegiatan sebagai berikut:
Gambar 1. Tahapan Kegiatan Penelitian
Adapun Penjabaran lebih lengkap tentang kegiatan penelitian adalah sebagai berikut:
1. Observasi aplikasi
Pada  tahapan  ini,  Microsoft  Teams  dan  Zoom  akan  diobservasi  lebih  lanjut  untuk  mendapatkan  gambaran keseluruhan  fitur  yang  disediakan  khususnya  untuk  mendukung  kegiatan video  conference .  Kegiatan  ini penting untuk melengkapi deskripsi tentang kedua aplikasi di dalam laporan penelitian dan publikasi nantinya.
2. Tinjauan pustaka
Tahapan ini bertujuan untuk mencari lebih lanjut penelitian terkait dengan penggunaan UEQ khususnya untuk mengetahui lebih lanjut cara implementasi dan pengukuran pengalaman pengguna menggunakan UEQ
3. Penentuan populasi dan sampel
Melalui tahapan ini, besaran jumlah populasi dan target sampel pengguna yang akan menjadi responden untuk penelitian ini akan ditentukan berdasarkan jumlah mahasiswa dan dosen yang aktif di program studi Sistem Informasi STMIK Mikroskil pada periode semester genap  tahun ajaran 2020/2021. Penentuan populasi dan target  sampel  akan  menggunakan  rumus  Slovin.  Penentuan  jumlah  target  sampel  direncanakan  akan menggunakan confidence level 95% dan margin of error 10%.
4. Merancang dan mendistribusikan kuesioner
Kegiatan pada tahapan ini berfokus pada merancang dan menyebarkan kuesioner. Kuesioner akan dirancang dengan  menggunakan  26  atribut  untuk  mengukur  6  atribut  sebagaimana  yang  telah  disediakan  oleh  UEQ. Kuesioner direncanakan akan disebarkan dengan menggunakan Google Form.
5. Pengujian dengan UEQ
Melalui  tahapan  ini,  data  hasil  penyebaran  kuesioner  akan  dikumpulkan  dan  diolah  dengan  menggunakan Data Analysis Tools versi 9.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i4.3263
6. Analisis dan interpretasi hasil pengujian
Pada tahapan ini, hasil pengolahan data melalui Data Analysis Tools v ersi 9 akan dikaji dan diinterpretasikan untuk mendapatkan nilai pengalaman pengguna untuk 6 skala yang diuji termasuk hasil perbandingan nilai pengalaman pengguna untuk kedua aplikasi. Selain itu, pada kegiatan ini, beberapa usulan rekomendasi untuk peningkatan  pengalaman  pengunaan  kedua  aplikasi  juga  akan  turut  diberikan  dengan  mengacu  pada  hasil analisis dan pengujian yang telah dilakukan.
7. Penarikan kesimpulan
Tahapan ini akan melibatkan penarikan kesimpulan hasil pelaksanaan kegiatan penelitian.

## 3. HASIL DAN PEMBAHASAN
Untuk mendapatkan data penelitian maka perlu dilakukan penyebaran kuesioner kepada mahasiswa maupun dosen aktif yang pernah menggunakan Teams maupun Zoom. Penentuan sampel dari seluruh populasi dilakukan melalui perhitungan rumus Slovin. Populasi dari penelitian ini merupakan seluruh mahasiswa/i di Program Studi Sistem Informasi mulai dari stambuk 2017 – 2020 sejumlah 1322 orang. Sementara jumlah dosen aktif di Program Studi Sistem  Informasi  yaitu  sebanyak  31  orang.  Dari  total  populasi  mahasiswa  dan  dosen  aktif  tersebut  kemudian ditentukan sampel berdasarkan perhitungan rumus Slovin dengan confidence level 95% dan margin of error 10% yang kemudian didapatkan jumlah sampel minimal adalah 94. Kuesioner kemudian dirancang mengikuti 26 item pertanyaan  UEQ  dan  disebarkan  dengan  menggunakan  Google  Form.  Data  awal  pengisian  kuesioner  yang didapatkan  terdiri  dari  231  respon,  namun  setelah  diperiksa  untuk  isian  yang  ganda  (satu  responden  mengisi kuesioner lebih dari sekali) maka setelah diperiksa, terdapat 205 respon dengan isian yang valid. 205 respon yang ada  kemudian  dilanjutkan  ke  pengolahan  data  menggunakan Data  Analysis  Tools versi  9  sembari  memeriksa tingkat  inkonsistensi.  Hasilnya  didapatkan  total  185  respon  yang  dapat  diolah  yang  ditunjukkan  dengan  nilai critical <=2 pada Data Analysis Tools versi 9. Hasil analisis pengalaman pengguna kedua aplikasi menggunakan 185 respon yang ada kemudian diuraikan di bawah ini.

## 3.1 Hasil Analisis Pengalaman Penggunaan Aplikasi Microsoft Teams
Hasil analisis pengalaman penggunaan pada aplikasi Microsoft Teams menunjukkan bahwa responden memiliki impresi  yang  positif  terhadap  aplikasi  Microsoft  Teams.  Hal  ini  terlihat  dari  nilai mean dari  25  item  yang menunjukkan positive  evaluation (memiliki  nilai mean >  0,8)  dan  hanya  1  item  yang  menunjukkan neutral evaluation (memiliki nilai mean pada range -0,8 sampai dengan 0,8) dengan nilai mean sebesar 0,7. Berdasarkan mayoritas  item  pada  UEQ  yang  mendapatkan positive  evaluation juga  tentu  saja  akan  menghasilkan positive evaluation pada 6 skala UEQ. Hal ini dapat dilihat pada tabel berikut di bawah ini
Tabel 1. UEQ Scales ( mean dan variance ) untuk aplikasi Microsoft Teams UEQ Scales (Mean dan Variance) Attractiveness 1.446 0.99 Perspicuity 1.464 1.17 Efficiency 1.501 1.08 Dependability 1.327 0.94 Stimulation 1.249 1.24 Novelty 0.946 1.04
Dari tabel di atas dapat dilihat bahwa keseluruhan 6 skala UEQ yang ada bernilai > 0,8 dan mendapatkan positive evaluation dengan nilai varian pada 2 skala bernilai sangat baik dan 4 skala bernilai baik. Hal ini berarti bahwa  tingkat  keragaman  data  ( variance )  keseluruhan  6  skala  UEQ  yang  ada  berada  pada  nilai  yang  baik  dan dapat diterima. Dengan demikian, keseluruhan nilai ini memiliki interpretasi sebagai berikut:
a. Untuk  skala attractiveness yang  mendapatkan positive  evaluation dengan mean bernilai  1,446  bermakna responden merasa tertarik untuk menggunakan Microsoft Teams. Pengguna juga merasa senang dan menyukai aplikasi  Microsoft  Teams.  Penilaian  ini  dipengaruhi  oleh  rasa  nyaman,  menyenangkan  serta  ramah penggunaan yang ditunjukkan dengan nilai mean yang lebih besar dari 0,8.
b. Untuk  skala perspicuity yang  mendapatkan positive  evaluation dengan mean bernilai  1,464  bermakna responden  mudah  dan  jelas  dalam  penggunaan  aplikasi  Microsoft  Teams.  Penilaian  ini  dipengaruhi  oleh perasaan mudah dalam penggunaan, mudah dipahami dan kejelasan yang ditunjukkan dengan nilai mean yang lebih besar dari 0,8.
c. Untuk  skala efficiency yang  mendapatkan positive  evaluation dengan mean bernilai  1,501  yang  bermakna bahwa  responden  juga  merasa  bahwa  dengan  menggunakan  aplikasi  Microsoft  Teams,  mereka  dapat menyelesaikan tugas mereka dengan efisien. Penilaian ini dipengaruhi oleh impresi bahwa aplikasi Microsoft teams terorganisir, praktis untuk digunakan, tidak membingungkan sehingga dapat digunakan oleh pengguna dengan beragam latar belakang yang ditunjukkan dengan nilai mean yang lebih besar dari 0,8.
d. Untuk skala dependability yang mendapatkan positive evaluation dengan mean bernilai 1,327 menunjukkan bahwa responden merasa memiliki kendali terhadap interaksi selama menggunakan aplikasi Microsoft Teams.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i4.3263
Penilaian  ini  dipengaruhi  oleh  impresi  bahwa  aplikasi  Microsoft  Teams  ini  aman,  dapat  diprediksi  setiap tahapan  penggunaannya,  memenuhi  harapan  pengguna  dan  dapat  mendukung  pengguna  dalam  melakukan pekerjaannya yang ditunjukkan dengan nilai mean yang lebih besar dari 0,8.
e. Untuk  skala stimulation yang  mendapatkan positive  evaluation dengan mean bernilai  1,249  menunjukkan bahwa responden merasa termotivasi untuk menggunakan aplikasi Microsoft Teams. Penilaian ini dipengaruhi oleh  perasaan  tidak  bosan,  rasa  tertarik  dan  motivasi  saat  menggunaan  aplikasi  Microsoft  Teams  yang ditunjukkan dengan nilai mean lebih besar dari 0,8.
f. Untuk skala novelty yang mendapatkan positive evaluation dengan mean bernilai 0,946 menunjukkan bahwa responden  merasa  bahwa  aplikasi  Microsoft  Teams  itu  inovatif  dan  membuat  responden  berminat  untuk mencobanya. Penilaian ini dipengaruhi oleh impresi bahwa aplikasi Microsoft Teams yang inovatif, terdepan serta kreatif yang ditunjukkan dengan nilai mean lebih besar dari 0,8. Lebih lanjut, hasil pengujian ini dapat dilihat dalam bentuk grafik di bawah ini.
Gambar 2. Grafik UEQ Scales ( Mean ) untuk aplikasi Microsoft Teams
Setiap  bar  untuk  setiap  skala  memiliki  nilai mean yang  berada  pada  zona  hijau  yang  merepresentasikan impresi  responden  yang  positif  terkait  pengalaman  penggunaan  Microsoft  Teams.  Selain  itu,  pada  bar  yang mewakili setiap skala, terdapat garis yang berada pada  tengah bar yang mewakili nilai confidence interval pada setiap  skala  ( error  bar ). Error  bar yang  ditampilkan  untuk  aplikasi  Microsoft  Teams  menampilkan  nilai  yang rendah. Hal ini berarti jika penelitian ini direpetisi (diulang) dengan kondisi yang sama, maka kemungkinan hasil yang diperoleh akan kurang lebih sama dengan hasil berkisar pada rentang error yang ada. Adapun nilai error bar dapat dilihat pada kolom confidence dalam tabel berikut di bawah ini.
Tabel 2. Grafik UEQ Scales ( Mean ) untuk aplikasi Microsoft Teams
Confidence intervals (p=0.05) per scale Scale Mean Std. Dev. N Confidence Confidence interval Attractiveness 1.446 0.997 185 0.144 1.302 1.590 Perspicuity 1.464 1.080 185 0.156 1.308 1.619 Efficiency 1.501 1.039 185 0.150 1.352 1.651 Dependability 1.327 0.972 185 0.140 1.187 1.467 Stimulation 1.249 1.113 185 0.160 1.088 1.409 Novelty 0.946 1.020 185 0.147 0.799 1.093
Selanjutnya, UEQ menyediakan sebuah dataset sebagai tolok ukur pembanding ( benchmark ) untuk menilai baik atau tidaknya sebuah produk. Dataset merupakan sekumpulan hasil pengujian pengalaman pengguna terhadap aplikasi yang menggunakan UEQ sebagai alat bantu pengukurannya. Dataset yang ada akan memiliki benchmark interval untuk menentukan kategori dan interpretasi hasil perbandingan. Adapun nilai mean sebagai benchmark interval yang didapatkan dari Data Analysis Tools versi 9 dapat dilihat pada tabel berikut di bawah ini.
Tabel 3. Benchmark Interval untuk Data Analysis Tools versi 9 No Aspek Kategori Excellent Good Above Average Below Average Bad 1 Daya Tarik >1.84 >1.58 >1.18 >0.69 <0.69 2 Kejelasan >2 >1.73 >1.2 >0.72 < 0.72 3 Efisiensi >1.88 >1.5 >1.05 >0.6 < 0.6 4 Ketepatan >1.7 >1.48 >1.14 >0.78 < 0.78 5 Stimulasi >1.7 >1.35 >1 >0.5 < 0.5 6 Kebaruan >1.6 >1.12 >0.7 >0.16 < 0.16
Menggunakan benchmark interval yang ada maka penilaian UEQ untuk aplikasi Microsoft Teams dengan dataset UEQ untuk kegiatan benchmarking dapat dilihat pada tabel berikut di bawah ini.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i4.3263
Tabel 4. Benchmarking Skala UEQ untuk aplikasi Microsoft Teams Scale Mean Comparisson to benchmark Interpretation Attractiveness 1.45 Above average 25% of results better, 50% of results worse Perspicuity 1.46 Above average 25% of results better, 50% of results worse Efficiency 1.50 Good 10% of results better, 75% of results worse Dependability 1.33 Above average 25% of results better, 50% of results worse Stimulation 1.25 Above average 25% of results better, 50% of results worse Novelty 0.95 Above average 25% of results better, 50% of results worse
Berdasarkan  tabel  di  atas,  nilai  mean  untuk  evaluasi  pengalaman  penggunaan  untuk  aplikasi  Microsoft Teams  dibandingkan  dengan  benchmark  interval  pada  tabel  di  atas  yang  disediakan  dalam  dataset  pada Data Analysis Tools versi 9 dari UEQ didapatkan interpretasi sebagai berikut: 1. Untuk attractiveness ,  aplikasi  Microsoft  Teams  dikategorikan  sebagai  “ above  average ”.  Hal  ini  berarti dibandingkan dengan dataset yang ada, aplikasi Teams memiliki nilai mean yang lebih rendah dari 25% hasil evaluasi aplikasi pada dataset. Akan tetapi aplikasi Microsoft Teams memiliki nilai mean yang lebih tinggi dari 50% hasil evaluasi aplikasi yang ada pada dataset.
2. Untuk perspicuity ,  aplikasi  Microsoft  Teams  dikategorikan  sebagai  “ above  average ”.  Hal  ini  berarti dibandingkan dengan dataset yang ada, aplikasi Microsoft Teams memiliki nilai mean yang lebih rendah dari 25% hasil evaluasi aplikasi pada dataset. Akan tetapi aplikasi Teams memiliki nilai mean yang lebih tinggi dari 50% hasil evaluasi aplikasi yang ada pada dataset.
3. Untuk efficiency ,  aplikasi  Microsoft  Teams  dikategorikan  sebagai  “ good ”.  Hal  ini  berarti  dibandingkan dengan data set yang ada, aplikasi Microsoft Teams memiliki nilai mean yang lebih rendah dari 10% hasil evaluasi aplikasi pada dataset. Akan tetapi aplikasi Microsoft Teams memiliki nilai mean yang lebih tinggi dari 75% hasil evaluasi aplikasi yang ada pada dataset
4. Untuk dependability ,  aplikasi  Microsoft  Teams  dikategorikan  sebagai  “ above  average ”.  Hal  ini  berarti dibandingkan dengan dataset yang ada, aplikasi Microsoft Teams memiliki nilai mean yang lebih rendah dari 25%  hasil  evaluasi  aplikasi  pada  dataset.  Akan  tetapi  aplikasi  Microsoft  Teams  memiliki  nilai mean yang lebih tinggi dari 50% hasil evaluasi aplikasi yang ada pada dataset.
5. Untuk stimulation ,  aplikasi  Microsoft  Teams  dikategorikan  sebagai  “ above  average ”.  Hal  ini  berarti dibandingkan dengan dataset yang ada, aplikasi Microsoft Teams memiliki nilai mean yang lebih rendah dari 25%  hasil  evaluasi  aplikasi  pada  dataset.  Akan  tetapi  aplikasi  Microsoft  Teams  memiliki  nilai mean yang lebih tinggi dari 50% hasil evaluasi aplikasi yang ada pada dataset.
6. Untuk novelty , aplikasi Microsoft Teams dikategorikan sebagai “ above average ”. Hal ini berarti dibandingkan dengan dataset  yang  ada, aplikasi  Microsoft  Teams memiliki nilai mean yang lebih rendah dari  25% hasil evaluasi aplikasi pada dataset. Akan tetapi aplikasi Microsoft Teams memiliki nilai mean yang lebih tinggi dari 50% hasil evaluasi aplikasi yang ada pada dataset.
Setiap  nilai  perbandingan  ini  jika  dimodelkan  dalam  bentuk  grafis  dapat  dilihat  pada  gambar  berikut  di bawah ini.
Gambar 3. Grafis Benchmarking Skala UEQ untuk aplikasi Microsoft Teams
3.2 Hasil Analisis Pengalaman Penggunaan aplikasi Zoom
Hasil analisis pengalaman penggunaan pada aplikasi Zoom menunjukkan bahwa responden memiliki impresi yang positif terhadap aplikasi Zoom. Hal ini terlihat dari nilai mean dari 24 item yang menunjukkan positive evaluation (memiliki nilai mean > 0,8) dan hanya 2 item yang menunjukkan neutral evaluation (memiliki nilai mean pada range -0,8 sampai dengan 0,8). Adapun keragaman data ditunjukkan dengan variance yang berada pada nilai yang baik dan dapat diterima. Berdasarkan mayoritas item pada UEQ yang mendapatkan positive evaluation juga tentu saja akan menghasilkan positive evaluation pada 6 skala UEQ. Hal ini dapat dilihat pada gambar berikut di bawah ini
Tabel 5. UEQ Scales ( mean dan variance ) untuk aplikasi Zoom UEQ Scales (Mean dan Variance) Attractiveness 1.189 1.38

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i4.3263
UEQ Scales (Mean dan Variance) Perspicuity 1.219 1.55 Efficiency 1.268 1.48 Dependability 1.061 1.34 Stimulation 1.088 1.54 Novelty 0.801 1.38
Dari tabel di atas dapat dilihat bahwa keseluruhan 6 skala UEQ yang ada bernilai > 0,8 dan mendapatkan positive evaluation dengan nilai varian pada 2 skala bernilai sangat baik dan 4 skala bernilai baik. Hal ini berarti bahwa tingkat  keragaman data ( variance ), keseluruhan 6 skala UEQ yang ada berada pada nilai  yang baik  dan dapat diterima. Dengan demikian, keseluruhan nilai ini memiliki interpretasi sebagai berikut:
a. Untuk  skala attractiveness yang  mendapatkan positive  evaluation dengan mean bernilai  1,189  bermakna responden merasa tertarik untuk menggunakan Zoom. Pengguna juga merasa senang dan menyukai aplikasi Zoom. Penilaian ini dipengaruhi oleh rasa nyaman, menyenangkan serta ramah penggunaan yang ditunjukkan dengan nilai mean yang lebih besar dari 0,8.
b. Untuk  skala perspicuity yang  mendapatkan positive  evaluation dengan mean bernilai  1,219  bermakna responden mudah dan jelas dalam penggunaan aplikasi Zoom. Penilaian ini dipengaruhi oleh perasaan mudah dalam penggunaan, mudah dipahami dan kejelasan yang ditunjukkan dengan nilai mean yang lebih besar dari 0,8.
c. Untuk  skala efficiency yang  mendapatkan positive  evaluation dengan  mean  bernilai  1,268  yang  bermakna bahwa responden juga merasa bahwa dengan menggunakan aplikasi Zoom, mereka dapat menyelesaikan tugas mereka dengan efisien. Penilaian ini dipengaruhi oleh impresi bahwa aplikasi Zoom terorganisir, praktis untuk digunakan, tidak membingungkan sehingga dapat digunakan oleh pengguna dengan beragam latar belakang yang ditunjukkan dengan nilai mean yang lebih besar dari 0,8.
d. Untuk skala dependability yang mendapatkan positive evaluation dengan mean bernilai 1,061 menunjukkan bahwa responden merasa memiliki kendali terhadap interaksi selama menggunakan aplikasi Zoom. Penilaian ini dipengaruhi oleh impresi bahwa aplikasi Zoom ini aman, dapat diprediksi setiap tahapan penggunaannya, memenuhi  harapan  pengguna  dan  dapat  mendukung  pengguna  dalam  melakukan  pekerjaannya  yang ditunjukkan dengan nilai mean yang lebih besar dari 0,8.
e. Untuk  skala stimulation yang  mendapatkan positive  evaluation dengan mean bernilai  1,088  menunjukkan bahwa  responden  merasa  termotivasi  untuk  menggunakan  aplikasi  Zoom.  Penilaian  ini  dipengaruhi  oleh perasaan tidak bosan, rasa tertarik  dan motivasi  saat  menggunaan aplikasi  Zoom  yang ditunjukkan dengan nilai mean lebih besar dari 0,8.
f. Untuk skala novelty yang mendapatkan positive evaluation dengan mean bernilai 0,801.  Nilai yang berada pada batas zona hijau. Namun demikian hal ini menunjukkan bahwa responden merasa bahwa aplikasi Zoom itu  inovatif  dan  membuat  responden  berminat  untuk  mencobanya.  Penilaian  ini  dipengaruhi  oleh  impresi bahwa aplikasi  Zoom yang inovatif, terdepan serta kreatif yang ditunjukkan dengan nilai mean lebih besar dari 0,8.
Berikut di bawah ini merupakan grafik untuk hasil pengujian UEQ terhadap aplikasi Zoom.
Gambar 4. Grafik UEQ Scales ( Mean ) untuk aplikasi Zoom
Setiap bar pada gambar di atas menunjukkan setiap skala memiliki nilai mean yang berada pada zona hijau yang merepresentasikan impresi responden yang positif terkait pengalaman penggunaan Zoom meski skala novelty berada pada batas zona hijau. Selain itu, pada bar yang mewakili  setiap skala, terdapat  garis yang berada pada tengah bar yang mewakili nilai confidence interval pada setiap skala ( error bar ). Error bar yang ditampilkan untuk aplikasi Zoom menampilkan nilai yang rendah. Hal ini berarti jika penelitian ini direpetisi (diulang) dengan kondisi yang sama, maka kemungkinan hasil yang diperoleh akan kurang lebih sama dengan hasil berkisar pada rentang error yang ada. Adapun nilai error bar dapat dilihat pada kolom confidence dalam tabel berikut di bawah ini.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i4.3263
Tabel 6. Grafik UEQ Scales ( Mean ) untuk aplikasi Zoom
Confidence intervals (p=0.05) per scale Scale Mean Std. Dev. N Confidence Confidence interval Attractiveness   1.189 1.175 185 0.169 1.020 1.359 Perspicuity 1.219 1.245 185 0.179 1.040 1.398 Efficiency 1.268 1.215 185 0.175 1.092 1.443 Dependability   1.061 1.156 185 0.167 0.894 1.227 Stimulation 1.088 1.240 185 0.179 0.909 1.267 Novelty 0.801 1.174 185 0.169 0.632 0.970
Adapun  hasil  perbandingan  penilaian  UEQ  untuk  aplikasi  Zoom  dengan  dataset  UEQ  untuk  kegiatan benchmarking dapat dilihat pada tabel berikut di bawah ini.
Tabel 7. Benchmarking Skala UEQ untuk aplikasi Zoom Scale Mean Comparisson to benchmark Interpretation Attractiveness 1.19 Above average 25% of results better, 50% of results worse Perspicuity 1.22 Above average 25% of results better, 50% of results worse Efficiency 1.27 Above average 25% of results better, 50% of results worse Dependability 1.06 Below average 50% of results better, 25% of results worse Stimulation 1.09 Above average 25% of results better, 50% of results worse Novelty 0.80 Above average 25% of results better, 50% of results worse
Berdasarkan  tabel  di  atas,  nilai mean untuk  evaluasi  pengalaman  penggunaan  untuk  aplikasi  Zoom dibandingkan dengan benchmark interval pada tabel  di  atas yang disediakan dalam dataset  pada Data  Analysis Tools versi 9 dari UEQ didapatkan interpretasi sebagai berikut: 1. Untuk attractiveness , aplikasi  Zoom  dikategorikan sebagai  “ above  average ”. Hal  ini berarti dibandingkan dengan  dataset  yang  ada,  aplikasi  Zoom  memiliki  nilai mean yang  lebih  rendah  dari  25%  hasil  evaluasi aplikasi pada dataset. Akan tetapi aplikasi Zoom memiliki nilai mean yang lebih tinggi dari 50% hasil evaluasi aplikasi yang ada pada dataset.
2. Untuk perspicuity ,  aplikasi  Zoom  dikategorikan  sebagai  “ above  average ”.  Hal  ini  berarti  dibandingkan dengan  dataset  yang  ada,  aplikasi  Zoom  memiliki  nilai mean yang  lebih  rendah  dari  25%  hasil  evaluasi aplikasi pada dataset. Akan tetapi aplikasi Zoom memiliki nilai mean yang lebih tinggi dari 50% hasil evaluasi aplikasi yang ada pada dataset.
3. Untuk efficiency , aplikasi Zoom dikategorikan sebagai “ above average ”. Hal ini berarti dibandingkan dengan dataset yang ada, aplikasi Zoom memiliki nilai mean yang lebih rendah dari 25% hasil evaluasi aplikasi pada dataset.  Akan  tetapi  aplikasi  Zoom  memiliki  nilai mean yang  lebih  tinggi  dari  50%  hasil  evaluasi  aplikasi yang ada pada dataset.
4. Untuk dependability ,  aplikasi  Zoom  dikategorikan  sebagai  “ below  average ”.  Hal  ini  berarti  dibandingkan dengan  dataset  yang  ada,  aplikasi  Zoom  memiliki  nilai mean yang  lebih  rendah  dari  50%  hasil  evaluasi aplikasi pada dataset. Akan tetapi aplikasi Zoom memiliki nilai mean yang lebih tinggi dari hanya 25% hasil evaluasi aplikasi yang ada pada dataset.
5. Untuk stimulation ,  aplikasi  Zoom  dikategorikan  sebagai  “ above  average ”.  Hal  ini  berarti  dibandingkan dengan  dataset  yang  ada,  aplikasi  Zoom  memiliki  nilai mean yang  lebih  rendah  dari  25%  hasil  evaluasi aplikasi pada dataset. Akan tetapi aplikasi Zoom memiliki nilai mean yang lebih tinggi dari 50% hasil evaluasi aplikasi yang ada pada dataset.
6. Untuk novelty ,  walaupun  merupakan  skala  dengan  nilai  paling  rendah  untuk  aplikasi  Zoom,  namun  masih dikategorikan sebagai “ above average ”. Hal ini berarti dibandingkan dengan dataset yang ada, aplikasi Zoom memiliki  nilai mean yang  lebih rendah  dari  25% hasil  evaluasi  aplikasi  pada  dataset.  Akan  tetapi  aplikasi Zoom  memiliki nilai mean yang lebih tinggi  dari 50% hasil evaluasi  aplikasi  yang ada pada dataset  untuk aspek novelty.
Lebih jelasnya setiap nilai perbandingan ini jika dimodelkan dalam bentuk grafis dapat dilihat pada gambar berikut di bawah ini

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i4.3263

## 3.3 Hasil Analisis Perbandingan Aplikasi Microsoft Teams dan Aplikasi Zoom
Perbandingan pengalaman penggunaan antara kedua aplikasi yakni aplikasi Microsoft Teams dan aplikasi Zoom dilakukan dengan menggunakan UEQ Compare Products versi 4. Menggunakan alat bantu pengolahan data ini didapatkan hasil sebagai berikut.
Tabel 8. Perbandingan UEQ Scale Means aplikasi Microsoft Teams dan Zoom
Scale Data Set Teams Data Set Zoom Mean STD N Confidence Confidence interval Mean STD N Confidence Confidence interval Attractiveness 1.45 1.00 185 0.14 1.30 1.59 1.19 1.18 185 0.17 1.02 1.36 Perspicuity 1.46 1.08 185 0.16 1.31 1.62 1.22 1.24 185 0.18 1.04 1.40 Efficiency 1.50 1.04 185 0.15 1.35 1.65 1.27 1.22 185 0.18 1.09 1.44 Dependability 1.33 0.97 185 0.14 1.19 1.47 1.06 1.16 185 0.17 0.89 1.23 Stimulation 1.25 1.11 185 0.16 1.09 1.41 1.09 1.24 185 0.18 0.91 1.27 Novelty 0.95 1.02 185 0.15 0.80 1.09 0.80 1.17 185 0.17 0.63 0.97
Secara  grafis,  hasil  perbandingan  UEQ scale  means aplikasi  Microsoft  Teams  dan  aplikasi  Zoom  dapat dilihat pada gambar berikut di bawah ini.
Gambar 6. Perbandingan UEQ Scale Means aplikasi Microsoft Teams dan Zoom
Hasil  perbandingan  menunjukkan  bahwa  keseluruhan  6  skala  UEQ  menunjukkan  nilai mean yang  lebih tinggi  untuk  aplikasi  Teams dibandingkan dengan aplikasi  Zoom. Lebih  rinci, perbandingan setiap nilai means dari kedua aplikasi dapat dilihat pada tabel berikut di bawah ini.
Tabel 9. Perbandingan UEQ Quality aplikasi Microsoft Teams dan Zoom
UEQ Quality UEQ Scales Teams UEQ Scales Zoom Scale UEQ Scales Teams Mean Teams UEQ Scales Zoom Mean Zoom Attractiveness 1.45 1.19 Attractiveness 1.446 1.446 1.189 1.189 Pragmatic Quality 1.43 1.18 Perspicuity 1.464 1.431 1.219 1.182 Efficiency 1.501 1.268 Dependability 1.327 1.061 Hedonic Quality 1.10 0.94 Stimulation 1.249 1.097 1.088 0.945 Novelty 0.946 0.801

## 4. KESIMPULAN
Berdasarkan pembahasan terkait hasil pengujian terhadap pengalaman penggunaan atas aplikasi Microsoft Teams dan  Zoom  dengan  populasi  yang  berasal  dari  sivitas  akademik  pada  program  studi  Sistem  Informasi  STMIK Mikroskil Medan baik dosen dan mahasiswa, maka kesimpulan yang dapat diambil yaitu dari keseluruhan 6 skala yang  diukur  pada  Microsoft  Teams,  menunjukkan  bahwa  aplikasi  ini  memiliki  hasil benchmarking pada  skala efficiency yang  lebih  unggul  dibandingkan  skala  lainnya.  Sementara  pada  aplikasi  Zoom,  menunjukkan  bahwa aplikasi ini memiliki hasil benchmarking pada skala dependability yang lebih rendah dibandingkan skala lainnya. Jika kedua aplikasi dibandingkan, maka hasilnya menunjukkan bahwa aplikasi Microsoft Teams ini lebih unggul digunakan untuk kegiatan video conference dan komunikasi dibandingkan aplikasi Zoom. Hal ini ditunjukkan oleh nilai ke 6 skala dari Microsoft Teams yang lebih tinggi dibandingkan dengan aplikasi Zoom. Mengingat penelitian yang telah dilakukan masih memanfaatkan 6 skala UEQ yang telah disediakan tapi belum melibatkan pengukuran KPI  ( key  performance  Index )  di  dalamnya.  Maka  untuk  penelitian  selanjutnya,  diharapkan  dapat  dilanjutkan dengan melakukan pengukuran sembari mempertimbangkan KPI (dengan bobot yang ditentukan sesuai  dengan persepsi masing-masing responden. Selain itu, penelitian dengan melibatkan pengukuran KPI juga dapat dilakukan

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i4.3263
menggunakan UEQ+ sebagai update dari metode UEQ yang mengizinkan peneliti untuk melakukan kustomisasi terhadap variabel pengalaman pengguna yang hendak diukur.

## REFERENCES
[1] Tribunnews. 2020, “STMIK–STIE Mikroskil Medan Optimalkan Pembelajaran e-Learning di Tengah Pandemi Virus Covid-19”. https://medan.tribunnews.com/2020/03/16/stmikstie-mikroskil-medan-optimalkan-pembelajaran-e-learning- di-tengah-pandemi-virus-covid-19.  [last accessed 15 april 2021]
[2] Schrepp, M., Hinderks, A., & Thomaschewski, J. (2014). “Applying the user experience questionnaire (UEQ) in different evaluation scenarios”. In International Conference of Design, User Experience, and Usability (pp. 383-392). Springer, Cham.
[3] Schrepp, M. (2019). “User experience questionnaire handbook. All you need to know to apply the UEQ successfully in your project version 8 (31.12.2019)”. https://www.ueq-online.org/. [last accessed 16 april 2021].
[4] Schrepp,  M.,  Hinderks,  A.,  &  Thomaschewski,  J.  (2017).  “Construction  of  a  Benchmark  for  the  User  Experience Questionnaire (UEQ)”. IJIMAI, 4(4), 40-44.
[5] Santoso, H. B., Schrepp, M., Isal, R., Utomo, A. Y., & Priyogi, B. (2016). “Measuring user experience of the student- centered e-learning environment”. Journal of Educators Online, 13(1), 58-79.
[6] Fajar, A. N. (2019). “E-learning implementation using user experience questionnaire”. In Journal of Physics: Conference Series (Vol. 1367, No. 1, p. 012015). IOP Publishing.
[7] Abubakari,  M.  S.,  &  Hungilo,  G.  (2021).  “Evaluating  an  e-Learning  Platform  at  Graduate  School  Based  on  User Experience  Evaluation  Technique”.  In  Journal  of  Physics:  Conference  Series  (Vol.  1737,  No.  1,  p.  012019).  IOP Publishing.
[8] Wulandari,  I.  R.,  &  Farida,  L.  D.  (2018).  “Pengukuran  user  experience  pada  e-learning  di  lingkungan  universitas menggunakan User Experience Questionnare (UEQ)”. jurnal mantik penusa, 2(2).
[9] Sutadji,  E.,  Hidayat,  W.  N.,  Patmanthara,  S.,  Sulton,  S.,  Jabari,  N.  A.  M.,  &  Irsyad,  M.  (2020).  “Measuring  user experience on SIPEJAR as e-learning of Universitas Negeri Malang”. In IOP Conference Series: Materials Science and Engineering (Vol. 732, No. 1, p. 012116). IOP Publishing.
[10]  Laksono, M. Q., Kusumawardani, S. S., & Ferdiana, R. (2020). “Evaluating User Experience on E-learning using the User Experience Questionnaire (UEQ) with Additional Functional Scale”.
[11]  Kristanto,  S.  P.,  Hakim,  L.,  &  Hariyati,  F.  (2020).  “Usability  Evaluation  In  Ruang  Guru  Applications  Using  User Experience  Questionnaire  (UEQ):  Usability  Evaluation  In  Ruang  Guru  Applications  Using  User  Experience Questionnaire (UEQ)”. Jurnal Mantik, 4(1), 181-186.
[12]  Halim,  F.,  Handoko,  H.,  &  Marpaung,  S.  H.  (2020).  “Penilaian  User  Experience  Fiori  Bussim  Menggunakan  User Experience  Questionaire  (UEQ)  Dan  Pengaruhnya Terhadap  Pemahaman  Pembelajaran  Matakuliah  Sertifikasi  SAP”. Sebatik, 24(1), 102-112.
[13]  Nurdin, M. (2020). “Mengukur User Experience Sistem Informasi Akademik”. INFOTECH journal, 6(1), 7-10.
[14]  Henim, S. R., & Sari, R. P. (2020). “Evaluasi User Experience Sistem Informasi Akademik Mahasiswa pada Perguruan Tinggi Menggunakan User Experience Questionnaire”. Jurnal Komputer Terapan, 6(1), 69-78.
[15]  Lukita, K. A., Galinium, M., & Purnama, J. (2018). “User Experience Analysis of an E-Commerce Website Using User Experience Questionnaire (UEQ) Framework”. In Prosiding Seminar Nasional Pakar (pp. 347-355).
[16]  Novitasari, S. F., Mursityo, Y. T., & Rusydi, A. N. (2020). “Evaluasi Pengalaman Pengguna Pada E-Commerce Sociolla. Com Menggunakan Usability Testing dan User Experience Questionnaire (UEQ)”. Jurnal Sistem Informasi, Teknologi Informasi, dan Edukasi Sistem Informasi, 1(2), 57-63.
[17]  Abdillah,  L.  A.  (2020).  “FinTech  E-Commerce  Payment  Application  User  Experience  Analysis  during  COVID-19 Pandemic”. arXiv preprint arXiv:2012.07750.
[18]  Intanny,  V.  A.,  Widiyastuti,  I.,  &  Perdani,  M.  D.  K.  (2018).  “Pengukuran  Kebergunaan  dan  Pengalaman  Pengguna Marketplace Jogjaplaza. id dengan Metode UEQ dan USE Questionnaire”. Jurnal Pekommas, 3(2), 117-26.
[19]  Wahab, N. A., Sahabudin, N. M., Osman, A., & Ibrahim, N. (2020). “Evaluating the User Experience of a Web-Based Child Health Record System”. Journal of Computing Research and Innovation, 5(3), 17-24.
[20]  Heshmati, A., Moftian, N., Rezaei-Hachesu, P., & Samad-Soltani, T. (2020). “Simple and Efficient Measurement of the User Experience in Health Information Systems: A Persian Version”. Iranian Journal of Public Health, 50(1), 217-218.
[21]  Putro,  S.,  Kusrini,  K.,  &  Kurniawan,  M.  P.  (2020).  “Penerapan  Metode  UEQ  dan  Cooperative  Evaluation  untuk Mengevaluasi User Experience Lapor Bantul”. Creative Information Technology Journal, 6(1), 27-37.