## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v6i2.3878

## Pengukuran Pengalaman Pengguna Aplikasi Platform Pembelajaran dan Konferensi Video Menggunakan Framework UEQ+
Angela * , Fandi Halim, Chatrine Sylvia
1 Fakultas Informatika, Program Studi Sistem Informasi, Universitas Mikroskil, Medan, Indonesia Email: 1,* angela.woen@mikroskil.ac.id, 2 fandi@mikroskil.ac.id, 3 chatrine.sylvia@mikroskil.ac.id Email Penulis Korespondensi: angela.woen@mikroskil.ac.id
Abstrak− Penelitian ini  bertujuan  untuk  mengukur dan  mengevaluasi  pengalaman  pengguna  dari  aplikasi  Microsoft Teams sebagai platform pembelajaran dan video conference dengan menggunakan framework UEQ+, yang merupakan perkembangan dari metode UEQ. Melalui framework UEQ+, kuesioner dapat dirancang dengan menyesuaikan variabel pengalaman pengguna sesuai aplikasi yang hendak diukur sehingga diharapkan hasil penelitian menjadi lebih akurat dan relevan. Skala pengalaman pengguna  yang  diukur  pada  kuesioner  ini  meliputi:  efisiensi,  kejelasan,  tingkat  keandalan,  tingkat  kepercayaan,  kegunaan, penggunaan secara intuitif, tingkat kepercayaan terhadap konten, kualitas konten, dan kejelasan tampilan. Setelah kuesioner disebar, diperoleh sebanyak 149 data yang dapat diolah menggunakan alat bantu pengolahan data yang sudah disediakan oleh UEQ+ yang bernama Data Analysis Tools. Kesimpulannya, responden memiliki impresi yang positif terhadap Microsoft Teams sebagai  aplikasi  video  conference  dan  platform  pembelajaran.  Skala  terpenting  yang  merepresentasikan  kualitas  Microsoft Teams adalah kegunaan, kejelasan tampilan, tingkat kepercayaan terhadap konten, dan kualitas konten.
Kata Kunci: Pengalaman Pengguna; Platform Pembelajaran; Konferensi Video; Microsoft Teams; UEQ+
Abstract− This study aims to measure and evaluate the user experience of the Microsoft Teams application as a learning and video conferencing platform using the UEQ+ framework, which is the development of the UEQ method. Through the UEQ+ framework,  questionnaires  can  be  designed  by  customizing  user  experience  variables  according  to  the  application  to  be measured, thus the research results are expected to be more accurate and relevant. The scale of user experience measured in this questionnaire includes: efficiency, perspicuity, dependability, trust, usefulness, intuitive use, trustworthiness of content, quality of content, and clarity. After the questionnaires were distributed, 149 data were obtained which could be processed using  data  processing  tools  which  being  provided  by  UEQ+  called  Data  Analysis  Tools.  In  conclusion,  respondents  have positive impression of Microsoft Teams as a video conferencing application and learning platform. The most important scale that represents the quality of Microsoft Teams is usefulness, clarity, trustworthiness of content, and quality of content.
Keywords : User Experience; Learning Platform; Video Conference; Microsoft Teams; UEQ+

## 1. PENDAHULUAN
Hingga saat ini kebijakan belajar dari rumah ( home-based learning ) masih dijalankan oleh satuan pendidikan untuk menghindari  penyebaran  virus  Covid-19  di  Indonesia.  Walaupun  telah  diizinkan  untuk  melakukan  tatap  muka terbatas,  namun  pembelajaran  daring  masih  merupakan  prioritas  bagi  satuan  pendidikan  di  wilayah  Indonesia dengan  tingkat  penyebaran  virus  yang  tinggi.  Pembelajaran  daring  sebagai  bagian  dari  kebijakan  belajar  dari rumah, menuntut  setiap satuan pendidikan untuk memanfaatkan teknologi  yang bervariasi agar dapat  mencapai tujuan  proses  pembelajaran  daring,  mulai  dari  menggunakan group  chat,  video  conference, dan  platform pembelajaran online. Sebagai  salah  satu  satuan  unit  pendidikan,  Universitas  Mikroskil  sebagai  salah  satu perguruan tinggi di Medan, Sumatera Utara juga telah ikut melakukan hal yang sama dengan menerapkan ragam teknologi  untuk  mendukung kegiatan pembelajaran secara daring, bahkan sejak sebelum pandemi berlangsung. Penggunaan teknologi secara masif kemudian terus ditingkatkan secara optimal sejak pandemi berlangsung untuk berbagai kegiatan, mulai dari kegiatan perkuliahan online , kegiatan penelitian dan pembimbingan tugas akhir [1]. Teknologi juga menjadi  prioritas dalam penyelenggaraan kegiatan kemahasiswaan dan kegiatan kolaborasi  lain yang melibatkan pihak internal maupun pihak eksternal dari lingkungan Universitas.
Saat ini terdapat beberapa platform teknologi yang digunakan di lingkungan Universitas Mikroskil untuk kebutuhan  belajar  maupun  bekerja  seperti  aplikasi  Microsoft  Teams  dan  Zoom.  Sebelumnya  telah  dilakukan penelitian  untuk  mengukur  dan  membandingkan  pengalaman  pengguna  antara  aplikasi  Microsoft  Teams  dan aplikasi Zoom. Hasil penelitian menunjukkan bahwa pengalaman pengguna aplikasi Microsoft Teams lebih unggul daripada Zoom, sehingga Microsoft Teams merupakan platform yang lebih diminati oleh mahasiswa dan sivitas akademik Mikroskil [2]. Penggunaan Microsoft Teams telah berlangsung secara rutin dengan durasi penggunaan selama lebih dari 1,5 tahun sejak kebijakan home-based learning dan work from home diterapkan sejak pandemi berlangsung. Suatu aplikasi dapat dikatakan baik dan berkualitas apabila mampu memenuhi kebutuhan pengguna sehingga akan menimbulkan kepuasan pengguna. Salah satu cara untuk mengetahui kebutuhan pengguna adalah melalui  pengalaman  pengguna[3].  Dengan  demikian,  pengukuran  dan  evaluasi  terhadap  pengalaman  pengguna perlu dilakukan. Dari hasil pengukuran, dapat diperoleh gambaran tentang sejauh mana interaksi antara pengguna dengan aplikasi. Hal ini dapat menjadi dasar bagi pihak pimpinan untuk mengambil kebijakan terkait penggunaan aplikasi yang saat ini telah menjadi salah satu media utama dalam penyelenggaraan pembelajaran secara daring. Hal ini penting guna peningkatan pengelolaan pembelajaran dan kegiatan di lingkungan Universitas Mikroskil.
Pengalaman  pengguna  dapat  diukur  dengan  menggunakan  berbagai  metode,  seperti User  Experience Questionnaire (UEQ)  dengan  perkembangan  menjadi  UEQ+, Modular Evaluation  of  Key  Components  of  User

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v6i2.3878
Experience (meCUE)  2.0, Questionnaire  for  Interaction  Satisfaction (QUIS), Usability  Metric  for  User Experience (UMUX) dan Standarized User Experience Percentile Rank Questionnaire (SUPR-Q). Sebelumnya pengalaman pengguna Microsoft Teams sudah pernah diteliti dengan menggunakan metode UEQ dan diperoleh hasil pengukuran berdasarkan 6 skala, yaitu attractiveness, perspicuity, efficiency, dependability, stimulation dan novelty [2],  [4] . Pada  penelitian  ini,  pengukuran pengalaman  pengguna  akan  dilanjutkan  dengan menggunakan metode UEQ+, yang merupakan update dari metode UEQ. Hal ini penting mengingat dalam beberapa skenario, masih  terdapat  faktor-faktor  orisinil  lain  yang  belum  dapat  diukur  melalui  metode  UEQ  yang  juga  memiliki relevansi yang tinggi terhadap pengalaman pengguna [5]. Ada pula aspek-aspek yang hanya relevan untuk produk khusus dan akan menjadi kurang cocok jika ditambahkan pada kuesioner UEQ yang sifatnya umum untuk semua produk, seperti aspek haptics (perasaan pengguna saat menyentuh suatu produk) akan menjadi relevan untuk jenis peralatan  rumah  tangga  tertentu,  tetapi  tidak  relevan  untuk  mengukur  jejaring  sosial  atau  aplikasi  bisnis  [5]. Framework UEQ+ sebaiknya digunakan jika suatu produk direncanakan untuk dievaluasi berkali-kali, misalnya untuk mengetahui apakah produk mengalami peningkatan seiring berjalannya waktu. Melalui framework UEQ+, peneliti  diberi  fleksibilitas  dalam  merancang  kuesioner  melalui  kustomisasi  terhadap  variabel  pengalaman pengguna  yang  telah  disediakan  dan  dapat  diukur  dengan  disesuaikan  terhadap  aplikasi  yang  hendak  ditinjau. UEQ+  juga  telah  menyediakan  rekomendasi  terhadap  variabel  yang  diukur  untuk  kustomisasi  yang  hendak dilakukan pada kuesioner [5]. Oleh karena itu, diharapkan hasil penelitian dapat menjadi lebih akurat dan relevan.
Walaupun metode UEQ telah banyak digunakan untuk mengukur pengalaman pengguna berbagai aplikasi termasuk  pembelajaran  elektronik  [6]–[11],  sistem  pengelolaan  administrasi  akademik  [12],  [13], e-commerce [14]–[16] , aplikasi  kesehatan  [17],  [18],  dan e-government [19] , hingga  saat  ini  masih  sedikit  sekali  penelitian yang  memanfaatkan  UEQ+  karena framework ini  masih  tergolong  baru.  Beberapa  penelitian  yang  telah menggunakan UEQ+ di  antaranya adalah penelitian yang mengukur pengalaman pengguna dari voice assistant [20], [21] , aplikasi ujian mobile [22] , dan website universitas [23].
Berdasarkan  pemaparan  di  atas,  maka  penelitian  ini  ditujukan  untuk  mengukur  dan  mengevaluasi pengalaman pengguna dari aplikasi Microsoft Teams sebagai platform pembelajaran dan video conference dengan menggunakan metode UEQ+, di mana target respondennya adalah sivitas akademik baik dosen maupun mahasiswa pada program studi Sistem Informasi Universitas Mikroskil Medan.

## 2. METODOLOGI PENELITIAN
2.1 Tahapan Penelitian
Kegiatan dalam penelitian ini akan dilaksanakan dengan tahapan sebagai berikut.
Gambar 1. Tahapan Kegiatan Penelitian
Penjelasan kegiatan pada masing-masing tahapan penelitian adalah sebagai berikut:
a. Observasi aplikasi
Penelitian  ini  diawali  dengan  mengobservasi  aplikasi  Microsoft  Teams  untuk  memperoleh  gambaran keseluruhan fitur yang disediakan khususnya sebagai platform pembelajaran dan video conference .
b. Tinjauan pustaka
Kegiatan  berikutnya  adalah  mencari  penelitian  terkait  dengan  pengukuran  pengalaman  pengguna,  terutama mengenai cara implementasi dan pengukuran pengalaman pengguna menggunakan UEQ+.
c. Penentuan populasi dan sampel
Pada  kegiatan  ini,  dicari  jumlah  populasi  dan  target  sampel  pengguna  yang  akan  menjadi  responden  untuk penelitian ini, di mana responden ditentukan berdasarkan jumlah mahasiswa dan dosen yang aktif di program

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v6i2.3878
studi  Sistem  Informasi  Universitas  Mikroskil  pada  semester  Ganjil  T.A.  2021/2022.  Kemudian,  dari  total populasi mahasiswa dan dosen aktif tersebut ditentukan sampel berdasarkan perhitungan rumus Slovin.
d. Merancang dan mendistribusikan kuesioner
Fokus  pada  tahapaan  kegiatan  ini  adalah  untuk  merancang  dan  mendistribusikan  kuesioner  berdasarkan framework yang  telah  disediakan  oleh  UEQ+.  Kuesioner  dirancang  dengan  memilih  atribut-atribut  yang disesuaikan dengan kategori aplikasi yang diukur.
e. Pengukuran dengan UEQ+
Selanjutnya,  kuesioner  yang  telah  disebar  akan  dikumpulkan  kembali  dan  hasil  datanya  diolah  dengan menggunakan Data Analysis Tools UEQ+ yang telah tersedia dalam bentuk Microsoft Excel.
f. Analisis dan interpretasi hasil pengukuran Hasil data yang telah diolah menggunakan Data Analysis Tools UEQ+ akan dikaji dan diinterpretasikan untuk mendapatkan nilai pengalaman pengguna. Selain itu, akan didapatkan pula beberapa usulan rekomendasi untuk peningkatan pengalaman penguna dengan mengacu pada hasil analisis dan pengukuran yang telah dilakukan.
g. Penarikan kesimpulan Terakhir, dilakukan penarikan kesimpulan terhadap hasil pelaksanaan kegiatan penelitian.

## 2.2 Framework UEQ+
UEQ+  merupakan  perluasan  modular  dari  metode User  Experience  Questionnaire (UEQ).  UEQ  merupakan kuesioner  yang  banyak  digunakan  untuk  mengukur  pengalaman  pengguna  berdasarkan  6  skala,  yaitu attractiveness, perspicuity, efficiency, dependability, stimulation dan novelty. Namun, dalam penerapannya pada beberapa  skenario,  terdapat  faktor-faktor  yang  relevan  dengan  pengalaman  pengguna  yang  tidak  terukur menggunakan UEQ. Kuesioner tersebut juga tidak dapat begitu saja ditambahkan lebih banyak skala, karena akan meningkatkan upaya responden untuk mengisi  kuesioner dan tidak semua aspek  pengalaman pengguna relevan untuk  semua  produk.  Misalnya,  aspek haptics yang  membahas  tentang  bagaimana  perasaan  pengguna  saat menyentuh suatu produk akan menjadi relevan untuk jenis peralatan rumah tangga tertentu, tetapi tidak relevan untuk mengukur jejaring sosial atau aplikasi bisnis [5].
Framework UEQ+ mencoba mengatasi masalah ini dengan pendekatan modular. UEQ+ berisi daftar skala pengalaman pengguna yang lebih banyak dan peneliti dapat memilih skala yang paling relevan dari daftar tersebut untuk  mengevaluasi  produk  yang  ingin  diselidiki.  Dengan  kata  lain,  UEQ+  bukanlah  kuesioner  pengalaman pengguna, namun merupakan alat untuk membangun kuesioner konkret yang disesuaikan dengan skenario evaluasi khusus.  Meskipun  demikian,  pendekatan  ini  juga  mengharuskan  peneliti  mengeluarkan  usaha  lebih  untuk merancang kuesioner sebelum bisa melakukan evaluasi, serta analisis data dan interpretasi hasil menjadi lebih sulit [5].
Dari sekian banyaknya skala yang disediakan pada UEQ+, untuk menentukan skala yang perlu dimasukkan dalam kuesioner, aspek pengalaman pengguna yang penting bagi pengguna produk jelas harus diperhatikan. Telah tersedia rekomendasi terkait aspek mana yang relevan yang dapat diukur tergantung pada jenis produk dan dapat diturunkan dari penelitian terdahulu [5].
Untuk  kategori  produk video  conference dan  platform  pembelajaran,  skala  yang  direkomendasikan meliputi:  efisiensi  ( efficiency ),  kejelasan  ( perspicuity ),  tingkat  keandalan  ( dependability ),  tingkat  kepercayaan ( trust ),  kegunaan  ( usefulness ),  penggunaan  secara  intuitif  ( intuitive  use ),  tingkat  kepercayaan  terhadap  konten ( trustworthiness  of  content ),  kualitas  konten  ( quality  of  content ),  dan  kejelasan  tampilan  ( clarity ).  Adapun deskripsi lebih lanjut tentang setiap skala yang diukur adalah: [5]
a. Efficiency :  berkaitan  dengan  impresi  secara  subjektif  tentang  seberapa  baik  pengguna  dalam  mencapai tujuannya melalui penggunaan produk dengan usaha yang minimal. Skala ini juga berkaitan dengan seberapa baik produk dapat merespon dengan cepat terhadap aksi yang dilakukan oleh pengguna. Selain itu, skala ini juga mengandung impresi  tentang apakah pengguna tidak dipaksa untuk  memasukkan informasi  yang tidak diperlukan atau melakukan klik yang tidak penting untuk  melakukan jenis pekerjaan tertentu. Adapun item pada effiency pada UEQ+ meliputi: slow/fast, inefficient/efficient, impractical/practical dan organized/cluttered . Skala ini relevan dengan produk yang sering digunakan untuk mencapai tujuan pekerjaan tertentu
b. Perspicuity : berkaitan dengan impresi subjektif terkait dengan kemudahan untuk memahami dan mempelajari tentang cari menggunakan produk yang diukur. Skala ini juga merupakan salah satu dari skala yang terdapat pada  UEQ  sebelumnya.  Adapun  item  untuk perspicuity pada  UEQ+  meliputi: not  understandable/ understandable,  difficult  to  learn/easy  to  learn,  complicated/easy, dan clear / confusing .  Skala  ini  dapat diterapkan  untuk  mengukur  semua  jenis  produk  yang  memiliki  tingkat  kompleksitas  tertentu  dan  sering digunakan.
c. Dependability : berkaitan dengan impresi subjektif bahwa produk memberi respon yang dapat diprediksi dan konsisten  terhadap  input  dan  perintah  yang  diberikan  oleh  pengguna  saat  menggunakan  produk.  Skala  ini merepresentasikan apakah pengguna memiliki kendali sepenuhnya terhadap interaksi dengan produk. Adapun item  pada dependability untuk  UEQ+  meliputi: unpredictable/predictable,  obstructive/supportive,  not secure/secure,  does  not  meet  expectations/meet  expectations .  Skala  ini  relevan  untuk  produk  yang  sering digunakan untuk mencapai tujuan pekerjaan tertentu.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v6i2.3878
d. Trust : berkaitan dengan impresi dari pengguna bahwa data yang dimasukkan ke dalam produk berada dalam kondisi aman dan tidak disalahgunakan untuk memberikan kerugian kepada pengguna. Item trust pada skala UEQ+  meliputi: insecure/secure,  untrustworthy/  trustworthy,  unreliable/reliable,  not-transparent/ transparent .  Skala  ini  terutama  penting  untuk  produk  yang  berkaitan  dengan  data  pribadi  (jejaring  sosial, messenger , dan sejenisnya) atau aspek komersial (aplikasi perbankan, web shop dan sejenisnya).
e. Usefulness :  berkaitan  dengan  impresi  dari  pengguna  tentang  apakah  menggunakan  produk  memberikan manfaat. Apakah membuat pengguna menjadi lebih mudah dalam mencapai tujuannya, menghemat waktu dan meningkatkan  produktivitas  personal.  Item usefulness pada  skala  UEQ+  meliputi: useless/useful,  not helpful/helpful, not beneficial/beneficial, not rewarding/rewarding. Skala ini relevan untuk semua jenis produk yang digunakan untuk mencapai tujuan tertentu.
f. Intuitive Use : berkaitan dengan impresi dari pengguna bahwa mereka dapat menggunakan produk tanpa perlu mengikuti  pelatihan,  instruksi  atau  bantuan  apapun  dari  orang  lain.  Item intuitive  use pada  skala  UEQ+ meliputi: difficult/easy,  illogical/logical,  not  plausible/plausible,  inconclusive/conclusive. Skala  ini  relevan untuk hamper semua jenis produk. Walaupun begitu skala ini mungkin kurang penting untuk produk dengan tingkat kompleksitas yang tinggi.
g. Trustworthiness of Content : berkaitan dengan impresi dari pengguna bahwa informasi yang disediakan oleh produk  berkualitas  baik  dan  dapat  dipercaya  (reliabel).  Pengguna  merasa  percaya  terhadap  informasi  yang tersedia  oleh  produk.  Item trustworthiness  of  content dalam  UEQ+  meliputi: useless/useful, implausible/plausible, untrustworthy/trustworthy, inaccurate/accurate. Skala ini sangat penting untuk website dan juga dapat diterapkan pada produk yang menawarkan sejumlah konten kepada pengguna yang mungkin mendukung  pengguna  dalam  mengambil  suatu  keputusan.  Akan  tetapi  skala  ini  kurang  relevan  untuk produk/alat bantu yang digunakan untuk membuat konten yang baru.
h. Quality of Content : berkaitan dengan impresi dari pengguna bahwa informasi yang tersedia pada produk adalah aktual, disiapkan dengan baik, mudah untuk dipahami dan menarik untuk dibaca. Item quality of content pada UEQ+  meliputi: obsolete/up-to-date,  not  interesting/interesting,  poorly  prepared/well  prepared, incomprehensible/ comprehensible . Skala ini penting untuk website dan juga pada produk yang menawarkan sejumlah konten kepada pengguna dimana pengguna nantinya dapat mengambil keputusan. Namun demikian, skala ini kurang relevan untuk alat yang ditujukan untuk membuat konten yang baru.
i. Clarity : berkaitan dengan impresi dari pengguna tentang urutan, struktur dan kompleksitas visual dari tampilan grafis antar muka pengguna atau GUI ( Graphical user interface ). Item clarity pada UEQ+ meliputi: poorly grouped/well  grouped,  unstructured/structured,  disordered/ordered,  disorganized/  organized. Skala  ini relevan untuk semua produk yang memiliki tampilan grafis antar muka pengguna atau GUI.
Pada UEQ+, setiap skala diukur dengan menggunakan rating berskala 7. Karena pernyataan pada skala di atas bisa dikombinasikan, dan ada beberapa istilah yang mirip atau bahkan identik pada skala yang berbeda, maka pernyataan  pada  skala  yang  sama  perlu  dikelompokkan  dan  juga  diberikan  konteks  agar  responden  bisa menginterpretasi  istilah  dengan  tepat.  Caranya  adalah  dengan  menambahkan  kalimat  singkat  yang ditampilkan pada  bagian  atas  pernyataan  skala  [5].  UEQ+  telah  diterjemahkan  dalam  bahasa  Indonesia  [24].  UEQ+  juga menyediakan Data Analysis Tools dalam bentuk Microsoft Excel yang dapat membantu pengolahan data. Semua perhitungan yang relevan akan dikalkulasi secara otomatis [5].

## 2.3 Kuesioner UEQ+
Kuesioner dirancang sesuai dengan 9 skala pengalaman pengguna yang relevan untuk aplikasi Microsoft Teams berdasarkan framework yang  telah  disediakan  oleh  UEQ+.  Masing-masing  skala  terdiri  dari  4  item  pertanyaan ditambah 1 pertanyaan lagi untuk  mengetahui pendapat  responden tentang seberapa penting skala yang diukur. Dengan demikian, total pertanyaan dalam kuesioner ada 45 item pertanyaan. Responden dapat memilih jawaban dari  skala rating 1 sampai 7 sesuai  dengan pilihan yang diberikan. Kuesioner disebarkan dengan menggunakan Google Form. Adapun pertanyaan kuesioner dapat dilihat pada Tabel 1.
Tabel 1. Item Pertanyaan Kuesioner
Efisiensi (Efficiency)
Untuk mencapai tujuan saya, menurut saya Microsoft Teams
lambat cepat tidak efisien efisien tidak praktis praktis tidak terstruktur terstruktur Saya pikir kriteria efisiensi pada Microsoft Teams yang dijelaskan di atas Sama sekali tidak relevan Sangat penting Kejelasan (Perspicuity) Menurut saya cara menggunakan Microsoft Teams ini tidak dapat dipahami dapat dipahami sulit dipelajari mudah dipelajari

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v6i2.3878
rumit mudah membingungkan jelas Saya pikir kriteria kejelasan pada Microsoft Teams yang dijelaskan di atas Sama sekali tidak relevan Sangat penting Tingkat Keandalan (Dependability)
Menurut saya, respons dari Microsoft Teams setelah saya berikan masukan dan perintah
tidak dapat diprediksi dapat diprediksi menghambat mendukung tidak terjamin terjamin tidak sesuai harapan sesuai harapan Saya pikir kriteria tingkat keandalan pada Microsoft Teams yang dijelaskan di atas Sama sekali tidak relevan Sangat penting Tingkat Kepercayaan (Trust) Berkaitan dengan penggunaan informasi dan data pribadi saya, Microsoft Teams ini tidak aman aman tidak dapat dipercaya dapat dipercaya tidak dapat diandalkan dapat diandalkan tidak transparan transparan Saya pikir kriteria tingkat kepercayaan pada Microsoft Teams yang dijelaskan di atas Sama sekali tidak relevan Sangat penting Kegunaan (Usefulness) Saya pikir Microsoft Teams ini tidak berguna berguna tidak membantu membantu tidak menguntungkan menguntungkan tidak bermanfaat bermanfaat Saya pikir kriteria kegunaan pada Microsoft Teams yang dijelaskan di atas Sama sekali tidak relevan Sangat penting Penggunaan Secara Intuitif (Intuitive Use) Menurut saya, penggunaan Microsoft Teams ini sulit mudah tidak logis logis tidak masuk akal masuk akal tidak meyakinkan meyakinkan Saya pikir kriteria penggunaan secara intuitif pada Microsoft Teams yang dijelaskan di atas Sama sekali tidak relevan Sangat penting Tingkat Kepercayaan Terhadap Konten (Trustworthiness of Content) Menurut saya, informasi dan data pada Microsoft Teams ini tidak berguna berguna tidak masuk akal masuk akal tidak dapat dipercaya terpercaya tidak akurat akurat Saya pikir kriteria tingkat kepercayaan terhadap konten pada Microsoft Teams yang dijelaskan di atas Sama sekali tidak relevan Sangat penting Kualitas Konten (Quality of Content) Menurut saya, informasi dan data pada Microsoft Teams ini usang terbaru tidak menarik menarik tidak dipersiapkan dengan baik dipersiapkan dengan baik tidak dapat dipahami dapat dipahami Saya pikir kriteria kualitas konten pada Microsoft Teams yang dijelaskan di atas Sama sekali tidak relevan Sangat penting Kejelasan Tampilan (Clarity) Menurut pendapat saya, tampilan antarmuka Microsoft Teams terlihat dikelompokkan dengan buruk dikelompokkan dengan baik tidak terstruktur terstruktur tidak terurut terurut tidak teratur teratur Saya pikir kriteria kejelasan tampilan pada Microsoft Teams yang dijelaskan di atas Sama sekali tidak relevan Sangat penting

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v6i2.3878

## 3. HASIL DAN PEMBAHASAN
Total diperoleh 150 respon dari hasil distribusi kuesioner. Dari 150 respon tersebut terdapat 1 record yang berasal dari responden yang sama, sehingga diambil respon yang terbaru. Dengan demikian, total 149 record digunakan untuk kegiatan pengolahan data, dengan rincian: a. Dari 149 record, respon berasal dari 13 dosen dan 136 mahasiswa yang melakukan pengisian kuesioner.
b. Dari 136 mahasiswa, 68 adalah mahasiswa shift perkuliahan pagi dan 68 adalah mahasiswa shift perkuliahan sore. Berdasarkan semester, 3 merupakan mahasiswa non semester, 39 merupakan mahasiswa semester 7, 32 merupakan  mahasiswa  semester  5,  28  merupakan  mahasiswa  semester  3,  dan  34  merupakan  mahasiswa semester 1.
Seluruh respon yang dikumpulkan terhadap 9 skala dimasukkan ke dalam sheet: data items terlebih dahulu. Pada sheet ini, setiap skala yang dimasukkan adalah berkaitan dengan penilaian dari  responden untuk per item sesuai  dengan  skala  yang  diukur.  Namun  penilaian  tentang importance  rating bukan  dimasukkan  di sheet ini melainkan dimasukkan pada sheet : data importance .
Hasil pengukuran menunjukkan bahwa responden memiliki impresi yang positif terhadap Microsoft Teams sebagai jenis aplikasi untuk video conference dan learning platforms . Hal ini dapat dilihat pada nilai mean dari seluruh  skala  yang  berada  pada  nilai positive  evaluation (nilai mean >  0.8).  Adapun  nilai  varian  yang  ada menunjukkan bahwa terdapat 8 skala berada pada nilai skala sangat baik dan 1 pada skala baik. Hal ini sebagai representasi  bahwa  tingkat  keragaman  data  keseluruhan  skala  berada  pada  nilai  yang  sangat  baik  dan  dapat diterima.

## Tabel 2. Mean and Confidence Interval per Scale
Scale Mean Variance Std. Dev. Confidence Confidence Interval Efficiency 2,05 0,88 0,94 0,15 1,90 2,20 Perspicuity 2,20 0,81 0,90 0,14 2,06 2,34 Dependability 1,93 0,91 0,95 0,15 1,78 2,09 Trust 2,08 1,01 1,00 0,16 1,92 2,24 Usefulness 2,42 0,78 0,88 0,14 2,28 2,56 Intuitive Use 2,23 0,73 0,86 0,14 2,09 2,37 Trustworthiness of Content 2,28 0,76 0,87 0,14 2,14 2,42 Quality of Content 2,27 0,75 0,87 0,14 2,13 2,41 Clarity 2,31 0,80 0,90 0,14 2,17 2,46 Berdasarkan nilai mean pada Tabel 2, didapatkan interpretasi pengukuran sebagai berikut:
1. Skala efficiency memperoleh impresi positif dengan nilai mean 2,05, yang berarti responden merasa aplikasi Microsoft Teams membantu pengguna mencapai tujuannya secara cepat, efisien, praktis, dan terstruktur.
2. Skala perspicuity memperoleh impresi positif dengan nilai mean 2,20, yang bermakna responden merasa cara penggunaan  aplikasi  Microsoft  Teams  ini  dapat  dipahami,  mudah  dipelajari,  mudah  dipakai,  dan  jelas penggunaannya.
3. Skala dependability memperoleh  impresi  positif  dengan  nilai mean 1,93,  yang  berarti  respons  aplikasi Microsoft  Teams terhadap  masukan  dan  perintah pengguna  dapat  diprediksi,  bersifat  mendukung,  terjamin, dan sesuai harapan pengguna.
4. Skala trust memperoleh  impresi  positif  dengan  nilai mean 2,08,  yang  bermakna  responden  merasa  aplikasi Microsoft  Teams  mengelola  informasi  dan  data  pribadi  pengguna  secara  aman,  dapat  dipercaya,  dapat diandalkan, dan transparan.
5. Skala usefulness memperoleh impresi positif dengan nilai mean 2,42, yang berarti responden berpikir bahwa aplikasi Microsoft Teams ini berguna, membantu, menguntungkan, dan bermanfaat bagi pengguna.
6. Skala intuitive  use memperoleh  impresi  positif  dengan  nilai mean 2,23,  yang  bermakna  pengguna  merasa aplikasi Microsoft Teams ini mudah digunakan, logis, masuk akal, dan meyakinkan.
7. Skala trustworthiness  of  content memperoleh  impresi  positif  dengan  nilai mean 2,28 , yang  berarti  bahwa informasi dan data yang tersedia pada Microsoft Teams ini berguna, masuk akal, terpercaya, dan akurat bagi pengguna.
8. Skala quality of content memperoleh impresi positif dengan nilai mean 2,27 , yang bermakna bahwa informasi dan data yang ada pada Microsoft Teams ini merupakan informasi dan data terbaru, menarik, telah dipersiapkan dengan baik, dan dapat dipahami.
9. Skala clarity memperoleh  impresi  positif  dengan nilai mean 2,31 , yang  berarti  responden  melihat  tampilan antarmuka Microsoft Teams telah dikelompokkan dengan baik, terstruktur, terurut, dan teratur.
Jika dilihat kembali, nilai keseluruhan 9 skala yang diukur mendapatkan positive evaluation . Sebagaimana yang dilihat pada gambar di bawah, keseluruhan skala berada pada zona berwarna hijau yang merepresentasikan impresi  positif  dari  responden  terkait  pengalaman  penggunaan  Teams  sebagai  jenis  aplikasi  untuk video conferencing dan learning  platform .  Selain  itu,  untuk error  bar yang  terlihat  pada  setiap  bar  yang  ada,

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v6i2.3878
menunjukkan bahwa jika penelitian yang sama diulang dengan kondisi yang sama, maka hasil yang didapatkan akan memiliki kemungkinan sama dengan rentang hasil sesuai dengan rentang error yang ada.

## Gambar 2. Scale Means
Untuk tingkat importance rating menunjukkan bahwa keseluruhan responden merasa bahwa keseluruhan skala adalah penting. Hal ini ditunjukkan dengan skala mean yang berupa positive evaluation (nilai mean >0.8). Namun, responden merasa skala terpenting untuk mendapatkan pengalaman pengguna yang baik pada pengukuran aplikasi Microsoft Teams sebagai jenis aplikasi video conference dan learning platforms adalah skala kegunaan ( usefulness )  dengan  nilai mean 2,40,  skala  kejelasan  tampilan  ( clarity )  dengan  nilai mean 2,37,  diikuti  dengan skala  tingkat  kepercayaan  terhadap  konten  ( trustworthiness  of  content )  dan  skala  kualitas  konten  ( quality  of content )  dengan nilai mean yang sama yaitu 2,30.  Seperti halnya pada nilai mean untuk ke 9 skala yang sudah dijelaskan di atas, nilai variance pada importance rating juga menunjukkan nilai yang baik dan dapat diterima. Hal ini dapat dilihat dari tabel yang menunjukkan 8 skala memiliki nilai variance yang sangat baik dan 1 skala memiliki nilai variance yang baik.
Tabel 3. Mean Importance Rating Scale Mean Variance Std. Dev. Confidence Confidence Interval Efficiency 2,13 0,85 0,92 0,15 1,99 2,28 Perspicuity 2,21 0,89 0,94 0,15 2,06 2,37 Dependability 2,09 1,11 1,05 0,17 1,93 2,26 Trust 2,23 0,82 0,90 0,14 2,09 2,38 Usefulness 2,40 0,59 0,77 0,12 2,28 2,53 Intuitive Use 2,28 0,70 0.84 0,13 2,15 2,42 Trustworthiness of Content 2,30 0,72 0,85 0,14 2,16 2,43 Quality of Content 2,30 0,90 0,95 0,15 2,15 2,45 Clarity 2,37 0,77 0,88 0,14 2,23 2,51
Hal yang sama juga terlihat pada grafik importance rating. Grafik importance rating menunjukkan bahwa untuk ke 9 skala yang dinilai oleh responden, seluruhnya berada pada tingkat importance rating yang tinggi. Hal ini menunjukkan bahwa responden merasa bahwa setiap rating yang diukur adalah penting sebagai representasi dari keseluruhan kualitas produk yang dalam hal ini adalah Microsoft Teams sebagai jenis aplikasi untuk video conference dan learning platforms . Jika dilihat lebih lanjut, error bars pada setiap bar yang ada pada grafik juga menunjukkan  bahwa  jika  penelitian  dilakukan  kembali  atau  direpetisi  dengan  kondisi  yang  sama,  maka  hasil penelitian yang didapatkan akan mungkin menunjukkan hasil yang sama dengan rentang hasil berada pada rentang error yang ada.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v6i2.3878
Tabel di bawah menunjukkan nilai skala seluruh item dari 9 skala yang dinilai. Sebagaimana yang dilihat pada tabel, hal  ini selaras dengan nilai  ke 9 skala yang ada yakni positive evaluation dengan nilai mean > 0.8. Begitu juga dengan nilai varian yang berada pada nilai yang baik dan dapat diterima.
Tabel 4. Mean and Confidence Interval per Item
Scale Item Left Item Right Mean Var. Std. Dev. Confidence Confidence Interval Efficiency slow fast 1,77 0,97 0,98 0,16 1,61 1,93 inefficient efficient 2,03 0,82 0,90 0,14 1,89 2,18 impractical practical 2,13 0,84 0,91 0,15 1,98 2,27 cluttered organized 2,26 0,76 0,87 0,14 2,12 2,40 Perspicuity not understandable understandable 2,23 0,80 0,89 0,14 2,09 2,38 difficult to learn easy to learn 2,21 0,80 0,89 0,14 2,07 2,36 complicated easy 2,19 0,86 0,92 0,15 2,04 2,34 confusing clear 2,16 0,80 0,89 0,14 2,02 2,30 Dependability unpredictable predictable 1,78 1,01 1,00 0,16 1,62 1,94 obstructive supportive 2,03 0,90 0,94 0,15 1,88 2,19 not secure secure 1,94 0,89 0,94 0,15 1,79 2,09 does not meet expectations meets expectations 1,99 0,82 0,90 0,15 1,84 2,13 Trust insecure secure 2,15 0,88 0,94 0,15 2,00 2,30 untrustworthy trustworthy 2,23 0,88 0,93 0,15 2,08 2,38 unreliable reliable 2,17 0,92 0,96 0,15 2,01 2,32 non-transparent transparent 1,77 1,22 1,10 0,18 1,59 1,94 Usefulness useless useful 2,49 0,71 0,84 0,13 2,35 2,62 not helpful helpful 2,48 0,72 0,85 0,14 2,34 2,61 not beneficial beneficial 2,23 0,94 0,97 0,15 2,08 2,39 not rewarding rewarding 2,47 0,71 0,84 0,13 2,33 2,60 Intuitive Use difficult easy 2,21 0,89 0,94 0,15 2,06 2,37 illogical logical 2,15 0,74 0,86 0,14 2,02 2,29 not plausible plausible 2,31 0,55 0,74 0,12 2,19 2,43 inconclusive conclusive 2,23 0,76 0,87 0,14 2,10 2,37 Trustworthiness of Content useless useful 2,32 0,79 0,88 0,14 2,18 2,46 implausible plausible 2,36 0,60 0,77 0,12 2,23 2,48 untrustworthy trustworthy 2,30 0,74 0,86 0,14 2,16 2,43 inaccurate accurate 2,15 0,90 0,95 0,15 2,00 2,31 Quality of Content obsolete up-to-date 2,21 0,63 0,79 0,13 2,08 2,33 not interesting interesting 2,14 0,82 0,91 0,15 2,00 2,29 poorly prepared well prepared 2,32 0,85 0,92 0,15 2,17 2,47 incomprehensible  comprehensible 2,40 0,69 0,83 0,13 2,27 2,54 Clarity poorly grouped well grouped 2,34 0,85 0,92 0,15 2,19 2,49 unstructured structured 2,36 0,61 0,78 0,13 2,24 2,49 disordered ordered 2,27 0,89 0,94 0,15 2,12 2,42 disorganized organized 2,28 0,88 0,93 0,15 2,13 2,42
Adapun  hasil  pengukuran  terhadap  keseluruhan  skala  adalah  reliabel.  Hal  ini  ditunjukkan  dengan  nilai koefisien cronbach  alpha >  0.7.  Dengan  demikian  seluruh  skala  yang  diukur  pada  penelitian  ini  menunjukkan tingkat konsistensi yang baik.
Tabel 5. Scale Consistency Scale Corr (I1,I2) Corr (I1,I3) Corr (I1,I4) Corr (I2,I3) Corr (I2,I4) Corr (I3,I4) Average Corr. Cronbach Alpha Efficiency 0,64 0,59 0,60 0,79 0,69 0,67 0,66 0,89 Perspicuity 0,74 0,63 0,70 0,74 0,77 0,69 0,71 0,91 Dependability 0,69 0,68 0,68 0,76 0,72 0,83 0,73 0,91 Trust 0,84 0,81 0,59 0,76 0,56 0,53 0,68 0,90 Usefulness 0,83 0,60 0,81 0,74 0,80 0,72 0,75 0,92 Intuitive Use 0,71 0,71 0,63 0,79 0,79 0,79 0,74 0,92 Trustworthiness of Content 0,79 0,76 0,81 0,81 0,75 0,87 0,80 0,94 Quality of Content 0,76 0,73 0,67 0,75 0,72 0,80 0,74 0,92 Clarity 0,86 0,83 0,76 0,85 0,74 0,74 0,80 0,94

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v6i2.3878
KPI merupakan suatu nilai kinerja berupa gabungan nilai mean dari seluruh responden untuk keseluruhan skala. Jadi  secara keseluruhan, indeks kinerja (KPI) dari  aplikasi  Microsoft Teams sebagai  jenis aplikasi  untuk video  conference dan learning  platforms adalah  baik  dengan  nilai  KPI  sebesar  2.21  yang  lebih  besar  dari  nilai standar deviasi adalah 0.69.
Gambar 4. Calculation of a KPI

## 4. KESIMPULAN
Berdasarkan hasil pengukuran UEQ+ tersebut, maka dapat disimpulkan bahwa responden memiliki impresi yang positif terhadap Microsoft Teams sebagai aplikasi video conference dan learning platforms . Hal ini ditunjukkan dengan keseluruhan skala yang memiliki nilai mean > 0.8. Tingkat keragaman data keseluruhan skala juga berada pada  nilai  yang  sangat  baik  dan  dapat  diterima.  Pengukuran  terhadap  seluruh  skala  menunjukkan  hasil  yang reliabel.  Dari  9  skala  yang  diukur,  diketahui  bahwa  responden  merasa  bahwa  setiap  rating  yang  diukur  adalah penting sebagai representasi dari keseluruhan kualitas Microsoft Teams, namun skala terpenting adalah kegunaan ( usefulness ), kejelasan tampilan ( clarity ), diikuti dengan tingkat kepercayaan terhadap konten ( trustworthiness of content ),  dan  kualitas  konten  ( quality  of  content ).  Dengan  demikian,  aspek-aspek  ini  perlu  diperhatikan  untuk memberikan pengalaman pengguna yang positif bagi pengguna aplikasi video conference dan learning platforms . Mengingat penggunaan metode UEQ+ masih terbilang baru dengan referensi yang masih sedikit, maka penelitian ini kemudian diharapkan dapat  menambah referensi  yang ada. Akan tetapi  penelitian ini masih  bisa diteruskan untuk  mencoba  menerapkan  UEQ+  untuk  mengukur  jenis  aplikasi  yang  lain  dengan  harapan  dapat  menambah kasus pengukuran dengan metode UEQ+. Selain itu, pada penelitian selanjutnya, pengukuran UEQ+ ini juga dapat dicoba untuk dikombinasikan dengan metode lain seperti System Usability Scale (SUS), Usability Index Checklist (UIC)  atau  metode  pengukuran  usabilitas  lainnya  untuk  sekaligus  mengukur user  experience dan usability (usabilitas) dari sebuah aplikasi.

## REFERENCES
[1]  “STMIK–STIE  Mikroskil  Medan  Optimalkan  Pembelajaran  e-Learning  di  Tengah  Pandemi  Virus  Covid-19,” Tribunnews , Medan, 2020.
[2]  C. Sylvia, Angela, and F. Halim, “Evaluasi User Experience Platform Video Communication dengan User Experience Questionaire  (UEQ),” Jurnal  Media  Informatika  Budidarma ,  vol.  5,  no.  4,  pp.  1412–1421,  2021,  doi: 10.30865/mib.v5i4.3263.
[3]  S.  Rohmah  and  M.  Ary,  “Analisis  Pengalaman  Pengguna  Aplikasi  Pinjaman  Online  Menggunakan  Metode  Usability Testing Dan User Experience Questionnaire (Studi kasus: pada Akulaku dan Kredivo Indonesia),” JSI : Jurnal Sistem Informasi (E-Journal) , vol. 13, no. 1, 2021, [Online]. Available: http://ejournal.unsri.ac.id/index.php/jsi/index
[4]  M.  Schrepp, User  Experience  Questionnaire  Handbook.  All  you  need  to  know to  apply  the  UEQ  successfully  in  your projects Version 8 (31.12.2019) . 2019.
[5]  M. Schrepp and J. Thomaschewski, Handbook for the modular extension of the User Experience Questionnaire. All you need to know to apply the UEQ+ to create your own UX questionnaire Version 2 (21.07.2020) . 2020.
[6]  H. B. Santoso, M. Schrepp, R. Y. K. Isal, A. Y. Utomo, and B. Priyogi, “Measuring user experience of the student-centered E-learning environment,” The Journal of Educators Online , vol. 13, no. 1, pp. 58–79, 2016.
[7]  M. S. Abubakari, Nurkhamid, and G. Hungilo, “Evaluating an e-Learning Platform at Graduate School Based on User Experience Evaluation Technique,” Journal of Physics: Conference Series , vol. 1737, pp. 1–11, 2021, doi: 10.1088/1742- 6596/1737/1/012019.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v6i2.3878
[8]  E. Sutadji, W. N. Hidayat, S. Patmanthara, S. Sulton, N. A. M. Jabari, and M. Irsyad, “Measuring user experience on SIPEJAR as e-learning of Universitas Negeri Malang,” IOP Conference Series: Materials Science and Engineering , vol. 732, pp. 1–6, 2020, doi: 10.1088/1757-899X/732/1/012116.
[9]  M.  Q.  Laksono,  S.  S.  Kusumawardani,  and  R.  Ferdiana,  “Evaluating  User  Experience  on  E-learning  using  the  User Experience Questionnaire (UEQ) with Additional Functional Scale,” in CONRIST 2019 - International Conferences on Information System and Technology , 2020, pp. 18–24. doi: 10.5220/0009339900180024.
[10] S.  P.  Kristanto,  L.  Hakim,  and  F.  H.  C,  “Usability  Evaluation  In  Ruang  Guru  Applications  Using  User  Experience Questionnaire (UEQ),” Jurnal Mantik , vol. 4, no. 1, pp. 181–186, 2020.
[11] F.  Halim,  Handoko,  and  S.  H.  Marpaung,  “Penilaian  User  Experience  Fiori  Bussim  Menggunakan  User  Experience Questionaire (UEQ) Dan Pengaruhnya Terhadap Pemahaman Pembelajaran Matakuliah Sertifikasi SAP,” Sebatik , vol. 24, no. 1, pp. 102–112, 2020.
[12] M. N. A. Muhaemin, “Mengukur User Experience Sistem Informasi Akademik,” INFOTECH journal , vol. 6, no. 1, pp. 7–10, 2020.
[13] S. R. Henim and R. P. Sari, “Evaluasi User Experience Sistem Informasi Akademik Mahasiswa pada Perguruan Tinggi Menggunakan User Experience Questionnaire,” Jurnal Komputer Terapan , vol. 6, no. 1, pp. 69–78, 2020.
[14] K.  A.  Lukita,  M.  Galinium,  and  J.  Purnama,  “User  Experience  Analysis  of  an  E-Commerce  Website  Using  User Experience Questionnaire (UEQ) Framework,” in Seminar Nasional Pakar ke 1 , 2018, vol. 1, pp. 347–355.
[15] S. F. Novitasari, Y. T. Mursityo, and A. N. Rusydi, “Evaluasi Pengalaman Pengguna Pada E-Commerce Sociolla.Com Menggunakan  Usability  Testing  Dan  User  Experience  Questionnaire  (UEQ),” Jurnal  Sistem  Informasi,  Teknologi Informasi, dan Edukasi Sistem Informasi , vol. 1, no. 2, pp. 57–62, 2020, doi: 10.25126/justsi.v1i2.9.
[16] V. A. Intanny, I. Widiyastuti, and M. D. K. Perdani, “Pengukuran Kebergunaan dan Pengalaman Pengguna Marketplace Jogjaplaza.id dengan Metode UEQ dan USE Questionnaire,” Jurnal Pekommas , vol. 3, no. 2, pp. 117–126, 2018.
[17] N. Abdul Wahab, N. M. Sahabudin, A. Osman, and N. Ibrahim, “Evaluating the User Experience of a Web-Based Child Health  Record  System,” Journal  of  Computing  Research  and  Innovation ,  vol.  5,  no.  3,  pp.  17–24,  2020,  doi: 10.24191/jcrinn.v5i3.165.
[18] A.  Heshmati,  N.  Moftian,  P.  Rezaei-Hachesu,  and  T.  Samad-Soltani,  “Simple  and  efficient  measurement  of  the  user experience in health information systems: A persian version,” Iranian Journal of Public Health , vol. 50, no. 1, pp. 217– 218, 2021, doi: 10.18502/ijph.v50i1.5097.
[19] S. Putro, K. Kusrini, and M. P. Kurniawan, “Penerapan Metode UEQ dan Cooperative Evaluation untuk Mengevaluasi User  Experience  Lapor  Bantul,” Creative  Information  Technology  Journal ,  vol.  6,  no.  1,  pp.  27–37,  2019,  doi: 10.24076/citec.2019v6i1.242.
[20] A. M. Klein, A. Hinderks, M. Schrepp, and J. Thomaschewski, “Construction of UEQ+ scales for voice quality: Measuring user experience quality of voice interaction,” in MuC ’20: Proceedings of the Conference on Mensch und Computer , 2020, pp. 1–5. doi: 10.1145/3404983.3410003.
[21] A. M. Klein, A. Hinderks, M. Schrepp, and J. Thomaschewski, “Measuring User Experience Quality of Voice Assistants,” in 15th  Iberian  Conference  on  Information  Systems  and  Technologies  (CISTI) ,  2020,  pp.  1–4.  doi: 10.23919/cisti49556.2020.9140966.
[22] B. Setiaji, M. Hayaty, A. Setyanto, Krisnawati, and H. B. Santoso, “Assessing User Experience of a Secure Mobile Exam Application using UEQ+,” in 3rd International Conference on Information and Communications Technology (ICOIACT) , 2020, pp. 246–251. doi: 10.1109/ICOIACT50329.2020.9332091.
[23] K. Budiman and I. Akhlis, “Changing user needs and motivation to visit a website through ad experience: A case study of a  university  website,” Journal  of  Physics:  Conference  Series ,  vol.  1918,  pp.  1–6,  2021,  doi:  10.1088/1742- 6596/1918/4/042008.
[24] H. B. Santoso, L. M. Hasani, R. Fitriansyah, A. Setyanto, and M. Schrepp, “Indonesian Adapted Version of UEQ+,” 2021.