## JEPIN
(Jurnal Edukasi dan Penelitian Informatika)
ISSN(e): 2548-9364 / ISSN(p) : 2460-0741

## Evaluasi CeLOE Learning Management System (LMS) Universitas Telkom dengan Technique for User Experience Evaluation In E-Learning
(TUXEL) 2.0
Hanif Azhar #1
# Program Studi S1 Desain Produk, Fakultas Industri Kreatif, Universitas Telkom Jl Telekomunikasi No.1 Terusan Buahbatu, Bandung, Jawa Barat
1 hanifazhar@telkomuniversity.ac.id
Abstrak—  Era  Society  5.0  yang  maju  dengan  pesat mendorong  perkembangan  informasi  dan  teknologi  dalam memudahkan  berbagai  aktivitas  manusia,  termasuk  dalam hal  proses  pendidikan  yang  semakin  fleksibel   tanpa  terikat waktu  dan  tempat dengan  memanfaatkan  platform pembelajaran Learning Management System (LMS). Riset ini bertujuan  untuk  menguji  pengalaman  pengguna  LMS  di Centre  for  E-Learning  and  Open  Education  (CeLOE) Universitas Telkom serta memberikan rekomendasi pengalaman belajar e-learning yang menyenangkan. Sebanyak 233 mahasiswa mengisi kuisioner untuk melakukan evaluasi CeLOE LMS dengan metode Technique for  User  Experience  Evaluation  in  E-Learning  (TUXEL)  2.0. TUXEL  merupakan  metode  evaluasi  pengalaman  pengguna dengan  fokus  pada  tiga  inspeksi  utama;  inspeksi  General Usability,  inspeksi  Pedagogical  Usability,  dan  evaluasi  pada User  Experience.  Hasil  penelitian  pada  inspeksi  General Usability  ditemukan  4  permasalahan,  sedangkan  pada inspeksi  Pedagogical  Usability  ditemukan  8  permasalahan. Pada evaluasi User Experience, secara rata-rata keseluruhan nilai  cenderung  positif  (good).  Berdasarkan  ketiga  evaluasi di  atas,  CeLOE  LMS  Universitas  Telkom  dinilai  sudah cukup  baik  dalam  mendukung  proses  e-learning  walaupun ada  beberapa  bagian  butuh  perbaikan,  terutama  bagian teknis dan tampilan tatap muka pengguna (user interface).
Kata kunci — E-Learning, LMS, CeLOE, TUXEL, Evaluasi Pembelajaran

## I. P ENDAHULUAN
Tantangan  dunia  Pendidikan  pada  masa society 5.0 semakin tinggi dengan tuntutan pelaksanaan pembelajaran menggunakan  hasil  pengembangan  serta  pengaplikasian teknologi  informasi  dan  komunikasi.  Dunia  Pendidikan pembelajaran terus mengikuti tantangan jaman (Aunurrahman, 2009) [1]. Banyak faktor yang mendukung proses  pembelajaran  dengan  pemanfaatan  teknologi mutakhir,  seperti  kecepatan  internet  dan  adaptasi kebiasaan  baru  (AKB)  pada  era  pandemi.  Kecepatan internet saat ini sangat memungkinkan untuk pelaksanaan
pembelajaran lebih fleksibel dan efisien melalui teknologi yang canggih. Selain itu, tantangan pemanfaatan teknologi itu  semakin  nyata  dengan  kondisi  pandemi  yang mengharuskan mahasiswa untuk melaksanakan pembelajaran  jarak  jauh  (PJJ)  sejak  awal  tahun  2020 (kemendikbud, 2020) [2].
Universitas Telkom sebagai salah satu perguruan tinggi swasta  terbaik  Indonesia  yang  mempunyai Learning Management  System (LMS)  yang  disebut  dengan Centre for  e-Learning  and  Open  Education (CeLOE)  LMS. Universitas  Telkom  menyediakan  fasilitas  pembelajaran daring ( online learning ) untuk pelaksanaan program studi pendidikan jarak jauh (PJJ) maupun reguler. Pemanfaatan teknologi  CeLOE  LMS  ini  tidak  terlepas  dari  komitmen universitas  untuk  menjadi  perguruan  tinggi  dunia  di bidang  seni  dan  sains  yang  berbasis  teknologi  (Telkom University, 2018) [3]. CeLOE LMS merupakan salah satu terobosan  nyata  untuk  meningkatkan  level  Pendidikan Indonesia ke tingkat lebih tinggi (Azhar, 2021) [4].
Fokus  transformasi  CeLOE  LMS  ini  ada  tiga; Learner Excellence, Teacher Excellence , dan Institutional Excellence . Learner  excellence fokus  pada  perubahan pembelajaran  sesuai  dengan  kebutuhan  pembelajar, sedangkan Teacher  excellence focus transformasi  melalui perubahan delivery pembelajaran.  Terakhir, Institutional Excellence ,  perubahan  perencanaan  dan  pengelolaan Pendidikan  secara  skala  institusi,  bahkan  lebih  besar. Dengan  tiga  fokus  utama  tersebut,  CeLOE  LMS diharapkan dapat memfasilitasi pembelajaran di Universitas  Telkom  untuk  memperoleh  pengalaman belajar daring yang menyenangkan.
Untuk  meningkatkan  pengalaman  pengguna,  CeLOE LMS  mengevaluasi  pembelajaran  dengan  menyebar kuisioner  kepada  ratusan  mahasiswa  di  Universitas Telkom.  Pendekatan  metode  untuk  mengoptimalkan evaluasi ini menggunakan Technique for User Experience Evaluation  In  E-Learning (TUXEL)  2.0.  Menurut Nakamura  (2018),  TUXEL  2.0  ini  merupakan  salah  satu
metode  evaluasi  kegunaan (usability)  e-learning yang fokus pada pengalaman pengguna. Bentuk instrument dari TUXEL 2.0 ini adalah dengan penugasan ( task ) sederhana dan  kuisioner  daring  sehingga  sangat  membantu  dalam mengumpulkan  persepsi  pengguna  dengan  efektif  dan efisien tanpa harus bertatap muka. Fokus dari TUXEL 2.0 ini  ada  tiga  aspek  utama;  inspeksi general  usability , inspeksi pedagogical  usability ,  dan  evaluasi user experience .  Ketiga  inspeksi  tersebut  merupakan  kesatuan untuk mengevaluasi pengalaman pengguna secara holistic. Menurut  Fauzan  (2021)  dan  Sujono  (2017),  metode TUXEL  ini  sesuai  untuk  mengevaluasi  platform e- learning di  Perguruan  Tinggi  Indonesia  [5][6].  Nurhayati dkk  (2018),  Gunawan  (2021)  dan  Santi  (2021) menambahkan,  TUXEL  juga  dapat  digunakan  untuk mengevaluasi  platform  LMS  untuk  tingkat  Pendidikan menengah  [7][8][9].  Metode  itu  sudah  teruji  untuk mengevaluasi  beberapa  platform  LMS  dan e-learning di Indonesia.
Berdasarkan penjelasan latar belakang tersebut, peneliti memutuskan  untuk  mengevaluasi  platform  CeLOE  LMS Universitas  Telkom  menggunakan  metode  TUXEL  2.0. Umpan  balik  dari  evaluasi  LMS  ini  diharapkan  dapat dijadikan  rekomendasi  untuk  perbaikan  CeLOE  LMS sesuai  dengan  visi  Universitas  Telkom  sebagai  kampus digital yang senantiasa melakukan inovasi terdepan dalam pengajaran,  penelitian,  serta  mengabdikan  ilmu  pada masyarakat.

## II. T INJAUAN P USTAKA

## A. E-L EARNING
Sebuah  konsep  Pendidikan  dengan  mengambil  benefit teknologi  informasi  untuk  pelaksanaan  kegiatan  belajar disebut  dengan E-Learning .  Menurut  Allen  (2013), E- Learning juga  dapat  dikatakan  sebuah  kegiatan  belajar- mengajar  yang  disusun  untuk  proses  pembelajaran  yang didukung  oleh  sistem  elektronik  maupun  komputer  [10]. Perkembangan E-Learning seiring  dengan  pemanfaatan teknologi  informasi  dan  komunikasi  dalam  bidang pendidikan  sampai  pada  konsep  pembelajaran  jarak  jauh (PJJ)  dengan  memanfaatkan  teknologi  (Chandrawati, 2010)  [11].  Ardiansyah  (2013)  berpendapat  bahwa e- learning merupakan sistem pembelajaran yang dilaksanakan  tanpa  bertatap  muka  secara  langsung  antara dosen dan mahasiswanya dengan memanfaatkan platform Pendidikan [12].

## B. L EARNING M ANAGEMENT S YSTEM (LMS)
LMS adalah sebuah platform teknologi yang mendukung  pelaksanaan e-learning .  Menurut  Dubost (2004),  LMS  merupakan  platform  penyedia  konten edukasi  yang  terdiri  dari  aktivitas  pembelajaran  dengan memanfaatkan teknologi informasi, mulai dari merancang, membuat,  mendistribusikan,  sampai  mengantar  konten pembelajaran  kepada  mahasiswa.  LMS  dapat  membantu pendidik  dalam  merencanakan  silabus  pembelajaran  dan berbagai  macam  aktivitas  Pendidikan.  LMS  juga  mampu
mempermudah  para  siswa/mahasiswa  untuk  menerima dan mengakses konten pembelajaran tanpa terikat Batasan ruang dan waktu.
Gambar 1. Tampilan User Interface LMS Universitas Telkom

## C. U SABILITY
Menurut  ISO  9241-11  (2018)  tentang  ergonomi  dan human  system  interaction , usability adalah  sebuah penanda  sejauh  mana  sebuah  produk  digunakan  oleh pengguna.  Usability  ini  termasuk  potensi  sebuah  produk supaya mudah untuk dipahami dan digunakan, serta dapat menarik  perhatian  pengguna  supaya  mendapat  kepuasan pada  sebuah  konteks  tertentu. Usability dalam software , website ,  maupun  platform e-learning ini  sangat  penting. Sebuah  studi  oleh  Interaction  Design  Foundation  (2021) menyebutkan bahwa sekitar 37% pengguna platform akan meninggalkannya  apabila  desain  dan  navigasinya  buruk. Fakta ini mendukung opini bahwa usability dalam sebuah LMS  sangat  penting  dan  sangat  patut  dievaluasi  secara berkala  supaya  mendapat feedback secara  berkala  serta melakukan perbaikan [13].

## D. U SER E XPERIENCE
User Experience (UX) merupakan  pengalaman pengguna  saat  berinteraksi  atau  menggunakan  sebuah produk  digital.  Dikutip  dari  ISO  9241-210  (2010),  UX juga dapat diartikan sebuah respon atau persepsi pengguna dari  penggunaan  suatu  sistem  produk  atau  jasa  yang melibatkan beberapa variabel seperti; preferensi, persepsi, emosi,  keyakinan,  sikap,  serta  capaian  proses  penggunan mulai  dari  sebelum  dan  sesudah  menggunakan  produk tersebut.  Sebelum  adanya  UX,  mayoritas  aplikasi  dan platform  digital  hanya  menggunakan  tes usability saja. Tapi  sekarang,  baik usability maupun  UX  harus  dinilai bagus dalam penggunaan sebuah aplikasi e-learning .

## E. TUXEL 2.0
TUXEL  merupakan  kepanjangan  dari Technique  for User  Experience  Evaluation  In  E-Learning yang dirancang  oleh  Nakamura  (2018)  sebagai  instrumen evaluasi  e-learning  pada usability dan  pengalaman pengguna  [14].  Metode  TUXEL  ini  mudah  diaplikasikan dan cukup efektif dalam penggalian data dan biaya karena cukup  dengan  menggunakan  kuisioner  yang  dilengkapi dengan panduan  selama  proses evaluasi.  Metode  TUXEL fokus  pada  tiga  aspek;  inspeksi general  usability ,
pedagogical  usability ,  dan  evaluasi user  experience . Penyebaran kuisioner yang dilengkapi dengan inspeksi ini harus  dilengkapi  panduan  lengkap  untuk  mempermudah mahasiswa  dalam  melaksanakan  tugas  yang  diberikan sebelum mengisi kuisioner.

## III. M ETODE P ENELITIAN
Penelitian  evaluasi  CeLOE  LMS  Universitas  Telkom dengan metode TUXEL 2.0 ini melibatkan 233 mahasiswa yang  mewakili  semua  Angkatan  masuk  mahasiswa  di Fakultas  Industri  Kreatif  (FIK)  yang  terdiri  dari  lima program studi; S1 Desain Produk, S1 Desain Komunikasi Visual,  S1  Desain  Interior,  S1  Seni  Rupa,  serta  S1  Kriya Tekstil  dan  Mode.  Riset  ini  dilakukan  pada  tahun  ajaran 2020-2021  di  Universitas  Telkom.  Menggunakan  metode campuran  (Miles,  1994,  Moleong  2010,  Sugiyono,  2014) [15][16][17],mpenelitian  dilaksanakan  dengan  tahapan berikut sesuai pada gambar 2 (Nakamura, 2018).

## Gambar 2. Alur penelitian

## A. Identifikasi Masalah
Tahap  identifikasi  masalah  merupakan  proses  awal untuk  merumuskan  fokus  permasalahan  pada  Learning Management  System  Universitas  Telkom  sebagai  topik penelitian pengalaman pengguna.

## B. Studi Literatur
Proses  pencarian  studi  literatur  ini  bertujuan  untuk mencari  referensi  terkait  evaluasi  Learning  Management System  Universitas  Telkom  dengan  fokus Technique  for User  Experience  Evaluation  In  E-Learning (TUXEL). Selain  itu  juga  mencari  data  referensi  terkait  evaluasi LMS pada beberapa penelitian pendahulu.

## C. Persiapan Awal
Tahap  perencanaan  awal  yang  meliputi  pembuatan planning  riset  dari  awal  sampai  akhir  sebagaimana dijabarkan  pada  gambar  2  diagram  alur  penelitian. Kemudian  dilanjutkan  pada  tahap  perancangan  instrumen penelitian.

## D. Perancangan Instrumen
Tahap  perancangan  instrument  ini  meliputi  pembuatan tugas  ( task) berupa  proses  mendefinisikan  aktivitas mahasiswa  sebagai  inspektor  dalam  penelitian  tindakan kelas.  Tugas  ( task) aktivitas  mahasiswa  dibuat  dengan analisa  penggunaan  CeLOE  LMS  Universitas  Telkom berdasarkan empat bagian metode TUXEL 2.0:
• General Interface (representasi interface umum)
• User Login (system masuk pengguna) • Assignments (penugasan mahasiswa) • Assessments (penilaian tugas)
E. Inspeksi General Usability
Pada  tahapan  ini,  peneliti  melakukan  inspeksi general usability .  Inspeksi  ini  merupakan  sebuah  inspeksi  umum untuk  mengevaluasi  CeLOE  LMS  dari  segi usability secara  umum.  Inspeksi  ini  menggunakan  kuisioner  dan aktivitas  tertentu  yang  meminta  mahasiswa  selaku responden. Daftar aktivitas adalah sebagai berikut.
TABEL I T UGAS M AHASISWA P ADA I NSPEKSI G ENERAL U SABILITY No Aktivitas Kategori 1 Mahasiswa masuk akun LMS User Login, General Interface 2 Bergabung dengan semua kelas semester genap 2020/2021 User Login, General Interface 3 Mempelajari materi kuliah pada kelas perancangan desain General Interface, Assignment 4 Penambahan komentar pada sebuah post (forum) General Interface 5 Pengumpulan tugas, sesuai instruksi di kelas perancangan General Interface, Assignment 6 Pengerjaan salah satu kuis pada kelas perancangan General Interface, Assessment
No Aktivitas Kategori 7 Mahasiswa keluar dari akun
User Login,
General Interface

## F. Inspeksi Pedagogical Usability
Inspeksi Pedagogical  Usability ini  sebuah  inspeksi yang  fokus  pada  aspek  pedagogis,  yaitu  sejauh  mana CeLOE  LMS  Universitas  Telkom  mampu  memfasilitasi dalam  proses  pembelajaran.  Metode  ini  menggunakan kuisioner  dengan  General  LMS Evaluation  Checklist sesuai  dengan  empat  kategori  pada  TUXEL  2.0 sebagaimana Tabel 2.
TABEL II V ARIABEL P ADA I NSPEKSI P EDAGOGICAL U SABILITY
No Kategori Variabel Penjelasan 1 Help and Documentation Aspek yang berhubungan dengan  informasi  dan  bantuan LMS
2 LMS Learnability Aspek  kemudahan  mahasiswa
mempelajari fitur-fitur LMS 3 Learning through LMS Aspek kemampuan fasilitasi LMS dalam proses pembelajaran 4 LMS Flexibility
Aspek  fleksibilitas  LMS  terkait kendali mahasiswa

## G. Evaluasi User Experience
Tahap  terakhir  dalam  inspeksi  TUXEL  2.0  adalah mengevaluasi user  experience dengan  instrumen  yang sudah  disiapkan.  Pada  tahap  ini,  peneliti  mengevaluasi pengalaman pengguna, yaitu mahasiswa, dalam mengoperasikan  LMS  selama  kegiatan  pembelajaran. Penggalian data pada evaluasi ini menggunakan kuisioner pendekatan  skala semantic  differential .  Pendekatan metode semantic  differential merupakan  jenis  survey quisioner  yang  efektif  untuk  mengukur  respons  inspector LMS  dengan  Teknik  TUXEL  2.0.  Skala  ini  mempunyai beberapa  ukuran  yang  meliputi  potensi  dan  evaluasi. Sebagai  inspektur,  mahasiswa  memberikan  penilaian  dan menyampaikan  opini  terkait e-learning LMS  yang digunakan  dengan  memilih  pernyataan  skala semantic differential yang  paling  sesuai  dengan  yang  mahasiswa rasakan.  Instrumen  TUXEL  2.0 semantic  differential ini terdapat enam variabel, dijelaskan pada Tabel 3.
Pelaksanaan  evaluasi  pengalaman  pengguna  dengan enam  variabel  TUXEL  2.0  kemudian  dihitung  rata-rata penilaian  setiap  skala  variabel.  Hasil  tersebut  digunakan untuk  mengukur  tingkat  pandangan  pengguna  terhadap
penggunaan CeLOE LMS Universitas Telkom (lihat Tabel 4).
TABEL III D IMENSI E VALUASI U SER E XPERIENCE TUXEL 2.0 No Kategori Semantik Diferensial 1 Attractiveness Disukai  atau  tidak,  nyaman  digunakan atau tidak nyaman digunakan
2 Dependibility
Sesuai  dengan  harapan  atau  tidak sesuai, suportif atau obstruktif 3 Eficiency Efisien atau tidak, praktis atau tidak 4 Novelty Inovatif atau konvensional, kreativitas 5 Perpicuity Mudah  dipahami  atau  susah,  jelas  atau membingungkan 6 Stimulation Menarik  atau  tidak,  meningkatkan motivasi belajar atau tidak TABEL IV
L EVEL P ERSEPSI P ENGGUNA LMS U NIVERSITAS T ELKOM No Status Level Rentang Nilai 1 Positif > 0.8 2 Normal - 0.8 sampai 0.8 3 Negatif

## < -0.8 IV. H ASIL DAN P EMBAHASAN
A. General Usability
Pembahasan  dari  inspeksi general  usability ini  adalah merupakan  hasil  dari  aktivitas  inspeksi  yang  dilakukan peneliti terhadap pengguna sebagaimana ditunjukkan pada Tabel 1. Berdasarkan task (tugas) mahasiswa pada Tabel 1, diperoleh  temuan  berupa  beberapa  pelaporan  masalah,  di antaranya adalah (lihat Tabel 5):
TABEL V D AFTAR P ELAPORAN M ASALAH P ADA I NSPEKSI G ENERAL U SABILITY Task No Deskripsi Masalah Keterangan Task No.1 4% mahasiswa pernah mengalami  masalah login LMS karena password & username tidak sesuai. lapor  dosen  wali atau ke CeLOE untuk mendapat akses kembali Task No.2 3% mahasiswa mengaku pernah tidak tergabung salah satu kelas, tidak dapat bergabung sendiri. Mahasiswa dapat mengadu  ke  dosen wali/dosen MK. Task 18%  mengaku  Pengumpulan Ukuran dokumen
Task No Deskripsi Masalah Keterangan No.5 tugas  gagal  karena  dokumen yang  diunggah  harus  berukuran tertentu, padahal tugas
perancangan/  gambar  terkadang ukuran dokumen besar. tugas terbatas
Task No.6 7%  Informasi  terkait  pengisian lembar tugas Keterangan  kurang informatif (Sumber: Analisis data peneliti) 1) Permasalahan  Login: Sebanyak  4%  mahasiswa pernah  mengalami  masalah login LMS  sehingga  ditolak oleh  sistem.  Dari  masalah  tersebut,  ada  yang  mengaku karena  lupa  kata  sandi,  ada  juga  yang username dan password sudah  benar,  tapi  masih  belum  dapat  login. Apabila ada masalah login , mahasiswa dapat menghubungi  dosen  wali  atau  ke  CeLOE.  Masalah  ini hanya terjadi ketika awal perkuliahan virtual menggunakan e-learning LMS pada awal tahun 2020.
2) Permasalahan  bergabung  di  kelas  tertentu: 3% mahasiswa  mengaku  pernah  tidak  tergabung  dalam  salah satu kelas. Mahasiswa dapat melakukan self-enroll apabila belum tergabung dalam kelas tertentu, tidak perlu melapor kepada  dosen  wali  maupun  dosen  mata  kuliah.  Panduan self-enroll sudah  disosialisasikan.  Masalah  ini  bukan sistem  LMS,  tapi  mahasiswa  kurang  memperhatikan sosialisasi.
3) Permasalahan  pengumpulan  tugas: 18%  mengaku pengumpulan tugas gagal karena dokumen yang diunggah harus berukuran maksimal 5 mb. Padahal tugas desain dan perancangan mayoritas ukuran file besar. Dosen-dosen di Fakultas  Industri  Kreatif  (FIk)  menyiasati  pengumpulan tugas  di Google  Class  Room sebagai  media  pelengkap LMS.  Apabila  ukuran  file  diunggah  di  LMS  diperbesar, maka pengumpulan tugas akan lebih optimal.
4) Permasalahan  pengerjaan  tugas: 7%  mengaku Informasi  terkait  tugas  kurang  informatif.  Akar  masalah poin  4  adalah  Dosen  kordinator  mata  kuliah  yang bertanggung  jawab  membuat  konten  LMS.  Perlu ditingkatkan  kreativitas  dosen  dalam  pengisian  konten, terutama informasi dalam penugasan.

## B. Pedagogical Usability
Pembahasan inspeksi pedagogical usability ini merupakan hasil aktivitas inspeksi yang dilakukan peneliti terhadap pengguna. pengguna memberikan opini terhadap kuisioner  singkat  dengan  empat  variabel  penilaian  utama seperti  tabel  2 . Berdasarkan  opini  mahasiswa,  diperoleh temuan  berupa  pelaporan  masalah  sebagai  berikut  (lihat Tabel 6):
TABEL 6 D AFTAR P ENGADUAN M ASALAH I NSPEKSI P EDAGOGICAL USABILITY kategori Deskripsi masalah Keterangan Variabel 3 9%  sulit  mengerjakan  tugas (terutama studio desain) karena LMS hanya materi Penjelasan dosen Variabel 3 20%  mengaku  tugas  tidak dikembalikan, dievaluasi, dan diumumkan nilainya Transparansi nilai Variabel 3 4% mengaku sulit berkordinasi tugas kelompok, pengerjaan jadi lambat, beban individu lebih berat. Kesulitan kerja kelompok Variabel 3 10%  mengaku  tugas  terlalu banyak dan non-stop Tugas terlalu banyak Variabel 4 8% mengaku jaringan internet kurang mendukung Internet lambat Variabel 4 2%  mengaku  ada  masalah dengan quota internet, terutama kuliah synchronous Quota internet terbatas Variabel 4 3%  mengalami device rusak sehingga susah akses LMS Perangkat elektronik rusak Variable 4 5% mengaku terganggu dengan  jadwal  kuliah  dosen yang  tidak  sesuai  dengan jadwal perkuliahan Jadwal fleksibel

## (Sumber: Analisis data peneliti)
Dari  empat  variabel pedagogical  usability ,  mahasiswa hanya mengeluhkan masalah variable 3 Learning through LMS dan variable 4 LMS Flexibility . Hal ini menandakan bahwa informasi dan bantuan lebih lanjut terkait LMS dan fitur-fiturnya  cukup  memadai.  Adapun  beberapa  masalah dan  analisa  yang  ditemukan  pada  inspeksi pedagogical usability sebagai berikut:
1) Tugas  sulit  dikerjakan,  butuh  penjelasan  langsung: Sebanyak 9% mengaku tugas sulit dikerjakan karena LMS hanya  diberikan  materi  tanpa  ada  penjelasan.  Terutama mata  kuliah  praktik  &  studio  perancangan.  Mahasiswa merasa kesulitan dan kurang optimal apabila pembelajaran studio  lewat e-learning .  Masalah  ini  dapat  dicari  solusi alternatif  dengan  penjelasan  dosen  yang  jelas  terkait materi  studio,  baik  ketika  kuliah  virtual synchronous maupun materi-materi yang diunggah di LMS.
2) Transparansi  Nilai: 20%  mengaku  tugas  tidak dikembalikan, tidak dievaluasi, dan nilai tidak diumumkan. Angka  ini  cukup  besar  dan  menjadi  perhatian  dosen pengampu  semua  mata  kuliah  bahwa  mahasiswa membutuhkan transparansi nilai supaya adil.
3)  Kesulitan  kordinasi  kerja  kelompok: 4%  mengaku sulit  berkordinasi  tugas  kelompok,  sehingga  pengerjaan menjadi lambat dan beban individu lebih berat.  Kesulitan kordinasi  merupakan  tantangan  bagi  semua  civitas akademika  universitas  Telkom,  tidak  hanya  mahasiswa, termasuk  dosen.  Pada  masa  adaptasi  kebiasaan  baru, semua orang harus mampu beradaptasi. dengan koordinasi kelompok secara virtual, bukan tatap muka langsung.
4) Tugas  terlalu  banyak: 10%  mengaku  tugas  terlalu banyak  dan  berasa non-stop .  Terkait  pengaduan  tugas yang  dirasakan  mahasiswa,  ada  dua  kemungkinan  besar. Pertama,  mahasiswa  terlalu  lemah  dan  mudah  mengeluh. Kedua,  tugas  dari  dosen  pengampu  mata  kuliah  yang terlalu  banyak.  Perlu  diadakan  pelatihan softskill mahasiswa  terkait  manajemen  waktu  dan  prioritas aktivitas supaya pengerjaan tugas berjalan baik.
5) Internet  lambat: 8%  mengaku  jaringan  internet  di daerah  asal  kurang  mendukung  untuk e-learning . Beberapa mahasiswa FIK Universitas Telkom berasal dari daerah  dan  mereka  pulang  ke  daerah  asal.  Sebagian mahasiswa  yang  sadar  daerahnya  sinyal  internet  lemah, masih tinggal di Bandung untuk menghindari permasalahan.
6) Kuota  internet  terbatas: 2%  mengaku  bermasalah dengan  kuota  internet  untuk e-learning ,  terutama  untuk kuliah  virtual  synchronous.  Tatap  muka  daring  dengan video zoom  meeting dapat  mencapai  ratusan  megabite. Universitas  Telkom  sudah  memberikan  kuota  subsidi untuk mahasiswa.
7) Perangkat  elektronik  rusak: 3%  mengaku  pernah mengalami  kerusakan  laptop  dan  HP  sehingga  kesulitan dalam  mengakses  materi  dan  tugas  LMS. E-learning dan platform  LMS  membutuhkan gadget sebagai  media pembelajaran. Device yang rusak mengganggu perkuliahan.
8)  Fleksibilitas  Jadwal: 5%  mengaku  terganggu dengan  dosen  yang  tidak  sesuai  jadwal  perkuliahan.  Hal ini  menyebabkan  mahasiswa  bingung.  Solusinya  realisasi jadwal perkuliahan sebaiknya sesuai dengan jadwal awal.

## C. User Experience
Analisa pengalaman pengguna LMS dengan menggunakan skala semantic differential untuk mengevaluasi  persepsi  mahasiswa  terkait  pengalamannya menggunakan LMS. Pengumpulan datanya menggunakan kuisioner, dengan pendekatan User Experience Questionnaire (UEQ).  Inspektur  memberikan  opini mereka  terjait  penggunaan e-learning dengan  memilih pernyataan yang paling sesuai dengan perasaan inspektor. Adapun  aspek  Analisa user  experience dalam  metode TUXEL sudah dijelaskan pada metodologi penelitian.
TABEL 7
R ATA - RATA N ILAI E VALUASI P ENGALAMAN P ENGGUNA No Kategori Variabel Rata-rata Level UX 1 Attractiveness (menarik) 1,2 Positif ( good ) 2 Dependebility (ketepatan) 0,5 normal 3 Eficiency (efisiensi) 1,7 Positif ( good ) 4 Novelty (kebaruan) 0,6 normal 5 Perpicuity (kejelasan) 1,5 Positif ( good ) 6 Stimulation (stimulasi) 1,0 Positif ( good )

## (Sumber: Analisis data peneliti)
Ketentuan  level  persepsi  pengguna  dapat  di  lihat  pada Tabel  3.  Berdasarkan  perhitungan  rata-rata  keseluruhan skala  pada  Tabel  7,  median  nilai  tertinggi  1,7  pada  skala efisiensi,  kemudian  diikuti  dengan  kepraktisan  pada  nilai 1,5.  Keseluruhan  rata-rata  pada  keenam  skala  aspek user experience ini berada pada status level positif.
Gambar 3. Perhitungan nilai median skala semantik diferensial
Dari  hasil  rata-rata  nilai  pernyataan  mahasiswa,  dapat dilihat  pada  gambar  3  bahwa  semua  aspek  pengalaman pengguna mengarah ke  persepsi  positif,  kecuali pernyataan  (3)  ekspektasi  dan  (7)  konvensional/kreatif berada  pada  level  normal  dengan  nilai  0,5.  Sedangkan berdasarkan  perhitungan  rata-rata  keseluruhan  skala  pada tabel  6,  diketahui  rata-rata  nilai  tertinggi  ada  pada  skala efisiensi  dengan  nilai  1,7.  Kemudian  diikuti  kepraktisan pada nilai 1,5. Keseluruhan rata-rata keenam aspek berada pada  status  level  positif  ( good ).  Komentar e-learning LMS  Universitas  Telkom  positif,  khususnya  pada  bagian kepraktisan dan efisiensi.
1) Attractiveness: Nilai rata-rata mencapai 1,2 dengan dominasi  nilai  1.  Responden  merasa  LMS  Universitas
Telkom  mempunyai  daya  tarik  karena  ini  hal  baru. Apalagi  kondisi  pandemi  mengharuskan  mahasiswa belajar  secara  daring,  LMS  sangat  membantu  menarik perhatian.
2) Dependability: Nilai rata-rata hanya mencapai  0,5. Responden  merasa  LMS  Universitas  Telkom  sudah menyediakan  fitur-fitur  untuk  pembelajaran  daring  dan menyelesaikan  tugas.  Kendala  utama  berupa down  time serta timed  out sering  terjadi  pada  saat-saat  kritis  seperti perwalian, deadline tugas,  maupun  UTS/UAS  yang diakses saat bersamaan.
3) Efficiency: LMS Universitas Telkom mendapatkan skor  tertinggi  1,7.  Komentar  terkait  efisiensi  didominasi oleh  instruksi  dan  penyampaian  materi  LMS  sudah  baik. Video  pembelajaran  dan  tutorial  sangat  membantu  dalam pembelajaran  daring.  Kendala  utama  pada  keluhan  batas maksimal file tugas maksimal 5 MB dianggap terlalu kecil dan perlu ditingkatkan lagi.
4) Novelty: Nilai  rata-rata  0,6.  Semua  pernyataan responden  cenderung  normal,  tidak  terlalu  memuji maupun  mencela  LMS  Universitas  Telkom.  Keluhan responden terkait kreativitas secara umum terbagi menjadi 2. Pertama, kreativitas konten yang tergantung dari dosen pemegang  kelas  yang  belum  menggunakan  konten  dan fitur dengan optimal. Kedua, Responden merasa tampilan LMS sangat biasa dan membutuhkan kebaruan.
5) Perspicuity: Semua  komentar  cenderung  positif dengan  nilai  rata-rata  1,5.  Responden  merasa  semua informasi  dan  kejelasan  pada  LMS  Universitas  Telkom sudah  jelas.  Berbagai  macam  dokumen  panduan membantu  pengguna  untuk  mencari  informasi  terkait LMS.  Apabila  ada  masalah,  dosen  wali  dan  CeLOE  siap membantu.
6)  Stimulation: Komentar  responden  positif  dengan nilai rata-rata 1.  Rata-rata komentar menyebutkan bahwa e-learning LMS  merupakan  hal  baru  yang  patut  dicoba sehingga  mampu  menstimulasi  responden  untuk  belajar. Apalagi,  semua  materi  pembelajaran  terdokumentasi dengan rapi, sehingga responden dapat melakukan belajar mandiri.

## V. K ESIMPULAN DAN S ARAN
Evaluasi  penggunaan Learning  Management  System (LMS)  di  Universitas  Telkom,  Fakultas  Industri  Kreatif (FIK)  dengan  metode Technique  for  User  Experience Evaluation  in  E-Learning (TUXEL)  2.0  menghasil kesimpulan  dari  ketiga  inspeksi.  Dari  tahapan  inspeksi general  usability menggunakan  tabel  pelaporan  masalah, diketahui terdapat 1 masalah di kategori login , 1 masalah di  bidang interface ,  1  masalah  di assignment ,  dan  1 masalah di assessment . Pada tahapan inspeksi pedagogical  usability menggunakan  kuisioner  evaluasi LMS,  terdapat  4  masalah  di  kategori learning  through LMS dan  4  masalah  di  kategori LMS  Flexibility . Sedangkan tahapan Evaluasi User Experience
menggunakan UEQ adaptasi TUXEL 2.0 diketahui bahwa 4 kategori berada pada level  positif, sedangkan 2 lainnya berada  pada  level  normal.  Kedua  belas  pernyataan  UEQ berada  pada  level  positif  karena  rata-rata  skala  nilainya 1,08, di atas 0,8.
Berdasarkan  analisis  hierarki  kebutuhan  pengguna khususnya  mahasiswa  di  Fakultas  Industri  Kreatif  (FIK), Keberadaan E-learning melalui LMS Universitas Telkom dinilai sangat baik dalam melaksanakan proses pembelajaran  daring.  Hal  ini  dapat  dilihat  dari  hampir semua  kategori  bernilai  positif,  khususnya  tingkat efficiency yang  mencapai  1,7  dan perspicuity pada  level 1,5.  Walaupun  demikian,  CeLOE  LMS  Universitas Telkom  harus  tetap  berbenah  supaya  meningkatkan layanan terhadap pengguna ke depan.
Terdapat tiga saran utama dalam evaluasi CeLOE LMS Universitas Telkom metode TUXEL.
1. Peningkatan dependability (nilai  0,5)  karena  sering mengalami  gangguan  teknis  ( maintainance dan down) pada saat krusial.
2. Peningkatan novelty (nilai 0,6), pengguna menginginkan  tampilan  yang  lebih  segar  supaya proses belajar lebih menyenangkan.
3. Peningkatan efficiency walaupun  nilainya  sudah sangat  positif  (1,7).  Saran  ini  berupa  penambahan ukuran  file  dokumen  yang  dapat  diunggah  untuk pengumpulan tugas.
R EFERENSI
[1] Aunurrahman.  “Belajar  Dan  Pembelajaran ” .  Bandung:  Alfabeta, 2009.
[2] Republik  Indonesia.  “Surat  Edaran  No.4  tahun  2020  tentang Pelaksanaan  Kebijakan  Pendidikan  Dalam  Masa  Darurat Penyebaran  Corona  Virus  Disease  (COVID-19).”  Jakarta: Kementerian Pendidikan dan Kebudayaan, 2020.
[3] Universitas  Telkom  (2018).  “ Hadapi  Revolusi  Industri  4.0, Telkom  University  Kukuhkan  Program  Bernama  CeLOE ”. [online] Available: https://telkomuniversity.ac.id/en/hadapi- revolusi-industri-4-0-telkom-university-kukuhkan-program- bernama-celoe/
[4] H.  Azhar,  “Peningkatan  Efektivitas  Pembelajaran  Kelas  Studio Online  dengan  Metode  Studiogogi  Modul  S.O.L.E.,”.  Jurnal Cakrawala Pendidikan. vol. 15, no. 2, pp. 169-177, Nov. 2021.
[5] A.  Fauzan,  Dkk.  “Evaluasi  User  Experience  E-Learning Universitas  Bhayangkara  Jakarta  Menggunakan  Metode  TUXEL 2.0.  Technique  for  User  Experience  in  E-Learning.  Jurnal Pengembangan  Teknologi  Informasi  dan  Ilmu  Komputer. Universitas Brawijaya. vol. 5 no. 9, pp. 4111-4120, Sept. 2021.
[6] S.  Sujono.  “Analisis  Kualitas  E-Learning  dalam  Pemanfaatan Web  Conference  dengan  Metode  Webqual  (Studi  Kasus: Universitas  KH.  A.  Wahab  Hasbullah)”.  E-Jurnal  JUSITI-Jurnal Sistem  Informasi  dan  Teknologi  Informasi.  Universitas  Dippa Makassar. vol. 6 no. 1, pp. 69-77, Apr. 2017.
[7] D. Nurhayati, dkk. “Evaluasi User Experience Pada Edmodo dan Google Classroom Menggunakan Technique for User Experience in  E-Learning  (TUXEL).  Jurnal  Pengembangan  Teknologi Informasi  dan  Ilmu  Komputer.  Universitas  Brawijaya.  vol.  3  no. 4, pp. 3771-3780, Apr. 2019.
[8] V.  A.  Gunawan,  dkk.  “Desain  Fitur  Aplikasi  E-Learning Penunjang  Pembelajaran  Berbasis  Android.”  JEPIN  Jurnal Edukasi dan penelitian Informatika. Universitas Tanjungpura. vol. 7 no. 3, pp. 314-321, Dec, 2021.
[9] T.D.  Santi,  dkk.  “Validitas  Pengembangan  Mobile  Learning Berbasis  Moodle  di  Sekolah  Menengah  Kejuruan  Pariwisata Aisyiyah  Pada  Mata  Pelajaran  Pengetahuan  Bahan  Makanan”.
Jurnal  Cakrawala  Pendidikan.  Universitas  Pascasakti  Tegal.  Vol. 15, no. 1, pp 18-27, Mar, 2021.
[10] M.  Allen.  “Michael  Allen’s  Guide  to  E-learning”.  Canada:  John Wiley & Sons, 2013.
[11] S.R. Chandrawati. “Pemanfaatan E-learning dalam
Pembelajaran”. Jurnal Cakrawala Kependidikan vol. 8. no. 2. pp. 101-203, 2010.
[12] I.  Ardiansyah.  “Eksplorasi  Pola  Komunikasi  dalam  Diskusi Menggunakan  Moddle  pada  Perkuliahan  Simulasi  Pembelajaran Kimia”. Bandung: Universitas Pendidikan Indonesia, 2013.
[13] Interaction  Design  Foundation  (2021).  “ User  Experience  (UX) Design ”. [online]
available:
https://www.interaction-
design.org/literature/topics/ux-design
[14] W.T.  Nakamura  “TUXEL:  A  Technique  for  User  Experience Evaluation  in  E-Learning.  Universidade  Federal  do  Amazonas,
2018.
[15] Miles,  M.  B.  &  Huberman,  A.  M.  “An  Expanded  Sourcebook: Qualitative  Data  Analysis”.  California:  Sage  Publications  Inc., 1994.
[16] Moleong,  L.J.  “Metodologi  Penelitian  Kualitatif ” .  Bandung:  PT Remaja Rosdakarya, 2010.
[17] Sugiyono. “Metode Penelitian Pendidikan Pendekatan Kuantitatif, Kualitatif, dan R&D. Bandung: Alfabeta, 2014.