## EVALUASI HEURISTIK SISTEM PENGELOLAAN PEMBELAJARAN DARING PERGURUAN TINGGI DI INDONESIA
Andreas Rio Adriyanto 1 , Imam Santosa 2 , Achmad Syarief 3 1,2,3, Fakultas Seni Rupa dan Desain, Institut Teknologi Bandung andreasrio@students.itb.ac.id 1 , imamz@fsrd.itb.ac.id 2 , asyarief@fsrd.itb.ac.id 3

## Abstrak
Pandemi  virus  Covid-19  pada  awal  tahun  2020  menyebabkan  perubahan  sistem  pendidikan tatap  muka  ke  sistem  pendidikan  daring.  Berbagai  jenis platform pembelajaran  daring digunakan,  salah  satunya  melalui  sistem  pengelolaan  pembelajaran, Learning  Management System (LMS).  Perguruan  tinggi  di  Indonesia  telah  mengembangkan  materi  ajar  dalam  LMS institusi masing-masing namun masih banyak kekurangan yang terdapat di LMS pembelajaran daring  tersebut.  Tujuan  penelitian  ini  adalah  menganalisis  kebergunaan  ( usability )  sistem tersebut  termasuk  materi  ajar.  Penelitian  menggunakan  strategi  kualitatif  dengan  metode pengumpulan  data  dilakukan  dengan  pengamatan  visual  LMS.  Data  dianalisis  menggunakan evaluasi  heuristik  dengan  studi  kasus  pada  beberapa  penyelenggara  pembelajaran  daring. Interpretasi data diperkuat dengan studi literatur dari penelitian terdahulu. Dalam penelitian ini ditemukan permasalahan mayor pada materi ajar yang masih memakai elemen-elemen yang kurang tepat dan dapat menambah beban kognitif mahasiswa. Hasil penelitian ini memberikan beberapa  rekomendasi  yang  dapat  dijadikan  salah  satu  pertimbangan  dalam  perancangan materi pembelajaran daring untuk perguruan tinggi di Indonesia.
Kata Kunci: evaluasi heuristik, LMS, pembelajaran daring

## Abstract
The Covid-19 virus pandemic that occurred in early 2020 caused the education system to shift from  a  face-to-face  education  system  to  an  online  education  system.  Various  types  of  online learning platforms are used, one of which is through the Learning Management System (LMS). Higher  education  institutions  in  Indonesia  have  developed  learning  materials  in  their  LMS institutions. However, there are still many inadequacies found in their LMS. The aim of this study is to analyze the usability of the system, including the learning materials. The strategy of inquiry uses qualitative strategies, data collection method is made by visual observation of LMS. Data analysis using heuristic evaluation with case studies on several online learning providers. Data interpretation  is  strengthened  by  the  study  of  literature  from  previous  researches.  This  study found major problems in learning materials that still use elements that are not suitable and can add cognitive loads of students in constructing knowledge. The results of this study provide some recommendations that are expected to be one of the considerations in designing online learning materials for universities in Indonesia.
Keywords: heuristic evaluation, LMS, online learning

## ANDHARUPA: Jurnal Desain Komunikasi Visual & Multimedia
http://publikasi.dinus.ac.id/index.php/andharupa
_________________________ Available online at: bit.do/andharupa 28 August 2020

## 1. PENDAHULUAN
Pembelajaran daring adalah pembelajaran yang materi ajarnya dikirimkan secara digital dalam jaringan (daring) internet kepada siswa di lokasi yang berbeda. Internet menjadi media utama dalam menyampaikan pengetahuan karena faktor biaya yang murah dan distribusi  langsung.  Pada  metode  tatap  muka  di  kelas,  pengajar  menjadi  pusat  yang mengendalikan konten dan proses pembelajaran. Respon terjadi langsung dan pengajar dapat  langsung  memotivasi  siswa.  Tatap  muka  terbatas  ruang  dan  waktu  dan  biaya pembelajaran yang semakin mahal.  Dalam pembelajaran daring siswa menjadi pusat pembelajaran dan menuntut kemandirian.  Fleksibilitas lokasi dan waktu  dan akses yang tidak  terbatas  akan  pengetahuan  menjadi  kelebihannya.  Untuk  pembelajaran  daring asinkron dapat menyebabkan hambatan komunikasi karena respon yang tidak langsung. Butuh persiapan dan perencanaan yang baik untuk menghasilkan pembelajaran daring yang optimal. (Zhang, Zhao, Zhou, & Nunamaker, 2004).
Kondisi ini menjadi menjadi krusial ketika dunia dilanda penyebaran virus Covid-19 pada tahun 2020. Kota dan negara di dunia menerapkan aturan agar warganya untuk tetap tinggal di rumah. Termasuk kegiatan belajar mengajar yang sebelumnya dilakukan tatap muka di kelas digantikan dengan menggunakan media internet dalam penyampaiannya. Hanya dalam sebulan dunia pendidikan bergeser dari sistem pendidikan tatap muka ke sistem pendidikan daring. Fenomena ini dimulai dari China pada pertengahan Februari 2020  dan  telah  diikuti  oleh  74  negara  dalam  skala  yang  berbeda-beda  termasuk Indonesia (Kompas, 2020)
Dalam survei yang dilakukan penulis pada 150 dosen dan 195 mahasiswa pada bulan April  2020,  terlihat  ketidaksiapan  program  studi  perguruan  tinggi  dalam  memberikan perkuliahan  daring  pada  masa  pandemi  ini.  Terdapat  tiga  platform  utama  yang digunakan  dalam  proses  pembelajaran  tersebut  yaitu  Google  Classroom, instant messaging Whatsapp Group, LINE dan video conference Zoom untuk perkuliahan secara langsung  (sinkron).  Kendala  yang  dihadapi  ketika  perkuliahan  secara  sinkron  adalah masalah  jaringan  internet  dan  kuota  yang  terbatas  baik  mahasiswa  maupun  dosen. Akibatnya  materi  tidak  tersampaikan  dengan  baik.  Sebaliknya  dengan  penggunaan instant  messaging membuat  frustasi  mahasiswa  karena  ketidakjelasan  materi  yang disampaikan dosen pengampu dan banyaknya dosen menggantikan perkuliahan dengan tugas  daripada  memberikan  materi  ajar  kepada  mahasiswa.  Penggunaan  Google Classroom mengintegrasikan aktivitas kuliah dalam sistem, namun tergantung kesiapan dosen  dalam  menyiapkan  materi  ajar.  Materi  ajar  berupa slide presentasi  yang  biasa diberikan  lewat  kelas  tatap  muka  tidak  dapat  dipahami  secara  jelas  oleh  mahasiswa sedangkan dosen belum menyiapkan video ajar yang baik untuk penjelasan yang lebih lengkap.
Perguruan  tinggi  Indonesia  umumnya  sudah  mengembangkan  materi  pembelajaran daring  di  institusinya.  Materi-materi  ajar  disiapkan  oleh  dosen  untuk  kemudian diunggah ke dalam suatu sistem pengelolaan pembelajaran atau Learning Management System (LMS).  Namun  belum  semua  program  studi  menyiapkan  materi  ajarnya. Ketidaksiapan dalam menyiapkan pembelajaran daring lewat LMS institusi terlihat pada masa pandemi ini. Dari hasil survei yang dilakukan penulis ditemukan bahwa hanya 13%
mahasiswa  yang  menggunakan  LMS  internal  universitas  dan  umumnya  dosen menggunakan  fasilitas  pembelajaran  di  luar  institusi  seperti  Google,  Microsoft,  Zoom dan Whatsapp Group. Untuk memahami ketidaksiapan dan permasalahan yang terjadi, penelitian  dijalankan  dengan  mengamati  dan  menganalisis  sistem  pengelolaan pembelajaran daring perguruan tinggi di Indonesia.

## 2. METODE PENELITIAN
Strategi  penelitian  menggunakan  strategi  kualitatitif.  Metode  penelitian  dilakukan dengan  cara  pengumpulan  data,  analisis  dan  interpretasi  data.  Pengumpulan  data dilakukan dengan pengamatan visual LMS penyelenggara. Analisis data menggunakan evaluasi  heuristik  dengan  studi  kasus  pada  penyelenggara  pembelajaran  daring. Interpretasi data diperkuat dengan studi literatur dari penelitian-penelitian terdahulu. Ruang lingkup difokuskan pada dimensi sistem yang terkait dengan sistem pengelolaan pembelajaran  dan  dimensi  lingkungan  yang  terkait  dengan  materi  ajar  (Bhuasiri, Xaymoungkhoun,  Zo,  Rho,  &  Ciganek,  2012).  Mahasiswa  pertama  kali  berhadapan dengan sistem pengelolaan pembelajaran daring. Sistem yang mempunyai usability yang baik  dapat  memberikan  kenyamanan  bagi  pengguna  terkait  pemahaman  dan kemudahan berinteraksi dengan sistem.
Dalam  menganalisis usability suatu  sistem,  metode  yang  digunakan  adalah  evaluasi heuristik  (Nielsen,  1994).  Evaluasi  ini  berisi  10  variabel  yang  terdiri  dari  1)  kejelasan status sistem, 2) perbandingan antara sistem dan dunia nyata, 3) kontrol pengguna, 4) konsistensi dan standar, 5) antisipasi kesalahan, 6) mengenali daripada mengingat, 7) fleksibilitas dan efisiensi penggunaan, 8) estetika dan desain minimalis, 9) membantu pengguna  mendeteksi  dan  menyelesaikan  kesalahan,  dan  10)  dokumentasi  dan bantuan. Masing-masing variabel diberikan skala tingkat keparahan atau Severity Rating (SR) dan rekomendasi atas permasalahan itu. Skala digunakan dari 0 sampai 4. Nilai 0 berarti tidak ada permasalahan dan nilai 4 terdapat permasalahan utama.
Studi kasus dilakukan pada LMS yang terdapat perguruan tinggi di Indonesia yaitu ITB (Institut Teknologi Bandung) pada laman kuliah.itb.ac.id, ITS (Institut Teknologi Sepuluh Nopember)  pada  laman  share.its.ac.id,  Tel-U  (Universitas  Telkom)  pada  laman elearning.telkomuniversity.ac.id  yang  menggunakan  LMS  dengan  target  mahasiswa pada  institusi  tersebut.  Pengamatan  visual  lainnya  dilakukan  pada open  courseware yang diadakan oleh UGM (Universitas Gadjah Mada) pada laman elok.ugm.ac.id, UNS (Universitas  Negeri  Sebelas  Maret)  pada  laman  ocw.uns.ac.id  dan  UI  (Universitas Indonesia) pada laman ocw.ui.ac.id. Open courseware merupakan pembelajaran daring terbuka  yang  ditujukan  bagi  masyarakat  umum  dan  tidak  terbatas  pada  mahasiswa institusi yang bersangkutan.
Pemilihan kasus tersebut didasarkan pada pengembangan Kementerian Riset Teknologi dan  Pendidikan  Tinggi  tahun  2014  yang  membuat  program  Pembelajaran  Daring Indonesia Terbuka dan Terpadu (SPADA Indonesia). Di awal pengembangan, program ini melibatkan  enam  perguruan  tinggi  yaitu  UI,  ITB,  UGM,  ITS,  Universitas  Binus  dan Amikom.  Keberhasilan  rintisan  tahun  2014  dilanjutkan  hingga  tahun  2017  dengan  51
perguruan  tinggi  penyelenggara  (Kemenristekdikti,  2018).  Pemilihan  kasus  juga mempertimbangkan klasterisasi perguruan tinggi Indonesia terbaik yang menempatkan perguruan tinggi yang dipilih termasuk 15 perguruan tinggi terbaik (Kemenristekdikti, 2019).  Dengan  data-data  tersebut  diasumsikan  perguruan  tinggi  yang  dipilih  sudah memiliki  kesiapan  infrastruktur  dan  sistem  yang  mendukung  pengembangan pembelajaran  daring  dan  dapat  menjadi  perwakilan  untuk  menggambarkan pengembangan pembelajaran daring perguruan tinggi di Indonesia.

## 3. HASIL DAN PEMBAHASAN
LMS merupakan perangkat lunak yang dikembangkan dengan bahasa program tertentu (Java,  PHP,  Microsoft.NET)  dan  terintegrasi  dengan  basis  data  tertentu  (MySQL, Microsoft  SQL  Server,  Oracle).  Sebagian  besar  LMS  dikembangkan  dengan  penyajian berbasis  web.  LMS  merupakan  sistem  manajemen  pembelajaran  terintegrasi  yang mengelola  pengguna,  materi  ajar,  pengaturan  peran  (pengajar  dan  siswa),  dan pelaporan.  LMS  juga  melakukan  penjadwalan,  alur  pembelajaran,  penilaian,  forum diskusi,  dan  persyaratan  kelulusan.  LMS  dikembangkan  dengan  lisensi  komersial  dan lisensi open source . Keuntungan sistem aplikasi yang open source memungkinkan setiap pengembang dapat mempelajari, memodifikasi dan mengembangkan perangkat lunak tersebut  menjadi  sistem  yang  lebih  baik.  Beberapa  LMS  terbaik  yang  berlisensi open source antara lain Moodle, Chamilo, Open edX, Totara Learn dan Canvas (Pappas, 2019).
LMS yang umumnya digunakan perguruan tinggi di Indonesia adalah aplikasi Moodle. Moodle  ( Modular  Object-Oriented  Dynamic  Learning  Environment )  merupakan  paket perangkat  lunak  pembelajaran  daring  berdasarkan  pedagogik  konstruktivisme  sosial. ITB, ITS, UGM, UI, Tel-U dan SPADA Indonesia menggunakan Moodle dalam mengelola materi kuliah daring (Gambar 1).
Gambar 1. Sistem pengelolaan pembelajaran daring [Sumber: diolah dari ocw.ui.ac.id, kuliah.itb.ac.id, , share.its.ac.id, elok.ugm.ac.id]
Penelitian LMS Moodle di Eastern Mediterranean University menemukan bahwa dosen tidak  mengalami  kesulitan  dengan  sistem  dan  menyarankan  untuk  menambah  opsi pemulihan  dan  opsi  tampilan  materi  yang  fleksibel  (Farmanesh  &  Samani,  2016). Penelitian  LMS  Moodle  pada  universitas  di  Turki  menemukan  permasalahan  dari  sisi mahasiswa. Kurangnya fasilitas umpan balik, kesulitan menemukan obyek, sistem yang membingungkan,  tidak  memberi  petunjuk  bagi  pengguna  awam,  terlalu  banyak informasi, dan tidak mudah mendapatkan informasi yang dibutuhkan (Erenler, 2018).
Penelitian pada LMS perguruan tinggi di Indonesia dilakukan dengan evaluasi heuristik yang dibagi menjadi 10 variabel penilaian sebagai berikut:

## 3.1. Kejelasan Status Sistem
Sistem  yang  sulit  dipelajari  dapat  membuat  frustasi  pengguna  dan  aktivitas  menjadi terhambat.  Peserta  kuliah  daring harus  memahami  aturan  yang terdapat  dalam  LMS. Bila ada mata kuliah yang tidak dapat diakses berarti mahasiswa tidak diberi hak untuk mengikuti  mata  kuliah  tersebut.  Ada  mata  kuliah  yang  dapat  diikuti  oleh  mahasiswa, namun  harus  melakukan  prosedur  dengan  melakukan  permintaan password untuk keikutsertaan  kuliah  ( enrollment  key )  pada  dosen  pengampu  mata  kuliah. Terdapat tanda  berupa  ikon  terkait  ketersediaan  mata  kuliah.  Pemahaman  prosedur  ini membutuhkan  waktu,  sehingga  pengguna  awam  dapat  mengalami  kebingungan  akan proses tersebut (Gambar 2).
Gambar 2. Opsi pendaftaran ( enrolment ) mata kuliah daring [Sumber: diolah dari elok.ugm.ac.id dan share.its.ac.id]

## 3.2. Perbandingan Antara Sistem dan Dunia Nyata
Ketika  calon  siswa  akan  mengakses  materi  ajar,  dia  akan  membandingkan  dengan konsep perkuliahan konvensional. Yang terdapat di dunia nyata pada setiap mata kuliah adalah terdapat sejumlah pertemuan, masing-masing pertemuan terdapat materi ajar, evaluasi,  dan  diskusi.  Dosen  pengampu  mata  kuliah  bertugas  mengatur  materi  dan aktivitas pembelajaran daring dalam LMS. Pengaturan perkuliahan daring yang baik dan informasi yang jelas akan mempermudah peserta perkuliahan untuk memahami materi. Elemen tersebut diatur dengan tampilan visual ikon dan judul dari tiap elemen materi ajar. Masing-masing institusi dapat menggunakan jenis visual yang berbeda untuk tiap elemen yang sama (Gambar 3).
Gambar 3. Konten pengelolaan mata kuliah daring dan aktivitasnya [Sumber: diolah dari ocw.ui.ac.id dan elearning.telkomuniversity.ac.id]
Untuk penerapan ikon ditemukan beberapa permasalahan. Pada Gambar 4 kolom kiri merupakan tampilan  ikon dari  pembelajaran  daring  ITS.  Ikon balon tanya  jawab  yang menjadi perwakilan untuk “ Announcements” juga diberikan pada “ Questions here” . Ikon tersebut merupakan ikon standar untuk forum diskusi, namun penerapannya dapat saja membingungkan pengguna. Hal lain terdapat tiga ikon yang berbeda untuk materi ajar ( Introduction to Engineering Statistic , Introductory Statistics dan Basic Statistic ). Ketiga ikon itu merepresentasikan gambar dokumen berupa kertas, buku dan file pdf . Siswa sebagai pengguna mungkin akan dibingungkan akan materi ini, apakah ini materi utama atau materi tambahan? Pada materi daring UI (Gambar 4 kolom tengah) terdapat ikon untuk  mewakili  materi  MODUL  INTERAKTIF  1  berupa  ikon  kotak  kardus.  Hal  ini  tidak berhubungan dengan dunia nyata pengguna. Pada materi pembelajaran Tel-U (Gambar 4  kolom  kanan)  terdapat  ikon  berwarna  hitam  dengan  keterangan  teks.  Ikon  ini sebenarnya simbol untuk  video ajar, tapi ikon itu tidak menunjukkan kaitannya.
Gambar 4. Penggunaan Ikon materi pembelajaran daring
[Sumber: diolah dari share.its.ac.id, ocw.ui.ac.id dan elearning.telkomuniversity.ac.id]
Prinsip  yang  mengambil  konsep  dari  dunia  nyata  disebut  sebagai skeuomorphism . Benda-benda yang terkait dunia nyata manusia dicoba untuk diterapkan dalam dunia digital. Ikon metafor lebih baik dalam efisiensi pemberian informasi dibanding ikon non- metafor (Cho, Kwon, Na, Suk, & Lee, 2015).
Administrator pengelola LMS institusi dapat mengganti ikon standar yang terdapat pada LMS  mereka.  Penggunaan  ikon  dengan  abstraksi  metafor  memudahkan  pengguna memberikan korelasi visual mereka dengan dunia nyata. Tingkat realistis ikon sebaiknya pada tingkat ilustratif atau datar ( flat ) agar tidak membebani ingatan kognitif pengguna.
Penggunaan  ikon  bertipe  datar  juga  disarankan  oleh  penelitian  yang  terkait  dengan permasalahan usability (Spiliotopoulos, Rigou, & Sirmakessis, 2018).

## 3.3. Kontrol Pengguna
Sistem  yang  baik  dapat  memberikan  kebebasan  pengguna  untuk  mengendalikan. Kebebasan  siswa  untuk  mengendalikan  jalannya  materi,  termasuk  kembali  ke  materi sebelumnya  atau  melewatkan  materi  adalah  bagian  dari  pengendalian  ini.  Umumnya sistem  Moodle  sudah  memberikan  opsi  ini.  Siswa  diberikan  kebebasan  untuk mengendalikan jalannya materi lewat navigasi atau melalui konten materi (Gambar 5).
Gambar 5. Kontrol menu navigasi materi ajar (1) dan konten materi ajar (2)
[Sumber: diolah dari share.its.ac.id]
Pengamatan pada materi daring UGM ditemukan kekurangan terkait masalah navigasi. Ruangan yang relatif sempit pada bagian navigasi yang terletak di sebelah kanan ini akan menyulitkan pengguna untuk bereksplorasi (Gambar 6). Materi ajar yang mempunyai judul  panjang  akan  membuat  padat  bagian  ini  dan  akan  cenderung  menyulitkan pengguna.  Penelitian  yang  terkait  dengan  persoalan  navigasi  menunjukkan  bahwa navigasi  sebelah  kiri  lebih  mudah  digunakan  pengguna  (Thorngate  &  Hoden,  2017). Saran untuk permasalahan ini dengan menambah ruang navigasi agar pengguna mudah bereksplorasi dan posisi disarankan untuk diletakkan di bagian kiri.
Gambar 6. Kontrol menu navigasi di sebalah kanan yang relatif sempit [Sumber: diolah dari elok.ugm.ac.id]

## 3.4. Konsistensi dan Standar
LMS  perguruan  tinggi  di  Indonesia  mendorong  peserta  kuliah  untuk  belajar  mandiri. Pengaturan  konten  yang  tidak  sistematis  akan  menyulitkan  peserta  kuliah  untuk memahami alur perkuliahan.
Gambar 7. Elemen materi ajar yang tidak dikategorikan
[Sumber: diolah dari elok.ugm.ac.id]
Beberapa mata kuliah tidak diatur dengan baik dalam suatu kategori sehingga peserta kuliah tidak bisa membedakan kategori materi perkuliahan, tautan eksternal, tugas dan bagian  evaluasi  (Gambar  7).  Sarannya  dengan  penggunaan  label  yang  memberi keterangan elemen materi ajar dan memudahkan dilihat secara sistematis.
Gambar 8. Materi ajar yang otomatis terunduh
[Sumber: diolah dari ocw.ui.ac.id]
Temuan    lainnya  adalah  dokumen  materi  ajar  yang  tidak  diatur  untuk  dibuka  dalam halaman  LMS,  melainkan  dieksekusi  untuk  diunduh  (Gambar  8).  Mahasiswa  dapat merasa terpisah dari lingkungan pembelajarannya karena mereka membuka dokumen di tempat yang terpisah. Saran yang dapat dilakukan adalah membuat agar materi ajar tetap berada dalam sistem LMS sesuai dengan prinsip konsistensi dan standar, namun tetap diberi opsi untuk diunduh.
Pengunduhan  dokumen  terkait  dengan  kebebasan  mahasiswa  untuk  mempelajari materi secara luring. Pengintegrasian materi ajar dalam halaman LMS dapat dilakukan dengan dukungan administrator LMS pada institusi masing-masing.

## 3.5. Antisipasi Kesalahan
Dalam  proses  registrasi  perkuliahan  umumnya  didahului login dengan  memasukkan nama  pengguna  dan  kata  kunci.  Dalam  pengamatan  ditemukan  ketika  pengguna memasukkan  nama  ( username )  dan  kata  kunci  ( password )  yang  salah,  tidak  terdapat pemberitahuan bagian mana yang menjadi kesalahan. Fasilitas yang umum diterapkan adalah  dengan  menampilkan  ikon  mata  yang  ada  di  bagian form  password .  Hal  ini bertujuan apabila pengguna memasukkan password yang salah, ia dapat mengaktifkan ikon mata tersebut untuk memastikan password yang dimasukkannya. Dalam LMS yang diamati, fasilitas ikon mata tidak terdapat dalam bagian login (Gambar 9). Saran untuk masalah ini dengan menambahkan fasilitas tersebut dan pengguna selalu diberitahu apa yang menjadi kesalahannya dalam proses aksi tertentu.
Gambar 9. Tidak ada antisipasi kesalahan pengguna pada area login [Sumber: diolah dari elok.ugm.ac.id dan ocw.ui.ac.id]

## 3.6. Mengenali daripada Mengingat
Konsep  ini  berhubungan  dengan  beban  ingatan  kognitif  pengguna.  Dengan meminimalkan beban kognitif maka pengguna akan lebih mudah melakukan suatu aksi yang diinginkan. Opsi obyek yang ditampilkan secara visual akan lebih mudah dikenali dibandingkan obyek tulisan yang harus diingat oleh pengguna.
Prinsip ini digunakan untuk menganalisis konten materi pembelajaran daring pada LMS. Materi pembelajaran daring di perguruan tinggi di Indonesia umumnya berfokus pada dosen pengampu mata kuliah. Materi-materi ajar pada pembelajaran daring Indonesia masih memposisikan peserta kuliah daring sebagai penonton dan pembaca materi ajar. Dosen  pengampu  mata  kuliah  masih  berfungsi  sebagai  penyedia  informasi  dan mahasiswa menjadi penerima informasi yang pasif. Materi ajar daring didominasi slide presentasi kuliah di kelas yang diunggah dengan format pdf atau ppt . Beberapa materi ajar didominasi slide presentasi dengan tampilan teks yang penuh (Gambar 10).
Gambar 10. Materi ajar berupa slide presentasi dengan dominasi teks [Sumber: diolah dari elok.ugm.ac.id dan ocw.uns.ac.id]
Elemen  teks  tetap  menjadi  bagian  penting  dalam  proses  pembelajaran.  Teks berkoherensi tinggi adalah teks yang dengan kejelasan yang tinggi dan lengkap. Sebuah penelitian  membandingkan  penggunaan  materi  teks  berkoherensi  tinggi  dan  rendah. Hasilnya,  pembaca  yang  mempunyai  berpengetahuan  rendah  mendapatkan  hasil  tes yang  lebih  tinggi  dengan  menggunakan  teks  berkoherensi  tinggi  dibandingkan  teks berkoherensi  rendah.  Sedangkan  pembaca  berpengetahuan  tinggi,  membaca  teks berkoherensi rendah memberikan hasil yang lebih baik pada tes yang terkait dengan tes pemahaman situasional (McNamara & Kintsch, 1996). Materi teks komprehensif akan bermanfaat untuk mahasiswa pemula. Materi teks yang lebih ringkas dapat digunakan untuk  mahasiswa  senior  yang  pernah  mendapatkan  pengetahuan  terkait.  Solusi  lain adalah dosen dapat menyediakan dua jenis materi, materi teks komprehensif dan materi teks berupa ringkasan.
Materi ajar bisa berupa gabungan elemen teks dan grafik  (Gambar 11). Elemen grafik dalam  pembelajaran  dapat  mempunyai  tujuan  psikologis  (Clark  &  Lyons,  2011). Memberikan  fungsi  perhatian  pada  elemen  yang  penting  dari  materi.  Mengaktifkan model  mental  akan  pengetahuan  sebelumnya.  Meminimalkan  beban  kognitif  dengan penggunaan grafik yang jelas. Membangun model mental dengan melakukan konstruksi pengetahuan  baru  pada  ingatan  jangka  panjang.  Mendukung  transfer  pembelajaran dengan pemahaman mendalam. Mendukung motivasi dengan penggunaan elemen yang menarik.
Penggunaan elemen grafik juga mempunyai tujuan komunikasi  (Clark & Lyons, 2011). Sebagai elemen dekoratif yang bertujuan menambahkan aspek estetik dan tidak terkait dengan materi. Sebagai elemen representatif yang menampilkan konten materi dalam tampilan yang realistik. Sebagai elemen mnemonik yang berfungsi sebagai alat bantu visual yang dikaitkan dengan fakta atau konsep tertentu. Sebagai elemen organisasional yang  menggambarkan  hubungan  kualitatif  dari  konten  materi.  Sebagai  elemen relasional  yang  menggambarkan  hubungan  kuantitatif antara  dua  variabel  atau  lebih. Sebagai elemen transformasional yang mengkomunikasi perubahan yang terjadi dalam suatu  periode  waktu.  Sebagai  elemen  interpretif  yang  membantu  siswa  dengan membangun pemahaman akan proses yang abstrak.
Gambar 11. Materi ajar berupa slide presentasi dengan penerapan elemen gambar yang tidak tepat
[Sumber: diolah dari ocw.ui.ac.id, elok.ugm.ac.id dan share.its.ac.id]
Dengan memperhatikan fungsi psikologis dan komunikasi elemen grafik, dosen dapat menyiapkan  elemen  grafik  dengan  memperhatikan  fungsinya.  Banyak  ditemukan penggunaan  elemen  grafik  dengan  tujuan  dekoratif  atau  realistik  dalam  materi  ajar dalam  LMS  (Gambar  11).  Fungsi  dekoratif  tidak  membantu  siswa  mengkonstruksi pengetahuan  namun  dapat  menambah  beban  kognitif.  Sarannya  adalah  dosen  perlu mempertimbangkan  elemen  gambar  yang  bersifat  organisasional,  relasional, transformasional  dan  interpretif  untuk  memudahkan  siswa  dalam  mengkonstruksi pengetahuan yang diperoleh.
Materi  ajar  lainnya  adalah  video  ajar.  Video  merupakan  multimedia  yang  dapat memberikan  informasi  lewat  dua  saluran  pengguna,  melalui  sensor  penglihatan  dan pendengaran.  Beberapa  penelitian  terkait  dengan  penggunaan  multimedia  sebagai media pembelajaran sudah banyak dilakukan. Perancangan pada media pembelajaran berbasis audio visual untuk mata kuliah tipografi dilakukan dengan menerapkan prinsip desain  instruksional  ADDIE  (Sulistiyawati,  Prabowo,  &  Ulumuddin,  2017). Pengembangan techno virtual berbasis website sebagai media pembelajaran rekayasa visual bagi mahasiswa desain produk (Banindro, 2019). Pengembangan desain informasi dan  pembelajaran  aksara  Jawa  melalui  media  website  (Fakhruddin,  Sachari,  & Haswanto,  2019).  Di  sisi  lain  mahasiswa  yang  menerima  pembelajaran  umumnya generasi  digital  yang  terbiasa  menggunakan  perangkat  digital.  Hal  ini  sejalan  dengan survei  yang  menemukan  bahwa  rata-rata  generasi  yang  lahir  setelah  tahun  2000 menghabiskan lebih dari lima jam sehari untuk aktivitas secara daring. Namun tingkat literasi  aktivitas  generasi  ini  dalam  membaca  buku  masih  sangat  rendah  (Adriyanto, Santosa,  &  Syarief,  2019).  Melihat  kondisi  ini,  multimedia  dapat  dijadikan  salah  satu aspek materi yang memberikan interaktifitas dalam pembelajaran.
Pada  video  ajar  LMS  ditemukan  video  yang  merupakan  hasil  rekaman  dalam  kelas (Gambar  12).  Ada  yang  melakukan  proses  perekaman  di  dalam  ruangan  dan  disisipi materi-materi  yang  diajarkan.  Penggunaan  teknik talking-head dengan  menampilkan pengajar  dalam  tampilan  bagian  kecil  dalam  video  ajar  dan  materi  ajar  di  bagian
belakangnya (Gambar 13). Durasi video ajar ini bervariasi mulai dari 10 menit sampai lebih dari satu jam.
Gambar 12. Video ajar yang direkam langsung di kelas dan di dalam ruangan [Sumber: diolah dari kuliah.itb.ac.id]
Gambar 13. Video ajar berupa tampilan talking head mini dengan visual materi di belakangnya [Sumber: diolah dari ocw.ui.ac.id]
Sebuah  penelitian  menjelaskan  bahwa  video  berdurasi  pendek  lebih  meningkatkan keterlibatan  siswa  dibandingkan  berdurasi  panjang.  Saran  penelitian  tersebut  adalah melakukan segmentasi video dengan durasi kurang dari enam menit (Guo, Kim, & Rubin, 2014). Beberapa perkuliahan terbuka seperti Coursera menyediakan bagian kuis yang terintegrasi dengan video ajar. Penelitian lain menemukan terdapat tingkat keterikatan pengguna  yang  tinggi  pada  video  pembelajaran  yang  terintegrasi  kuis.  Pengguna mengulang bagian video yang ditonton sebelumnya untuk mendapatkan penjelasan atas pertanyaan dalam kuis (Kovacs, 2016). Dalam proses produksi, dosen dapat membuat rencana  dengan  membagi  pokok  bahasan  menjadi  sub-pokok  bahasan  yang  memuat storyline berdurasi pendek. Elemen interaktifitas dilakukan dengan memasukkan unsur tantangan  berupa  kuis  di  bagian-bagian  video  ajar  untuk  meningkatkan  keterlibatan mahasiswa. Selain mahasiswa dapat mengevaluasi materi yang dilihatnya, mahasiswa juga tidak diperlakukan sebagai penonton.
Prinsip koherensi (Mayer, 2009) menyatakan bahwa materi ekstra yang tidak menjadi bagian utama dalam proses konstruksi pengetahuan sebaiknya dihilangkan. Ini sesuai dengan prinsip beban kognitif ingatan siswa ketika siswa perlu ekstra dalam memproses informasi itu. Siswa yang sedang membaca materi ajar harus juga memproses informasi visual  tampilan talking-head dosen  yang  berbicara  di  sudut  kiri  bawah  (Gambar  13). Gambar  14  kolom  kiri  terdapat  video  ajar  yang  tampilan  latar,  materi  ajar  teks  yang terdapat grafik dekoratif dan dosen yang berbicara di depan mereka. Proses ini dapat
menambah beban kognitif mahasiswa. Motion graphic yang menampilkan elemen grafik yang  tidak  memudahkan  mahasiswa  dalam  mengkonstruksi  pengetahuan  sebaiknya dihindari (Gambar 14, kolom kanan).
Gambar 14. Video ajar dengan elemen grafis yang menambah beban kognitif [Sumber: diolah dari elearning.telkomuniversity.ac.id dan kuliah.itb.ac.id]

## 3.7. Fleksibilitas dan Efisiensi Penggunaan
Langkah  yang  banyak  dan  bertahap  dalam  menyelesaikan  suatu  aksi  akan  lebih menyulitkan dibandingkan sebuah langkah yang efisien. Dalam LMS ditemukan kondisi ketika  mahasiswa  ingin  mencari  mata  kuliah,  ia  harus  mencari  tiap  halaman  dan memperhatikan  nama  setiap  kuliah  yang  ditemui.  Penggunaan  penomoran  halaman akan semakin menyulitkan pengguna ketika konten bertambah banyak (Gambar 15).
Gambar 15. Navigasi materi ajar tanpa opsi pencarian
[Sumber: diolah dari elok.ugm.ac.id]
Tampilan  menggunakan  menu drop-down (Gambar  16)  membuat  pengguna  dapat melihat  secara  sistematis  dan  struktur  dari  konten  materi.  Namun  dengan bertambahnya  konten,  navigasi  ini  akan  menyulitkan  pengguna.  Saran  untuk permasalahan ini adalah pengguna diberikan kesempatan untuk melakukan pencarian secara fleksibel. Penggunaan form pencarian dapat menjadi solusi.
Gambar 16. Navigasi menu drop-down materi ajar tanpa opsi pencarian [Sumber: diolah dari share.its.ac.id]

## 3.8. Estetika dan Desain Minimalis
Elemen-elemen  informasi  diproses  untuk  meningkatkan  efisiensi  komunikasi  kepada pengguna  dalam  menyelesaikan  tugasnya.  Bila  ada  elemen  yang  tidak  mendukung tujuan informasi maka akan menyulitkan pengguna. Dalam LMS ditemukan bahwa tiap materi perkuliahan ditampilkan secara keseluruhan. Bila ada 14 kali pertemuan, maka 14  pertemuan  tersebut  ditampilkan  dalam  satu  halaman  (Gambar  17).  Hal  ini  dapat menyebabkan mahasiswa sulit mengontrol materi terutama jika mereka harus mencari materi  mana  yang  terakhir  dipelajari.  Saran  untuk  permasalahan  ini  adalah menampilkan opsi tampilan halaman tiap satu pertemuan atau satu sub-pokok bahasan. Kemungkinan  lain  adalah bila  ingin  menampilkan  seluruh  pertemuan  dapat  dilakukan dengan memberikan opsi accordion menu pada tiap pertemuan sehingga dapat dibuka dan ditutup sementara waktu.
Gambar 17. Seluruh topik materi ditampilkan dalam satu layar [Sumber: diolah dari ocw.ui.ac.id]

## 3.9. Membantu Pengguna Mendeteksi, Mendiagnosis dan Menyelesaikan Kesalahan
Pengamatan  pada  LMS  ditemukan  masalah  dalam  proses log  in .  Mahasiswa  diminta memasukkan username dan password . Bila terjadi kesalahan input seharusnya sistem dapat memberitahukan kesalahan yang sedang terjadi, memberitahu kepada pengguna apa yang menjadi kesalahan dan memberikan solusi atas aksi yang salah tersebut. Pada Gambar 18 adalah tampilan ketika pengguna salah memasukkan password, namun tidak dijelaskan  apakah  pengguna  salah  memasukkan username atau password .  Kemudian ada tampilan untuk log in sebagai tamu ( Log in as a guest ). Bila pengguna tidak paham sistem pada LMS tersebut dapat menyebabkan frustasi dalam mengaksesnya.
Gambar 18. Contoh informasi pada halaman login yang tidak ada informasi lebih lanjut
[Sumber: diolah dari elearning.telkomuniversity.ac.id]
Pada LMS yang lain ditemukan ketika pengguna salah memasukkan informasi di bagian log  in kemudian  dipindahkan  ke  halaman  yang  terlihat  pada  Gambar  19.  Keterangan ditampilkan dengan bahasa teknis yang berisi informasi infrastruktur dan sistem. Saran untuk  permasalahan  ini,  pihak  administrator  LMS  dapat  membenahi  sistem  dengan mempermudah  pengguna  mengetahui  kesalahan  yang  sedang  terjadi.  Penggunaan bahasa  Indonesia  dapat  menjadi  pertimbangan  dalam  menyampaikan  dialog  kepada calon  pengguna,  terutama  untuk  mata  kuliah  terbuka  yang  para  penggunanya  belum terbiasa dengan LMS yang ada.
Gambar 19. Contoh tanggapan kesalahan dari halaman login yang bersifat teknis [Sumber: diolah dari ocw.ui.ac.id]

## 3.10. Dokumentasi dan Bantuan
Pada  LMS  ditemukan  institusi  yang  sudah  menerapkan  panduan  bagi  pengguna. Formatnya berupa dokumen pdf atau video tutorial. Namun ditemukan juga LMS yang belum  dilengkapi  dengan  dokumen  bantuan,  tautan  yang  tidak  berisi  informasi  yang terkait dengan bantuan pengguna bagi pemahaman sistem yang ada (Gambar 20).
Gambar 20. Contoh informasi bantuan yang tidak berisi konten bantuan yang dibutuhkan pengguna [Sumber: diolah dari ocw.ui.ac.id]
Ada juga yang tidak berisi informasi apapun dalam bagian tersebut (Gambar 21). Hal ini perlu diperhatikan mengingat pembelajaran daring yang ditawarkan merupakan kuliah terbuka dengan peserta dari luar institusi. Saran untuk permasalahan ini adalah pihak pengelola  layanan  dapat  melengkapi  dengan  opsi  bantuan  mengingat  pembelajaran daring  membutuhkan  kemandirian  siswa  sehingga  informasi  yang  lengkap  dan menyeluruh dapat mengantisipasi kesalahan yang diakibatkan oleh pengguna.
Gambar 21. Contoh informasi bantuan yang belum lengkap
[Sumber: diolah dari ocw.uns.ac.id]
Hasil keseluruhan evaluasi heuristik pada LMS perguruan tinggi di Indonesia dijelaskan dalam Tabel 1 yang terdiri dari variabel yang diukur, temuan, tingkat keparahan atau Severity Rating (SR) dan rekomendasi atas permasalahan itu. Severity Rating merupakan tingkat  keparahan  dari  sistem  yang  diamati.  Skala  yang  digunakan  dari  0  sampai  4 (Nielsen,  1994).  Nilai  0  menunjukkan  tidak  ada  permasalahan.  Nilai  1  terdapat permasalahan  kosmetik,  nilai  2  terdapat  permasalahan  minor,  nilai  3  terdapat permasalahan mayor dan nilai 4 terdapat permasalahan utama.
Tabel 1. Evaluasi heuristik sistem pengelolaan pembelajaran daring perguruan tinggi di Indonesia [Sumber: Dokumentasi penulis, 2020]
Variabel Penilaian Temuan SR Rekomendasi Kejelasan status sistem 1) Prosedur mengikuti mata kuliah yang tidak jelas 2) Penggunaan ikon yang tidak jelas dalam keterangan keikutsertaan 2 1) Pengelola LMS perlu memberitahukan prosedur perkuliahan daring dengan dokumen panduan atau halaman khusus
Variabel Penilaian Temuan SR Rekomendasi Perbandingan antara sistem dan dunia nyata 1) Pengaturan materi-materi ajar dan ikon dapat disalahartikan oleh mahasiswa 1 1) Mengganti ikon standar pada LMS dengan ikon yang memberikan korelasi visual Kontrol pengguna 1) Penggunaan navigasi dalam ruang yang relatif sempit sehingga menyulitkan mahasiswa 1 1) Mengatur lagi sistem navigasi yang mempermudah mahasiswa bereksplorasi Konsistensi dan standar 1) Terdapat ketidakjelasan dalam pengaturan materi- materi ajar 2) Terdapat dokumen materi ajar yang diberi pilihan hanya diunduh 2 1) Pengaturan materi ajar dengan label. 2) Akses materi ajar diintegrasikan ke dalam halaman LMS dengan opsi untuk diunduh Antisipasi kesalahan 1) Tidak ada fasilitas ikon mata untuk melihat password sehingga pengguna tidak dapat memastikan password 2 1) Menambahkan fasilitas tersebut dan pengguna selalu diberitahu apa yang menjadi kesalahannya dalam proses aksi tertentu Mengenali daripada mengingat 1) Terdapat materi ajar yang berisi poin-poin utama saja tanpa penjelasan lebih lanjut 2) Terdapat materi ajar yang berisi keterangan penjelasan yang panjang 3) Terdapat materi ajar dengan elemen grafik yang tidak tepat 4) Terdapat video ajar yang melakukan proses perekaman di kelas dengan durasi yang panjang 5) Terdapat video ajar yang menggunakan elemen ekstra yang tidak terkait dengan bahan ajar 3 1) Penggunaan materi teks yang komprehensif untuk mahasiswa pemula 2) Penggunaan materi teks yang lebih ringkas dan hal- hal yang penting untuk mahasiswa yang senior 3) Dosen dapat menyediakan materi teks komprehensif dan materi teks ringkasan 4) Mempertimbangkan elemen grafik sesuai fungsinya
5) Membagi video ajar dalam segmentasi durasi yang lebih pendek dan memasukkan unsur tantangan dalam bagian video 6) Menampilkan elemen- elemen grafik dalam video ajar yang relevan dengan proses konstruksi pengetahuan mahasiswa. Fleksibilitas dan efisiensi penggunaan 1) Terdapat navigasi materi ajar tanpa opsi pencarian 2) Terdapat penggunaan menu drop-down yang berpotensi menimbulkan masalah ketika materi bertambah banyak 2 1) Memberikan alternatif navigasi sehingga dapat melakukan pencarian secara fleksibel
Variabel Penilaian Temuan SR Rekomendasi 2) Memasukkan form pencarian sebagai salah satu alternatif Estetika dan desain minimalis 1) Terdapat pertemuan dalam satu mata kuliah yang ditampilkan secara langsung dalam satu halaman 2 1) Menampilkan tampilan tiap satu pertemuan atau satu sub-pokok bahasan 2) Penggunaan menu accordion yang dapat dibuka tutup Membantu pengguna mendeteksi, mendiagnosis dan menyelesaikan kesalahan 1) Tidak ada informasi ketika masalah terjadi dalam proses log in 2) Terdapat bagian halaman yang tidak berisi informasi apapun ketika pengguna salah melakukan suatu aksi 2 1) Perlu ditambahkan suatu informasi yang memberitahukan ketika pengguna melakukan kesalahan aksi 2) Halaman yang terkait sistem perlu dicek ulang untuk antisipasi kesalahan Dokumentasi dan bantuan 1) Tidak ditemukan bagian yang membantu pengguna untuk memahami sistem 2) Terdapat halaman informasi panduan yang belum lengkap terisi 2 1) Administrator sistem LMS perlu melengkapi bagian- bagian yang masih kurang dan melengkapi panduan bagi pengguna Total tingkat keparahan 1,9
Keterangan  SR:  0:  tidak  ada permasalahan  sama  sekali  1:  permasalahan  kosmetik  2:  permasalahan minor 3: permasalahan mayor 4: permasalahan utama
Dari  hasil  penilaian  tingkat  keparahan  (SR)  LMS  yang  diamati  secara  keseluruhan didapatkan  nilai  rata-rata  dengan  skor  1,9.  Hal  ini  menunjukkan  secara  keseluruhan permasalahan masih tergolong permasalahan minor.

## 4. KESIMPULAN
Walaupun permasalahan yang terdapat dalam LMS masih tergolong minor namun untuk variabel  yang  terkait  materi  ajar  didapatkan  nilai  3  yang  menjadikan  materi  ajar  ini mempunyai  permasalahan  yang  harus  dibenahi.  Kemandirian  mahasiswa  dalam mengikuti  perkuliahan  daring  menjadi  pertimbangan  utama.  Karena  kemandirian  itu, kejelasan  materi  ajar  dan  kemudahan  dalam  aktivitas  pembelajaran  menjadi  krusial untuk  diterapkan.  Pemahaman  penggunaan  elemen  teks  dan  grafik  serta  fungsi- fungsinya dalam materi ajar perlu dijelaskan secara mendalam pada dosen pengampu. Penggunaan video ajar perlu mempertimbangkan aspek kognitif dan preferensi siswa. Rekomendasi  penelitian ini dapat ditindaklanjuti oleh  administrator  LMS institusi dan dosen pengampu mata kuliah.
Kekurangan dalam penelitian ini adalah masih melihat secara global untuk keseluruhan sistem LMS dan materi ajar yang ada di institusi pendidikan tinggi. Penelitian lebih lanjut dan  detil  dapat  difokuskan  kepada  salah  satu  jenis  LMS  seperti  institusi  di  luar pendidikan  tinggi  dengan  aplikasi  di  luar  Moodle  dan  penggunaan platform yang
berbeda seperti pada perangkat mobile . Dengan memperbanyak kasus dalam berbagai pembelajaran daring dapat memperkaya dan melengkapi penelitian-penelitian sejenis. Penelitian  yang  mendalam  perlu  dilakukan  dengan  fokus  pada  materi  ajar,  posisi keilmuan desain komunikasi visual dapat memberikan kontribusi terkait permasalahan visual materi ajar. Namun dengan kajian global ini, saran dan rekomendasi yang telah diajukan diharapkan dapat mengurangi kekurangan-kekurangan yang ada secara umum dalam  LMS  masing-masing  institusi.  Perbaikan  dan  pengembangan  lebih  lanjut diharapkan  dapat  meningkatkan  kualitas  pembelajaran  daring  di  institusi  perguruan tinggi Indonesia.

## DAFTAR PUSTAKA
Adriyanto, A. R., Santosa, I., & Syarief, A. (2019). Memahami Perilaku Generasi Z Sebagai Dasar  Pengembangan  Materi  Pembelajaran  Daring. Prosiding  Seni,  Teknologi Dan Masyarakat #4 , 2 , 165–173.
Banindro, B. S. (2019). Pengembangan Techno Virtual Berbasis Website sebagai Media Pembelajaran  Rekayasa  Visual  Blender  3D  bagi  Mahasiswa  Desain  Produk. ANDHARUPA: Jurnal Desain Komunikasi Visual & Multimedia , 5 (01), 102–114. Bhuasiri,  W.,  Xaymoungkhoun,  O.,  Zo,  H.,  Rho,  J.  J.,  &  Ciganek,  A.  P.  (2012).  Critical success factors for e-learning in developing countries: A comparative analysis between ICT experts and faculty. Computers & Education , 58 (2), 843–855. Cho,  M.,  Kwon,  S.,  Na,  N.,  Suk,  H.-J.,  &  Lee,  K.  (2015).  The  Elders  Preference  for Skeuomorphism  as  App  Icon  Style. Proceedings  of  the  33rd  Annual  ACM Conference Extended Abstracts on Human Factors in Computing Systems - CHI EA ’15 , 899–904.
Clark, R. C., & Lyons, C. (2011). Graphics for Learning: Proven Guidelines for Planning, Designing, and Evaluating Visuals in Training Materials (Second). San Francisco: Pfeiffer.
Erenler,  H.  H.  T.  (2018).  Heuristic  Evaluation  of  E-Learning. International  Journal  of Organizational Leadership , 7 , 195–210.
Fakhruddin, D., Sachari, A., & Haswanto, N. (2019). Pengembangan Desain Informasi dan Pembelajaran Aksara Jawa melalui Media Website. ANDHARUPA: Jurnal Desain Komunikasi Visual & Multimedia , 5 (01), 1–23.
Farmanesh, P., & Samani, A. A. (2016). Heuristic Evaluation of the Usability of Learning Management  System  (Moodle)  at  Eastern  Mediterranean  University. International  Journal  of  Scientific  Research  in  Information  Systems  and Engineering (IJSRISE) , 2 (1), 22–36.
Guo, P. J., Kim, J., & Rubin, R. (2014). How video production affects student engagement. Proceedings of the First ACM Conference on Learning @ Scale Conference - L@S ’14 , 41–50.
Kemenristekdikti. (2018). Panduan Hibah Penyelenggaraan Sistem Pembelajaran Daring (SPADA) Indonesia Tahun 2018 . Direktorat Pembelajaran, Direktorat Jenderal Pembelajaran  dan  Kemahasiswaan,  Kementerian  Riset  Teknologi  dan Pendidikan Tinggi Republik Indonesia.
Kemenristekdikti.  (2019).  Menristekdikti  Umumkan  Klasterisasi  Perguruan  Tinggi Indonesia 2019, Fokuskan Hasil dari Perguruan Tinggi. Retrieved July 12, 2020, from https://www.ristekbrin.go.id/kabar/menristekdikti-umumkan- klasterisasi-perguruan-tinggi-indonesia-2019-fokuskan-hasil-dari-perguruan- tinggi/
Kompas. (2020). Gotong Royong Studi Daring . pp. 9–9.
Kovacs, G. (2016). Effects of In-Video Quizzes on MOOC Lecture Viewing. Proceedings of the Third (2016) ACM Conference on Learning @ Scale - L@S ’16 , 31–40.
Mayer,  R.  E.  (2009). Multimedia  Learning (Second).  Cambridge:  Cambridge  University Press.
McNamara, D. S., & Kintsch, W. (1996). Learning from texts: Effects of prior knowledge and text coherence. Discourse Processes , 22 (3), 247–288. Nielsen, J. (1994). Usability inspection methods . New York: John Wiley & Sons. Pappas, C. (2019). The 20 Best Learning Management Systems (2019 Update). Retrieved July  12,  2020,  from  https://elearningindustry.com/the-20-best-learning- management-systems
Spiliotopoulos,  K.,  Rigou,  M.,  &  Sirmakessis,  S.  (2018).  A  Comparative  Study  of Skeuomorphic and Flat Design from a UX Perspective. Multimodal Technologies and Interaction , 2 (2), 31.
Sulistiyawati,  P.,  Prabowo,  D.  P.,  &  Ulumuddin,  D.  I.  I.  (2017).  Perancangan  Media Pembelajaran Berbasis Audio Visual untuk Mata Kuliah Tipografi pada Program Studi  Desain  Komunikasi  Visual  Universitas  Dian  Nuswantoro. ANDHARUPA: Jurnal Desain Komunikasi Visual & Multimedia , 3 (01), 69–80.
Thorngate,  S.,  &  Hoden,  A.  (2017).  Exploratory  Usability  Testing  of  User  Interface Options in LibGuides 2. College & Research Libraries , 78 (6).
Zhang,  D.,  Zhao,  J.  L.,  Zhou,  L.,  &  Nunamaker,  J.  F.  (2004).  Can  e-learning  replace classroom learning? Communications of the ACM , 47 (5), 75–79.