## Pengaruh Aspek Pedagogis dan Interaksi Sistem pada Penilaian Usabilitas Sistem E-Learning
Indah Permatasari* Teknik Informatika Fakultas Ilmu Komputer
Universitas Indo Global Mandiri Palembang, Indonesia indah@uigm.ac.id Peny Meliaty Hutabarat Penyiaran Multimedia Program Pendidikan Vokasi
Universitas Indonesia Depok, Indonesia penymeliaty@ui.ac.id
Abstrak—Penelitian ini bertujuan untuk melihat pengaruh faktor  pedagogis  maupun  interaksi  sistem  pada  penilaian usabilitas sistem e-learning. Pendekatan pada penilaian sistem e-learning, yang selama ini terbelah antara bertumpu pada satu faktor,  atau  berupaya  menggabungkan  keduanya  tanpa membedakan  kekhasan  karakteristiknya.  Upaya  unifikasi tanpa  membedakan  karakter  tersebut  akan  menyulitkan perumusan tindak lanjut hasil penilain yang dilakukan, sebab tindak lanjut pasca penilaian  memiliki perbedaan pada kedua jenis  faktor  tersebut.  Faktor-faktor  pedagogis  maupun usabilitas  sistem  mungkin  berpengaruh,  diperoleh  dari  hasil studi  literatur  pada  penelitian-penelitian  sebelumnya. Pengujian  terhadap  faktor-faktor  tersebut  dilakukan  dengan melakukan  survei  kepada  para  pengguna  sistem  VCLASS  di Universitas  Indo  Global  Mandiri  (UIGM).  Selain  diharapkan mendapatkan faktor-faktor yang diperlukan dalam penyusunan  kerangka  penilaian  usabilitas  sistem  e-learning, penelitian  ini  juga  dapat  memberikan  kontribusi  terhadap penyempurnaan sistem VCLASS UIGM.
Kata  Kunci—penilaian  usabilitas,  e-learning,  pedagogis, interaksi sistem

## I. P ENDAHULUAN
Usabilitas  merupakan  cermin  kualitas  interaksi  antara pemakai  dengan  sistem e-learning pada  sebuah  institusi, sehingga  merupakan  faktor  penting  dalam  melakukan evaluasi  sitem  dan  teknologi e-learning [1].  Davis  (1989) melihat  bahwa  penerimaan  suatu  teknologi  oleh  pengguna akan turut dipengaruhi oleh faktor ease of use atau usabilitas tersebut [2]. Terdapat berbagai pendekatan untuk mengetahui usabilitas sebuah e-learning yang dapat dikategorikan dalam dua kategori aspek penilaian, yaitu penilaian terhadap aspek yang  bersifat  pedagogis  serta  aspek  interaksi  sistem [3][4][5][6].
Pendekatan yang memiliki  muatan pedagogis antara lain dilakukan oleh [6], [7], dan [8]. Studi-studi tersebut antara lain merujuk  pada  aspek-aspek  pedagogis  dalam  penelitian sebelumnya oleh [9]. Dalam penyusunan parameter tersebut, mereka  mengacu  pada  kriteria  penyusunan  sistem  untuk pembelajaran, sebagaimana diungkapkan oleh [10].
Studi  [11]  merupakan contoh penelitian dengan karakter usabilitas yang lebih umum. Penelitian tersebut menggunakan metode heuristik sebagaimana diperkenalkan oleh [12] yang diperbaharui  oleh  [13].  Penelitian  tersebut  memperluas paramater  yang  dipergunakan  dari  sepuluh  parameter  pada penelitian awal  menjadi  lima belas parameter. Penelitian  ini menarik karena penelitian sebelumya oleh [14] menggunakan kombinasi aspek pedagogis dan interaksi sistem. Pendekatan [14]  anatara  lain  pernah  dipergunakan  dalam  penilaian
usabilitas SCELE di Fasilkom UI [15]. Sebelumnya [1] juga melontarkan  gagasan  untuk  melakukan  unifikasi  penilaian usabilitas dari aspek pedagogis dan interaksi sistem, termasuk pendekatan  heuristik  yang  diperkenalkan  oleh  [13]. Popularitas  penggunaan  pendekatan  heuristik  tersebut  juga ditandai  dengan  banyaknya  studi  yang  merujuk  pendekatan tersebut,  seperti  studi-studi  dari  [16],  [17],  [18],  [19],  [20], [21], [22], [23], dan [24].
Penilaian  usabilitas  sistem e-learning ,  yang  bertumpu hanya pada faktor interaksi sistem dan pemakaian saja, tidak dapat  melihat  adanya  pengaruh  faktor  pembelajaran  yang bersifat khas pada sistem e-learning [1], [4]–[6], [9]. Namun pengabaian  terhadap  faktor  interaksi  sistem  juga  membuat penilaian tersebut tidak memasukkan potensi pengaruh faktor- faktor  yang  bersifat  umum  pada  sebuah  aplikasi  komputer seperti  kemudahan  pemakaian  dan  tampilan  visual  dalam usabilitas  sebuah  sistem.  Sementara  itu,  unifikasi  penilaian aspek pedagogis dan interaksi sistem sebagaimana ditawarkan [1]  akan  menyulitkan  upaya  untuk  mengetahui  aspek  mana yang lebih dominan pada sebuah hasil penilaian. Tindak lanjut dari  hasil  analisis  usabilitas  tersebut  berbeda.  Kekurangan pada aspek interaksi sistem akan diperbaiki, misalnya dengan menyempurnakan  pada  sistem  antar  muka  dan  navigasi sistem.  Kemudian,  kekurangan  pada  aspek  pedagogis  dapat pula  disebabkan  oleh  struktur  materi  pembelajaran,  bukan karena fitur dan fasilitas pada sistem e-learning itu sendiri.
Penelitian [22] juga menunjukkan bahwa berbagai faktor yang  dipergunakan  memiliki  potensi  atau  kecenderungan untuk tumpang tindih satu sama lainnya. Oleh karena itu, [22] menyarankan  agar  penilaian  usabilitas  mempertimbangkan kemungkinan tersebut, yang dapat berdampak pada perubahan jumlah dan jenis faktor dalam melakukan penilaian usabilitas sistem e-learning .  Analisis  terhadap  kemungkinan  tumpang tindih  ini  penting  untuk  dilakukan,  khususnya  ketika melakukan  penggabungan  berbagai  faktor  yang  mungkin memengaruhi usabilitas sebuah sistem e-learning .
Penelitian  ini  berupaya  mengidentifikasi  faktor-faktor yang  berpengaruh  pada  penilaian  sebuah  sistem e-learning , baik dari sisi pedagogis  maupun  interaksi antara sistem dan pemakainya.

## II. T INJAUAN P USTAKA
Berdasarkan  tinjauan  pustaka  yang  dilakukan  dengan mengadopsi pendekatan PRISMA [25], terdapat dua kategori besar cara melakukan penilaian usabilitas sistem e-learning , yaitu berdasarkan aspek pedagogis dan aspek sistem interaksi [3], [6]. Studi [5] dan [4], selain menyinggung aspek usabilitas secara  umum  sebagaimana  pernah  dibahas  pada  penelitian [26]–[28],  juga  menyampaikan  pentingnya  melihat  aspek
pedagogis  dalam  penilaian  usabilitas  sebuah  sistem e- learning .  Penelitian  yang  bertumpu  pada  penilaian  aspek pedagogis antara lain dilakukan oleh [6]–[8]. Aspek penilaian pedagogis  yang  dipergunakan  merujuk  pada  penelitian  [9], yang  mengacu  pada  kriteria  penyusunan  sistem  untuk pembelajaran oleh [10].
Adapun studi dengan usabiltas secara umum dari interaksi sistem  dilakukan  oleh  [16]–[24],  [29].  Studi-studi  tersebut merujuk  pada  metode  heuristik  oleh  [12]  sebagaimana diperbaharui oleh [13]. Pada studi-studi tersebut juga terdapat berbagai  faktor  pedagogis,  namun  dominan  aspek  yang bersifat interaksi sistem. Umumya  faktor pedagogis tersebut dimasukkan dalam satu faktor besar bernama learnability .
Berbagai  faktor  tersebut  kemudian  dikelompokkan  dan menghasilkan  5  faktor  pedagogis  serta10  faktor  interaksi sistem, sebagaimana pada Tabel I.

## TABEL I. F

## AKTOR - FAKTOR U SABILITAS
Faktor Usabilitas Penulis Kemudahan  kontrol  pembelajaran  dan pengetahuan [4], [6], [21], [7], [8], [16], [17] Akses ke material pembelajaran [4]–[8], [16]–[19] Interaksi antar pengguna [6], [7], [17] Evaluasi outcome pembelajaran [4]–[8], [17]–[20] Kemampuan bertukar ide/gagasan [4]–[7], [16]–[19] Visibiltas terhadap status sistem [5], [6], [17], [20], [22] Kesesuaian antara interakasi sistem dengan di dunia nyata [6], [7], [17], [22], [24] Kontrol dan kebebasan oleh pemakai [4], [6]–[8], [17], [20]– [24] Konsistensi dan standar [8], [20]–[22], [24] Error prevention [6], [17], [20]–[22] Recognition rather then recall [8], [18], [19], [21] Fleksibilitas dan efesiensi penggunaan [4], [5], [22]–[24], [6]– [8], [16], [17], [19]–[21] Estetika dan kesederhanaan desain [4]–[8], [16], [20]–[22], [24] Membantu pemakai mengenali, memahami dan mengatasi masalah [4]–[8], [22], [24] Keberadaan bantuan dan dokumentasi [4]–[7], [22]
Lima faktor pertama merupakan faktor bersifat pedagogis, sedangkan sepuluh faktor lainnya merupakan interaksi sistem. Dalam  pengelompokan  tersebut,  modifikasi  dilakukan terhadap  deskripsi  pada  faktor-faktor  yang  dipergunakan. Penelitian-penelitian  yang  dominan  dengan  penggunaan faktor  terkait  interaksi  sistem,  cenderung  banyak menggunakan istilah learnability untuk menampung penilaian aspek  pedagogis.  Dalam  Tabel  I  tersebut,  faktor-faktor diuraikan kembali dengan mengacu pada penelitian terkait [6], [9],  [10].  Penggabungan  faktor  juga  dilakukan  dengan mempertimbangkan tumpang tindih pengertian dan indikator penilaian sebagaimana disampaikan oleh [22].

## III. R ANCANGAN P ENELITIAN
Penelitian ini menggunakan pendekatan kuantitatif untuk mengetahui  faktor-faktor  yang  berpengaruh  dalam  menilai usabilitas  sebuah  sistem e-learning .  Disusun  sebagai penelitian  eksplanatori,  dimana  dalam  penelitian  ini  akan
dilakukan  pengujian  pada  variabel-variabel  penelitian berdasarkan  rancangan  model  yang  disusun  oleh  peneliti. Penelitian  ini  berupaya  untuk  mengetahui  kualitas  aspek pedagogis dan interaksi sistem dalam penilaian sebuah sistem e-learning .

## A. Penyusunan Hipotesis Penelitian
Penyusunan  hipotesis  bagi  penelitian  ini  bersumber  dari aspek-aspek  yang  muncul  pada  berbagai  literatur  terkait. Berdasarkan studi literatur, faktor-faktor berpengaruh terbagi menjadi  dua  kelompok,  yaitu  aspek  pedagogis  dan  aspek interaksi  sistem.  Adapun  aspek  pedagogis  dipengaruhi  oleh beberapa faktor sebagai berikut:
 Kemudahan  kontrol  pembelajaran  dan  penyerapan pengetahuan
Sebuah e-learning harus didesain untuk memudahkan pengguna  mengelola  materi  belajar.  Menurut  [7], e- learning harus  mampu  mendukung  pengguna  untuk menjadi  pembelajar  yang  aktif  dan  mandiri. Kemandirian ini juga harus didukung oleh kemudahan pengguna dalam mencari topik tertentu dalam sistem e-learning [24].  Selain  itu,  desain e-learning harus mampu  mendorong  penggunanya  untuk  memperoleh pengetahuan yang tersedia dan mengingatnya [6], [17]. Oleh karena itu hipotesis yang dibentuk yaitu sebagai berikut:
H1:Kemudahan kontrol pembelajaran dan penyerapan pengetahuan berpengaruh positif terhadap usabilitas e-learning
 Akses ke material pembelajaran
Material pembelajaran  merupakan  inti dari sebuah e- learning . Tersedianya material pada e-learning harus dapat  diakses  oleh  pengguna,  baik  pengajar  maupun pelajar [22]. Oleh karena itu, hipotesis yang dibentuk yaitu:
H2:Kemudahan  akses  ke  material  pembelajaran berpengaruh positif terhadap usabilitas e-learning
 Komunikasi dengan pengguna lainnya
E-learning adalah  sarana  berkomunikasi  dan berinteraksi antara pengguna, sehingga harus tersedia sistem  yang  mendukung  aktivitas  tersebut  [24]. Adanya  sarana  komunikasi  antara  pengguna  akan memudahkan  proses  pertukaran  ide  dan gagasan [6]. Oleh karena itu dibentuk hipotesis yaitu:
H3:Komunikasi dengan pengguna lainnya berpengaruh positif terhadap usabilitas e-learning
 Evaluasi outcome pembelajaran
Suatu  evaluasi  dilakukan  untuk  menilai  hasil  suatu proses.  Sama  halnya  dengan  proses  pembelajaran, dibutuhkan suatu sarana evaluasi untuk menilai proses belajar  pada  pelajar  dan  efektivitas  materi  yang diberikan pengajar.
E-learning harus
mengimplementasikan  proses  yang  menghasilkan bukti  hasil  belajar  penggunanya  [24].  Sedangkan menurut  [6]  dan  [20], e-learning harus  memberikan umpan  balik  ke  pengguna  agar  mereka  dapat mengukur  kemampuan  mereka.  Oleh  karena  itu, hipotesis yang dibentuk yaitu:
H4:Evaluasi  outcome  pembelajaran  berpengaruh positif terhadap usabilitas e-learning
 Kemampuan bertukar ide/gagasan
Adanya  sarana  komunikasi  seperti  forum  pada e- learning harus  dapat  mendukung proses bertukar ide dan  gagasan  [24].  Adapun  menurut  [6], e-learning harus  menawarkan  aktivitas  yang  mendukung pembelajaran  secara  aktif  dan  mendorong  terjadinya pertukaran  ide.  Oleh  karena  itu,  dibentuk  hipotesis yaitu:

## H5:Kemampuan  bertukar  ide/gagasan  berpengaruh positif terhadap usabilitas e-learning
Sedangkan  aspek  interaksi  sistem  dipengaruhi  oleh beberapa faktor sebagai berikut:
 Visibilitas terhadap status sistem
Suatu  sistem  harus  mampu  memberikan  informasi kepada pengguna tentang apa yang sedang terjadi pada sistem  [13].  Dari  hasil  studi  literatur  yang  dilakukan [22]  dan  [21],  visibilitas  status  menjadi  salah  satu faktor yang paling berpengaruh dan sering digunakan untuk  mengukur  usabilitas  sebuah e-learning .  Status sistem akan memberikan informasi kepada pengguna dalam  berinteraksi  dengan  sistem.  Oleh  karena  itu, hipotesis yang dibentuk yaitu:
H6:Visibilitas  terhadap  status  sistem  berpengaruh positif terhadap usabilitas e-learning
 Kesesuaian  antara  interaksi  sistem  dengan  di  dunia nyata
Menurut  [13],  dinyatakan  bahwa  sistem  harus menggunakan  suatu  konsep  yang  lazim  dan  dikenali oleh  pengguna.  Hal  ini  dapat  dilakukan  dengan mengikuti  konvensi  pada  dunia  nyata  sehingga membuat  informasi  yang  ditampilkan  sistem  lebih alami  dan  tersusun  secara  logis.  Adapun  [22] menyatakan e-learning harus didesain  menyesuaikan dengan  dunia  nyata  yang  berhubungan  dengan metafora  logis  ataupun  ungkapan  yang  digunakan dalam sistem. Oleh karena itu, hipotesis yang dibentuk yaitu
H7:Kesesuaian antara interaksi sistem dengan dunia nyata  berpengaruh  positif  terhadap  usabilitas  e- learning
 Kontrol dan kebebasan oleh pengguna Sarana  yang  disediakan e-learning harus  dapat dikonfigurasi  dengan  mudah  [24].  Kontrol  dan kebebasan pengguna juga ditinjau dari sisi fleksibilitas sistem  [20],  misalnya  dalam  pengelolaan  materi pembelajaran oleh pengguna. Adapun [9] menyatakan e-learning harus  mampu  beradaptasi  sesuai  dengan jenis tugas yang diberikan melalui sistem. Oleh karena itu, hipotesis yang dibentuk yaitu:
H8:Kontrol dan kebebasan oleh pengguna berpengaruh positif terhadap usabilitas e-learning
 Konsistensi dan standar
Sebuah  sistem  harus  konsisten  dalam  menampilkan sesuatu dan menggunakan istilah dengan konsisten dan standar  [13].  Konsistesi  ini  akan  sangat  membantu pengguna  dalam  mengingat  berbagai  item  dalam sistem e-learning [20]. Memudahkan pengguna dalam mengingat  akan  mengurangi  beban  ingatan  sehingga sistem  lebih  mudah  dilakukan.  Oleh  karena  itu, hipotesis yang dibentuk yaitu:
H9:Konsistensi  dan  standar  berpengaruh  positif terhadap usabilitas e-learning
 Pencegahan kesalahan ( Error prevention )
Pencegahan  kesalahan  diterapkan  untuk  mencegah terjadinya  kesalahan  sistem  yang  disebabkan  oleh perilaku  pengguna  [20].  Hal  ini  dapat  diterapkan dengan  memberikan  pesan,  konfirmasi  sebelum mengeksekusi  tindakan  yang  kritis  atau  memberikan fitur  pembatalan  perintah  terakhir.  Sedangkan  [21] menyatakan  sistem e-learning harus  mencegah pengguna  melakukan  kesalahan.  Oleh  karena  itu, hipotesis yang dibentuk yaitu:
H10:Pencegahan  kesalahan  berpengaruh  positif terhadap usabilitas e-learning
 Mengenali daripada mengingat navigasi
Menurut [13], dinyatakan bahwa pengguna seharusnya dapat menerima berbagai informasi cukup dari posisi dimanapun  di  dalam  sistem.  Selain  itu,  sistem  harus dirancang  agar  pengguna  tidak  perlu  mengingat informasi  karena  informasinya  terlihat  atau  dapat dikenali dari wujudnya. Penelitian [22] dan [21] juga menunjukkan  bahwa  kriteria  ini  penting  dalam menguji  usabilitas e-learning .  Oleh  karena  itu, hipotesis yang dibentuk yaitu:
H11:Kemudahan mengenali posisi titik pembelajaran berpengaruh positif terhadap usabilitas e-learning
 Fleksibilitas dan efisiensi penggunaan
Keberadaan  fasilitas shortcuts ,  yang  umumnya  tidak diketahui  pemakai  pemula  dapat  mempercepat pengguna sistem oleh mereka yang sudah lebih mahir [13]. Kapabilitas ini menunjukkan bahwa sistem telah mengadopsi  karakter  pemakai  pemula  maupun pemakai  yang  sudah  mahir.  Sistem  yang  lebih  baik akan memiliki fasilitas untuk mengatur kegiatan atau menu-menu yang sering dipakai ( frequently used taks) . Maka hipotesis yang dibentuk yaitu:
H12:Fleksibilitas dan efesiensi penggunaan berpengaruh positif terhadap usabilitas e-learnig
 Estetika dan kesederhanaan desain
Menurut  [13],  disampaikan  bahwa  pemakaian  antar muka  bersifat  efisien  dan  tidak  berlebihan,  dalam artian  berisi  hal-hal  yang  tidak  relevan  atau  tidak diperlukan. Aspek visual sebaiknya tidak membingungkan dan memudahkan pemakai memahami  cari  penggunaan  sistem  [14].  Sementara itu,  menurut  [9]  juga  menyampaikan  bahwa  faktor presentasi  sistem,  khususnya  desain  yang  enak dipandang  dan  sederhana  akan  memengaruhi usabilitas sistem e-learning tersebut. Oleh karena itu, hipotesis yang dibentuk yaitu:
H13:Estetika dan kesederhanaan desain berpengaruh positif terhadap usabilitas e-learning
 Membantu  pengguna  mengenali,  memahami  dan mengatasi masalah
Menurut  [13],  pesan  kesalahan  harus  disampaikan dengan  mudah  (bukan  dengan  kode),  yang  secara spesifik menunjukkan letak permasalahan ada di mana dan memberikan saran solusi bagi pemakai. Penelitian [14]  menyatakan  hal  serupa  yaitu  bagian  dari  faktor umpan  balik  pada  saat  pemakaian.  Oleh  karena  itu, hipotesis yang dibentuk yaitu:
H14:Kemudahan mengenali, memahami, dan mengatasi  masalah  berpengaruh  positif  terhadap usabilitas e-learning
 Keberadaaan bantuan dan dokumentasi
Bantuan dan dokumentasi dapat membantu pengguna menemukan  informasi  terkait  penggunaan  sistem untuk  membantu  pengguna  menyelesaikan  tugasnya [13].  Hal  ini  sejalan  dengan  yang  diungkapkan  [20]. Oleh karena itu, hipotesis yang dibentuk yaitu:
H15:Keberadaan bantuan dan dokumentasi berpengaruh positif terhadap usabilitas elearning

## B. Model Penelitian
Model  penelitian  dibuat  untuk  menguji  kelimabelas hipotesis  tersebut  di  atas.  Hipotesis  tersebut  mencerminkan faktor-faktor pedagogis dan interaksi sistem dalam penilaian usabilitas sebuah sistem e-learning . Model tersebut tertuang pada Fig. 1 berikut ini:
Fig. 1. Model Penelitian

## C. Pengumpulan dan Analisis Data
Pengumpulan data dilakukan dengan menggunakan teknik survei  (kuesioner).  Survei  diimplementasikan  menggunakan kuesioner yang disebarkan kepada target sampel yang dipilih secara purposive  sampling yaitu  mahasiswa  baru  Fasilkom UIGM  tahun  ajaran  2021/2022  atau  mahasiswa  angkatan
2021.  Mahasiswa  baru  dipilih  sebagai  sampel  dalam penelitian  ini  untuk  menghindari  terjadinya bias terhadap ruang  lingkup  penelitian,  karena  mereka  belum  pernah menggunakan sistem e-learning yang dimiliki UIGM. Sistem e-learning asinkron  UIGM  bernama  VCLASS,  yang  dibuat berbasiskan platform e-learning Moodle .
Berdasarkan informasi yang diterima dari Program Studi di  Fasilkom  UIGM,  tercatat  sejumlah  316  mahasiswa angkatan  2021.  Penentuan  menggunakan  metode  Slovin sebagaimana  ditemukakan  oleh  Sevilla  [30],  dan menghasilkan  jumlah  sampel  minimum  sebanyak  76  orang untuk tingkat kepercayaan 95%, dan margin of error sebesar 10%. Sebelumnya kuesioner telah dibagikan ke sampel, untuk menguji  keterbacaan  yang  dilakukan  oleh  mahasiswa  yang tidak masuk ke dalam populasi. Kuesioner ini dikembangkan menggunakan  skala  Likert  dengan  skala  1-6.  Nilai  1 menunjukkan  sangat  tidak  setuju  sedangkan  nilai  6 menunjukkan sangat setuju.
Pengumpulan  data  dilakukan  dengan  menggunakan Google  Form  sebagai  formulir  survei  secara  online.  Para responden  dihubungi  melalui  Whatsapp  Group  mahasiswa angkatan 2021. Sebanyak 94 responden mengembalikan data, namun  terdapat  13  data  yang  mengisi  tidak  sesuai  dengan target tahun angkatan mahasiswa yaitu 2021. Total sebanyak 81  responden  dinyatakan  valid  dan  tidak  ada  data  ganda sehingga dapat diproses untuk keperluan analisis lebih lanjut. Data ini sesuai dengan target rencana untuk mendapatkan 76 orang responden.

## IV. D ISKUSI
Bagian  ini  akan  memaparkan  temuan  berdasarkan  data yang  diperoleh  dan  hasil  pengelolaan  data  untuk  mencapai hasil penelitian.

## A. Demografi Responden
Berdasarkan  hasil  pengumpulan  data,  data  responden penelitian ini adalah sebagai berikut pada Tabel II:
TABEL II. D ATA D EMOGRAFI R ESPONDEN Demografi Jenis Responden Jenis Kelamin Laki-laki 54 Perempuan 27 Jurusan Teknik Informatika 71 Sistem Informasi 9 Sistem Komputer 1

## B. Analisis Data
Analisis  data  pada  penelitian  ini  dilakukan  dengan menggunakan
PLS-SEM berdasarkan pendekatan sebagaimana dilakukan oleh [31]. Alat bantu yang digunakan adalah perangkat lunak SmartPLS.
Evaluasi  realibilitas  dan  validitas  model  pengukuran dilakukan  sebanyak  dua  kali.  Pertama  dilakukan  evaluasi dengan  jumlah  indikator  awal  sebanyak  52  buah  untuk  15 buah  variabel,  digunakan  nilai loading  factor (pada SmartPLS: outer loading ) lebih besar dari 0.70. Untuk jumlah sample  sebesar  81  responden,  dipergunakan  nilai  T  sebesar
1.29209. Pada evaluasi pertama ini, beberapa indikator nilai loading  factor -nya  kurang  dari  0.70.  Selanjutnya  dilakukan seleksi dengan  menguji terhadap indikator yang sesuai saja. Pengurangan indikator ini berakibat beberapa variabel hanya memiliki satu buah indikator.
Berdasarkan  pengujian  pada  hasil  indikator  kedua  yang telah dikurangi tersebut, semua indikator memiliki nilai faktor di atas 0.70 dengan T sebesar 1.29209. Dari hasil pengujian tersebut  diperoleh  hasil  sebagaimana  pada  Tabel  III  berikut ini:
TABEL III. H
ASIL P ENGUJIAN (B OOTSTRAPPING ) Original Sample (O) Sample Mean (M) Standard Deviation (STDEV) T Statistics (|O/STDEV|) P Values Keterangan PND1 -> USB -0,063 -0,070 0,114 0,550 0,582 Hipotesa ditolak PND2 -> USB 0,078 0,076 0,215 0,363 0,717 Hipotesa ditolak PND3 -> USB 0,052 0,053 0,194 0,270 0,787 Hipotesa ditolak PND4 -> USB -0,239 -0,264 0,229 1,043 0,298 Hipotesa ditolak PND5 -> USB -0,023 -0,046 0,201 0,115 0,909 Hipotesa ditolak SIS1 -> USB 0,352 0,359 0,178 1,982 0,048 Hipotesa diterima SIS2 -> USB -0,106 -0,002 0,284 0,374 0,708 Hipotesa ditolak SIS4 -> USB -0,182 -0,196 0,240 0,759 0,448 Hipotesa ditolak SIS5 -> USB -0,170 -0,145 0,163 1,043 0,297 Hipotesa ditolak SIS6 -> USB 0,000 -0,052 0,266 0,002 0,999 Hipotesa ditolak SIS7 -> USB -0,014 -0,022 0,207 0,069 0,945 Hipotesa ditolak SIS8 -> USB 0,438 0,377 0,224 1,960 0,051 Hipotesa diterima SIS9 -> USB 0,282 0,292 0,254 1,107 0,269 Hipotesa ditolak SIS10 -> USB -0,380 -0,348 0,284 1,339 0,181 Hipotesa diterima

## C. Pembahasan
Berdasarkan  analisis  data  tersebut,  hanya  ada  tiga hipotesis  yang  diterima  dari  lima  belas  hipotesis  yang diajukan.  Artinya  dari  kelima  belas  faktor  pedagogis  dan interaksi  sistem  tersebut,  hanya  tiga  yang  dipandang berpengaruh  signifikan  pada  penilaian  usabilitas  sistem e- learning VCLASS  UIGM.  Ketiga  hipotesis  tersebut  berada pada  faktor  interaksi  sistem.  Adapun  ketiga  faktor  tersebut adalah:
 Aspek  interaksi  sistem  nomor  1:  Visibilitas  terhadap status sistem
 Aspek  interaksi  sistem  nomor  8:  Estetika  dan kesederhanaan desain
 Aspek  interaksi  sistem  nomor  10:  Keberadaan dokumen dan bantuan
Kelima  buah  faktor  dalam  penilaian  aspek  pedagogis memiliki kecukupan loading factor untuk analisis lebih lanjut. Lalu  kesepuluh  buah  faktor dalam  penilaian  aspek  interaksi sistem,  kontrol  dan  kebebasan  oleh  pengguna,  tidak dipandang  cukup  untuk  dilanjutkan  pada  pengujian selanjutnya.
Keberadaan  lima  faktor  pedagogis  yang  diajukan, dipandang  tidak  cukup  signifikan  sehingga  faktor-faktor tersebut tidak membantu menjelaskan faktor learnability yang banyak  dipakai  sebagai  faktor  aspek  pedagogis  pada penelitian-penelitian  sebelumnya.  Sementara  itu,  dari  sisi interaksi sistem, visibilitas terhadap status sistem dipandang merupakan  faktor  yang  menentukan  usabilitas  sebuah e- learning .  Temuan  ini  sejalan  dengan  penelitian  yang
dilakukan oleh [21], [22] yang menyatakan bahwa visibilitas status  sistem  menjadi  salah  satu  fakTor  berpengaruh  dan sering  digunakan  untuk  mengukur  usabilitas e-learning . Selain  itu,  faktor  kesederhanaan  desain  serta  kemudahan dalam  memperoleh  dokumen  dan  bantuan  menjadi  faktor yang  dianggap  menentukan  penilaian  usabilitas e-learning . Hal  ini  sejalan  dengan  penelitian  sebelumnya  yang menyatakan  bahwa  faktor  kesederhanaan  desain  dan kemudahan dokumentasi/bantuan menjadi  faktor pendukung dalam  menentukan  penilaian  usabilitas e-learning [4]–[7], [22].

## V. K ESIMPULAN
Berdasarkan  hasil  penelitian  dapat  disimpulkan  bahwa terdapat tiga faktor utama yang menentukan usabilitas sebuah sistem e-learning berdasarkan  studi  kasus  pada  sistem VCLASS  UIGM  yaitu  (a)  visibilitas  terhadap  status  sistem; (b)  estetika  dan  kesederhanaan  desain;  serta  (c)  keberadaan dokumen dan bantuan.
Ketiga  faktor  tersebut  merupakan  faktor  pada  aspek interaksi  sistem e-learning .  Sementara  itu,  pada  aspek pedagogis  belum  ditemukan  faktor  yang  mendukung  aspek learnability yang  banyak  dibahas  pada  penelitian-penelitian sebelumnya,  khususnya  yang  juga  berfokus  pada  aspek interaksi sistem, seperti [11], [16]–[24].
Dari  sisi  aspek  interaksi  sistem,  penelitian  mendukung temuan  [21],  [22]  bahwa  visibilitas  terhadap  status  sistem menjadi faktor paling tinggi yang ditunjukkan pada sistem e- learning , terutama pada kasus VCLASS UIGM. Hal ini berarti pada  studi  kasus  sistem e-learning diketahui  bahwa  sistem
dapat menginformasi input yang diterima; semua aksi; status; dan informasi histories yang pernah dilakukan oleh pengguna.
Selain itu, faktor kesederhanaan desain serta kemudahan dokumentasi dan bantuan menjadi faktor penting lainnya pada sistem e-learning sejalan dengan pendapat yang disampaikan oleh [4]–[7], [22] dalam penilaian usabilitas sistem e-learning . Ketujuh  faktor  lainnya,  walaupun  beberapa  responden memandang  cukup  penting,  namun  hasil  pengujian menunjukkan tidak cukup signifikan dalam menilai usabilitas sebuah e-learning .
Melalui penelitian ini, kontribusi teoritik diberikan berupa tiga faktor yang mempengaruhi penilaian usabilitas sistem e- learning . Penilaian tersebut baru tertuju pada aspek interaksi sistem,  sedangkan  pada  aspek  pedagogis  yang  dapat mengukur learnability belum  terpenuhi.  Penyusunan  model pengukuran usabilitas sistem e-learning di waktu mendatang dapat berfokus hanya pada ketiga faktor tersebut saja.
Sementara  itu,  secara  praktikal,  penerapan  sistem e- learning seperti VCLASS UIGM perlu memperhatikan ketiga faktor agar sistem tersebut dipandang usable oleh pengguna. Dengan  demikian,  faktor  tersebut  dapat  menjadi  fokus penilian dan penyempurnaan terus-menerus pada implementasi sebuah sistem e-learning .
Penelitian  selanjutnya  dapat  mengelaborasi  lebih  lanjut mengapa faktor-faktor  pedagogis dalam penelitian sebelumnya  tidak  dianggap  penting  dalam  penelitian  ini, termasuk  melakukan  pengujian  pada  responden  yang memiliki  karakter  demografis  berbeda  dalam  sistem e- learning , dengan platform yang berbeda pula. Selain itu, dari sisi  aspek  interaksi  sistem  dapat  mengelaborasi  lebih  lanjut konsistensi  dan  standar  seperti  apa  yang  dipandang  penting dalam penilaian usabilitas sebuah sistem e-learning .

## R EFERENSI
[1] P.  Zaharias,  “Usability  and  e-learning:  the  road  towards integration,” eLearn  Mag. ,  vol.  6,  no.  6,  p.  4,  2004,  [Online]. Available: http://portal.acm.org/citation.cfm?doid=998337.998345
[2] F. D. Davis, “Perceived usefulness, perceived ease of use, and user acceptance of information technology,” MIS Q. Manag. Inf. Syst. , vol. 13, no. 3, pp. 319–339, 1989, doi: 10.2307/249008.
[3] W.  Hwang  and  G.  Salvendy,  “Number  of  people  required  for usability evaluation: The 10±2 rule,” Commun. ACM , vol. 53, no. 5, pp. 130–133, 2010, doi: 10.1145/1735223.1735255.
[4] R. D. Samuel, C. M. Kim, and T. E. Johnson, “A study of a social annotation modeling learning system,” J. Educ. Comput. Res. , vol. 45, no. 1, pp. 117–137, 2011, doi: 10.2190/EC.45.1.f.
[5] R. Estevez, S. Rankin, R. Silva, and Indratmo, “A model for web- based course registration systems,” Int. J. Web Inf. Syst. , vol. 10, no. 1, pp. 51–64, 2014, doi: 10.1108/IJWIS-05-2013-0014.
[6] J. Khlaisang, “Proposing a new pedagogy-based website design: A usability test with lifelong learners,” Educ. Inf. Technol. , vol. 22, no. 4, pp. 1713–1735, 2017, doi: 10.1007/s10639-016-9514-9.
[7] A.  N.  M.  Yusof  and  N.  L.  Ahmad,  “An  Investigation  on  the Relationship  between  Online  Distance  Learning  with  Learning Usability,” Procedia - Soc. Behav. Sci. , vol. 65, no. ICIBSoS, pp.
1066–1070, 2012, doi: 10.1016/j.sbspro.2012.11.372.
[8] S.  P.  P.  Chin,  E.  Tsui,  and  C.  S.  Lee,  “Enhancing  learning effectiveness  by  adopting  a  knowledge-based  usability guidelines,” VINE J. Inf. Knowl. Manag. Syst. , vol. 46, no. 1, pp. 123–152, 2016, doi: 10.1108/VJIKMS-02-2014-0015.
[9] A. Koohang and J. Du Plessis, “Architecting Usability Properties in the E-Learning Instructional Design Process,” Int. J. ELearning , vol.  3,  no.  3,  pp.  38–44,  2004,  [Online].  Available: http://www.editlib.org/p/5102
[10] L.  L.  Lohr,  “Designing  the  instructional  interface,” Comput. Human  Behav. ,  vol.  16,  no.  2,  pp.  161–182,  2000,  doi: 10.1016/S0747-5632(99)00057-6.
[11] P. Zaharias and P. Koutsabasis, “Heuristic evaluation of e-learning courses: A comparative analysis of two e-learning heuristic sets,” Campus-Wide  Inf.  Syst. ,  vol.  29,  no.  1,  2011,  doi: 10.1108/10650741211192046.
[12] J. Nielsen and R. Molich, “Heuristic evaluation of user interfaces,” Conf. Hum. Factors Comput. Syst. - Proc. , no. April, pp. 249–256, 1990, doi: 10.1145/97243.97281.
[13] J.  Nielsen,  “Enhancing  the  explanatory  power  of  usability heuristics,” Conf. Hum. Factors Comput. Syst.  - Proc. , pp. 152– 158, 1994, doi: 10.1145/191666.191729.
[14] P.  Zaharias  and  A.  Poylymenakou,  “Developing  a  usability evaluation method for e-learning applications: Beyond functional usability,” Int. J. Hum. Comput. Interact. , vol. 25, no. 1, pp. 75– 98, 2009, doi: 10.1080/10447310802546716.
[15] I.  S.  Junus,  H.  B.  Santoso,  R.  Y.  K.  Isal,  and  A.  Y.  Utomo, “Usability  evaluation  of  the  student  centered  e-Learning environment,” Int. Rev. Res. Open Distance Learn. , vol. 16, no. 4, pp. 62–82, 2015, doi: 10.19173/irrodl.v16i4.2175.
[16] A. D. Sari, M. R. Suryoputro, Y. A. Rochman, S. Ulandari, and E. H.  Puspawardhani,  “Usability  Analysis  of  Laboratory  Website Design to Improve Learning Process,” Procedia Manuf. , vol. 3, no. Ahfe, pp. 5504–5511, 2015, doi: 10.1016/j.promfg.2015.07.703.
[17] E. Sung and R. E. Mayer, “Affective impact of navigational and signaling aids to e-learning,” Comput. Human Behav. , vol. 28, no. 2, pp. 473–483, 2012, doi: 10.1016/j.chb.2011.10.019.
[18] H. C. K. Lin, C. H. Wu, and Y. P. Hsueh, “The influence of using affective  tutoring  system  in  accounting  remedial  instruction  on learning performance and usability,” Comput. Human Behav. , vol. 41, pp. 514–522, 2014, doi: 10.1016/j.chb.2014.09.052.
[19] M. H. Thowfeek and M. N. A. Salam, “Students’ Assessment on the Usability of E-leaming Websites,” Procedia - Soc. Behav. Sci. , vol. 141, pp. 916–922, 2014, doi: 10.1016/j.sbspro.2014.05.160.
[20] A. Oztekin, D. Delen, A. Turkyilmaz, and S. Zaim, “A machine learning-based  usability  evaluation  method  for  eLearning systems,” Decis. Support Syst. , vol. 56, no. 1, pp. 63–73, 2013, doi: 10.1016/j.dss.2013.05.003.
[21] M.  Ouadoud,  M.  Y.  Chkouri,  A.  Nejjari,  and  K.  E.  El  Kadiri, “Studying and Analyzing the Evaluation Dimensions of E-learning Platforms Relying on a Software Engineering Approach,” Int. J. Emerg.  Technol.  Learn. ,  vol.  11,  no.  1,  pp.  11–20,  2016,  doi: 10.3991/ijet.v11i01.4924.
[22] E.  Lavrov,  O.  Kupenko,  T.  Lavryk,  and  N.  Barchenko, “Organizational  approach  to  the  ergonomic  examination  of  e- learning modules,” Informatics Educ. , vol. 12, no. 1, pp. 105–123, 2013, doi: 10.15388/infedu.2013.08.
[23] A. Ullah, H. Xiao, T. Barker, and M. Lilley, “Evaluating security and usability of profile based challenge questions authentication in online examinations,” J. Internet Serv. Appl. , vol. 5, no. 1, pp. 1–
16, 2014, doi: 10.1186/1869-0238-5-2.
[24] R. Medina-Flores and R. Morales-Gamboa, “Usability Evaluation by  Experts  of  a  Learning  Management  System,” Rev.  Iberoam. Tecnol.  del  Aprendiz. ,  vol.  10,  no.  4,  pp.  197–203,  2015,  doi: 10.1109/RITA.2015.2486298.
[25] A.  Liberati et  al. ,  “The  PRISMA  statement  for  reporting systematic  reviews  and  meta-analyses  of  studies  that  evaluate health  care  interventions:  Explanation  and  elaboration,” PLoS
Med. , vol. 6, no. 7, 2009, doi: 10.1371/journal.pmed.1000100.
[26] P. Nokelainen, “An empirical assessment of pedagogical usability criteria  for  digital  learning  material  with  elementary  school students,” Educ. Technol. Soc. , vol. 9, no. 2, pp. 178–197, 2006.
[27] I.  Journal,  H.  Interaction,  and  J.  R.  L.  Ibm,  “IBM  Computer Usability  Satisfaction  Questionnaires :  Psychometric  Evaluation and Instructions for Use,” Int. J. Hum. Comput. Interact. , vol. 7, no. May, pp. 57–78, 1995.
[28] W.  H.  DeLone  and  McLean  Ephramin  R,  “info quality,satisfacation,DeLone and McLean Model.pdf,” J. Manag. Inf.  Syst. ,  vol.  19,  no.  4,  pp.  9–30,  2003,  [Online].  Available: http://mesharpe.metapress.com/index/PEQDJK46VY52V4Q6.pd f
[29] P.  Zaharias,  “Developing  a  usability  evaluation  method  for  e- learning applications : From functional usability to motivation to learn  Developing  a  Usability  Evaluation  Method  for  E-learning Applications : From Functional Usability to Motivation to Learn,”
Int. J. Hum. Comput. Interact. , vol. 25, no. 1, pp. 1–11, 2014.
[30] C.  G.  Sevilla, Research  Methods .  Quezon  City:  Rex  Printing Company, 2007.
[31] J.  Joseph  F.  Hair,  G.  T.  M.  Hult,  C.  Ringle,  and M.  Sarstedt, A Primer  on  Partial  Least  Squares  Structural  Equation  Modeling
(PLS-SEM) . SAGE Publication, Inc, 2014.