Computer Science | Industrial Engineering | Mechanic Engineering | Civil Engineering
Faktor Evaluasi Usabilitas dalam Sistem e-learning dengan Panduan Tinjauan Sistematik

## PRISMA
Indah Permatasari 1 , Peny Meliaty Hutabarat 2 , Evi Purnamasari 3
1,3 Teknik Informatika, Fakultas Ilmu Komputer, Universitas Indo Global Mandiri, Palembang
2 Penyiaran Multimedia, Program Pendidikan Vokasi, Universitas Indonesia, Depok
1 indah@uigm.ac.id , 2 penymeliaty@ui.ac.id , 3 evi.ps@uigm.ac.id
Abstract.  The usability  evaluation of  e-learning  system  is  an  important  stap  to understanding  the quality  of  the  interaction  between  the user  and  the  system  in  supporting  the  learning  process.  To understan the current approaches, a systematic review was condusted using the PRISMA (Preferred Reporting  Items  for  Systematic  Review  and  Meta-Analyses)  guidelines.  A  systematic  review  was carried out on 6 (six) scientific databases within a certain publication period. After applying various exclusion criteria, there were fifteen documents for further  analysis. An analysis of the full text of the  selected  articles  was  conducted  to  see  the  approach used  in  evaluating  the  usability  of  the  e- learning  system.  The  author  found  as  many  as  51  factors  that  became  criteria  in  assessing  the usability of e-learning systems.  In general, the various existing approaches refer to the  two basic approaches that have been offered by previous researchers. The latest approaches in assessing the usability of e-learning systems are still modifications and adjustments from the approaches that have been proposed previously. Modifications were made to adapt to the evaluation context and use of the studied e-learning system.
Keyword— Usability, Interaction Quality, E-Learning, Evaluation.

## I. PENDAHULUAN
Usabilitas  merupakan  cermin  kualitas  interaksi antara  pemakai  dengan  sistem e-learning pada sebuah  institusi  sehingga  merupakan  faktor  dasar dalam  melakukan  evaluasi  sistem  dan  teknologi e- learning (Zaharias  Koutsabasis, 2011). Berbagai institusi  melakukan  studi  mengenai  usabilitas  pada sistem e-learning sebagai  bahan  evaluasi  dan pengembangan  lebih  lanjut,  seperti  studi  mengenai SCELE di Universitas Indonesia (Junus et al., 2015). Terdapat  berbagai  metode  untuk  mengetahui usabilitas (Zaharias  Koutsabasis, 2011)(Hwang Salvendy,  2010),  karena  itu  penting  untuk mengetahui perkembangan metode yang digunakan dalam  menilai  usabilitas  sebuah  sistem e-learning . Tinjauan  metode  ini  bisa  menjadi  masukan mengenai  perlu  tidaknya  melakukan  perubahan kerangka pengukuran dalam evaluasi sistem seperti VCLASS  Universitas Indo  Global  Mandiri (Permatasari, 2022).
Tinjauan pustaka ini bertujuan untuk menemukan  faktor-faktor  yang  mempengaruhi usabilitas e-learning berdasarkan  penelitian  yang telah  dilakukan  sebelumnya,  khususnya  penelitian
yang berlangsung dalam kurun waktu sepuluh tahun terakhir. Penelitian Zaharias (Zaharias Koutsabasis,  2011)  maupun  (Hwang    Salvendy, 2010)  menyampaikan  beberapa  metode  yang banyak  dipakai.  Namun  kedua  penelitian  tersebut bukan merupakan studi yang bersifat sistematik dan telah berlangsung lebih dari sepuluh tahun yang lalu. Penelitian  ini  juga  dimaksudkan  untuk  mengetahui keterbaruan pendekatan-pendekatan dalam melakukan  penilaian  usabilitas  dalam  sistem e- learning pada saat ini.

## II. METODE
Dalam  melakukan  tinjauan  sistematik  ini, penulis  menggunakan panduan Referred  Reporting Items  for  Systematic  Reviews  and  Meta-Analyses atau  PRISMA  (Liberati  et  al.,  2009).  Penulis melakukan  adaptasi  terhadap  panduan  PRISMA tersebut  ke  dalam  konteks  penelitian  sistem informasi, mengingat panduan tersebut menggunakan  konteks  penelitian  di  bidang  medis. Uraian  langkah-langkah  berikut  ini  merupakan langkat adaptasi penulis terhadap panduan PRISMA tersebut.
Computer Science | Industrial Engineering | Mechanic Engineering | Civil Engineering

## A. Kriteria Kelayakan
Penulis  memasukkan  seluruh  jenis  studi  yang berhubungan  dengan  usabilitas  pada  sistem e- learning khususnya e-learning berbasis  web  yang dilakukan sejak tahun 2011 sampai 2018. Pemilihan kriteri waktu tersebut untuk mendapatkan perspektif terkini  mengenai  faktor-faktor  dalam  menilai usabilitas  sistem e-leraning sebelum  pandemi Covid-19. Kriteria inklusi utama adalah keberadaan terminologi  usabilitas  dan e-leraning (serta variannya)  dalam  abstrak.  Selain  itu,  penulis  juga mengukur  kelayakan  artikel  dengan  meninjau apakah  proses  review  dalam  penerbitannya. Kamudian  penulis  hanya  memilih  penerbitan berbahasa Inggris dalam tinjauan sistematik ini.
Strategi pencari yang digunakan bersifat terbatas dengan  sumber  sistem  terbuka  di  institusi  tempat penilis  terdaftar  sebagai  anggota.  Terdapat  34 sumber  pustaka  yang  ada  dalam  sistem,  penulis memilih  6  sumber  pustaka  yang  umumnya membahas  mengenai  sistem  informasi  yaitu SpringerLink,  Scopus,  IEEE  Xplorer,  Science Direct, ACM dan Emerald Insight. Keenam sumber ini  kemudian  digunakan  penulis  dalam  mencari artikel.

## B. Pencarian
Proses
pencarian dilakukan dengan menggunakan  kata  kunci usability,  e-learning dan penambahan university untuk mempersempit ruang pencarian. Penulis menggunakan fasilitas advanced search yang  disediakan  sistem  pustaka  yang tersedia.  Kata  kunci  kemudian  dikombinasikan dengan  operator  AND  dan field pencarian  yang dibatasi  pada  bagian  abstrak  saja.  Khusus  untuk sumber  pustakan  Scopus,  penulis  melakukan penambahan  proses  pencarian  dikarenakan  pada sistem  pustaka  tersedia  di  institusi  penulis.  Scopus hanya  berupa  index  (informasi  daftar  jurnal). Dengan  demikian,  penulis  melakukan  proses pencarian  dengan  memanfaatkan  Google  search dengan  memanfaatkan  informasi  DOI  ( Digital Object Identifier ) jurnal atau judul jurnal.
Pada semua proses pencarian, penulis melakukan variasi  terminologi,  khusunya  pada  penggunaan istilah e-learning . Beberapa varian yang dipergunakan adalah e-learning, elearning, electronic  learning,  learning  management  system, dan LMS. Variasi terminologi ini diperlukan karena
beberpa  sistem  pustaka  menunjukkan  hasil  yang berbeda  untuk  penggunaan  kata  kunci e-learning atau elearning . Selain itu juga ditemuakan beberapa istilah  lainnya  pad  aabstrak  yang  menggantikan e- learning seperti learning  management  system (LMS).

## C. Pemilihan Penelitian
Terdapat  beberapa  langkah  pemilihan  hasil pencarian.  Pemilihan  pertama  adalah  pada  kata kunci tersebut di atas pada bagian judul dan abstrak. Pemilihan  selanjutnya  adalah  memisahkan  artikel yang  bisa  diakases  dan  tidak,  bahasa  yang digunakan  dalam  artikel  (bahasa  inggris  atau bukan),  berbayar,  atau  repositorinya  tidak  tersedia (pada kasus artikel  terindeks Scopus ), serta adanya duplikasi  artikel.  Pada  pemilhan  ketiga,  mulai dilakukan penyaringan berdasarkan substansi, yaitu apakah  abstrak  menyebutkan  tipe e-learning yang menjadi  subjek  bahasan  ( web ).  Tahap  terakhir adalah  melakukan  pembacaan  teks  penuh  terhadap siste  artikel  yang  diperoleh.  Selama  pembacaan, penulis  akan  melakukan  penyaringan  artikel  jika pada  artikel  tidak  menyebutkan  faktor-faktor  yang digunakan dalam melakukan penilaian usabilitas.

## D. Proses Pengumpulan Data
Proses pengumpulan data mengenai faktor dalam menilai usabilitas dilakukan melalui cara pembacaan  penuh  terhadap  artikel.  Dalam  proses pembacan, penulis akan memilah faktor-faktor yang dipergunakan  dan  mencoba  mencari  rujukan penelitian  yang  mungkin  menjadi  inspirasi  peneliti dalam merumuskan faktor-faktor tersebut.

## E. Resiko Bias
Resiko  bisa  studi  mungkin  terjadi  karena pegukuran usabilitas juga berlaku pada pengukuran aplikasi  pada  umumnya,  sehingga  penilaianya usabilitas bisa jadi mengabaikan faktor-faktor yang bersifat  khas  pada  sistem e-learning (Junus  et  al., 2015;  Zaharias,  2004).  Keberadaan  studi-studi sebelumnya,  (Hwang    Salvendy,  2010;  Zaharias, 2004)  yang  membahas  berbagai  pendekatan  dalam penilaian usabilitas menjadi rujukan untuk mengurangi  bias  terhadap  metode  tertentu.  Selain itu,  penulis  menggunakan  sistem  Moodle  sebagai sistem e-learning di  instituasi  tempat  penulis berada,  maka  penulis  tidak  mengunakan  Moodle
Computer Science | Industrial Engineering | Mechanic Engineering | Civil Engineering
sebagai  parameter  dalam  pemilihan  penelitian, melainkan  hanya  sepanjang  sistem  tersebut merupakan berbasis web.

## III. HASIL DAN PEMBAHASAN
Hasil  dan  pembahasan  dalam  proses  tinjauan sistematik ini dilakukan dengan membagi beberapa kriteria. Kriteria ditentukan berdasarkan aturan dari metode  yang  digunakan  peneliti  dalam  menyusun laporan.
A. Pemilihan Penelitian
Penelusuran  terhadap  keenam  pangkalan  data tersebut  menemukan  167  artikel  hasil  pencarian
dengan  sebaran  sebagai  berikut:  ScienceDirect  30 artikel, IEEE Explorer 19 artikel, Scopuse 46 artikel, Springer  12  artikel,  ACM  20  artikel  dan  Emerald Insight  40  artikel.  Selanjutnya  penulis  melakukan pemilihan awal dengan melihat kesesuaian antara isi judul dan abstrak dengan tujuan tinjauan sistematik ini,  serta  faktor  akses  terhadap  artikel  itu  pada sumber referensi.
Sebanyak  101  artikel  tidak  dimasukan  dalam tinjauan  sistematik  karena  alasa-alasan  sebagai berikut: tidak bisa diakses (berbayar), bukan dalam Bahasa Inggris, judul yang sama (duplikasi), kasus yang  digunakan  bukan e-learning berbasis  web, kasus yang digunakan bukan merupakan e-learning repository seperti VCLASS, serta membahas sistem
computer based trainig (CBT) untuk subjek tertentu seperti pembedahan, dan algoritma.
Selanjutnya  penulis  melakukan  pembacaan penuh  (full  text)  terhadap  sisa  66  artikel  yang  ada. Sebanyak  51  artikel  kemudian  dikesampingkan karena  tidak  memuat  faktor  usabilitas  yang diperlukan untuk melakukan review yang dipergunakan  untuk  melakukan  tinjauan,  selain beberapa  faktor  sejenis  dengan  penyaringan sebelumnya,  yaitu  mengenai  tipe e-learning yang menjadi  bahasan.  Secara  ringkas  alur  pencarian tersebut tergambar pada Gambar 1.

## B. Karakteristik Penelitian dan Resiko Bias
Dari kelima belas artikel tersebut, terdapat dua karakteristik  utama  dalam  penelitian  usabilitas pada  sistem e-learning .  Pertama,  penilaian usabilitas yang berpijak pada pendekatan usabilitas sistem  secara  umum.  Pendekatan  ini  banyak mengedepankan  faktor  navigasi  pemakaian  serta interaksi  antara  sistem  dengan  pemakai.  Kedua adalah  penelitian  yang  memasukkan  faktor usabilitas  yang  memiliki  kekhasan  sistem e- learning .
Kehawatiran  resiko  bias  tidak  terjadi  pada penelitian  ini,  terlihat  dengan  adanya  dua karakteristik  utama  yang  sangat  berbeda  pada penjelasan  sebelumnya.  Tidak  terdapat  bias  yang fokus  pada  faktor  usabilitas  pemakaian  maupun yang memuat nilai-nilai pedagogis dalam penilaian sistem e-learning .

## C. Hasil Penelitian
Studi (Zaharias
Koutsabasis, 2011) merupakan  contoh  penelitian  merupakan  contoh penelitian  dengan  karakter  usabilitas  yang  lebih umum.  Penelitian  tersebut  menggunakan  metode heuristik sebagaimana diperkenalkan oleh (Estevez et al., 2014; Samuel et al., 2011). Penelitian tersebut memeperluas  parameter  yang  dipergunakan,  dari sepuluh  parameter  pada  penelitian  awal  menjadi lima belas parameter. Penelitian ini menarik karena Zaharias sebelumnya tidak menggunakan penedekatan  yang  bersifat  heuristik,  namun  lebih memiliki karakter kedua yaitu memuat faktor-faktor pedagogis  (Zaharias    Poylymenakou,  2009), termasuk mengacu pada kriteria penyusunan sistem untuk pembelajaran oleh (Lohr, 2000). Penelitian ini memuat faktor pedagogis adalah studi  (Chin et al.,
Gambar 1 Alur seleksi artikel untuk tinjauan sistematik
Computer Science | Industrial Engineering | Mechanic Engineering | Civil Engineering
2016)  yang  menyatakan  adanya  sembilan  faktor dalam  usabilitas.  Dalam  studi  ini  mereka  merujuk faktor usabilitas yang dikemukakan oleh (Koohang Du Plessis, 2004).
Pendekatan  yang  memiliki  muatan  pedagogis antara  lain  juga  dilakukan  oleh  (Yusof    Ahmad, 2012), yaitu menggunakan pendekatan psikometrik dalam  menilai  usabilitas.  Namun  jika  dilihat  lebih jauh sebagaimana tercermin pada Lampiran Tabel 1, muatannya  mirip  dengan  studi  (Koohang    Du Plessis, 2004). Sementara itu, studi dari (Estevez et al.,  2014;  Lin  et  al.,  2014;  Medina-Flores Morales-Gamboa, 2015; Ouadoud et al., 2016; Sari et  al.,  2015a;  Sung    Mayer,  2012;  Thowfeek Salam,  2014;  Ullah  et  al.,  2014)  secara  prinsip banyak  merujuk  pada  pendekatan  heuristik  yang dikemukakan  oleh (Samuel et al.,  2011). Menariknya,  rujukan  ini  memasukkan  elemen- elemen yang senada dengan pembahasan pada studi (Koohang  Du Plessis, 2004; Lohr, 2000; Yusof Ahmad, 2012).
Varian pendekatan lain diantaranya dibahas oleh (Estevez et al., 2014; Khlaisang, 2017; Samuel et al., 2011). Bila dilihat lebih lanjut, penelitian-penelitian tersebut juga mengacu pada pendekatan-pendekatan sebelumnya,  misalnya  oleh  (DeLone    McLean Ephramin R, 2003; Journal et al., 1995; Khlaisang, 2017). Pendekatan-pendekatan tersebut pada dasarnya  mengedepankan  prinsip  usabilitas  secara umum.

## D. Sintesis Hasil Penelitian
Penggabungan  faktor-faktor  usabilitas  dari penelitian-penelitian  sebelumnya  menghasilkan daftar  faktor  sebagaimana  pada  Lampiran  Tabel  1. Faktor-faktor dalam tabel tersebut tidak mengalami penggabungan  ataupun  identifikasi  jika  terdapat potensi  kesamaan  ide  pada  faktor-faktor  yang dipergunakan.  Penggabungan  tidak  dilakukan katena  penetapan  istilah  tersebut  memiliki  konteks yang  berlaku  pada  masing-masing  penelitian  yang ada. Penulis memilih untuk menggabungkan kedua karakteristik  yang  ditemukan  untuk  mendapatkan persoektif yang lebih komprehensif, yaitu mencakup aspek  pedagogis  yang  khas  sistem e-learning maupun aspek usabilitas yang berlaku secara umum.

## IV. DISKUSI DAN KESIMPULAN A. Ringkasan Temuan
Berdasarkan tinjauan sistematik yang dilakukan pada  dasarnya  terdapat  dua  pendekatan  uatama dalam  penilaian  usabilitas  sistem e-learning . Pertama  adalah  pendekatan  yang  mengedepankan faktor  usabilitas  pemakaian  secara  umum,  dan kedua adalah pendekatan yang sudah memasukkan unsur pedagogis. Dalam perjalanannya, sebagaimana  dinyatakan  oleh  (22)  terdapat kecenderungan  untuk  intergrasi  keduanya.  Sebuah sistem e-leanring yang  vaik  tentunya  tidak mengabaikan  faktor  kemudahan  pemakaian  secara umum,  serta  tetap  memberikan  penekanan  pada tujuan utamanya dalam membantu proses pembelajaran.  Kompilasi  faktor-faktor  tersebut dapat dilihat pada Lampiran Tabel 1 penelitian ini.

## B. Batasan
Batasan  tijauan  sistematik  ini  terletak  pada sumber data dan metode seleksi yang dipergunakan. Penggunaan sumber data yang lebih luas serta kata kunci  yang  lebih  bervariasi  memungkinkan menghasilkan pilihan litertatur yang lebih bervariasi.  Selain  itu,  penelitian  ini  menggunakan sumber  literatur  terkait  sistem  informasi,  sehingga mungin tidak mendapatkan pembahasan- pembahasan yang muncuk dari disiplin ilmu terkait seperti  psikologi,  pendidikan,  dan  manajemen organisasi.

## C. Kesimpulan
Tinjauan sistematik ini menemukan bahwa tidak ada pendekatan yang benar-benar dalam melakukan evaluasi  usabilitas  sistem e-learning .  Berbagai pendekatan  yang  ada  masih  merujuk  pada penelitian-penelitian terdahulu, utamanya pendekatan  heuristik  yang  dikemukakan  oleh (Nielsen,  1994;  Nielsen    Molich,  1990),  serta properti  usabilitas  sistem  oleh  (Koohang    Du Plessis,  2004)  serta  (Zaharias    Poylymenakou, 2009).  Ada  dua  pilihan  bagi  peneilitian-penelitian mengenai  usabilitas  sistem e-learning selanjutnya yaitu  mencari  pendekatan  atau  faktor  yang  sama sekali  baru  atau  menggunakan  pendekatan- pendekatan tersebut sebagai basis kerangka teoritik dan  menerapkannya  atau  mengujikannya  sesuai konteks sistem yang dihadapi.
Computer Science | Industrial Engineering | Mechanic Engineering | Civil Engineering

## V. DAFTAR PUSTAKA
Chin,  S.  P.  P.,  Tsui,  E.,    Lee,  C.  S.  (2016). Enhancing learning effectiveness by adopting a knowledge-based usability guidelines. VINE Journal  of  Information  and  Knowledge Management Systems , 46 (1), 123–152.
https://doi.org/10.1108/VJIKMS-02-2014-
0015
DeLone,  W.  H.,    McLean  Ephramin  R.  (2003).
info quality,satisfacation,DeLone and McLean Model.pdf. Journal of Management Information Systems , 19 (4), 9–30.
http://mesharpe.metapress.com/index/PEQDJ K46VY52V4Q6.pdf Estevez,  R.,  Rankin,  S.,  Silva,  R.,    Indratmo.
(2014).  A  model  for  web-based  course registration  systems. International  Journal  of Web  Information  Systems , 10 (1),  51–64. https://doi.org/10.1108/IJWIS-05-2013-0014 Hwang,  W.,    Salvendy,  G.  (2010).  Number  of people  required  for  usability  evaluation:  The 10±2 rule. Communications of the ACM , 53 (5), 130–133.
https://doi.org/10.1145/1735223.1735255
Journal, I., Interaction, H.,  Ibm, J. R. L. (1995).
IBM Computer Usability Satisfaction Questionnaires : Psychometric Evaluation and
Instructions  for  Use. International  Journal of Human-Computer Interaction , 7 (May), 57–78.
Junus, I. S., Santoso, H. B., Isal, R. Y. K.,  Utomo, A.  Y.  (2015).  Usability  evaluation  of  the student  centered  e-Learning  environment. International Review of Research in Open and
Distance Learning , 16 (4), 62–82. https://doi.org/10.19173/irrodl.v16i4.2175 Khlaisang,  J.  (2017).  Proposing  a  new  pedagogy- based  website  design:  A  usability  test  with lifelong  learners. Education  and  Information Technologies , 22 (4), 1713–1735.
https://doi.org/10.1007/s10639-016-9514-9 Koohang, A.,  Du Plessis, J. (2004). Architecting Usability  Properties  in  the  E-Learning Instructional  Design  Process. International Journal on ELearning , 3 (3), 38–44. http://www.editlib.org/p/5102
Lavrov, E., Kupenko, O., Lavryk, T.,  Barchenko,
N.  (2013).  Organizational  approach  to  the ergonomic examination of e-learning modules. Informatics  in  Education , 12 (1),  105–123.
https://doi.org/10.15388/infedu.2013.08 Liberati, A., Altman, D. G., Tetzlaff, J., Mulrow, C., Gøtzsche, P. C., Ioannidis, J. P. A., Clarke, M., Devereaux,  P.  J.,  Kleijnen,  J.,    Moher,  D. (2009).  The  PRISMA  statement  for  reporting systematic  reviews  and  meta-analyses  of studies that evaluate health care interventions: Explanation  and  elaboration. PLoS  Medicine , 6 (7). https://doi.org/10.1371/journal.pmed.1000100 Lin,  H.  C.  K.,  Wu,  C.  H.,    Hsueh,  Y.  P.  (2014).
The  influence  of  using  affective  tutoring system  in  accounting  remedial  instruction  on learning performance and usability. Computers in Human Behavior , 41 , 514–522. https://doi.org/10.1016/j.chb.2014.09.052
Lohr,  L.  L.  (2000).  Designing  the  instructional interface. Computers  in  Human  Behavior , 16 (2),
161–182. https://doi.org/10.1016/S0747-
5632(99)00057-6
Medina-Flores, R.,  Morales-Gamboa, R. (2015).
Usability Evaluation by Experts of a Learning Management System. Revista Iberoamericana de  Tecnologias  Del  Aprendizaje , 10 (4),  197– 203. https://doi.org/10.1109/RITA.2015.2486298 Nielsen, J. (1994). Enhancing the explanatory power of usability heuristics. Conference on Human Factors in Computing Systems - Proceedings , 152–158. https://doi.org/10.1145/191666.191729 Nielsen,  J.,    Molich,  R.  (1990).  Heuristic evaluation  of  user  interfaces. Conference  on Human  Factors  in  Computing  Systems  - Proceedings , April , 249–256. https://doi.org/10.1145/97243.97281
Ouadoud, M., Chkouri, M. Y., Nejjari, A.,  Kadiri,
K. E. El. (2016). Studying and Analyzing the Evaluation Dimensions of E-learning
Platforms Relying on a Software Engineering Approach. International Journal of Emerging Technologies  in  Learning , 11 (1),  11–20. https://doi.org/10.3991/ijet.v11i01.4924
Oztekin, A., Delen, D., Turkyilmaz, A.,  Zaim, S. (2013).  A  machine  learning-based  usability evaluation  method  for  eLearning  systems. Decision  Support  Systems , 56 (1),  63–73. https://doi.org/10.1016/j.dss.2013.05.003
Computer Science | Industrial Engineering | Mechanic Engineering | Civil Engineering
Permatasari,  I.  (2022).  Pengaruh  Aspek  Pedagogis dan Interaksi Sistem pada Penilaian Usabilitas Sistem  E-Learning. Generic,  Universitas Sriwijaya , 14 (2), 38–44.
Samuel, R. D., Kim, C. M.,  Johnson, T. E. (2011). A  study  of  a  social  annotation  modeling learning  system. Journal  of  Educational Computing Research , 45 (1), 117–137. https://doi.org/10.2190/EC.45.1.f
Sari,  A.  D.,  Suryoputro,  M.  R.,  Rochman,  Y.  A., Ulandari, S.,  Puspawardhani, E. H. (2015a). Usability  Analysis  of  Laboratory  Website Design to Improve Learning Process. Procedia
Manufacturing , 3 (Ahfe), 5504–5511.
https://doi.org/10.1016/j.promfg.2015.07.703
Sari,  A.  D.,  Suryoputro,  M.  R.,  Rochman,  Y.  A., Ulandari, S.,  Puspawardhani, E. H. (2015b). Usability  Analysis  of  Laboratory  Website Design to Improve Learning Process. Procedia
Manufacturing , 3 (Ahfe), 5504–5511.
https://doi.org/10.1016/j.promfg.2015.07.703
Sung, E.,  Mayer, R. E. (2012). Affective impact of  navigational  and  signaling  aids  to  e- learning. Computers  in  Human  Behavior , 28 (2),
473–483. https://doi.org/10.1016/j.chb.2011.10.019 Thowfeek,  M.  H.,    Salam,  M.  N.  A.  (2014). Students’  Assessment  on  the  Usability  of  E- leaming  Websites. Procedia  -  Social  and Behavioral  Sciences , 141 (December),  916– 922.
https://doi.org/10.1016/j.sbspro.2014.05.160 Ullah, A., Xiao, H., Barker, T.,  Lilley, M. (2014).
Evaluating  security  and  usability  of  profile based  challenge  questions  authentication  in online  examinations. Journal  of  Internet Services  and  Applications , 5 (1),  1–16. https://doi.org/10.1186/1869-0238-5-2
Yusof,  A.  N.  M.,    Ahmad,  N.  L.  (2012).  An Investigation  on  the  Relationship  between Online  Distance  Learning  with  Learning Usability. Procedia  -  Social  and  Behavioral Sciences , 65 (ICIBSoS), 1066–1070.
https://doi.org/10.1016/j.sbspro.2012.11.372 Zaharias,  P.  (2004).  Usability  and  e-learning:  the road  towards  integration. ELearn  Magazine ,
6 (6),
4. http://portal.acm.org/citation.cfm?doid=9983 37.998345 Zaharias,  P.,    Koutsabasis,  P.  (2011).  Heuristic evaluation of e-learning courses: A comparative  analysis  of  two  e-learning heuristic  sets. Campus-Wide  Information Systems , 29 (1). https://doi.org/10.1108/10650741211192046 Zaharias,  P.,    Poylymenakou,  A.  (2009).
Developing  a usability  evaluation  method  for e-learning  applications:  Beyond  functional usability. International  Journal  of  Human- Computer Interaction , 25 (1), 75–98. https://doi.org/10.1080/10447310802546716