Evaluasi Usability pada Learning Management System OpenLearning Menggunakan System Usability Scale
Azizah Fatmawati 1
Program Studi Informatika Universitas Muhammadiyah Surakarta Jl. Ahmad Yani, Pabelan, Kartasura, Surakarta 57162, Jawa Tengah, Indonesia E-mail: Azizah.Fatmawati@ums.ac.id 1
Abstrack –  One  of  the  impacts  of  covid-19  on  education  is  that  the  learning  process  must  be conducted online. Various forms of Learning Management System (LMS) are used by universities to facilitate  the  learning  process.  This  study  aims  to  evaluate  usability  in  LMS  OpenLearning.  The research  begins  by  determining  the  research  object,  the  data  used,  and  using  the  System  Usability Scale evaluation method in the form of determining scenarios, selecting respondents, collecting data and performing calculations. The test results show the assessment score is at 61.03. The application has  a  sufficient  usability  value,  with  a  description  of  marginal  acceptability,  grade  scale  D  and adjective  rating  is  ok.  Based  on  the  final  score  of  the  System  Usability  Scale  (SUS)  it  can  be concluded that LMS OpenLearning can be used by students and function properly.
Keywords - LMS, OpenLearning, SUS, Usability.
I ntisari –  Salah  satu  dampak  covid-19  pada  bidang  pendidikan  adalah  proses  pembelajaran  harus diselenggarakan  secara  dalam  jaringan  (daring).  Berbagai  bentuk Learning  Management  System (LMS)  digunakan  oleh  Perguruan  Tinggi  untuk  mendukung  kelancaran  proses  pembelajaran. Penelitian  ini  bertujuan  untuk  melakukan  evaluasi usability pada  LMS OpenLearning. Langkah penelitian  dimulai  dengan  menentukan  obyek  penelitian,  data  yang  digunakan,  serta  menggunakan metode  evaluasi System  Usability  Scale berupa  penentuan  skenario,  memilih  responden, mengumpulkan  data  dan  melakukan  penghitungan.  Hasil  pengujian  menunjukkan  skor  penilaian berada  pada  angka  61.03.  Aplikasi memiliki  nilai usability cukup,  dengan  keterangan acceptability marginal, grade scale D dan adjective rating ok . Berdasarkan nilai akhir System Usability Scale (SUS) dapat  disimpulkan  bahwa  LMS OpenLearning secara  kebergunaan  masih  diterima  oleh  mahasiswa dan berfungsi dengan baik.
Kata Kunci – LMS, OpenLearning, SUS, Usability.

## I. P ENDAHULUAN
Pandemi  covid-19  membawa  perubahan  pada  seluruh  sektor  kehidupan.  Salah  satu dampak  pada  sektor  pendidikan  adalah  beralihnya  proses  pembelajaran  secara  langsung (luring) menjadi proses pembelajaran online (daring). Dampak tersebut dialami oleh lembaga pendidikan paling rendah (pendidikan anak usia dini) sampai tingkat pendidikan paling tinggi (perguruan tinggi). Bersekolah di rumah menjadi kendala tersendiri  bagi orang tua yang tidak bisa  mendampingi  putra  putri  karena  bekerja  di  luar  [1].  Secara  psikologis  putra-putri  yang biasanya belajar secara langsung di kelas juga mengalami banyak masalah, terutama pada usia dini dan anak-anak.
Pada usia sekolah menengah dan perguruan tinggi mungkin tidak menjadi masalah besar. Para  guru  dan  peserta  didik  sudah  lebih  siap  menjalani  proses  pembelajaran  secara  daring dengan menggunakan Learning Management System (LMS) sebagai medianya. Referensi [2]
menyatakan bahwa LMS adalah perangkat lunak atau software  yang dirancang khusus untuk membuat,  mendistribusikan,  dan  mengelola  pengiriman  konten  pendidikan.  LMS  dapat dihosting  sebagai  produk  yang  berdiri  sendiri  di  server  perusahaan,  atau  bisa  juga platform berbasis cloud yang  di- host oleh  perusahaan  perangkat  lunak.  Dalam  kebanyakan  kasus, organisasi menggunakan sistem LMS untuk memfasilitasi akses ke materi pembelajaran yang beragam dari materi tertulis dan presentasi hingga video dan pelajaran interaktif. LMS harus mampu  memberikan  pengalaman  belajar  yang  disesuaikan  dengan  peserta  didik, memudahkan  instruktur  membuat  catatan  dan  perubahan,  memberi  instruktur  dan  siswa kesempatan untuk berkolaborasi secara online, mengintegrasikan alat umum seperti kalender, pengolah  kata,  dan  banyak  lagi,  menciptakan  kehadiran  bermerek  yang  peka  budaya perusahaan untuk pelajar, menyertakan wawasan tentang kemajuan pengguna melalui analitik bawaan, serta mampu meningkatkan skala secara global seiring pertumbuhan organisasi.
Universitas  Muhammadiyah  Surakarta  (UMS)  sebagai  salah  satu  Perguruan  Tinggi mempunyai  kebijakan  pembelajaran  pada  masa  covid-19.  Proses  pembelajaran  daring menggunakan beberapa LMS, satu diantaranya adalah OpenLearning . OpenLearning adalah platform pembelajaran online yang  melampaui  pengiriman  konten  untuk  fokus  pada komunitas,  keterhubungan,  dan  keterlibatan  pelajar.  Pembelajaran  yang  bermakna  terjadi ketika peserta didik terinspirasi, bersemangat, tertantang, dan dimotivasi oleh cinta yang tulus untuk  sesuatu,  bukan  nilai.  Di OpenLearning ,  renovasi  pembelajaran  online  menjadi pengalaman  sosial  dan  menarik.  Tujuannya  adalah  membantu  orang  lain  di  seluruh  dunia untuk  menciptakan  pengalaman  bagi  pelajar  di  mana  saja.  Desain platform  OpenLearning didorong  oleh  filosofi  pembelajaran.  Pembelajaran  yang  dalam  dan  efektif  terjadi  ketika peserta didik aktif menciptakan, berdiskusi, dan merefleksikan daripada hanya menghafal dan mengulang. Platform  OpenLearning adalah  yang  pertama  dari  jenisnya  pengalaman  belajar yang  menyenangkan,  memberdayakan,  dan  sosial  merupakan  inti  dari  desainnya. OpenLearning memberikan kepada pengajar sebagi alat yang dibutuhkan untuk menciptakan komunitas belajar, bukan hanya kursus online.
Untuk  mengetahui  bagaimana  efektifitas  pembelajaran  menggunakan OpenLearning perlu dilakukan evaluasi. Referensi [3], telah melakukan penelitian dengan kesimpulan bahwa OpenLearning sebagai  media  pembelajaran  daring  efektif  digunakan.  Materi  kuliah  dengan mudah  bisa  diakses  mahasiswa  dan  dosen  sesuai  dengan  kebutuhan  yang  diperlukan  dalam perkuliahan. OpenLearning sebagai  salah  satu  aplikasi  atau  sistem  informasi  perlu  juga dievaluasi untuk meningkatkan kebergunaan. Referensi [4] menyatakan bahwa evaluasi perlu dilakukan  secara  berkala  agar  kinerja  lebih  terpantau.  Dalam  ilmu Human  and  Computer Interaction (HCI)  terdapat  salah  satu  kajian  tentang user  experience .  Riset user  experience meliputi  proses  untuk  menemukan  perilaku,  motivasi  dan  kebutuhan  pengguna  melalui observasi, task analysis , dan berbagai bentuk umpan balik. Umumnya seputar evaluasi daya guna atau usability , evaluasi heuristic , serta kualitas dari sebuah aplikasi [5]. Selain itu, dalam HCI juga mengkaji evaluasi berdasarkan aspek human, technology , dan ergonomic [6]. Penelitian  tentang usability sudah  banyak  dilakukan.  Diantaranya  pada  Referensi  [7], menyatakan  bahwa  banyak  LMS  harus  disertai  dukungan  alternatif  dikarenakan  banyak pengguna  pernah  mengalami  masalah  dengan  kegunaan  LMS.  Referensi  [8],  melakukan survey  skala  besar  kepada  mahasiswa  tentang  kegunaan  yang  dirasakan  dari platform pembelajaran online dengan  hasil  bahwa platform tidak  berpengaruh  terhadap  aspek kegunaan.  Beberapa  penelitian  sejenis  dilakukan  oleh  [9],  [10],  [11],  [12],  [13]  dan  [14]. Evaluasi usability bisa menggunakan berbagai pendekatan diantaranya metode heuristic , use questionnaire atau system  usability  scale (SUS).  Penelitian  menggunakan  metode heuristic telah  dilakukan  oleh  [15],  [16]  dan  [17].  Sedangkan  penelitian  menggunakan  metode use questionnaire dilakukan oleh [18], [19] dan [20]. Pendekatan menggunakan metode SUS juga pernah  dilakukan  oleh  [21],  [22]  dan  [23].  Referensi  [24],  menyatakan  pendekatan  SUS
adalah  salah  satu  kuisioner  yang  paling  banyak  digunakan  dalam  mengukur  kemudahan penggunaan sistem interaktif yang dirasakan. Berdasarkan uraian sebelumnya, penelitian ini bertujuan  untuk  melakukan  evaluasi usability terhadap  LMS OpenLearning dengan menggunakan metode SUS.

## II. S IGNIFIKANSI S TUDI
Salah  satu  bidang  ilmu  untuk  menganalisa  dan  mengevaluasi  tingkat  kemudahan penggunaan  perangkat  lunak  adalah Usability [25]. Usability atau  kebergunaan  merupakan teknik  pengujian  perangkat  lunak  atau software diamati  melalui  aspek-aspek learnability, efficiency,  memorability,  errors dan satisfaction .  SUS  adalah  salah  satu  metode  dalam melakukan analisa atau pengujian usability dengan melibatkan pengguna akhir atau end user dalam proses pengerjaannya.
SUS  memiliki  beberapa  kelebihan  diantaranya  tahapan  evaluasi  lebih  mudah  dan dimengerti  oleh  responden,  menggambarkan  hasil  yang  maksimal  meskipun  melibatkan sampel  yang  sedikit,  dan  bisa  membedakan  antara  aplikasi  apakah  dapat  digunakan  dengan baik atau tidak. Cara penghitungan yang jelas dalam melakukan evaluasi dimiliki oleh SUS, sehingga  diharapkan  nilai  evaluasi  yang  dapatkan  memiliki  tingkat  ketepatan  yang  bisa dipertahankan.

## A. Lokasi Penelitian
Lokasi  penelitian  berada  di  UMS  dengan  objek  penelitian  berupa  LMS OpenLearning yang  digunakan.  LMS  tersebut  dapat  diakses  oleh  mahasiswa  melalui url https://ums.ucm.ac.id/.

## B. Data Penelitian
Penggunaan  data  berupa  data  evaluasi usability, didapatkan  dari  kuisioner  SUS.  Fokus pengambilan data ditujukan kepada mahasiswa program studi Informatika UMS.

## C. Metode Penelitian dan Evaluasi
Penelitian  ini  menggunakan  metode  deskriptif.  Penelitian  deskriptif  adalah  penelitian yang  dilakukan  untuk  mendeskripsikan  fenomena  atau  kejadian  alamiah  maupun  fenomena buatan  manusia.  Rupa  dari  fenomena  meliputi  bentuk,  aktivitas,  karakteristik,  perubahan, hubungan, kesamaan, dan perbedaan antara fenomena yang satu dengan fenomena yang lain [26].
Tahap  penelitian  diawali  dengan  menentukan  skenario  pengujian,  memilih  responden, pengujian  oleh  responden  dan  rekapitulasi  hasil  seperti  tertunjuk  oleh  Gambar  1.  Pada skenario  pengujian  dijelaskan  tentang  aplikasi  yang  akan  diuji  dan  bentuk  kuisioner. Selanjutnya  pada  proses  memilih  responden,  yang  dilakukan  adalah  menentukan  responden yang  akan  menilai  aplikasi  (LMS OpenLearning ).  Pengujian  oleh  responden  merupakan tahapan  yang  dilakukan  oleh  responden  dalam  memberikan  penilaian  terhadap  aplikasi. Instrumen  yang  digunakan  dalam  penilaian  adalah  SUS.  Sedangkan  langkah  yang  terakhir adalah rekapitulasi hasil dihitung sesuai dengan perhitungan SUS [27].
T ABEL I
I NSTRUMEN S US No Pernyataan Skala 1 Saya pikir bahwa saya akan menginginkan lebih sering menggunakan aplikasi ini 1 - 5 2 Saya menemukan bahwa aplikasi ini, tidak harus dibuat serumit ini 1 - 5 3 Saya pikir aplikasi mudah untuk digunakan 1 - 5 4 Saya pikir bahwa saya akan membutuhkan bantuan dari orang teknis untuk dapat menggunakan aplikasi ini 1 - 5 5 Saya menemukan berbagai fungsi di aplikasi ini diintegrasikan dengan baik 1 - 5 6 Saya pikir ada terlalu banyak ketidakkonsistenan dalam aplikasi ini 1 - 5 7 Saya bayangkan bahwa kebanyakan orang akan mudah untuk mempelajari aplikasi ini dengan sangat cepat) 1 - 5 8 Saya menemukan, aplikasi ini sangat rumit untuk digunakan 1 - 5 9 Saya merasa sangat percaya diri untuk menggunakan aplikasi ini 1 - 5 10 Saya perlu belajar banyak hal sebelum saya bisa memulai menggunakan aplikasi 1 - 5
Evaluasi usability pada LMS OpenLearning dilakukan menggunakan metode SUS. SUS memiliki  10  (sepuluh)  pernyataan  seperti  tertunjuk  pada  Tabel  I.  Skala  jawaban  meliputi angka 1 sampai dengan 5. 1 artinya sangat tidak setuju, 2 artinya tidak setuju, 3 artinya agak setuju,  4  artinya  setuju,  dan  5  artinya  sangat  setuju.  Adapun  ketentuan  dalam  perhitungan hasil evaluasi dengan SUS:
1) skala jawaban dikurangi 1 pada pernyataan ganjil
2) 5 dikurangi skala jawaban pada pernyataan genap
3) 4 merupakan respon paling positif pada skala 0 sampai dengan 4
4) skala jawaban dijumlahkan dan dikali dengan angka 2,5
5) Rata-rata jawaban ditentukan dari pernyataan.
Gambar  2  menunjukkan  langkah  akhir  dari  evaluasi usability dengan  SUS  adalah menentukan  hasil  akhir.  Tiga  aspek  utama  tingkat  penilaian  meliputi acceptability (penerimaan) ,  grade  scale (skala  kelas) dan adjective  rating (peringkat) .  Acceptability merupakan  kriteria  untuk  menentukan  apakah  aplikasi  diterima  oleh  pengguna  dengan tingkatan acceptability meliputi not  acceptable , marginal (low dan high), dan acceptable . Grade  scale adalah  kriteria  untuk  menentukan  tingkatan  bagaimana  kualitas  aplikasi  yang digunakan.  Tingkatan grade  scale meliputi  A,  B,  C,  D,  dan  E.  Sedangkan adjective  rating adalah kriteria untuk menentukan peringkat aplikasi berguna ataukah tidak. Adjective rating meliputi worst imaginable , poor , ok, good, excellent , dan best imaginable .
Rekapitulasi  nilai  berupa  nilai  komulatif  rata-rata  instrumen  akan  menentukan  hasil evaluasi  aplikasi  yang  digunakan.  Hasil  evaluasi  berupa acceptability,  grade  scale ,  dan adjective  rating ,  bukan  berasal  dari  nilai  masing-masing  pernyataan  evaluasi.  Kesimpulan diperoleh dengan grade scale melalui ketentuan rata-rata: A > 80,3, 74 < B < 80,3, 68 < C < 74,3, 51 < D < 68, dan F < 51.

## Gambar 2 Penentuan hasil evaluasi usability dengan SUS

## III. H ASIL DAN P EMBAHASAN
Berdasarkan  metode  penelitian,  hasil  penelitian  evaluasi usability LMS OpenLearning dapat dijelaskan sebagai berikut.

## A. Karakteristik Responden
Dalam  penelitian  ini  menggunakan  responden  mahasiswa  program  studi  Informatika UMS.  Jumlah  responden  yang  mengisi  kuisioner  sebanyak  220  mahasiswa  dengan  rincian angkatan  2017  sejumlah  17  mahasiswa  (7.72%),  angkatan  2018  sejumlah  40  mahasiswa (18.18%), angkatan 2019 sejumlah 98 (44.54%), dan angkatan 2020 sejumlah 65 mahasiswa (29.54%). Ilustrasi variasi responden disajikan pada Tabel II.
T ABEL II
V ARIASI R ESPONDEN Mahasiswa Angkatan Jumlah  Prosentase (%) 2017 17 7.73 2018 40 18.18 2019 98 44.55 2020 65 29.55 Total 220 100.00

## B. Nilai Usability Pada Setiap Instrumen
Responden memberikan nilai untuk masing-masing pernyataa SUS. Nilai tersebut adalah nilai usability .  Terdapat  sepuluh  pernyataan  dalam  SUS  sebagai  acuan  untuk  melakukan evaluasi. Hasil yang berbeda akan dimiliki setiap jawaban responden pada nomer ganjil. Hal ini  disebabkan  adanya  aturan  yang  berbeda  dalam  perhitungan  skala  jawaban.  Adapun ketentuannya:
1) Skala  jawaban  responden  dikurangi  1  (satu)  disetiap  jawaban  yang  diberikan  oleh responden pada pernyataan dengan nomor ganjil
2) 5  (lima)  dikurangi  skala  jawaban  responden,  disetiap  jawaban  yang  diberikan  oleh responden pada pernyataan dengan nomor genap.
3) Hasil dari nomor 1 dan nomor 2 akan didapat skala jawaban 0 sampai 4, yang artinya 4 merupakan nilai positif
4) Nilai rata-rata dicari dari total pernyataan yang dikalikan dengan 2,5
5) Hasil akhir dari evaluasi usability ditentukan oleh hasil pada nomor 4.

## T ABEL III R EKAP J AWABAN D ARI R ESPONDEN
Nomor Skala Jawaban Responden Responden 1 2 3 4 5 Pernyataan1 6 8 51 109 46 220 Pernyataan2 4 41 81 66 28 220 Pernyataan3 1 7 41 114 57 220 Pernyataan4 24 89 56 40 11 220 Pernyataan5 2 15 50 123 30 220 Pernyataan6 9 43 86 62 20 220 Pernyataan7 1 9 50 110 50 220 Pernyataan8 38 94 47 33 8 220 Pernyataan9 1 9 67 111 32 220 Pernyataan10 17 55 54 61 33 220
Responden memberikan skala jawaban dalam evaluasi usability dengan SUS pada LMS OpenLearning dengan hasil rekapitulasi dapat diketahui seperti halnya tertunjuk pada Tabel III.  Selanjutnya  sesuai  data  jawaban  tersebut  dilakukan  penghitungan  SUS  nomor  1  dan nomor  2.  Dari  hasil  penghitungan,  didapatkan  rekap  data  dari  jawaban  responden  yang ditunjukkan pada Tabel IV.

## T ABEL IV R EKAPITULASI R ATA -R ATA N ILAI
No Skala Jawaban dari Responden SUS Jumlah Responden Rata-rata Nilai 1 2 3 4 5 Pernyataan1 0 8 102 327 184 621 220 2.82 Pernyataan2 16 123 162 66 0 367 220 1.67 Pernyataan3 0 7 82 342 228 659 220 3.00 Pernyataan4 96 267 112 40 0 515 220 2.34 Pernyataan5 0 15 100 369 120 604 220 2.75 Pernyataan6 36 129 172 62 0 399 220 1.81 Pernyataan7 0 9 100 330 200 639 220 2.90 Pernyataan8 152 282 94 33 0 561 220 2.55 Pernyataan9 0 9 134 333 128 604 220 2.75 Pernyataan10 68 165 108 61 0 402 220 1.83
Data  jawaban  responden  merupakan  data  rekapitulasi  jawaban,  kemudian  dilakukan penghitungan  sesuai  ketentuan  SUS.  Berdasarkan  masing-masing  pernyataan,  dapat dijabarkan  bagaimana  pendapat  responden  mengenai  aplikasi  LMS OpenLearning sebagai berikut:
1) Pernyataan ke-1
Pernyataan ini untuk mengetahui sejauh mana keinginan responden dalam menggunakan aplikasi secara rutin. Sebanyak 6 atau 2.73% responden memberi nilai 1, selanjutnya 8 atau 3.64% memberi nilai 2, sebanyak 51 atau 23.18 memberikan penilaian 3, sebanyak 109 atau 49.55%  memberi  nilai  4,  dan  sebanyak  46  atau  20.91%  memberi  nilai  5.  Gambar  3 menunjukan sebaran pengisian data oleh responden. Pada perhitungan metode SUS, diperoleh rata-rata nilai 2.82 dari 220 responden.

## Gambar 3. Pernyataan ke-1 dari Instrumen SUS

## 2) Pernyataan ke-2
Pada  nomor  2  ini,  jika  responden  memberikan  nilai  semakin  kecil  maka  akan mendapatkan hasil semakin baik. Berdasarkan Gambar 4, sebanyak 4 atau 1.82% memberikan penilaian  1,  sebanyak  41  atau  18.64%  memberikan  penilaian  2,  sebanyak  81  atau  36.82 memberikan  penilaian  3,  sebanyak  66  atau  30.00%  memberi  nilai  4,  dan  sebanyak  28  atau 12.73%  memberi  nilai  5.  Pada  perhitungan  metode  SUS,  diperoleh  rata-rata  nilai  1.67  dari 220 responden.

## Gambar 4. Pernyataan ke-2 dari Instrumen SUS

## 3) Pernyataan ke-3
Aplikasi  digunakan  dengan  mudah  atau  tidak  merupakan  fokus  pernyataan  ke-3.  Nilai diberikan  oleh  responden  seperti  pada  Gambar  5.  Sebanyak  1  atau  0.45%  memberikan penilaian  1,  sebanyak  7  atau  3.18%  memberikan  penilaian  2,  sebanyak  41  atau  18.64 memberikan penilaian 3, sebanyak 114 atau 51.82% memberi nilai 4, dan sebanyak 57 atau 25.91% memberi nilai 5. Pada perhitungan dengan metode SUS, diperoleh rata-rata nilai 3.00 dari 220 responden.

## Gambar 5. Pernyataan ke-3 dari Instrumen SUS

## 4) Pernyataan ke-4
Butuh atau tidaknya tentang bantuan dari orang lain dinyatakan pada kuisioner nomor 4 dan  hasil  tersaji  dalam  Gambar  6.  Sebanyak  24  atau  10.91%  memberikan  penilaian  1, sebanyak  89  atau  40.45%  memberikan  penilaian  2,  sebanyak  56  atau  25.45  memberikan penilaian 3, sebanyak 40 atau 18.18% memberi nilai 4, dan 11 atau 5.00% memberi nilai 5. Pada perhitungan metode SUS, diperoleh rata-rata nilai 2.34 dari 220 responden.
Gambar 6. Pernyataan ke-4 dari Instrumen SUS

## 5) Pernyataan ke-5
Pada nomor 5 terkait dengan kegunaan aplikasi bisa dilihat sebaran hasil kuisioner pada Gambar  7.  Sebanyak  2  atau  0.91%  memberikan  penilaian  1,  sebanyak  15  atau  6.82% memberikan penilaian 2, sebanyak 50 atau 22.73 memberikan penilaian 3, sebanyak 123 atau 55.91%  memberi  nilai  4,  dan  30  atau  13.64%  memberi  nilai  5.  Pada  perhitungan  dengan metode SUS, diperoleh rata-rata nilai 2.75 dari 220 responden.

## Gambar 7. Pernyataan ke-5 pada Instrumen SUS

## 6) Pernyataan ke-6
Terkait konsistensi aplikasi sebanyak 9 atau 4.09% memberikan penilaian 1, sebanyak 43 atau  19.55%  memberikan  penilaian  2,  sebanyak  86  atau  39.09%  memberikan  penilaian  3, sebanyak  62  atau  28.18%  memberi  nilai  4,  dan  sebanyak  20  atau  9.09%  memberi  nilai  5. Adapun  sebaran  isi  kuisioner  tertunjuk  pada  Gambar  8.  Pada  proses  perhitungan  dengan metode SUS, diperoleh rata-rata nilai 1.81 dari 220 responden.
Gambar 8. Pernyataan ke-6 pada Instrumen SUS

## 7) Pernyataan ke-7
Terkait dengan kemudahan pada aplikasi apakah mudah dipelajari, Gambar 9 merupakan sebaran  data  responden.  Sebanyak  1  atau  0.45%  memberikan  penilaian  1,  sebanyak  9  atau 4.09%  memberikan  penilaian  2,  sebanyak  50  atau  22.73  memberikan  penilaian  3,  sebanyak 110  atau  50.00%  memberi  nilai  4,  dan  50  atau  22.73%  memberi  nilai  5.  Pada  proses perhitungan dengan metode SUS, diperoleh rata-rata nilai 2.90 dari 220 responden.

## Gambar 9. Pernyataan ke-7 pada Instrumen SUS

## 8) Pernyataan ke 8
Terkait kerumitan penggunaan aplikasi disajikan pada nomor delapan. Sebanyak 38 atau 17.27%  memberikan  penilaian  1,  sebanyak  94  atau  42.73%  memberikan  penilaian  2, sebanyak 47 atau 21.36 memberikan penilaian 3, sebanyak 33 atau 15. 00% memberi nilai 4, dan  8  atau  3.64%  memberi  nilai  5.  Gambar  10  merupakan  sebaran  hasil  kuisioner.  Pada proses perhitungan dengan metode SUS, diperoleh rata-rata nilai 2.55 dari 220 responden.
Gambar 10. Pernyataan ke-8 pada Instrumen SUS

## 9) Pernyataan ke-9
Terkait  yakin  atau  optimisnya  mahasiswa  dalam  menggunakan  aplikasi  disajikan  pada nomor  ini.  Sebanyak  1  atau  0.45%  memberi  nilai  1,  sebanyak  9  atau  4.09%  memberikan penilaian  2,  sebanyak  67  atau  30.45  memberikan  penilaian  3,  sebanyak  111  atau  50.45% memberikan  penilaian  4,  dan  sebanyak  32  atau  14.55%  memberi  nilai  5.  Adapun  sebaran tersaji  pada  Gambar  11.  Pada  proses  perhitungan  dengan  metode  SUS,  diperoleh  rata-rata nilai 2.75 dari 220 responden.

## Gambar 11. Pernyataan ke-9 pada Instrumen SUS

## 10) Pernyataan ke-10
Pada  nomor  ini  sebanyak  17  atau  7.73%  memberikan  penilaian  1,  sebanyak  55  atau 25.00% memberikan penilaian 2, sebanyak 54 atau 24.55 memberikan penilaian 3, sebanyak 61 atau 27.73% memberi nilai 4, dan 33 atau 15.00% memberi nilai 5. Gambar 12 menyajikan sebaran  data  kuisioner  pernyataan.  Pada  proses  perhitungan  dengan  metode  SUS,  diperoleh rata-rata nilai 1.83 dari 220 responden.

## Gambar 12. Pernyataan ke-10 pada Instrumen SUS
Berdasarkan hasil rata-rata nilai dari pernyataan 1 sampai dengan pernyataan 10, terdapat 3 nomor  dengan  rata-rata  nilai  rendah.  Pernyataan  tersebut  terdapat  pada  nomor  2  (tentang rumitnya  aplikasi),  nomor  6  (tentang  ketidakkonsistenan  aplikasi)  dan  nomor  10  (tentang perlu belajar sebelum menggunakan aplikasi). Adapun 3 nomor dengan rata-rata baik terdapat pada  pernyataan  1  (tentang  keberlangsungan  penggunaan  aplikasi),  pernyataan  3  (tentang kemudahan penggunaan), dan pernyataan 7 (tentang mudahnya mempelajari aplikasi).

## C. Tingkat Usability LMS OpenLearning
Berdasarkan hasil perhitungan tingkat usability menunjukkan hasil nilai yang tertera pada Tabel V. Diketahui bahwa evaluasi LMS OpenLearning mendapatkan nilai 61.03. Dari nilai atau  skor  tersebut,  selanjutnya  akan  dijabarkan  maksudnya  sesuai  dengan  ketentuan  SUS. Usability aplikasi  memiliki  maksud  berdasarkan  tiga  tingkat  sisi Acceptability,  Grade  scale dan Adjective rating. Berdasar Acceptability , aplikasi LMS OpenLearning dari aspek diterima oleh  pengguna  dikategorikan marginal .  Sedangkan Grade  scale menilai  aplikasi  dari  aspek tingkat kualitas. Hasil evaluasi menunjukkan bahwa aplikasi LMS OpenLearning berada pada grade scale D. Adjective rating memulai aplikasi dari aspek yang menentukan rating usability (kebergunaan), hasil evaluasi menunjukkan bahwa aplikasi LMS OpenLearning dikategorikan ok .
T ABEL V
R EKAPITULASI P ERNYATAAN SUS No Nilai Rata-rata Pernyataan Jumlah (Rata-rata x 2.5) Pernyataan1 2.82 7.06 Pernyataan2 1.67 4.17 Pernyataan3 3.00 7.49 Pernyataan4 2.34 5.85 Pernyataan5 2.75 6.86 Pernyataan6 1.81 4.53 Pernyataan7 2.90 7.26 Pernyataan8 2.55 6.38 Pernyataan9 2.75 6.86 Pernyataan10 1.83 4.57 Total Nilai 61.03
Nilai  SUS  yang  diperoleh  dari  penelitian  ini  sedikit  lebih  rendah  jika  dibandingkan dengan  hasil  penelitian  sebelumnya  [22].  Hal  ini  bisa  dimungkinkan  karena pertama ,  LMS yang  dijadikan  studi  kasus  berbeda  (dalam  penelitian  tersebut  menggunakan  LMS Google Classroom ). Kedua ,  jumlah  responden  yang  digunakan  dalam  penelitian  sebelumnya  lebih sedikit dibanding jumlah responden yang digunakan dalam penelitian ini (jumlah responden 10  mahasiswa).  Jika  dilihat  dari  hasil  nilai  rata-rata  pada  setiap  pernyataan,  penelitian sebelumnya mendapatkan nilai cukup tinggi untuk 10 penyataan. Sedangkan penelitian ini ada 3 pernyataan yang nilainya rendah/kurang baik. Nilai kurang yang diberikan responden bisa jadi  merupakan  realita  sekaligus  sebagai  masukan  perbaikan  pada  aplikasi  LMS OpenLearning. Adapun  masukan  perbaikan  untuk  LMS OpenLearning yaitu  hendaknya aplikasi  dibuat  mudah  tidak  rumit,  konsisten  sehingga  pengguna  tidak  perlu  belajar  banyak hal untuk bisa memulai menggunakan aplikasi tersebut.
Walaupun terdapat beberapa kelemahan (nilai yang kurang baik) dari penelitian evaluasi usability LMS OpenLearning menggunakan metode SUS ini, jika dilihat dari nilai akhir SUS dapat  disimpulkan  bahwa  LMS OpenLearning secara  kebergunaan  masih  diterima  oleh mahasiswa. Nilai baik yang diberikan oleh responden/mahasiswa meliputi, aplikasi akan lebih sering  dan  mudah  digunakan,  pengguna  tidak  perlu  membutuhkan  bantuan  dari  orang  lain, berbagai fungsi sudah diintegrasikan dengan baik, pengguna awam akan mudah mempelajari dengan cepat, dan merasa sangat percaya diri. Hasil ini sejalan dengan penelitian [2] bahwa LMS OpenLearning merupakan  salah  satu  LMS  yang  direkomendasikan  mampu  mengatur pembelajaran jarak jauh (e-learning) dengan efektif. Selain itu, juga dikuatkan oleh penelitian [3]  yang  menggunakan  metode  kuisioner  dengan  membagikan  angket  kepada  responden. Setelah  menghitung  jumlah  jawaban  responden  dari  setiap  pernyataan  ditarik  kesimpulan
umum  bahwa  penggunaan  LMS OpenLearning efektif  dibuktikan  oleh  dosen  lebih  mudah mengakses  materi  kuliah  dan  Indeks  Prestasi  Komulatif  (IPK)  mahasiswa  meningkat. Penggunaan OpenLearning dinegara  lain  pada  penelitian  [28]  menunjukkan  bahwa mahasiswa memiliki sikap positif terhadap perilaku, memiliki komunikasi dan keterampilan pemecahan  masalah,  serta  memberikan  minat  yang  baik  bagi  mahasiswa  dalam  mengikuti proses pembelajaran kolaboratif. Hasil tersebut diperoleh melalui metode kuisioner dengan 23 item  pertanyaan  dengan  analisis  data  melalui  SPSS  untuk  menghasilkan  statistik  deskriptif meliputi frekuensi dan persentase.

## IV. K ESIMPULAN
Evaluasi usability LMS OpenLearning menggunakan  metode  SUS  mendapatkan kesimpulan bahwa aplikasi memiliki nilai usability cukup sesuai dengan nilai yang diberikan oleh  responden  pada  setiap  nomor.  Pernyataan  nomor  1  mendapatkan  rata-rata  nilai  2.82, nomor 2 rata-rata nilai 1.67, nomor 3 rata-rata nilai 3.00, nomor 4 rata-rata nilai 2.34, nomor 5 rata-rata nilai 2.75, nomor 6 rata-rata nilai 1.81, nomor 7 rata-rata nilai 2.90, nomor 8 rata-rata nilai 2.55, nomor 9 rata-rata nilai 2.75 dan nomor 10 rata-rata nilai 1.83. Terdapat 3 nomor dengan rata-rata nilai rendah/kurang baik. Terdapat juga 3 nomor dengan rata-rata tinggi/baik. Aplikasi  LMS OpenLearning dikategorikan  memenuhi  standar usability dengan  nilai  akhir 61.03,  dengan  keterangan acceptability  marginal,  grade  scale D  dan adjective  rating  ok. Walaupun terdapat beberapa kelemahan (nilai yang kurang baik), berdasarkan nilai akhir SUS dapat  disimpulkan  bahwa  LMS OpenLearning secara  kebergunaan  masih  diterima  oleh mahasiswa  dan  berfungsi  dengan  baik.  Hal  ini  sejalan  dengan  temuan  pada  penelitian sebelumnya dengan metode yang berbeda (metode kuisioner angket dengan analisis per-item pernyataan).  Hasil  penelitian  sebelumnya  menyatakan  bahwa  LMS OpenLearning adalah salah  satu  LMS  yang  direkomendasikan  mampu  mengatur  pembelajaran  jarak  jauh  dengan efektif,  sebagai  media  kolaborasi  antara  dosen  dengan  mahasiswa  dan  mahasiswa  dengan mahasiswa.

## R EFERENSI
[1] R. H. Syah, “Dampak Covid-19 pada Pendidikan di Indonesia: Sekolah, Keterampilan, dan Proses Pembelajaran,” SALAM J. Sos. dan Budaya Syar-i , vol. 7, no. 5, 2020, doi: 10.15408/sjsbs.v7i5.15314.
[2] K.  M.  U.  Kizi,  “Distance  Learning  and  Management  System,”  in Proceedings  of Global Technovation , 2021, pp. 72–74.
[3] Z.  N,  Nurmayanti,  and  H.  Ferdiansyah,  “Efektifitas  Media  Pembelajaran  Daring  di masa Pandemi Covid-19,” J. Edumaspul , vol. 5, no. 1, pp. 71–77, 2021.
[4] T. Retnasari and T. Prihatin, “Evaluasi Sistem Informasi Cibugary Dalam Peningkatan Promosi  Eduwisata  Dengan  Architecture  Capability  Maturity  Model  Score,” J. INOVTEK POLBENG - SERI Inform. , vol. 5, pp. 250–262, 2020.
[5] Beny and H. Yani, “Identifikasi Karakteristik Riset Interaksi Manusia dan Komputer di Indonesia : Alur , Metodologi , dan Arahnya di Masa Mendatang,” PROCESSOR , vol. 15, no. 1, pp. 74–85, 2020.
[6] D. Rahadian, G. Rahayu, and R. R. Oktavia, “Teknologi Pendidikan: Kajian Aplikasi Ruangguru  Berdasarkan  Prinsip  dan  Paradigma  Interaksi  Manusia  dan  Komputer,” J. Petik , vol. 5, no. 1, pp. 11–24, 2019, doi: 10.31980/jpetik.v5i1.489.
[7] P.  Kaewsaiha,  “Usability  of  the  learning  management  system  and  choices  of alternative,” Int. Conf. Educ. Psychol. Soc. Sci. , no. September, pp. 252–259, 2019.
[8] D. Pal and V. Vanijja, “Perceived usability evaluation of Microsoft Teams as an online
learning  platform  during  COVID-19  using  system  usability  scale  and  technology acceptance  model  in  India,” Child.  Youth  Serv.  Rev. ,  vol.  119,  p.  105535,  2020,  doi: 10.1016/j.childyouth.2020.105535.
[9] D.  P.  Putri,  “Analisis  User  Experience  Dan  Usability  Terhadap  Sistem  Pembelajaran Berbasis  Teknologi  Informasi,” JSI  J.  Sist.  Inf. ,  vol.  11,  no.  2,  2019,  doi: 10.36706/jsi.v11i2.8648.
[10]  N.  A.  Murti,  “Analisis  Usability  Testing  Pada  Aplikasi  Transportasi  Online  Untuk Mengukur  Kepuasan  Pengguna,” JSiI  (Jurnal  Sist.  Informasi) ,  vol.  7,  no.  1,  p.  19, 2020, doi: 10.30656/jsii.v7i1.2102.
[11]  M.  R.  Ramadhan,  L.  E.  Nugroho,  and  S.  Sulistyo,  “Evaluasi  Sistem  Informasi Monitoring Skripsi Menggunakan Prinsip Usability,” Pros. SNST ke-8 Tahun 2017 , pp. 92–97, 2012.
[12]  A.  S.  Badriah  and  P.  K.  Sari,  “Uji  usability  pada  penggunaan  Aplikasi  Gowes  di Telkom,” e-Proceeding Manag. , vol. 6, no. 2, pp. 2864–2872, 2019.
[13]  A. Muqoddas, A. F. Yogananti, and H. Bastian, “Usability User Interface Desain pada Aplikasi  Ecommerce  (Studi  Komparasi  Terhadap  Pengalaman  Pengguna  Shopee, Lazada, dan Tokopedia),” ANDHARUPA J. Desain Komun. Vis. Multimed. , vol. 6, no. 1, pp. 73–82, 2020, doi: 10.33633/andharupa.v6i1.3194.
[14]  Q.  Conley,  Y.  Earnshaw,  and  G.  McWatters,  “Examining  Course  Layouts  in Blackboard:  Using  Eye-Tracking  to  Evaluate  Usability  in  a  Learning  Management System,” Int.  J.  Hum.  Comput.  Interact. ,  vol.  36,  no.  4,  pp.  373–385,  2020,  doi: 10.1080/10447318.2019.1644841.
[15]  M. I. Sya’roni, A. P. Kharisma, and F. Amalia, “Perbandingan Hasil Metode Evaluasi Usability Antara Heuristic Evaluation dengan Think Aloud pada Kasus Web FILKOM APPS untuk Mahasiswa,” J. Pengemb. Teknol. Inf. dan Ilmu Kompuer , vol. 2, no. 2, pp. 674–678, 2018.
[16]  I. M. A. D. Saputra, I. M. A. Pradnyana, and N. Sugihartini, “Usability Testing Pada Sistem  Tracer  Study  Undiksha  Menggunakan  Metode  Heuristic  Evaluation,” J. Pendidik.  Teknol.  dan  Kejuru. ,  vol.  16,  no.  1,  p.  98,  2019,  doi:  10.23887/jptk- undiksha.v16i1.18171.
[17]  Dwi  Swasono  Rachmad,  “Evaluasi  Usability  Aplikasi  Sentuh  Tanahku  menggunakan Metode Heuristik,” IJIS-Indonesia J. Inf. Syst. , vol. 4, no. April, pp. 69–76, 2019.
[18]  R.  Firmansyah,  “Usability  Testing  Dengan  Use  Questionnaire  Pada  Aplikasi  Sipolin Provinsi  Jawa  Barat,” Swabumi ,  vol.  6,  no.  1,  pp.  1–7,  2018,  doi: 10.31294/swabumi.v6i1.3310.
[19]  E.  R.  Nainggolan  and  S.  A.  Susafaati,  “Pengujian  Usability  Sistem  Informasi Pelayanan Rukun Warga Menggunakan Use Questionnaire,” J. AKRAB JUARA , vol. 3, no. 4, pp. 27–34, 2018.
[20]  K.  W.  Antari,  R.  Arthana,  and  N.  Sugihartini,  “Pengujian  Usability  Pada  Sistem Informasi Pangkalan Data Dosen Dan Kinerja Dosen Undiksha Menggunakan Metode Questionnaire and Field Observation,” J. Pendidik. Teknol. dan Kejuru. , vol. 16, no. 1, p. 65, 2019, doi: 10.23887/jptk-undiksha.v16i1.16790.
[21]  R.  J.  Holden,  “A  Simplified  System  Usability  Scale  (SUS)  for  Cognitively  Impaired and Older Adults,” Proc. Int. Symp. Hum. Factors Ergon. Heal. Care , vol. 9, no. 1, pp. 180–182, 2020, doi: 10.1177/2327857920091021.
[22]  D.  Setiawan  and  S.  L.  Wicaksono,  “Evaluasi  Usability  Google  Classroom Menggunakan System Usability Scale,” Walisongo J. Inf. Technol. , vol. 2, no. 1, p. 71, 2020, doi: 10.21580/wjit.2020.2.1.5792.
[23]  D.  Yulianto,  R.  Hartanto,  and  P.  I.  Santosa,  “Evaluasi  Buku  Interaktif  Berbasis Augmented  Reality  Menggunakan  System  Usability  Scale  dan  User  Experience
Questionnaire,” Rekayasa Sist. dan Teknol. Inf. , vol. 4, no. 3, pp. 482–488, 2020.
[24]  G.  Gronier  and  A.  Baudet,  “Psychometric  Evaluation  of  the  F-SUS:  Creation  and Validation of the French Version of the System Usability Scale,” Int. J. Hum. Comput. Interact. , vol. 00, no. 00, pp. 1–12, 2021, doi: 10.1080/10447318.2021.1898828.
[25]  U.  Ependi,  T.  B.  Kurniawan,  and  F.  Panjaitan,  “System  Usability  Scale  Vs  Heuristic Evaluation: a Review,” Simetris J. Tek. Mesin, Elektro dan Ilmu Komput. , vol. 10, no. 1, pp. 65–74, 2019, doi: 10.24176/simet.v10i1.2725.
[26]  U.  Ependi,  F.  Panjaitan,  and  H.  Hutrianto,  “System  Usability  Scale  Antarmuka Palembang  Guide  Sebagai  Media  Pendukung  Asian  Games  XVIII,” J.  Inf.  Syst.  Eng. Bus. Intell. , vol. 3, no. 2, p. 80, 2017, doi: 10.20473/jisebi.3.2.80-86.
[27]  U.  Ependi,  A.  Putra,  and  F.  Panjaitan,  “Evaluasi  tingkat  kebergunaan  aplikasi Administrasi  Penduduk  menggunakan  teknik  System  Usability  Scale,” Regist.  J.  Ilm. Teknol. Sist. Inf. , vol. 5, no. 1, p. 63, 2019, doi: 10.26594/register.v5i1.1412.
[28]  A. N. Ganeser and T. P. Robert, “The Perception and Effectiveness of OpenLearning Portal  as  A  Central  Learning  Management  System  (  LMS  )  Among  Private  Higher Education Institution Students,” Asian J. Res. Educ. Soc. Sci. , vol. 3, no. 2, pp. 54–62, 2021.

## U CAPAN T ERIMA K ASIH
Terima  kasih  penulis  ucapkan  kepada  Program  Studi  Informatika  Universitas Muhammadiyah  Surakarta  yang  sudah  memberikan support penelitian.  Para  responden (mahasiswa) yang sudah meluangkan waktu mengisi kuisioner, serta semua pihak yang telah membantu.