## Terakreditasi SINTA Peringkat 3
Surat Keputusan Direktur Jenderal Pendidikan Tinggi, Riset, dan Teknologi Nomor 225/E/KPT/2022 masa berlaku mulai Vol.7 No. 1 tahun 2022 s.d  Vol. 11 No. 2 tahun 2026
Terbit online pada laman web jurnal: http://publishing-widyagama.ac.id/ejournal-v2/index.php/jointecs
Vol. 8 No. 2 (2023) 57 - 66

## JOINTECS
(Journal of Information Technology and Computer Science)
e-ISSN:2541-6448
p-ISSN:2541-3619
Pengukuran Usability Pada Learning Management System UMNU Kebumen Menggunakan System Usability Scale
Ghufron Zaida Muflih 1 , Iis Nurlaeli 2 , Ageng Restu Triyanto 3
Program Studi Teknik Informatika, Fakultas Teknik, Universitas Ma’arif Nahdlatul Ulama Kebumen 1 ghufron.zaida@umnu.ac.id, 2 irlaarmy@gmail.com, 3 agengrestutriyanto@gmail.com

## Abstract
Learning Management System is a website-based online learning media commonly used in universities. The quality of a system can be measured by the level of usability. System's usability is crucial for the level of acceptance and satisfaction of the users. Therefore it is necessary to evaluate and test whether the system used is by its usefulness. This study aims to find many methods of LMS UMNU Kebumen using the System Usability Scale (SUS) with a total of 25 respondents. The SUS method is the most used because using a small sample can give good results. The test  results  in  this  study  showed  an  average  score  of  61.4.  Based  on  this  score,  it  is  analyzed  by  drawing  an interpretation that shows that LMS UMNU Kebumen has a score of 30% for percentile rank, the poor category for  adjective  rating,  and  the  D  grade  scale.  While  in  acceptance  it  shows  the  marginal  category  and  for  Net Promoter Score it is in the detractor category.
Keywords: Evaluation; Usability; User Interface; Learning Management System; System Usability Scale

## Abstrak
Learning  Management  System  (LMS)  merupakan  media  pembelajaran  online  berbasis website yang  umum digunakan pada perguruan tinggi. Kualitas sebuah sistem dapat diukur melalui tingkat usability . Usability sistem penting  kaitannya  dengan  tingkat  penerimaan  dan  kepuasan  pengguna  sistem  karena  untuk  mengetahui  sejauh mana sistem pada LMS tersebut sudah bekerja. Maka dari itu diperlukan adanya evaluasi dan pengujian apakah sistem  yang  digunakan  memiliki  kelayakan usability .  Penelitian  ini  bertujuan  untuk  mengevaluasi  LMS Universitas  Ma’arif  Nahdlatul  Ulama  Kebumen  menggunakan  metode System  Usability  Scale (SUS)  dengan jumlah responden 25. Metode SUS merupakan metode yang paling banyak digunakan karen metode SUS sebagai pengukuran yang cepat dan handal, juga merupakan kuesioner valid dan reliabel untuk mengukur atau menguji kepuasan sistem informasi dengan menggunakan sampel yang sedikit dapat memberikan hasil yang  baik. Hasil pengujian  pada  penelitian  ini  menunjukkan  skor  rata-rata  61,4.  Berdasarkan  skor  tersebut  dianalisis  dengan menarik interpretasi yang menunjukkan bahwa LMS UMNU Kebumen memiliki skor 30% untuk percentile ranks , kategori poor untuk adjective rating , dan grade scale D. Sedangkan dalam acceptability menunjukkan kategori marginal dan untuk Net Promoter Score masuk ke dalam kategori detractor .
Kata Kunci : Evaluasi; Usability; User Interface; Learning Management System; System Usability Scale

## 1. Pendahuluan
Pendidikan  merupakan  suatu  aktivitas  pembelajaran tentang  ilmu  pengetahuan  dan  keahlian.  Aktivitas pembelajaran  dapat  dilakukan  secara  formal  dan  non formal[1].  Pembelajaran  formal  dilakukan  pada lembaga pendidikan terstruktur seperti sekolah maupun perguruan tinggi[2]. Pembelajaran non formal didapat dari  keluarga,  tempat-tempat  kursus  dan  pelatihan, maupun  aktivitas  sehari-hari  dalam  masyarakat[2]. Perkembangan  ilmu  pengetahuan  dan  teknologi  yang pesat  memberikan  dampak  yang  luar  biasa  dalam berbagai  bidang,  terutama  bidang  pendidikan[3]. Teknologi dan pendidikan menjadi suatu hal yang tidak dapat dipisahkan. Teknologi berperan dalam penyebaran  informasi  secara  efektif,  cepat,  dan aktual[4].  Informasi  merupakan  kebutuhan  yang penting  dalam  pembelajaran.  Dengan  memanfaatkan teknologi proses pembelajaran menjadi lebih kondusif, kreatif dan kompetitif.
Saat  ini,  tersedia  berbagai  media  pembelajaran interaktif,  salah  satunya e-learning [5]. E-learning merupakan  platform  pendidikan  yang  dikembangkan untuk  pembelajaran  dengan  menggunakan  media elektronik  yang  terhubung  dengan  internet[6]. E- learning dimanfaatkan  di  bidang  pendidikan  dan institusi  akademik  [7]  untuk    meningkatkan  kualitas pembelajaran dan dapat menghemat biaya dan waktu. Pengguna  dapat  belajar  dan  mengakses  berbagai informasi  dari  sumber  yang  tersedia  dalam  internet secara berulang dimana saja dan kapan saja. Metode e- learning belum cukup efektif karena masih minimnya pengawasan dari tenaga pengajar. Learning Management System (LMS) menjadi pilihan yang tepat untuk  mengatasi  kekurangan  tersebut.    LMS  atau learning management system merupakan sebuah sistem untuk  mengelola  aktivitas  belajar  mengajar,  materi pembelajaran  atau  pelatihan,  dan  dokumentasi  secara online.  Saat  ini,  LMS  merupakan  hal  yang  universal digunakan  dalam  setiap  perguruan  tinggi.  Dengan LMS, tenaga pengajar dapat memantau dan mengevaluasi  kemajuan  kemampuan  belajar  dan keahlian dari mahasiswa.  LMS menyediakan berbagai banyak fitur seperti manajemen absen dan kelas, bahan belajar  mengajar,  forum  diskusi  dan  komunikasi,  dan fitur penugasan seperti quiz maupun tugas mandiri.
Sebagai salah satu media interaktif pembelajaran, LMS tentunya mempunyai tampilan antarmuka yang sering disebut  dengan user  interface .  Berfungsi untuk menjembatani interaksi antara pengguna dengan sistem itu  sendiri[8].    LMS  mempunyai user  interface yang berbeda-beda  pada  setiap  perguruan  tinggi  sesuai kebutuhannya  masing-masing[4].  User  Interface merupakan  penghubung  antara  reaksi  sistem  dengan reaksi pengguna aplikasi yang efisien. Memungkinkan pengguna  merasakan,  mengambil  tindakan  dan mencapai tujuan seperti apa dilakukan di sekelilingnya dan  merasakan  sebuah  pengalaman  atau  respon  dari
sistem  [9].  Faktor  yang  mempengaruhi  kepuasan pengguna  dalam  menggunakan  sistem  atau  produk seperti daya tarik dan kegunaan ( usability ). Pengujian usability  merupakan  hal  yang  umum  dimana  kualitas sebuah sistem diukur dengan masalah yang terdeteksi oleh  pengguna  saat  melakukan  tugas  tertentu[10]. Usability menjadi  parameter  apakah  sistem  dapat diterima  pengguna[11].  Jika  sebuah  sistem  memiliki tingkat usability yang rendah, maka pengguna kesulitan bahkan enggan menggunakan sistem tersebut lagi[1],[12]. Penggunaan LMS di perguruan tinggi jika mahasiswa  kesulitan  dalam  mengoperasikan  sistem tersebut  maka  mengganggu  minat  belajar  mahasiswa. Jika  minat  belajar  mahasiswa  terganggu  maka kemampuan  dan  keahlian  mahasiswa  tentu  menurun. Hal  tersebut  tentu  bertentangan  dengan  tujuan pembuatan LMS yang digunakan untuk meningkatkan kemampuan  belajar  dan  keahlian  mahasiswa.  Maka dari itu diperlukan adanya evaluasi terhadap usability , dengan  mempertimbangkan  lima  kriteria  yang dikemukakan  oleh  Nielsen  (2012)  yaitu learnability , efficiency , memorability , errors , dan satisfaction [13].
Usability merupakan  kegunaan  sistem,  produk  yang digunakan  pengguna  sehingga  mewujudkan  tujuan berdasarkan  hasil  evaluasi[14].  Sekumpulan  metode pemeriksaan  pada  aspek  yang  berhubungan  dengan kegunaan dari antarmuka pengguna[15]. Usability juga merupakan salah satu bagian penting dalam kehidupan sehari-hari  terutama  di  bagian  ilmu  komputer  dan bagian dari teknologi informasi  [16]. Usability sangat mempengaruhi  sistem  untuk  memenuhi  tujuan  dan kebutuhan  bagi  pengguna  yang  berinteraksi  melalui website  dengan  perintah  atau  teknik  yang  berguna untuk  mengoperasikan  sistem  pada  tampilan user interface [12] . Evaluasi terhadap aplikasi harus dengan pertimbangan usability , juga mengedepankan asksebilitas  dan  efektifitasnya  [11].  Evaluasi  sangat diperlukan  dari  sudut  pandang  mahasiswa  guna memenuhi kebutuhan pembelajaran[6]. Metode evaluasi usability dapat dibedakan menjadi 2 tipe, tipe yang  pertama  yaitu test  methods dan inspection methods . Test method berdasarkan evaluasi menggunakan end user , inspection methods berdasarkan evaluasi expert evaluator atau yang sering disebut  dengan  istilah  UI/UX designer [12].    Ada berbagai  macam  metode  yang  digunakan  untuk mengevaluasi usability suatu  sistem,  seperti  metode SUS  (Sys tem  Usability  Scale ),  CW  ( Cognitive Walkthrough )  dan  HE  ( Heuristic  Evaluation )[17]. Metode  SUS  berupa  kumpulan  pertanyaan  atau kuesioner  dengan  menggunakan  skala  likert[13],[18]. Metode CW dan HE sama-sama mengevaluasi usability dengan percobaan dan penyelidikan. Yang membedakan hanyalah pada teknik pengumpulan data, dimana metode CW melibatkan responden yang belum memiliki  pengalaman  dalam  menggunakan  sistem sementara  metode  HE  melibatkan  responden  yang sudah berpengalaman dalam menggunakan sistem yang
dievaluasi[19]. Metode evaluasi yang digunakan pada penelitian ini adalah metode SUS. Metode SUS banyak digunakan  karena  memberikan  hasil  yang  maksimal dengan sampel penelitian yang sedikit[20].
Penelitian sebelumnya yang berkaitan dengan usability pada  sebuah  sistem  oleh  Dorie  P  Kesuma  pada  tahun 2021,  penelitian  Penggunaan System  Usability  Scale untuk  Mengukur  Aspek Usability Pada  Media Pembelajaran  Daring  di  Universitas  XYZ.  Dengan jumlah  responden  50  orang  pengujian usability memberikan hasil skor rata-rata 69,9. Dari skor tersebut diinterpretasikan dimana  layanan  media  pembelajaran daring  universitas  XYZ  mendapat grade C  dan  nilai percentile  ranks berkisar  pada  52%.  Pada  adjective rating masuk ke dalam kategori OK, kategori marginal untuk  tingkat  penerimaan  ( acceptable ),  dan  kategori passive untuk  nilai Net  Promote  Score (NPS)  [21]. Selanjutnya  oleh  Indra  Maryati,  Elisabeth  Inez Nugroho,  dan  Zefanya  Oktaviana  Indrasanti  Analisis Usability  pada  Situs  Perpustakaan  UC  dengan Menggunakan System Usability Scale pada tahun 2021 dengan total 46 responden. Hasil pengujian menggunakan metode SUS memberikan skor rata-rata 57,12 sehingga masuk ke dalam grade scale F, kategori OK  untuk adjective  rating ,  kategori marginal  low untuk acceptability  range .  Dari  interpretasi  tersebut dianalisa  bahwa  tingkat usability perpustakaan  UC masih  rendah  dan  perlu  dilakukan  revitalisasi[13]. Penelitian  Usability  Testing    pada  Sistem  Informasi Manajemen  AKN  Pacitan  Menggunakan  Metode System  Usability  Scale oleh  Kurnianto  Tri  Nugroho, Bagus Julianto, dan Danny Febryan Nur MS. Dengan jumlah  103  responden  hasil  pengujian usability memperoleh  nilai  sebesar  71,48  sehingga  Sistem Informasi  Manajemen  AKN  Pacitan  masuk  ke  dalam kategori acceptable dalam acceptability range ,  pada grade scale masuk ke dalam kelas C, sedangkan untuk adjective rating berada dalam kategori good dan NPS menunjukkan  kategori passive .  Dari  hasil  tersebut disimpulkan  bahwa  Sistem  Informasi  Manajemen AKN  Pacitan  dapat  diterima  dengan  baik  oleh pengguna  namun  pengguna  juga  bersifat  pasif  yang berarti  bahwa  terdapat  kemungkinan  kecil  bagi pengguna  untuk  merekomendasikan  website  tersebut kepada orang lain[16].
Universitas  Ma’arif  Nahdlatul  Ulama  Kebumen (UMNU Kebumen) adalah salah satu perguruan tinggi yang  menggunakan  LMS  sebagai  sistem  untuk mendukung  proses  belajar  mengajar  dosen  dan mahasiswa. Pada LMS UMNU Kebumen sebelumnya belum  pernah  dilakukan  pengujian  maupun  evaluasi. Evaluasi usablity penting dilakukan untuk mengetahui tingkat  kegunaan  dan  penerimaan  sistem  oleh mahasiswa maupun dosen.  Selain itu, pengguna LMS UMNU Kebumen tidak hanya dari program studi yang familiar  menggunakan  teknologi  informasi.  Program studi  pengguna  LMS  diantaranya  adalah  Teknik Informatika,  Pendidikan  Anak  Usia  Dini,  Pendidikan
Bahasa Indonesia, Pendidikan Olah Raga, Pendidikan Bahasa Inggris, Agroteknologi dan prodi Peternakan.
Tujuan  penelitian  ini  adalah  untuk  mengevaluasi usability dari LMS UMNU Kebumen guna memperbaiki  dan  meningkatkan  kinerja  serta  fasilitas serta  layanan  yang  baik  sehingga  memiliki usability yang  memenuhi  standar  yang  memudahkan  para pengguna  LMS.  Sehingga  diharapkan  penggunaan LMS  UMNU  Kebumen  semakin  mudah.  Kemudahan dalam menyelesaikan tugas-tugas, memudahkan proses belajar  antara  mahasiswa  dan  dosen,  memudahkan dosen  dalam  pembagian  materi  serta  memudahkan mahasiswa  yang  untuk  akses  materi  pembelajaran kapan saja dan di mana saja [22].

## 2. Metode Penelitian
Subjek  yang  menjadi  penelitian  adalah  website  LMS Universitas  Ma’arif  Nahdlatul  Ulama  Kebumen (UMNU Kebumen). Pada penelitian ini menggunakan metode  pengujian  SUS  sebagai  alat  untuk  menguji usability dari LMS UMNU Kebumen. Pada penggunaan metode SUS terdapat sepuluh pertanyaan sebagai  instrumen  dalam  evaluasi  LMS  UMNU Kebumen  dan  sebagai  tolok  ukur  pengujian[23]. Pengujian  LMS  UMNU  Kebumen  untuk  mengetahui tingkat  kegunaan  atau  penerimaan  penggunanya. Tahapan penelitian menggunakan SUS pada penelitian ini  meliputi  observasi  terhadap  objek  penelitian, identifikasi  masalah,  studi  literatur,  menentukan metode  pengujian,  memilih  responden  dan  terakhir menggunakan metode SUS sebagai pengujian.

## 2.1 Tahapan Penelitian
Penelitian  evaluasi usability LMS  UMNU  Kebumen dibagi menjadi enam tahapan seperti pada gambar 1.

## Gambar 1. Tahapan Penelitian
Tahapan  penelitian  yang  dilalui  penulis  seperti  pada gambar  1.  Penelitian  dimulai  dari  tahap  observasi terhadap  objek  penelitian.  Objek  yang  digunakan dalam  penelitian  ini  adalah  LMS  UMNU  Kebumen, https://lms.umnu.ac.id/.  Observasi  dilakukan  untuk mendapatkan gambaran fitur-fitur dan deskripsi objek
Mulai 1. Observasi 2. Identifikasi Masalah 3. Studi Literatur 4. Menentukan metode pengujian 5. Memilih responden 6. Pengujian dengan SUS
7. Analisis Hasil
Pengujian
Selesai
penelitian.  Observasi  tersebut  menghasilkan  rumusan masalah  yang  nantinya  dijawab  pada  penelitian  ini. Selanjutnya  pada  tahap  kedua  identifikasi  masalah untuk  mendefinisikan  masalah  penelitian,  didapat rumusan masalah yang dibutuhkan dalam penelitian.
Pada tahap ketiga adalah studi literatur. Pada tahap ini dengan  mencari  dan  menganalisis  jurnal-jurnal  yang terkait  dengan  penelitian  evaluasi usability .  Selain untuk mendapatkan referensi, studi literatur dilakukan untuk  menentukan  metode  pengujian  yang  digunakan untuk menyelesaikan masalah pada penelitian.
Tahap keempat  adalah  menentukan  metode  pengujian untuk evaluasi desain. Metode yang digunakan adalah system  usability  scale  (SUS) .  Metode  tersebut  dipilih karena  merupakan  metode  yang  sederhana,  dengan menggunakan  sampel  yang  sedikit  dapat  memberikan hasil yang maksimal dalam waktu yang cukup singkat.
Tahap  selanjutnya  adalah  memilih  responden  secara acak  dengan  mempertimbangkan  keaktifan  responden sebagai pengguna LMS. Pemilihan responden melibatkan  mahasiswa  dan  dosen  sebagai  pengguna LMS.  Responden  dipilih  acak  dari  berbagai  program studi  yang  ada  di  Universitas  sebagai  pengguna  LMS yang sama.
Tahap  terakhir  merupakan  tahap  pengujian  dengan SUS.  Pada  tahap  ini  terdiri  dari  pengumpulan  data pengguna yang dilakukan melalui kuesioner. Kuesioner dibuat  menggunakan google  form dan  disebarkan kepada  responden  melalui  media  sosial.  Setelah  data hasil  kuesioner  terkumpul,  data  diuji  dan  dihitung menggunakan metode system usability scale .
Analisis Hasil Pengujian untuk menentukan kesimpulan.  Kesimpulan  dapat  diambil  jika  seluruh tahapan  penelitian  telah  diselesaikan.  Kesimpulan berisi rangkuman jawaban rumusan masalah.
2.2 Metode System Usability Scale (SUS)
System Usability Scale (SUS) merupakan metode yang sederhana  dan  banyak  digunakan  untuk  menguji usability [3]. SUS menggunakan skala likert berjumlah lima  poin  yaitu  (1)  Sangat  Tidak  Setuju  (STS),  (2) Tidak Setuju (TS),  (3)  Netral (N),  (4)  Setuju (S), dan (5) Sangat Setuju (SS)[16]. SUS berupa kuesioner yang berisi 10 pertanyaan subjektif [11].  SUS berguna untuk mengukur  kegunaan sistem berdasarkan sudut pandang pengguna  dan  memberikan  evaluasi  dalam  waktu singkat[13].  Kuesioner  SUS  dibuat  berdasarkan referensi John Brooke[3], seperti pada tabel 1.
Proses  perhitungan  SUS  dengan  mengurangi  1  pada skor  responden  untuk  setiap  pertanyaan  bernomor ganjil.  Jika  pertanyaan  bernomor  genap  maka  skor didapat  dari  nilai  5  dikurangi  skor  responden.  Skor akhir  didapatkan  dengan  menjumlahkan  seluruh  skor akhir  pertanyaan  kemudian  dikali  dengan  2,5 menggunakan persamaan 1.
∑ 𝑥 = ((𝑄 1 − 1) + (5 − 𝑄 2 ) + (𝑄 3 − 1) + (5 − 𝑄 4 ) + (𝑄 5 − 1) + (5 − 𝑄 6 ) + (𝑄 7 − 1) + (5 − 𝑄 8 ) + (𝑄 9 − 1) + (5 − 𝑄 10 )) × 2,5 (1)
Langkah  selanjutnya,  hasil  skor  akhir  SUS  didapat dengan mencari skor rata-rata menggunakan persamaan  2.  Skor  SUS  masing-masing  responden, menggunakan persamaan 2 dicari nilai rata-rata dengan menjumlahkan  semua  skor.  Selanjutnya  hasil  yang diperoleh dibagi dengan jumlah responden.
𝐱̅ = ∑ 𝐱 𝐧 (2)
x̅ adalah  skor  rata-rata  atau  skor  akhir  SUS  yang diperoleh  dari  menjumlahkan  seluruh  skor  yang diperoleh  dari  responden  (∑x)  dan  dibagi  dengan jumlah responden (n) yang dilibatkan dalam pengujian usability  [24].  Hasil  pengujian  metode  SUS  bukan berupa persentase melainkan berupa skor akhir antara 0 sampai  100[16].  Skor  tersebut  digunakan  untuk mengukur  tingkat usability .  Semakin  besar  nilai  skor akhir  maka  semakin  baik  kualitas usability . Rating tingkat usability terbagi menjadi beberapa kelas ( grade scale )[20],[25], seperti pada tabel 2.

## Tabel 1. Kuesioner SUS
No Pertanyaan STS TS N S SS 1 Saya berpikir akan sering menggunakan LMS kedepannya 1 2 3 4 5 2 Saya berpikir LMS seharusnya dibuat tidak serumit ini 1 2 3 4 5
3
Saya berpikir LMS mudah digunakan. 1 2 3 4 5
4 Saya berpikir akan membutuhkan bantuan orang lain atau teknisi dalam menggunakan LMS 1 2 3 4 5 5 Saya berpikir fitur-fitur dalam LMS dapat digunakan dengan baik 1 2 3 4 5 6 Saya menemukan hal yang tidak konsisten (ketidaksesuaian) dalam LMS 1 2 3 4 5 7 Saya berpikir orang lain dapat mempelajari cara menggunakan LMS secara cepat 1 2 3 4 5 8
Saya berpikir LMS sangat sulit digunakan 1 2 3 4 5
9
Saya merasa nyaman dan percaya diri menggunakan LMS 1 2 3 4 5 10 Saya perlu membiasakan diri sebelum menggunakan LMS 1 2 3 4 5 Tabel 2. Rating Tingkat Usability No Skor Akhir SUS Grade Scale Adjective Rating 1 <51 F Awful 2 51-68 D Poor 3 68 C Ok 4 68-80,3 B Good 5 >80,3 A Excellent
(JOINTECS) Journal of Information Technology and Computer Science Vol . 8 No. 2 (2023) 57 – 66
Selain menunjukkan letter grade dan adjective rating , skor  akhir  SUS  juga  dapat  menunjukkan  tingkat penerimaan pengguna ( acceptability range ). Acceptability range terbagi menjadi tiga kategori yaitu Not Acceptable , Marginal , dan Acceptable [26] , [3],[20].  Pada  tingkat  skala  grade,  terdapat  enam skala yaitu skala A, skala B, skala C, skala D, skala E dan skala F [24]. Pada adjective rating memiliki banyak tingkatan  seperti worst  imaginable,  poor,  ok,  good, excellent, dan best imaginable [23].

## 3. Hasil dan Pembahasan
Hasil dari tahap penelitian pada evaluasi terhadap LMS UMNU  Kebumen  memperoleh  skor  rata-rata  yang dihitung  dengan  metode  SUS.  Pengumpulan  data menggunakan kuesioner dengan instrumen pertanyaan SUS mendapatkan respon beragam terhadap pengguna LMS. Hasil pengujian SUS dilakukan analisis dengan interpretasi menggunakan percentile ranks, grade scale dan net promote score .
3.1 Gambaran  Umum  LMS  ( Learning  Management System )
LMS ( Learning Management System ) adalah perangkat lunak  berbasis  web  yang  digunakan  sebagai  media pembelajaran  menggunakan  media  elektronik  secara online [21].  LMS  sebagai  fasilitator e-learning dalam lembaga  pendidikan  baik  sekolah  maupun  perguruan tinggi[6].  LMS  memiliki  fitur-fitur  untuk  mengelola kelas,  kursus,  kuis  online,  penilaian  dan  distribusi materi  pembelajaran.  Dengan  adanya  LMS  dapat membantu mahasiswa mendapatkan informasi pembelajaran, berinteraksi antar mahasiswa dan antara mahasiswa  dengan  dosen,  dan  mengembangkan ilmu[21]. User  interface LMS  UMNU  Kebumen seperti pada gambar 2.
Gambar 2. Tampilan Halaman Login
Pada halaman login, untuk mengakses LMS mahasiswa diminta  memasukkan username dan password . Username  dan  password yang  digunakan  untuk mengakses  LMS  diperoleh  dari  akademik.  Apabila username dan password sesuai maka akan diarahkan ke halaman dashboard mahasiswa seperti pada gambar 3.
Gambar 3. Tampilan Halaman Dashboard Mahasiswa
Halaman dashboard mahasiswa  berisi  daftar  kursus atau  mata  kuliah  yang  diambil  pada  semester  yang sedang  diambil.  Pada  kursus  atau  mata  kuliah  yang diambil dapat dilihat persentase progresnya. Selain itu terdapat  fitur  pemberitahuan  tugas  yang  mendekati tenggat waktu, fitur file private , pengguna online , dan kalender seperti pada gambar 4.
Gambar 4. Tampilan Halaman Materi Dan Tugas Mata Kuliah
Pada  halaman  mata  kuliah  terdapat  fitur  distribusi materi pembelajaran, tugas, dan presensi. Setiap tugas dapat diberikan tenggat waktu pengerjaan oleh  dosen. Status  penilaian  dapat  terlihat  pada  halaman  ini  jika dosen yang bersangkutan memberikan nilai. Pengumpulan  tugas  yang  melebihi  batas  waktu  juga tampil di halaman penugasan seperti pada gambar 5.
Gambar 5. Tampilan Halaman Input Tugas
Pada  halaman  penugasan,  mahasiswa  mengumpulkan tugas berupa soft file dengan jenis dokumen ditentukan dosen.  Tugas  dikumpulkan  sesuai  dengan  tenggat waktu. Terdapat fitur edit dan hapus pengajuan apabila terdapat kesalahan dalam mengirim dokumen. Presensi mahasiswa  dapat  diisi  sendiri  sesuai  dengan  aturan yang diberikan dosen seperti pada gambar 6.

## Gambar 6. Tampilan Halaman Daftar Presensi
Pada  halaman  presensi,  mahasiswa  dapat  melakukan presensi sesuai tanggal dan waktunya. Waktu presensi dapat  dibatasi  oleh  dosen,  misalnya  presensi  berakhir setelah  1  jam  dimulainya  pembelajaran.  Presensi menggunakan 4 keterangan yaitu present , late , absent , dan excused .
Gambar 7. Tampilan Halaman Edit Profil
Pada  gambar  7  merupakan  halaman  pengguna  yang dapat  disesuaikan  sendiri  informasi  didalamnya. Mahasiswa  dapat  mengubah  informasi  profil  secara umum namun tidak dapat mengubah data pribadi. Hal tersebut karena data pribadi tersimpan di akademik.
Gambar 8. Tampilan Halaman Pesan
Gambar  8  merupakan  halaman  pesan  sebagai  fitur untuk berkomunikasi antar pengguna. Pengguna LMS baik  mahasiswa  maupun  dosen  dapat  berinteraksi dengan  bertukar  pesan  terkait  pembelajaran  melalui fitur  tersebut.  Pesan  dapat  dikirimkan  melalui  jalur pribadi antar pengguna maupun pesan yang dikirimkan dalam  sebuah  grup.  Pesan  dapat  diberikan  tanda  atau starred untuk  memisahkan  pesan  bertanda  dengan pesan lain.
3.2 Karakteristik Responden
Evaluasi usability pada learning management system (LMS) UMNU Kebumen menggunakan metode system usability scale (SUS). Penelitian dilaksanakan pada 23 Agustus 2022 sampai 20 Oktober 2022. Penelitian ini melibatkan  25  responden,  dimana  responden  tersebut merupakan  pengguna  yang  memiliki  keterkaitan dengan  LMS.  Responden  yang  berpartisipasi  dalam penelitian  84%  merupakan  mahasiswa  dan  16% merupakan  dosen.  Untuk  memudahkan  pemahaman data  tersebut  divisualisasikan  dalam  bentuk  diagram lingkaran pada gambar 9.

## Gambar 9. Sebaran Pekerjaan Responden
Berdasarkan  visualisasi  data  pada  gambar  10, responden  terdiri dari  24%  dari  program  studi  PAUD (Pendidikan Anak Usia Dini), 16% dari program studi Pendidikan  Bahasa  Indonesia,  4%  dari  program  studi Pendidikan  Bahasa  Inggris,  12%  dari  program  studi Pendidikan Olahraga, 24% dari program studi Teknik Informatika, 12% dari program studi Teknik Sipil, 4 % dari  program  studi  Agroteknologi,  dan  4%  dari program  studi  Peternakan.  Berdasarkan  data  tersebut dapat dianalisa bahwa sebagian besar responden  yang berpartisipasi  berasal  dari  program  studi  PAUD  dan Teknik Informatika. Responden dari program studi lain berada dibawah 20%.
Gambar 10. Sebaran Responden Lintas Program Studi
3.3 Pengujian SUS dan Analisa Hasil
Metode  SUS  disebut  dengan  metode quick  and dirty [13]. Kuesioner SUS dibuat dengan 10 pertanyaan dimana  terdapat  5  pertanyaan  bernomor  ganjil menunjukkan  pertanyaan  bernada  positif  dan  5 pertanyaan  bernomor  genap  menunjukkan  pertanyaan bernada  negatif[3].  Setiap  pertanyaan  memiliki  bobot nilai  1  sampai  5.  Setelah  kuesioner  SUS  disebar  dan responden  mengisi  kuesioner  tersebut  maka  didapat data penilaian kuesioner seperti pada tabel 3.
Tabel 3. Data Penilaian Kuesioner Responden
Respon den Q 1 Q 2 Q 3 Q 4 Q 5 Q 6 Q 7 Q 8 Q 9 Q1 0 R1 4 3 3 3 3 3 2 3 2 3 R2 2 3 3 4 3 4 4 3 2 4 R3 3 4 4 4 4 3 4 2 3 4 R4 4 2 4 4 4 3 4 2 4 4 R5 3 3 3 3 3 3 4 3 3 3
... .. .. .. .. .. .. .. .. .. ...
R23 5 4 5 5 5 2 5 1 5 3 R24 4 3 4 2 4 3 4 2 4 3 R25 5 2 5 3 4 2 4 2 4 2
Seluruh  data  penilaian  kuesioner  dari  responden didapatkan  seperti  pada  tabel  3.  Langkah  selanjutnya adalah  dilakukan  pengujian.  Pengujian  menggunakan persamaan  untuk  mengetahui  tingkat  kepuasan  dan penerimaan pengguna terhadap LMS[3].
Tabel 4. Hasil Pengujian SUS Skor Hasil Hitung J m l Nil ai Resp onde n Q 1
Q 2 Q 3 Q 4 Q 5 Q 6 Q 7 Q 8 Q 9 Q 1 0 (Ju ml ah x 2.5 )
R1 3 2 2 2 2 2 1 2 1 2
1 9 47. 5 R2 1 2 2 1 2 1 3 2 1 1 1 6 40
R3 2 1 3 1 3 2 3 3 2 1 2 1 52. 5
R4 3 3 3 1 3 2 3 3 3 1 2
5 62. 5
R5 2 2 2 2 2 2 3 2 2 2
2 1 52. 5
... .. .. .. .. .. .. .. .. .. .. .. ...
R23 4 1 4 0 4 3 4 4 4 2 3 0 75
R24 3 2 3 3 3 2 3 3 3 2
2 7 67. 5
R25 4 3 4 2 3 3 3 3 3 3
3 1 77. 5 Skor Rata-Rata (Hasil Akhir) 61, 4
Setelah  pengujian  menggunakan  metode  SUS  selesai, dilakukan analisis dengan interpretasi skor akhir SUS. Skor akhir SUS menunjukkan 5 jenis interpretasi, yaitu percentile  ranks , grade  scale , adjective  ratings , acceptability  ranges ,  dan  NPS  [16],  [21].  Skor  akhir SUS  dapat  dikonversi  ke  dalam percentile  ranks
dengan  alat  bantu  yang  berupa  grafik  kurva[13],[21]. Mengkonversi  hasil  SUS  ke  peringkat  persentil menggunakan grafik kurva yang dikembangkan J Sauro yang  telah  mengobservasi  lebih  dari  5000  objek  SUS dengan skala Bangor [21]. Skor SUS diatas 68 berarti diatas  rata-rata  dan  apabila  skor  SUS  dibawah  68 dianggap  dibawah  rata-rata. Untuk  mendapatkan  nilai terbaik  yaitu letter  grade A  maka  skor  SUS  harus mencapai  80,3  yang  menandakan  bahwa  pengguna akan lebih cenderung merekomendasikan sistem yang dipakainya  kepada  orang  lain.  Dengan  mencapai  skor rata-rata SUS 68 maka mendapat letter grade C dan jika skor  rata-rata  SUS  dibawah  51  maka  mendapat letter grade F. Grafik pada gambar 11 merupakan bagaimana peringkat  persentil  dikaitkan  dengan  skor  SUS  dan letter grade (nilai huruf).
Gambar 11. Grafik Kurva Nilai Persentil oleh J Sauro
Berdasarkan tabel 4 dengan skor akhir SUS 61,4 maka diperoleh  nilai percentile  ranks sekitar  30%  dengan grade huruf  C.  Meskipun  LMS  UMNU  Kebumen memperoleh  nilai  huruf  C  tetapi  masih  dibawah standar. Standar penilaian interpretasi percentile ranks adalah 50% dengan rata-rata skor SUS 68.
Interpretasi  selanjutnya  adalah grade  scale .  Hampir serupa  dengan  nilai  huruf  dari  penilaian  peringkat persentil oleh J Sauro, g rade scale merupakan ukuran tingkat usability yang terbagi dalam kelas-kelas mulai dari kelas A yang berarti sangat baik dan kelas F yang berarti  sangat  buruk.  Interpretasi adjective  rating menunjukkan  tingkatan usability yang  dideskripsikan menggunakan  kata  sifat  yaitu Excellent , Good , Ok , Poor ,  dan Awful .  Sebuah  sistem  dapat  dikatakan memiliki rating yang baik apabila mencapai skor SUS minimal  rata-rata  68,  dengan grade  scale C  dan adjective rating Good . Interpretasi a cceptability ranges menggambarkan  bagaimana  sistem  dapat  diterima dengan  baik  oleh  pengguna.  Terdapat  tiga  kategori acceptability ranges yaitu Not Acceptable dengan skor kurang  dari  50, Marginal dengan  rentang  skor  50 sampai  70,  dan Acceptable dengan  rentang  skor  70 sampai 100[3], [16], [20].
Interpretasi yang terakhir adalah NPS. NPS merupakan singkatan dari Net Promote Score . NPS mencerminkan tingkat loyalitas pengguna dan besarnya kemungkinan pengguna  dapat  merekomendasikan  sistem  kepada
orang  lain[16],  [21].  NPS  memiliki  tiga  kategori penilaian  yaitu Promoter , Passive ,  dan Detractor . Promoter merupakan  tingkat  terbaik,  sesuai  namanya tingkat promoter mencerminkan besarnya kemungkinan  pengguna  akan  merekomendasikan produk atau sistem kepada orang lain. Untuk mencapai tingkat promoter skor yang didapatkan adalah 9 dan 10. Kategori passive merupakan keadaan dimana pengguna sistem tidak dalam keadaan menolak tetapi juga tidak dalam  keadaan  sangat  menyukai  sistem  tersebut[21]. Kategori passive memiliki  skor  7  dan  8.  Kategori detractor merupakan keadaan dimana pengguna  lebih cenderung  mencegah  daripada  merekomendasikan kepada orang lain. Detractor memiliki skor 6 ke bawah.

## Gambar 12. Interpretasi Hasil Pengujian SUS LMS UMNU

## Kebumen
Merujuk  data  pada  tabel  4,  dengan  jumlah  responden 25 diperoleh skor rata-rata atau skor akhir SUS sebesar 61,4. Berdasarkan rating tingkat usability pada tabel 2 dan visualisasi gambar 12, skor tersebut masih dibawah rata-rata  minimal  sehingga  LMS  UMNU  Kebumen masuk ke dalam grade scale D dan kategori Poor untuk adjective  rating .  Sedangkan  dalam  interpretasi acceptability ranges , usability LMS UMNU Kebumen masuk  kedalam  kategori Marginal dan  untuk interpretasi  NPS  sendiri  tergolong  dalam  kategori Detractor .  Berdasarkan  hasil  yang  diperoleh  tersebut, LMS  sebagai  salah  satu  media  pembelajaran  online yang  dipakai  dalam  kegiatan  pembelajaran  UMNU Kebumen  menempatkan  LMS  dalam  keadaan  masih dapat  diterima  oleh  pengguna  secara  umum  untuk kategori acceptability namun  dalam  kategori  NPS menunjukkan  bahwa  pengguna  tidak  dalam  keadaan akan  merekomendasikan  kepada  orang  lain.  Hal tersebut  menandakan  bahwa  diperlukan  adanya perbaikan  dan  peningkatan usability LMS  untuk meningkatkan  kepuasan  pelayanan  pengguna  yang tentunya  memiliki  dampak  yang  lebih  baik  dalam peningkatan hasil belajar mahasiswa.

## 4. Kesimpulan
Pengukuran usability pada media pembelajaran online LMS  (Learning  Management  System)  UMNU (Universitas  Ma’arif    Nahdlatul  Ulama)  Kebumen menggunakan  Metode System  Usability  Scale (SUS) dengan  10  pertanyaan  dimana  terdapat  5  pertanyaan bernomor  ganjil  menunjukan  pertanyaan  bernada positif dan 5 pertanyaan bernomor genap menunjukan pertanyaan  dengan  nada  negatif,  dengan  jumlah
responden 25 orang yang terdiri dari 1 orang Program Studi  Bahasa  Inggris,  1  orang  Program  Studi Agroteknologi,  1  orang  Program  Studi  Peternakan,  3 orang Program Studi Olahraga, 3 orang Program Studi Teknik Sipil, 4 orang Program Studi Bahasa Indonesia, 6 orang Program Studi PAUD, 6 orang Program Studi Teknik  Informatika  dengan  skor  akhir    rata-rata  61,4. Nilai  hasil  tersebut  sudah  dapat  digunakan  dalam menghitung  atau  membuat  kesimpulan  atas  performa yang  di  hadirkan  dari  LMS  Universitas  Ma’arif Nahdlatul  Ulama  Kebumen  kepada  para  pengguna khususnya  para  mahasiswanya,  tak  hanya  performa juga  dengan  kualitas  dari  layanan  tersebut  juga  dapat diukur.  Berdasarkan  rating  tingkat usability nilai tersebut  masih  dibawah  rata-rata  minimal  sehingga masuk kedalam grade scale D , sedangkan di kategori Poor  untuk adjective  rating ,  dan  dalam  interpretasi acceptability  ranges ,  LMS  tersebut  masuk  dalam kategori Marginal. Yang  berarti  sistem  LMS  di Universitas Ma’arif  Nahdlatul Ulama Kebumen masih memiliki  performa  dan  layanan  yang  kurang memuaskan dan harus ditingkatkan di beberapa aspek.

## Daftar Pustaka
[1]  M. Agarina, S. Sutedi, and A. S. Karim, “Evaluasi User  Interface  Desain  Menggunakan  Metode Heuristics  Pada  Website  Sistem  Informasi Manajemen Seminar Institut Bisnis dan Informatika (IBI) Darmajaya,” Pros. Semin. Nas.
Has. Penelit. dan Pengabdi. 2019 IBI DARMAJAYA Bandar Lampung , vol. 1, pp. 192– 200, 2019.
[2]  N.  Dewi,  I.  M.  Candiasa,  and  ...,  “Evaluasi Website  Sistem  Informasi  Perencanaan  Studi Stmik Stikom Indonesia Ditinjau Dari Pengguna Mahasiswa Menggunakan …,” J. Nas. … , vol. 9, pp. 266–280, 2020.
[3]  I.  Salamah,  “Evaluasi  Usability  Website  Polsri Dengan  Menggunakan  System  Usability  Scale,” J.  Nas.  Pendidik.  Tek.  Inform. ,  vol.  8,  no.  3,  pp. 176–183, 2019, doi: https://doi.org/10.23887/janapati.v8i3.17311.
[4]  M.  Huda,  W.  W.  Winarno,  and  E.  T.  Lutfi, “Evaluasi  User  Interface  Pada  Sistem  Informasi Akademik  Di  Stie  Putra  Bangsa  Menggunakan Metode User Centered Systems Design,” J. Ekon. Dan Tek. Inform. , vol. 5, no. 2, pp. 42–59, 2017.
[5]  F.  R.  Aisy,  H.  Tolle,  and  A.  D.  Herlambang, “Perancangan  dan  Evaluasi  User  Experience Aplikasi Mobile Pembelajaran Online di Jurusan Sistem  Informasi  menggunakan  Pendekatan Human-  Centered  Design  dan  TUXEL,”  vol.  4, no. 8, pp. 2369–2375, 2020.
[6]  I. P. A. Purnawan, I. K. G. Darma Putra, and N. K. D. Rusjayanthi, “Evaluasi Usability dan User Experience  LMS  OASE  Universitas  Udayana Menggunakan  Metode  Tuxel  2.0,” J.  Nas.
Pendidik.  Tek.  Inform. ,  vol.  10,  no.  3,  p.  177,
(JOINTECS) Journal of Information Technology and Computer Science Vol . 8 No. 2 (2023) 57 – 66
2021, doi: 10.23887/janapati.v10i3.40670.
[7]  A. L. Maukar, F. Marisa, A. V. Vitianingsih, B. C. Berliana, and M. Rupasari, “Model Pembelajaran Kolaborasi  dengan  Gamifikasi:  Sebuah  Kajian Pustaka,” JOINTECS  (Journal  Inf.  Technol. Comput.  Sci. ,  vol.  7,  no.  3,  p.  121,  2022,  doi: 10.31328/jointecs.v7i3.3988.
[8]  S. Salsabilah, M. I. Wahyuddin, and R. T. K. Sari, “Analisa UI/UX Terhadap Perancangan Website Laundry dengan Metode Human Centered Design dan  User  Experience  Questionnaire,” J.  Media Inform.  Budidarma ,  vol.  6,  no.  1,  p.  720,  2022, doi: 10.30865/mib.v6i1.3547.
[9]  O.  D.  Yohanes,  A.  Ambarwati,  and  C.  Darujati, “Pengembangan  Antarmuka  Dan  Pengalaman Pengguna  Aplikasi  Ujian  Online  Menggunakan Metode  Goal-Directed  Design,” JOINTECS (Journal Inf. Technol. Comput. Sci. , vol. 6, no. 1, p. 55, 2021, doi: 10.31328/jointecs.v6i1.2153.
[10]  A. M. Saleh, H. Y. Abuaddous, I. S. Alansari, and O. Enaizan, “The Evaluation of User Experience of Learning Management Systems Using UEQ,” Int. J. Emerg. Technol. Learn. , vol. 17, no. 7, pp. 145–162, 2022, doi: 10.3991/ijet.v17i07.29525.
[11]  J.  Santoso,  “Usability  User  Interface  dan  User Experience  Media  Pembelajaran  Kamus  Kolok Bengkala Berbasis Android,” J. Sist. Dan Inform. , vol. 12, no. 2, pp. 174–181, 2018.
[12]  L.  M.  Ginting,  G.  Sianturi,  and  C.  V.  Panjaitan, “Perbandingan Metode Evaluasi Usability Antara Heuristic Evaluation dan
Cognitive Walkthrough,” J. Manaj. Inform. , vol. 11, no. 2, pp.
146–157,
2021, doi:
10.34010/jamika.v11i2.5480.
[13]  I.  Maryati,  E.  I.  Nugroho,  and  Z.  O.  Indrasanti, “Analisis  Usability  pada  Situs  Perpustakaan  UC dengan Menggunakan System Usability Scale,” J. Media  Inform.  Budidarma ,  vol.  6,  no.  1,  p.  362, 2022, doi: 10.30865/mib.v6i1.3472.
[14]  M. Zakaria, A. Ansori, R. I. Rokhmawati, and D. Priharsari,  “Evaluasi  dan  Perbaikan  Antarmuka Pengguna  Kursus  Perpajakan  Daring  Piranha Smart  Center  dengan  Pendekatan  Human- Centered  Design,” J.  Pengemb.  Teknol.  Inf.  dan Ilmu Komput. , vol. 6, no. 1, pp. 333–342, 2022.
[15]  N. S. Aziz, N. S. Sulaiman, W. N. I. T. M. Hassan, N.  L.  Zakaria,  and  A.  Yaacob,  “A  Review  of Website  Measurement  for  Website  Usability Evaluation,” J. Phys. Conf. Ser. , vol. 1874, no. 1, 2021, doi: 10.1088/1742-6596/1874/1/012045.
[16]  K.  T.  Nugroho,  B.  Julianto,  and  D.  F.  Nur  MS, “Usability  Testing  pada  Sistem  Informasi Manajemen AKN Pacitan Menggunakan Metode System  Usability  Scale,” J.  Nas.  Pendidik.  Tek. Inform. ,  vol.  11,  no.  1,  p.  74,  2022,  doi: 10.23887/janapati.v11i1.43209.
[17]  M. A. Arga Kusumah, R. I. Rokhmawati, and F. Amalia,  “Evaluasi  Usability  Pada  Website  E-
commerce  XYZ  Dengan  Menggunakan  Metode Cognitive  Walkthrough  dan  System  Usability Scale  (SUS),” Pengemb.  Teknol.  Inf.  dan  Ilmu Komput. , vol. 3, no. 5, pp. 4340–4348, 2019.
[18]  I. Yunianto, H. D. Purnomo, and S. Y. J. Prasetyo,
“Analisa Sistem Informasi Akademik Menggunakan WebQual dan PIECES
Frameworks  Pada  Universitas  XYZ,” J.  Media Inform.  Budidarma ,  vol.  5,  no.  3,  p.  995,  2021, doi: 10.30865/mib.v5i3.3046.
[19]  G.  Pandusarani,  A.  H.  Brata,  and  E.  M.  A. Jonemaro, “Analisis User Experience Pada Game CS:GO dengan Menggunakan Metode Cognitive Walkthrough dan Metode Heuristic Evaluation,” J. Pengemb. Teknol. Inf. dan Ilmu Komput. , vol. 2, no. 3, pp. 940–950, 2018.
[20]  A.  R.  Bahtiar  and  M.  A.  Gustalika,  “Penerapan Metode System Usability Scale dalam Pengujian Rancangan  Mobile  Apps  Gamification  Tari Rakyat  di  Indonesia,” J.  Media  Inform. Budidarma ,  vol.  6,  no.  1,  p.  491,  2022,  doi: 10.30865/mib.v6i1.3510.
[21]  D.  P.  Kesuma,  “Penggunaan  Metode  System Usability Scale Untuk Mengukur Aspek Usability Pada  Media  Pembelajaran  Daring  di  Universitas XYZ,” JATISI  (Jurnal  Tek.  Inform.  dan  Sist. Informasi) ,  vol.  8,  no.  3,  pp.  1615–1626,  2021, doi: 10.35957/jatisi.v8i3.1356.
[22]  I.  Arief,  A.  Muluk,  A.  S.  Indrapriyatna,  and  M. Falevy,  “Pengembangan  Antarmuka  Portal Universitas  untuk  Meningkatkan  Pengalaman Pengguna,” J. RESTI (Rekayasa Sist. dan Teknol. Informasi) ,  vol.  5,  no.  6,  pp.  1052–1061,  2021, doi: 10.29207/resti.v5i6.3532.
[23]  A. M. Nur Fauzi, A. Triayudi, and I. D. Sholihati, “Mengukur Tingkat Kepuasan Pengguna Aplikasi Kearsipan Menggunakan System Usability Scale Dan  Pieces  Framework,” JIPI  (Jurnal  Ilm. Penelit. dan Pembelajaran Inform. , vol. 7, no. 1, pp. 231–239, 2022, doi: 10.29100/jipi.v7i1.2452.
[24]  V. Yoga and P. Ardhana, “Evaluasi Usability E- Learning Universitas Qamarul Huda Menggunakan System Usability Scale ( SUS ),” J. Informatics, Electr. Electron. Eng. , vol. 2, no. 1, pp. 5–11, 2022.
[25]  C.  Damayanti,  A.  Triayudi,  and  I.  D.  Sholihati, “Analisis  UI/UX  Untuk  Perancangan  Website Apotek dengan Metode Human Centered Design dan  System  Usability  Scale,” J.  Media  Inform. Budidarma ,  vol.  6,  no.  1,  p.  551,  2022,  doi: 10.30865/mib.v6i1.3526.
[26]  M. F. Azi, C. Wiguna, and K. N. Meiah, “Analisis User  Interfaces  Pada  Website  Kampiun  ITTP Dengan  Metode  Heuristik  dan  System  Usability Scale (SUS),” J. Media Inform. Budidarma , vol.
6, no. 2, p.
1080, 2022,
doi:
10.30865/mib.v6i2.3802.

## Halaman ini sengaja dikosongkan